facetas
Tipo de contenido

Recursos > Computación en GRID

    sortFiltrar Ordenar
    9 resultados

    Página Web

    /

    Publicado el 5.7.2012 por Equipo GNOSS

    Open Science Grid - Bosón de Higgs

    Según declaraciones de Rolf Heuer, director general en el CERN, "The experiments and grid computing were key to the succes". Es decir, sin un avanzado sistema de computación en red (grid computing), habría sido imposible manejar y analizar la ingente cantidad de datos que se producen cada día y, por tanto, no se habrían podido detectar, entre los billones de colisiones provocadas por los haces de partículas, aquellos casos que, finalmente, parecen haber sido identificados como pruebas de la existencia del Bosón de Higgs.

    Open Science Grid (OSG) es el proyecto que soporta dicha red de computación en red: 

    "The Open Science Grid (OSG) advances science through open distributed computing. The OSG is a multi-disciplinary partnership to federate local, regional, community and national cyberinfrastructures to meet the needs of research and academic communities at all scales".

    ...

    Entrada de blog

    /

    Compartido el 24.8.2011 por Ricardo Alonso Maturana

    Recientemente he redescubierto las utilidades de un sistema de computación llamado GRID y que, aunque no esté tan de moda como la nube, es una de esas maravillas que el ingenio humano y la técnica pueden hacer.

    Para explicarlo de la manera más sencilla posible la idea consiste en que un trabajo de computación complejo (calcular números primos, análisis de secuencias grandes...) en vez de ejecutarse en un solo ordenador muy potente, se parta en trozos más pequeños y se distribuya entre muchos ordenadores más pequeños.

    Gracias a que estas iniciativas se han impulsado principalmente en ambientes científicos y basados en software libre, se han difundido, aunque no popularizado lo que sería deseable. El caso es que el programa más extendido para aprovechar está tecnología se llama BOINC.

    Con este programa hay numerosos centros de investigación que pueden distribuir trabajo entre redes de ordenadores propios y también con voluntarios que quieran colaborar donando tiempos en que su ordenador no está haciendo muchas cosas (por ejemplo, mientras escribo esto, mi ordenador está casi parado y por tanto puede hacer cálculos para luchar contra la malaria, o ayudar a descubrir números de wilson.

    Ibercibis es un proyecto para potenciar el uso del grid computing para hacer ciencia ciudadana que según la definición de la página web "permite a la sociedad participar en la investigación científica de forma directa y en tiempo real."

    Creo que cualquiera que tenga un poco de espíritu científico y/o conciencia de la importancia de la ciencia debería aportar su granito de arena (o de ciclos de CPU). Unete a Ibercivis

    ...

    Categorías:

    Página Web

    /

    Publicado el 24.6.2011 por Equipo GNOSS

    Urs Hölzle, de Google: "Al escalar, todo se puede romper"

    Interesante entrevista con Urs Hölzle, que fue primer vicepresidente de ingeniería en Google, en la que presenta una visión realista de los problemas y riesgos en una arquitectura a gran escala, como es el caso de Google.

    Aparte del titular periodístico, "At scale, everything breaks", Hölzle ofrece las siguientes pistas:

    " In fact, we're phasing out GFS in favour of the next-generation file system that is very similar, but it's not GFS anymore. It scales better and has better latency properties as well. I think three years from now we'll try to retire that because flash memory is coming and faster networks and faster CPUs are on the way and that will change how we want to do things."

    "For instance, cluster management itself or some open-source version will happen, because everyone needs it as their computation scales and their issue becomes not the management of a single machine, but the management of a whole bunch of them."

    "I think the big challenges haven't changed that much. I'd say that it's dealing with failure, because at scale everything breaks no matter what you do and you have to deal reasonably cleanly with that and try to hide it from the people actually using your system."

    "We use tapes, still, in this age because they're actually a very cost-effective way as a last resort for Gmail. The reason why we put it in is not physical data loss, but once in a blue moon you will have a bug that destroys all copies of the online data and your only protection is to have something that is not connected to the same software system, so you can go and redo it."

    "Automation is key, but it's also dangerous. You can shut down all machines automatically if you have a bug."

    "Keeping things simple and yet scalable is actually the biggest challenge. It's really, really hard. Most things don't work that well at scale, so you need to introduce some complexity, but you have to keep it down."

    ...

    Página Web

    /

    Publicado el 20.9.2010 por Equipo GNOSS

    SciDB. Sistema de Gestión de Bases de Datos para resolver los problemas más importantes del planeta

    La Sociedad depende de los científicos de todo el mundo para afrontar algunos de sus más importantes retos: calentamiento global, cancer, enfermedades contagiosas, etc. Conseguir mejoras significativas en dichos retos depende de que los mejores científicos del mundo trabajen todo lo productivamente que sea posible.

    Durante los últimos 30 años, la ciencia, como los negocios y la administración pública, se ha automatizado y usado datos intensivamente. El enfoque de muchos experimentos científicos no sería posible sin las más modernas tecnologías de la información. Desafortunadamente, la mayoría de las tecnologías de la información se ha desarrollado para resolver las necesidades de los negocios, y no de la ciencia, y como resultado, los científicos se han visto obligados a adaptar las tecnologías a sus necesidades, o a construir sus propias soluciones con recursos muy limitados.

    Inspirados por el fallecido Jim Gray, que abogó por proyectos similares durante décadas, SciDB, Inc. se ha construido como un producto open source de gestión de base de datos, diseñado especialmente para satisfacer las demandas de uso intensivo de datos de los problemas científicos. Con el asesoramiento de los principales líderes científicos de una gran variedad de disciplinas, incluyendo astronomía, biología, física, oceanografía, ciencias atmosféricas, y climatología; los científicos en computación del proyecto están diseñando y prototipando esta tecnología.

    Entre los fundadores del proyecto están Mike Stonebraker y David DeWitt; y asesores científicos del CERN o del proyecto Large Synoptic Survey Telescope, entre otros.

    ...

    Página Web

    /

    Compartido el 13.8.2010 por Equipo GNOSS

    DARPA que ha encargado a Nvidia la creación de un super ordenador para 2018 por 25 millones de dólares con fines de investigación militar que pretende ser 1000 veces más potente que los actuales superordenadores.

     

    ...

    Página Web

    /

    Publicado el 11.8.2010 por Equipo GNOSS

    Con un título tan rompedor como su contenido, este "paper" de 2007 adivina o inventa el futuro de los sistemas de almacenamiento de datos en la era de Internet. El documento puede ser objeto de críticas, algunas justificadas, pero no cabe duda de la inspiración o el acierto al describir muchas de las soluciones NoSQL actualmente en uso en muchas aplicaciones Web.

    El documento comienza con una breve descripción de las consideraciones de diseño de los tradicionales sistemas de gestión de base de datos, antes de expresar los requisitos del nuevo sistema OLTP (On Line Transaction Process), HStore:

    1. La base de datos OLTP debería caber enteramente en memoria. No deberia haber escrituras en disco en absoluto.
    2. La base de datos OLTP debería tener un único hilo (thread) - sin concurrencia en absoluto. Esto debería ser posible cuando las transacciones OLTP duran menos del milisegundo, lo que en un sistema de "solo-memoria" debería ser incluso inferior. Esto elimina la necesidad de algoritmos y estructuras de datos complejas, y mejora aún más el rendimiento. No se permiten las consultas no predefinidas.
    3. Debería ser posible añadir capacidad a un sistema OLTP sin caída alguna de servicio. Esto implica una expansión incremental, escalando el sistema añadiendo nodos transparentemente.
    4. El sistema debería ser altamente disponible, con una configuración "peer-to-peer". La carga OLTP debería estar distribuida en varias máquinas, y la replicación entre máquinas usada para disponibilidad. En un sistema de este tipo "rehacer" y "deshacer" el log de la transacción es innecesario. (se cita otro "paper" según el cual rehacer un nodo que ha fallado en la red es tan eficiente como recuperarse de un "rehacer" un log). Obviamente, la eliminación de "rehacer" suprime uno de los peores cuellos de botella de los sistemas OLTP, cuando los datos se escriben en disco síncronamente.
    5. Sin Administradores de Bases de Datos (DBAs). Los sistemas deberían ser totalmente "autoconfigurables" y "autooptimizables".

    Además, se describen otras propiedades de HStore:

    1. Sin el "rehacer" de los logs, y por tanto, sin los bloqueos, el siguiente cuello de botella son los interfaces (JDBC, ODBC, OleDB, etc). El código de la aplicación debería estar en procedimientos almacenados dentro del almacenamiento de datos. El único comando que se ejecutara externamente debería ser “execute transaction X”.
    2. Dado que la base de datos estaría distribuido y replicado, y que la latencia de la red toma milisegundos, se debería evitar las 2 fases de un protocolo de "commit".
    3. No hay consultas "ad-hoc". Toda la carga de trabajo se debería especificar con antelación.
    4. SQL es un lenguaje antiguo, con serios problemas ya expuestos por Chris Date hace 2 décadas. HStore debería ser programable en un lenguaje moderno y ligero como Ruby.

    Los autores del documento son: 

    • Michael Stonebraker, Samuel Madden, Daniel J. Abadi, Stavros Harizopoulos del MIT CSAIL (Computer Science and Artificial Intelligence Laboratory).
    • Nabil Hachem, de AvantGarde Consulting, LLC.
    • Pat Helland, de Microsoft Corporation.

    ...

    Página Web

    /

    Publicado el 9.8.2010 por Equipo GNOSS

    The Twitter Engineering Blog

    Interesante Blog donde seguir algunas de las aventuras y desventuras de los ingenieros que tratan de mantener Twitter en funcionamiento, mientras diseñan como soportar el crecimiento y mejorar el servicio.

    Los temas tratan de sus problemas y soluciones, proyectos de software libre y sistemas instalados.

    ...

    Etiquetas:

    Página Web

    /

    Publicado el 20.1.2010 por Equipo GNOSS

    Anti-RDBMS: A list of distributed key-value stores | Richard Jones

    Se trata de un artículo escrito por Richard Jones, CTO de Last.fm durante 6 años, sobre las bases de datos no relacionales. El artículo está escrito originalmente en enero de 2009, pero contiene actualizaciones en los comentarios.

    Perhaps you’re considering using a dedicated key-value or document store instead of a traditional relational database. Reasons for this might include:

    • You’re suffering from Cloud-computing Mania.
    • You need an excuse to ‘get your Erlang on’
    • You heard CouchDB was cool.
    • You hate MySQL, and although PostgreSQL is much better, it still doesn’t have decent replication.
    • There’s no chance you’re buying Oracle licenses.
    • Your data is stored and retrieved mainly by primary key, without complex joins.
    • You have a non-trivial amount of data, and the thought of managing lots of RDBMS shards and replication failure scenarios gives you the fear.

    ...

    Página Web

    /

    Publicado el 17.1.2010 por Equipo GNOSS

    The Globus Alliance

    tipo de documento Página Web

    The Globus Alliance

    The Globus Alliance is a community of organizations and individuals developing fundamental technologies behind the "Grid," which lets people share computing power, databases, instruments, and other on-line tools securely across corporate, institutional, and geographic boundaries without sacrificing local autonomy.

    The Globus Toolkit is an open source software toolkit used for building Grid systems and applications. It is being developed by the Globus Alliance and many others all over the world. A growing number of projects and companies are using the Globus Toolkit to unlock the potential of grids for their cause.

    ...

    Etiquetas: