Next Web: web 3.0, web semántica y el futuro de internet > Performance

    sortFiltrar Ordenar
    9 results

    Hyperlink

    /

    Published on 24.6.2011 by Equipo GNOSS

    Urs Hölzle, de Google: "Al escalar, todo se puede romper"

    Interesante entrevista con Urs Hölzle, que fue primer vicepresidente de ingeniería en Google, en la que presenta una visión realista de los problemas y riesgos en una arquitectura a gran escala, como es el caso de Google.

    Aparte del titular periodístico, "At scale, everything breaks", Hölzle ofrece las siguientes pistas:

    " In fact, we're phasing out GFS in favour of the next-generation file system that is very similar, but it's not GFS anymore. It scales better and has better latency properties as well. I think three years from now we'll try to retire that because flash memory is coming and faster networks and faster CPUs are on the way and that will change how we want to do things."

    "For instance, cluster management itself or some open-source version will happen, because everyone needs it as their computation scales and their issue becomes not the management of a single machine, but the management of a whole bunch of them."

    "I think the big challenges haven't changed that much. I'd say that it's dealing with failure, because at scale everything breaks no matter what you do and you have to deal reasonably cleanly with that and try to hide it from the people actually using your system."

    "We use tapes, still, in this age because they're actually a very cost-effective way as a last resort for Gmail. The reason why we put it in is not physical data loss, but once in a blue moon you will have a bug that destroys all copies of the online data and your only protection is to have something that is not connected to the same software system, so you can go and redo it."

    "Automation is key, but it's also dangerous. You can shut down all machines automatically if you have a bug."

    "Keeping things simple and yet scalable is actually the biggest challenge. It's really, really hard. Most things don't work that well at scale, so you need to introduce some complexity, but you have to keep it down."

    ...

    Hyperlink

    /

    Published on 10.11.2010 by Equipo GNOSS

    Varnish cache,  makes websites fly

    Varnish, es un software de gestión de la caché web clave para el desarrollo de aplicaciones que requieren un alto redimiento. Es Open Source y consume muy pocos recursos. Permite almacenar páginas en memoria caché para que los servidores web no tengan que cargar las páginas una y otra vez.

     

    Varnish is a web accelerator written with performance and flexibility in mind. It's modern architecture gives it a significantly better performance than many of it's competing products. Varnish store web pages in memory so the web servers don't have to create the same web page over and over again. The web server only recreate a page when it is changed. Additionally Varnish can serve web pages much faster then any application server is capable of - giving the website a significant speed up.

    ...

    Categorías:

    Hyperlink

    /

    Published on 20.9.2010 by Equipo GNOSS

    SciDB. Sistema de Gestión de Bases de Datos para resolver los problemas más importantes del planeta

    La Sociedad depende de los científicos de todo el mundo para afrontar algunos de sus más importantes retos: calentamiento global, cancer, enfermedades contagiosas, etc. Conseguir mejoras significativas en dichos retos depende de que los mejores científicos del mundo trabajen todo lo productivamente que sea posible.

    Durante los últimos 30 años, la ciencia, como los negocios y la administración pública, se ha automatizado y usado datos intensivamente. El enfoque de muchos experimentos científicos no sería posible sin las más modernas tecnologías de la información. Desafortunadamente, la mayoría de las tecnologías de la información se ha desarrollado para resolver las necesidades de los negocios, y no de la ciencia, y como resultado, los científicos se han visto obligados a adaptar las tecnologías a sus necesidades, o a construir sus propias soluciones con recursos muy limitados.

    Inspirados por el fallecido Jim Gray, que abogó por proyectos similares durante décadas, SciDB, Inc. se ha construido como un producto open source de gestión de base de datos, diseñado especialmente para satisfacer las demandas de uso intensivo de datos de los problemas científicos. Con el asesoramiento de los principales líderes científicos de una gran variedad de disciplinas, incluyendo astronomía, biología, física, oceanografía, ciencias atmosféricas, y climatología; los científicos en computación del proyecto están diseñando y prototipando esta tecnología.

    Entre los fundadores del proyecto están Mike Stonebraker y David DeWitt; y asesores científicos del CERN o del proyecto Large Synoptic Survey Telescope, entre otros.

    ...

    Hyperlink

    /

    Shared on 13.8.2010 by Equipo GNOSS

    DARPA que ha encargado a Nvidia la creación de un super ordenador para 2018 por 25 millones de dólares con fines de investigación militar que pretende ser 1000 veces más potente que los actuales superordenadores.

     

    ...

    Hyperlink

    /

    Published on 11.8.2010 by Equipo GNOSS

    Con un título tan rompedor como su contenido, este "paper" de 2007 adivina o inventa el futuro de los sistemas de almacenamiento de datos en la era de Internet. El documento puede ser objeto de críticas, algunas justificadas, pero no cabe duda de la inspiración o el acierto al describir muchas de las soluciones NoSQL actualmente en uso en muchas aplicaciones Web.

    El documento comienza con una breve descripción de las consideraciones de diseño de los tradicionales sistemas de gestión de base de datos, antes de expresar los requisitos del nuevo sistema OLTP (On Line Transaction Process), HStore:

    1. La base de datos OLTP debería caber enteramente en memoria. No deberia haber escrituras en disco en absoluto.
    2. La base de datos OLTP debería tener un único hilo (thread) - sin concurrencia en absoluto. Esto debería ser posible cuando las transacciones OLTP duran menos del milisegundo, lo que en un sistema de "solo-memoria" debería ser incluso inferior. Esto elimina la necesidad de algoritmos y estructuras de datos complejas, y mejora aún más el rendimiento. No se permiten las consultas no predefinidas.
    3. Debería ser posible añadir capacidad a un sistema OLTP sin caída alguna de servicio. Esto implica una expansión incremental, escalando el sistema añadiendo nodos transparentemente.
    4. El sistema debería ser altamente disponible, con una configuración "peer-to-peer". La carga OLTP debería estar distribuida en varias máquinas, y la replicación entre máquinas usada para disponibilidad. En un sistema de este tipo "rehacer" y "deshacer" el log de la transacción es innecesario. (se cita otro "paper" según el cual rehacer un nodo que ha fallado en la red es tan eficiente como recuperarse de un "rehacer" un log). Obviamente, la eliminación de "rehacer" suprime uno de los peores cuellos de botella de los sistemas OLTP, cuando los datos se escriben en disco síncronamente.
    5. Sin Administradores de Bases de Datos (DBAs). Los sistemas deberían ser totalmente "autoconfigurables" y "autooptimizables".

    Además, se describen otras propiedades de HStore:

    1. Sin el "rehacer" de los logs, y por tanto, sin los bloqueos, el siguiente cuello de botella son los interfaces (JDBC, ODBC, OleDB, etc). El código de la aplicación debería estar en procedimientos almacenados dentro del almacenamiento de datos. El único comando que se ejecutara externamente debería ser “execute transaction X”.
    2. Dado que la base de datos estaría distribuido y replicado, y que la latencia de la red toma milisegundos, se debería evitar las 2 fases de un protocolo de "commit".
    3. No hay consultas "ad-hoc". Toda la carga de trabajo se debería especificar con antelación.
    4. SQL es un lenguaje antiguo, con serios problemas ya expuestos por Chris Date hace 2 décadas. HStore debería ser programable en un lenguaje moderno y ligero como Ruby.

    Los autores del documento son: 

    • Michael Stonebraker, Samuel Madden, Daniel J. Abadi, Stavros Harizopoulos del MIT CSAIL (Computer Science and Artificial Intelligence Laboratory).
    • Nabil Hachem, de AvantGarde Consulting, LLC.
    • Pat Helland, de Microsoft Corporation.

    ...

    Hyperlink

    /

    Published on 9.8.2010 by Equipo GNOSS

    The Twitter Engineering Blog

    Interesante Blog donde seguir algunas de las aventuras y desventuras de los ingenieros que tratan de mantener Twitter en funcionamiento, mientras diseñan como soportar el crecimiento y mejorar el servicio.

    Los temas tratan de sus problemas y soluciones, proyectos de software libre y sistemas instalados.

    ...

    Hyperlink

    /

    Published on 30.6.2010 by Equipo GNOSS

    Exploring the software behind Facebook, the world’s largest site | Royal Pingdom

    A la escala que Facebook opera, muchos de enfoques tradicionales de arquitecturas web han demostrado no ser válidos o prácticos. El desarfío de los ingenieros de Facebook ha sido mantener el sitio web funcionando sin problemas con 500 millones de usuarios activos. Este artículo da un repaso de parte software y algunas de las técnicas que utilizan para conseguir esto.

    At the scale that Facebook operates, a lot of traditional approaches to serving web content break down or simply aren’t practical. The challenge for Facebook’s engineers has been to keep the site up and running smoothly in spite of handling close to half a billion active users. This article takes a look at some of the software and techniques they use to accomplish that.

    ...

    Hyperlink

    /

    Published on 20.1.2010 by Equipo GNOSS

    Anti-RDBMS: A list of distributed key-value stores | Richard Jones

    Se trata de un artículo escrito por Richard Jones, CTO de Last.fm durante 6 años, sobre las bases de datos no relacionales. El artículo está escrito originalmente en enero de 2009, pero contiene actualizaciones en los comentarios.

    Perhaps you’re considering using a dedicated key-value or document store instead of a traditional relational database. Reasons for this might include:

    • You’re suffering from Cloud-computing Mania.
    • You need an excuse to ‘get your Erlang on’
    • You heard CouchDB was cool.
    • You hate MySQL, and although PostgreSQL is much better, it still doesn’t have decent replication.
    • There’s no chance you’re buying Oracle licenses.
    • Your data is stored and retrieved mainly by primary key, without complex joins.
    • You have a non-trivial amount of data, and the thought of managing lots of RDBMS shards and replication failure scenarios gives you the fear.

    ...

    Hyperlink

    /

    Published on 17.1.2010 by Equipo GNOSS

    MongoDB

    tipo de documento Hyperlink

    MongoDB

    MongoDB es una base de datos escalable, de alto rendimiento, open source, schema free, y orientada a documentos. Hace de puente entre los almacenamientos tipo clave-valor (rápidos y muy escalables) y los sistemas tradicionales de gestión de bases de datos relaciones (con esquemas estructurados y consultas potentes).

    ...