OpenAI está aprovechando la base de datos de código abierto PostgreSQL para dar soporte a su plataforma ChatGPT y API, que atiende a 800 millones de usuarios. En una publicación de blog publicada el jueves, OpenAI reveló que está ejecutando su enorme base de usuarios en una instancia PostgreSQL de un solo primario, en lugar de una base de datos distribuida o un clúster fragmentado.

La configuración utiliza un Azure PostgreSQL Flexible Server para todas las operaciones de escritura, con aproximadamente 50 réplicas de lectura distribuidas en varias regiones para gestionar las solicitudes de lectura. Según OpenAI, el sistema gestiona millones de consultas por segundo, manteniendo una baja latencia p99 de dos dígitos en milisegundos y una disponibilidad de cinco nueves.

Este enfoque desafía la sabiduría convencional con respecto al escalado de bases de datos, ofreciendo valiosas perspectivas para los arquitectos empresariales que se enfrentan a sistemas a gran escala. La compañía enfatizó que la conclusión clave no es replicar la infraestructura específica de OpenAI, sino priorizar los patrones de carga de trabajo y las limitaciones operativas al tomar decisiones arquitectónicas, en lugar de reaccionar a los desafíos de escalado percibidos o adoptar tecnologías de moda sin una cuidadosa consideración.

La decisión de confiar en PostgreSQL destaca el potencial de los sistemas bien establecidos cuando los equipos se centran en la optimización deliberada en lugar de la re-arquitectura prematura. Si bien las bases de datos vectoriales han ganado terreno para aplicaciones específicas de IA, el caso de uso de OpenAI demuestra que las bases de datos relacionales tradicionales aún pueden manejar eficazmente cargas de trabajo masivas con la configuración y optimización adecuadas.

Las implicaciones del enfoque de OpenAI se extienden más allá de la arquitectura de la base de datos. Sugiere que las organizaciones deben evaluar cuidadosamente sus necesidades y limitaciones específicas antes de adoptar soluciones complejas y potencialmente innecesarias. Al centrarse en la optimización de los sistemas existentes, las empresas pueden lograr potencialmente importantes ganancias de rendimiento y ahorros de costes.

El éxito de OpenAI con PostgreSQL subraya la importancia de comprender las ventajas y desventajas entre las diferentes tecnologías de bases de datos y los patrones arquitectónicos. Si bien las bases de datos distribuidas y los clústeres fragmentados ofrecen beneficios de escalabilidad, también introducen complejidad y sobrecarga operativa. En algunos casos, una base de datos de instancia única bien optimizada puede ser una solución más eficiente y rentable.

La compañía aún no ha revelado detalles específicos sobre las técnicas de optimización que empleó para lograr este nivel de rendimiento. Sin embargo, la publicación del blog sugiere que la atención cuidadosa a los patrones de carga de trabajo, la optimización de consultas y la configuración de la infraestructura desempeñaron un papel crucial. Se espera que se publiquen más detalles en los próximos meses, proporcionando información valiosa para los administradores de bases de datos y los arquitectos que buscan escalar sus propias implementaciones de PostgreSQL.