Nvidia, la fuerza dominante en chips de IA gracias a sus GPU, realizó un movimiento significativo al licenciar tecnología de Groq, una startup especializada en inferencia de IA, y contratar a una gran parte de su equipo, incluyendo al fundador y CEO Jonathan Ross. El acuerdo, anunciado justo antes de las vacaciones de Navidad, señala el reconocimiento por parte de Nvidia de la creciente importancia de la inferencia de IA eficiente y rentable, el proceso de ejecutar modelos de IA entrenados a escala.

La inferencia es la etapa donde la IA pasa de ser un proyecto de investigación a un servicio generador de ingresos. Cada interacción con un modelo de IA implementado, desde responder una pregunta hasta generar código o impulsar un chatbot, entra dentro de la inferencia. Esta fase está bajo intensa presión para minimizar los costos, reducir la latencia (el tiempo que tarda una IA en responder) y maximizar la eficiencia.

La economía de la inferencia de IA se está convirtiendo en un campo de batalla crucial, a medida que las empresas buscan monetizar sus inversiones en IA. El CEO de Nvidia, Jensen Huang, ha reconocido públicamente los desafíos de la inferencia. La inversión de la compañía en Groq sugiere que cree que las arquitecturas especializadas, más allá de las GPU por sí solas, pueden ser necesarias para optimizar el rendimiento de la inferencia.

Los chips de Groq están diseñados específicamente para una inferencia de IA rápida y de baja latencia. Este enfoque contrasta con las GPU, que fueron diseñadas inicialmente para el procesamiento de gráficos, pero se han adaptado para el entrenamiento de IA y, en menor medida, la inferencia. La adquisición de la tecnología y el talento de Groq podría darle a Nvidia una ventaja competitiva en el mercado de inferencia en rápida evolución.

El movimiento destaca la naturaleza inestable del diseño de chips de IA. Si bien las GPU de Nvidia han sido el caballo de batalla del desarrollo de la IA, la apuesta de la compañía por Groq indica una voluntad de explorar arquitecturas alternativas para satisfacer las demandas específicas de la inferencia. Esto podría conducir a una mayor innovación en el diseño de chips de IA y a un panorama más diverso de opciones de hardware para los desarrolladores de IA.