Nvidia, la force dominante dans le domaine des puces d'IA grâce à ses GPU, a fait un geste significatif en acquérant une licence technologique de Groq, une startup spécialisée dans l'inférence d'IA, et en embauchant une grande partie de son équipe, y compris le fondateur et PDG Jonathan Ross. L'accord, annoncé juste avant les vacances de Noël, signale la reconnaissance par Nvidia de l'importance croissante d'une inférence d'IA efficace et rentable, le processus d'exécution de modèles d'IA entraînés à grande échelle.

L'inférence est l'étape où l'IA passe d'un projet de recherche à un service générateur de revenus. Chaque interaction avec un modèle d'IA déployé, qu'il s'agisse de répondre à une question, de générer du code ou d'alimenter un chatbot, relève de l'inférence. Cette phase est soumise à une forte pression pour minimiser les coûts, réduire la latence (le temps qu'il faut à une IA pour répondre) et maximiser l'efficacité.

L'économie de l'inférence d'IA devient un champ de bataille crucial, car les entreprises cherchent à monétiser leurs investissements dans l'IA. Le PDG de Nvidia, Jensen Huang, a publiquement reconnu les défis de l'inférence. L'investissement de l'entreprise dans Groq suggère qu'elle pense que des architectures spécialisées, au-delà des seuls GPU, pourraient être nécessaires pour optimiser les performances d'inférence.

Les puces de Groq sont conçues spécifiquement pour une inférence d'IA rapide et à faible latence. Cette approche contraste avec les GPU, qui ont été initialement conçus pour le traitement graphique, mais qui ont été adaptés à l'entraînement de l'IA et, dans une moindre mesure, à l'inférence. L'acquisition de la technologie et des talents de Groq pourrait donner à Nvidia un avantage concurrentiel sur le marché de l'inférence en évolution rapide.

Cette initiative souligne la nature instable de la conception des puces d'IA. Alors que les GPU de Nvidia ont été le cheval de bataille du développement de l'IA, le pari de l'entreprise sur Groq indique une volonté d'explorer des architectures alternatives pour répondre aux demandes spécifiques de l'inférence. Cela pourrait conduire à de nouvelles innovations dans la conception des puces d'IA et à un paysage plus diversifié d'options matérielles pour les développeurs d'IA.