A Nvidia, a força dominante em chips de IA graças às suas GPUs, fez um movimento significativo ao licenciar tecnologia da Groq, uma startup especializada em inferência de IA, e contratar uma grande parte de sua equipe, incluindo o fundador e CEO Jonathan Ross. O acordo, anunciado pouco antes do feriado de Natal, sinaliza o reconhecimento da Nvidia da crescente importância da inferência de IA eficiente e econômica, o processo de execução de modelos de IA treinados em escala.

A inferência é o estágio em que a IA faz a transição de um projeto de pesquisa para um serviço gerador de receita. Cada interação com um modelo de IA implantado, desde responder a uma pergunta até gerar código ou alimentar um chatbot, se enquadra na inferência. Esta fase está sob intensa pressão para minimizar custos, reduzir a latência (o tempo que uma IA leva para responder) e maximizar a eficiência.

A economia da inferência de IA está se tornando um campo de batalha crucial, à medida que as empresas buscam monetizar seus investimentos em IA. O CEO da Nvidia, Jensen Huang, reconheceu publicamente os desafios da inferência. O investimento da empresa na Groq sugere que ela acredita que arquiteturas especializadas, além das GPUs, podem ser necessárias para otimizar o desempenho da inferência.

Os chips da Groq são projetados especificamente para inferência de IA rápida e de baixa latência. Essa abordagem contrasta com as GPUs, que foram inicialmente projetadas para processamento gráfico, mas foram adaptadas para treinamento de IA e, em menor grau, para inferência. A aquisição da tecnologia e do talento da Groq pode dar à Nvidia uma vantagem competitiva no mercado de inferência em rápida evolução.

A mudança destaca a natureza instável do design de chips de IA. Embora as GPUs da Nvidia tenham sido o motor do desenvolvimento de IA, a aposta da empresa na Groq indica uma vontade de explorar arquiteturas alternativas para atender às demandas específicas da inferência. Isso pode levar a mais inovação no design de chips de IA e a um cenário mais diversificado de opções de hardware para desenvolvedores de IA.