A Nvidia anunciou dois avanços significativos com o objetivo de reduzir drasticamente os custos associados aos modelos de linguagem grandes (LLMs), potencialmente diminuindo as despesas em até oito vezes, de acordo com vários relatórios. Os pesquisadores da empresa revelaram a Dynamic Memory Sparsification (DMS), uma técnica para comprimir o cache de valores-chave, e vdb, uma biblioteca C leve para armazenamento e pesquisa eficientes de embeddings vetoriais de alta dimensão.
As inovações, detalhadas em relatórios do Hacker News, são projetadas para abordar as limitações de memória e melhorar a eficiência no tratamento de dados complexos dentro dos LLMs. A DMS busca otimizar o processamento de informações dentro dos modelos, enquanto a vdb oferece uma solução simplificada para gerenciar os grandes conjuntos de dados frequentemente exigidos por esses sistemas de IA avançados.
Esses avanços vêm à medida que o campo da interpretabilidade mecanicista em LLMs ganha atenção crescente. À medida que os LLMs se tornam maiores e mais capazes, entender seu funcionamento interno se torna cada vez mais importante, conforme destacado em uma postagem do Hacker News. Pesquisadores e engenheiros estão se esforçando para desenvolver uma base teórica sólida para entender a "inteligência" que emerge dos LLMs, de forma semelhante a como os engenheiros de software se beneficiam da compreensão de sistemas de arquivos e redes. A hipótese da representação linear e a superposição são dois conceitos fundamentais nesse campo, de acordo com a mesma fonte.
Em outras notícias, a Georgia Tech revelou os finalistas de sua competição anual de instrumentos musicais Guthman, apresentando instrumentos inovadores e não convencionais, de acordo com The Verge. Os finalistas deste ano incluem o Fiddle Henge, um henge tocável feito de violinos, e o Demon Box, um instrumento comercial que converte radiação eletromagnética em música.
Enquanto isso, a correspondente da NPR em Londres, Lauren Frayer, chegou a Londres após anos na Índia, cobrindo a Grã-Bretanha com o legado do império em vista, de acordo com a NPR News.
Discussion
AI Experts & Community
Be the first to comment