A pesquisa da DeepSeek sobre "memória condicional" visa abordar o uso ineficiente da computação de GPU em grandes modelos de linguagem (LLMs) ao acessar informações estáticas. O estudo recém-lançado introduz um módulo chamado Engram, projetado para separar a recuperação de padrões estáticos do raciocínio dinâmico, potencialmente economizando recursos computacionais significativos.
De acordo com a pesquisa, os LLMs empresariais frequentemente usam computação de GPU cara, projetada para raciocínio complexo, para simplesmente recuperar informações estáticas, como nomes de produtos, especificações técnicas ou cláusulas contratuais padrão. Essas pesquisas ocorrem milhões de vezes diariamente, desperdiçando ciclos computacionais e inflando os custos de infraestrutura. A equipe da DeepSeek, incluindo o coautor e fundador Liang Wenfeng, procurou otimizar esse processo.
Por meio de experimentação sistemática, a DeepSeek determinou que alocar 75% da capacidade do modelo esparso para raciocínio dinâmico e 25% para pesquisas estáticas forneceu o equilíbrio ideal entre computação e memória. Os resultados indicaram que este sistema de memória melhorou as capacidades de raciocínio de forma mais significativa do que a recuperação de conhecimento. As pontuações de benchmark de raciocínio complexo, medidas usando Big-Bench Hard, saltaram de 70% para 74% de precisão, enquanto os testes focados em conhecimento melhoraram de 57% para 61%.
As implicações desta pesquisa vão além de meros ganhos de eficiência. Ao otimizar como os LLMs acessam e processam informações, o trabalho da DeepSeek desafia as suposições fundamentais sobre o papel da memória em redes neurais. O módulo Engram permite uma abordagem mais matizada para a alocação de memória, potencialmente abrindo caminho para sistemas de IA mais eficientes e poderosos.
O desenvolvimento ocorre em um momento em que o consumo de energia e o impacto ambiental de grandes modelos de linguagem estão sob crescente escrutínio. Ao reduzir a sobrecarga computacional associada à recuperação de informações estáticas, a abordagem de memória condicional da DeepSeek pode contribuir para um desenvolvimento de IA mais sustentável. Mais pesquisas são necessárias para explorar a escalabilidade e a generalização do Engram em diferentes arquiteturas e aplicações de LLM.
AI-Assisted Journalism
This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.
Deep insights powered by AI
Continue exploring
Após a morte de Renee Good pelas mãos de um agente do ICE em Minnesota, ativistas locais estão intensificando os esforços para monitorar e alertar suas comunidades sobre a atividade do ICE. Essas redes descentralizadas patrulham bairros, rastreiam agentes do ICE e compartilham informações para proteger os residentes, levando a confrontos e acusações de terrorismo doméstico.
A Walt Disney Company nomeou Asad Ayaz como seu primeiro Chief Marketing and Brand Officer, um novo cargo criado para unificar os esforços de marketing em suas diversas divisões, incluindo parques, estúdios e esportes. Ayaz, anteriormente chefe de marketing da Walt Disney Studios, agora supervisionará todas as equipes de marketing da Disney, com o objetivo de aprimorar a eficácia das campanhas e impulsionar o crescimento dos negócios para toda a empresa. Essa mudança estratégica sinaliza a intenção da Disney de criar uma experiência de marca mais coesa e melhorar o engajamento do público em todo o seu vasto ecossistema de entretenimento.
A Paramount Skydance nomeou Dennis Cinelli, anteriormente CFO da empresa de IA Scale AI, como seu novo CFO em meio a uma batalha de aquisição com a Warner Bros. Discovery, sinalizando a crescente importância da experiência em IA na estratégia corporativa. A mudança destaca a interseção da mídia e da IA, à medida que as empresas buscam líderes com experiência em ambos os setores para navegar no cenário em evolução.
Jodie Foster atribui sua prevenção ao abuso sexual em Hollywood ao poder que ganhou no início de sua carreira, particularmente após sua indicação ao Oscar aos 12 anos por "Taxi Driver". Foster sugere que esse poder, incomum para uma jovem atriz, a protegeu das formas mais graves de abuso, embora reconheça ter vivenciado microagressões misóginas comuns e prevalentes no ambiente de trabalho.
O ator Timothy Busfield compareceu ao tribunal via Zoom, enfrentando acusações de abuso sexual e abuso infantil relacionadas a um incidente no set de "The Cleaning Lady". Detido sem fiança aguardando uma audiência, o caso de Busfield destaca preocupações contínuas sobre a segurança infantil em sets de produção de entretenimento e pode levar a um escrutínio renovado da indústria em relação às medidas de proteção no set.
A análise do conteúdo estomacal de um filhote de lobo da era glacial russa revelou DNA de um dos últimos rinocerontes-lanudos, sugerindo que sua extinção foi um colapso rápido, potencialmente desencadeado por mudanças climáticas. Este raro instantâneo genômico fornece informações valiosas sobre o pool genético de uma espécie à beira da extinção, aprofundando nossa compreensão dos eventos de extinção e o impacto das mudanças ambientais.
Um novo filme da Nature explora as perspectivas de pioneiros da IA sobre o potencial transformador da tecnologia em vários setores, destacando tanto a sua promessa quanto as potenciais preocupações sociais. A discussão enfatiza o papel crítico da ação humana na definição da trajetória da IA e a necessidade de um discurso informado em meio à desinformação.
A análise de fragmentos de cerâmica da Mesopotâmia com 8.000 anos revela evidências surpreendentemente precoces de pensamento matemático estruturado, antecedendo em milênios os primeiros números escritos conhecidos. Esta descoberta destaca as capacidades cognitivas das sociedades antigas e estimula uma investigação mais aprofundada sobre as origens e a evolução do raciocínio matemático.
Um estudo de imagem cerebral em larga escala indica que a perda de memória relacionada à idade está ligada ao encolhimento generalizado do cérebro, em vez de danos isolados, sugerindo um ponto de inflexão onde o declínio acelera. Esta pesquisa, que analisa milhares de ressonâncias magnéticas, destaca a complexa interação de múltiplas regiões cerebrais na função da memória, indo além do foco tradicional no hipocampo. As descobertas oferecem novas perspectivas sobre o cérebro em envelhecimento e podem informar futuras estratégias para mitigar o declínio cognitivo.
A fruta do monge, além de ser um adoçante natural, é agora reconhecida pelo seu teor de antioxidantes e compostos bioativos, oferecendo potencialmente benefícios para a saúde. A pesquisa indica que diferentes variedades de fruta do monge possuem perfis químicos únicos, sugerindo diversas aplicações em alimentos e suplementos para apoiar o bem-estar geral. Estas descobertas destacam a importância de explorar todo o potencial da fruta do monge na promoção da saúde.
Pesquisadores identificaram "ondas escuras marinhas", períodos súbitos e prolongados de escuridão subaquática causados por fatores como escoamento de sedimentos e proliferação de algas, que ameaçam ecossistemas marinhos dependentes de luz. Esta nova estrutura ajuda os cientistas a entender e comparar esses eventos de apagão, destacando o risco crescente para florestas de algas e pradarias marinhas devido ao declínio da clareza da água. O estudo ressalta a necessidade de abordar os fatores que contribuem para essas ondas escuras para proteger a vida oceânica vulnerável.
Pesquisadores identificaram um mecanismo pelo qual algumas estatinas induzem dor muscular: ao se ligarem a uma proteína muscular e causarem vazamento de cálcio dentro das células. Esta descoberta oferece um caminho potencial para o desenvolvimento de novas estatinas ou tratamentos que atenuem os efeitos colaterais musculares, melhorando a adesão do paciente a terapias de redução do colesterol.
Discussion
Join the conversation
Be the first to comment