Novas Abordagens Surgem para Aprimorar a Compreensão de Documentos para Sistemas de IA
As empresas estão adotando cada vez mais sistemas de Geração Aumentada por Recuperação (RAG) para aproveitar seu conhecimento interno, mas os desafios permanecem no processamento preciso de documentos complexos. Embora o RAG prometa "indexar seus PDFs, conectar um LLM e democratizar instantaneamente o conhecimento corporativo", de acordo com a VentureBeat, a realidade para as indústrias que dependem de documentação complexa tem sido menos do que ideal.
Os pipelines RAG padrão geralmente tratam os documentos como strings de texto simples, usando métodos como "divisão em blocos de tamanho fixo" que podem interromper a lógica de manuais técnicos, cortando tabelas, separando legendas e ignorando a hierarquia visual, relatou a VentureBeat. Isso pode levar a resultados imprecisos quando os engenheiros fazem perguntas específicas, fazendo com que a IA "alucine".
Para resolver essas limitações, novas estruturas estão sendo desenvolvidas. Uma dessas estruturas, o PageIndex, adota uma abordagem diferente, tratando a recuperação de documentos como um problema de navegação, em vez de um problema de pesquisa, de acordo com a VentureBeat. O PageIndex abandona completamente o método padrão de "dividir e incorporar". Essa estrutura alcançou uma taxa de precisão de 98,7% em documentos onde a pesquisa vetorial falhou, observou a VentureBeat.
A necessidade de uma melhor compreensão dos documentos é particularmente aguda, pois as empresas tentam usar o RAG em fluxos de trabalho de alto risco, como auditoria de demonstrações financeiras, análise de contratos legais e navegação em protocolos farmacêuticos, relatou a VentureBeat. A falha não está no LLM, mas no pré-processamento.
Além do processamento de documentos, outros avanços científicos estão ocorrendo. A pesquisa continua em áreas como tratamentos alternativos para depressão, com estudos sugerindo que uma xícara de café pode ter melhores resultados do que a microdosagem de drogas psicodélicas, de acordo com a Ars Technica. Além disso, os cientistas estão explorando o uso de fungos como um potencial inseticida, oferecendo uma alternativa menos nociva aos métodos tradicionais para controlar insetos que devoram madeira, como besouros e cupins, relatou a Ars Technica.
Discussion
AI Experts & Community
Be the first to comment