Café Vence a Microdosagem, Fungo Assassino à Espreita e Sistemas RAG Falham

Empresas lidam com as limitações dos sistemas RAG no manuseio de documentos complexos

As empresas estão adotando cada vez mais sistemas de Geração Aumentada por Recuperação (RAG) para aproveitar seus dados internos com Modelos de Linguagem Grandes (LLMs), mas muitas estão descobrindo que esses sistemas têm dificuldades com documentos sofisticados, de acordo com a VentureBeat. O problema reside principalmente no estágio de pré-processamento, onde os pipelines RAG padrão geralmente tratam os documentos como strings de texto planas, levando à perda de informações cruciais.

Os sistemas RAG visam fundamentar os LLMs em dados proprietários, permitindo que as empresas automatizem fluxos de trabalho, apoiem a tomada de decisões e operem de forma semiautônoma. No entanto, a dependência do "chunking de tamanho fixo", que envolve cortar documentos em segmentos arbitrários, pode ser prejudicial ao lidar com manuais técnicos e outros documentos complexos, informou a VentureBeat. Este método separa legendas de imagens, divide tabelas ao meio e desconsidera a hierarquia visual da página.

De acordo com a VentureBeat, a falha não está no próprio LLM, mas na forma como os documentos são preparados para análise. Dippu Kumar Singh escreveu na VentureBeat que a promessa de indexar PDFs e democratizar instantaneamente o conhecimento corporativo tem sido decepcionante para as indústrias dependentes de engenharia pesada. Engenheiros que fazem perguntas específicas sobre infraestrutura descobriram que o bot alucina respostas.

Varun Raj escreveu na VentureBeat que as falhas na recuperação se propagam diretamente para o risco de negócios quando os sistemas de IA são implantados. Contexto desatualizado, caminhos de acesso não controlados e pipelines de recuperação mal avaliados podem minar a confiança, a conformidade e a confiabilidade operacional, acrescentou Raj. Ele reformula a recuperação como infraestrutura, em vez de lógica de aplicação.

As limitações dos sistemas RAG atuais destacam a necessidade de técnicas de pré-processamento mais sofisticadas que possam preservar a estrutura e o contexto de documentos complexos. Melhorar a confiabilidade do RAG não se trata de ajustar o LLM; trata-se de garantir que o sistema entenda os documentos que está processando.