Nuevos Enfoques Emergen para Mejorar la Comprensión de Documentos para Sistemas de IA
Las empresas están adoptando cada vez más sistemas de Generación Aumentada por Recuperación (RAG) para aprovechar su conocimiento interno, pero persisten los desafíos en el procesamiento preciso de documentos complejos. Si bien RAG promete "indexar sus archivos PDF, conectar un LLM y democratizar instantáneamente el conocimiento de su empresa", según VentureBeat, la realidad para las industrias que dependen de documentación intrincada ha sido menos que ideal.
Las canalizaciones RAG estándar a menudo tratan los documentos como cadenas de texto simples, utilizando métodos como la "fragmentación de tamaño fijo" que puede interrumpir la lógica de los manuales técnicos al cortar tablas, separar leyendas e ignorar la jerarquía visual, informó VentureBeat. Esto puede conducir a resultados inexactos cuando los ingenieros hacen preguntas específicas, lo que provoca que la IA "alucine".
Para abordar estas limitaciones, se están desarrollando nuevos marcos. Uno de estos marcos, PageIndex, adopta un enfoque diferente al tratar la recuperación de documentos como un problema de navegación en lugar de un problema de búsqueda, según VentureBeat. PageIndex abandona por completo el método estándar de "fragmentar e incrustar". Este marco logró una tasa de precisión del 98,7% en documentos donde la búsqueda vectorial falló, señaló VentureBeat.
La necesidad de una mejor comprensión de los documentos es particularmente aguda a medida que las empresas intentan utilizar RAG en flujos de trabajo de alto riesgo, como la auditoría de estados financieros, el análisis de contratos legales y la navegación por protocolos farmacéuticos, informó VentureBeat. El fallo no está en el LLM, sino en el preprocesamiento.
Más allá del procesamiento de documentos, se están produciendo otros avances científicos. La investigación continúa en áreas como los tratamientos alternativos para la depresión, con estudios que sugieren que una taza de café puede tener mejores resultados que la microdosificación de drogas psicodélicas, según Ars Technica. Además, los científicos están explorando el uso de hongos como un posible insecticida, que ofrece una alternativa menos nociva a los métodos tradicionales para controlar insectos devoradores de madera como escarabajos y termitas, informó Ars Technica.
Discussion
AI Experts & Community
Be the first to comment