Nouvelles approches pour améliorer la compréhension des documents par les systèmes d'IA
Les entreprises adoptent de plus en plus les systèmes de génération augmentée par la récupération (RAG) pour exploiter leurs connaissances internes, mais des défis subsistent quant au traitement précis de documents complexes. Bien que la RAG promette « d'indexer vos PDF, de connecter un LLM et de démocratiser instantanément vos connaissances d'entreprise », selon VentureBeat, la réalité pour les industries qui dépendent d'une documentation complexe est loin d'être idéale.
Les pipelines RAG standard traitent souvent les documents comme de simples chaînes de texte, en utilisant des méthodes telles que le « chunking de taille fixe » qui peuvent perturber la logique des manuels techniques en coupant les tableaux, en sectionnant les légendes et en ignorant la hiérarchie visuelle, a rapporté VentureBeat. Cela peut entraîner des résultats inexacts lorsque les ingénieurs posent des questions spécifiques, ce qui amène l'IA à « halluciner ».
Pour pallier ces limitations, de nouveaux cadres sont en cours de développement. L'un de ces cadres, PageIndex, adopte une approche différente en traitant la récupération de documents comme un problème de navigation plutôt que comme un problème de recherche, selon VentureBeat. PageIndex abandonne complètement la méthode standard de « chunk-and-embed ». Ce cadre a atteint un taux de précision de 98,7 % sur les documents où la recherche vectorielle a échoué, a noté VentureBeat.
Le besoin d'une meilleure compréhension des documents est particulièrement aigu alors que les entreprises tentent d'utiliser la RAG dans des flux de travail à enjeux élevés tels que l'audit des états financiers, l'analyse des contrats juridiques et la navigation dans les protocoles pharmaceutiques, a rapporté VentureBeat. L'échec ne réside pas dans le LLM, mais dans le prétraitement.
Au-delà du traitement des documents, d'autres avancées scientifiques se produisent. La recherche se poursuit dans des domaines tels que les traitements alternatifs de la dépression, avec des études suggérant qu'une tasse de café pourrait avoir de meilleurs résultats que le microdosage de drogues psychédéliques, selon Ars Technica. De plus, les scientifiques explorent l'utilisation de champignons comme insecticide potentiel, offrant une alternative moins nocive aux méthodes traditionnelles de lutte contre les insectes xylophages comme les coléoptères et les termites, a rapporté Ars Technica.
Discussion
AI Experts & Community
Be the first to comment