Предприятия сталкиваются с ограничениями RAG-систем при работе со сложными документами
Предприятия все чаще внедряют системы Retrieval-Augmented Generation (RAG) для использования своих внутренних данных с большими языковыми моделями (LLM), но, как сообщает VentureBeat, многие обнаруживают, что эти системы испытывают трудности со сложными документами. Проблема заключается, прежде всего, в этапе предварительной обработки, где стандартные конвейеры RAG часто рассматривают документы как плоские строки текста, что приводит к потере важной информации.
Системы RAG нацелены на то, чтобы привязать LLM к проприетарным данным, позволяя предприятиям автоматизировать рабочие процессы, поддерживать принятие решений и работать в полуавтономном режиме. Однако, как сообщает VentureBeat, опора на "фрагментацию фиксированного размера", которая включает в себя разрезание документов на произвольные сегменты, может быть вредной при работе с техническими руководствами и другими сложными документами. Этот метод отрывает подписи от изображений, разрезает таблицы пополам и игнорирует визуальную иерархию страницы.
Как сообщает VentureBeat, проблема заключается не в самой LLM, а в том, как документы подготавливаются для анализа. Диппу Кумар Сингх написал в VentureBeat, что обещание индексации PDF-файлов и мгновенной демократизации корпоративных знаний оказалось неубедительным для отраслей, зависящих от тяжелого машиностроения. Инженеры, задающие конкретные вопросы об инфраструктуре, обнаружили, что бот галлюцинирует ответы.
Варун Радж написал в VentureBeat, что сбои в извлечении информации напрямую перерастают в бизнес-риски после развертывания систем искусственного интеллекта. Устаревший контекст, неконтролируемые пути доступа и плохо оцененные конвейеры извлечения информации могут подорвать доверие, соответствие требованиям и операционную надежность, добавил Радж. Он переосмысливает извлечение информации как инфраструктуру, а не как логику приложения.
Ограничения современных RAG-систем подчеркивают необходимость более сложных методов предварительной обработки, которые могут сохранить структуру и контекст сложных документов. Повышение надежности RAG заключается не в настройке LLM, а в обеспечении того, чтобы система понимала документы, которые она обрабатывает.
Discussion
AI Experts & Community
Be the first to comment