ИИ и Наука Совершают Прорывы: От Кофейных Лекарств до Более Умного Поиска!

Новые подходы к улучшению понимания документов для систем ИИ

Предприятия все чаще внедряют системы Retrieval-Augmented Generation (RAG) для использования своих внутренних знаний, но проблемы с точной обработкой сложных документов остаются. Хотя RAG обещает "индексировать ваши PDF-файлы, подключить LLM и мгновенно демократизировать корпоративные знания", как сообщает VentureBeat, реальность для отраслей, зависящих от сложной документации, оказалась далекой от идеала.

Стандартные конвейеры RAG часто рассматривают документы как простые текстовые строки, используя такие методы, как "разделение на фрагменты фиксированного размера", которые могут нарушить логику технических руководств, разрезая таблицы, обрывая подписи и игнорируя визуальную иерархию, сообщает VentureBeat. Это может привести к неточным результатам, когда инженеры задают конкретные вопросы, заставляя ИИ "галлюцинировать".

Для устранения этих ограничений разрабатываются новые фреймворки. Один из таких фреймворков, PageIndex, использует другой подход, рассматривая извлечение документов как проблему навигации, а не как проблему поиска, сообщает VentureBeat. PageIndex полностью отказывается от стандартного метода "chunk-and-embed". Этот фреймворк достиг 98,7% точности на документах, где векторный поиск потерпел неудачу, отмечает VentureBeat.

Необходимость улучшения понимания документов особенно остро ощущается, когда предприятия пытаются использовать RAG в критически важных рабочих процессах, таких как аудит финансовых отчетов, анализ юридических контрактов и навигация по фармацевтическим протоколам, сообщает VentureBeat. Проблема не в LLM, а в предварительной обработке.

Помимо обработки документов, происходят и другие научные достижения. Продолжаются исследования в таких областях, как альтернативные методы лечения депрессии, причем исследования показывают, что чашка кофе может дать лучшие результаты, чем микродозирование психоделических препаратов, сообщает Ars Technica. Кроме того, ученые изучают использование грибов в качестве потенциального инсектицида, предлагая менее вредную альтернативу традиционным методам борьбы с древоядными насекомыми, такими как жуки и термиты, сообщает Ars Technica.