Вот новостная статья, обобщающая информацию из предоставленных источников:
Риски безопасности агентного ИИ проявляются по мере выявления ограничений системы RAG
Согласно последним отчетам, быстрое внедрение систем Retrieval-Augmented Generation (RAG) выявляет как уязвимости в безопасности, так и ограничения в обработке сложных документов. Хотя RAG обещает демократизировать корпоративные знания путем индексации документов и подключения к большим языковым моделям (LLM), исследователи в области безопасности обнаружили значительные риски, связанные с агентным ИИ, а разработчики обнаруживают, что стандартные конвейеры RAG испытывают трудности со сложными документами.
OpenClaw, AI-помощник с открытым исходным кодом, ранее известный как Clawdbot и Moltbot, достиг 180 000 звезд на GitHub и привлек 2 миллиона посетителей за одну неделю, по словам его создателя Питера Штайнбергера. Однако эта популярность выявила недостатки в безопасности. Исследователи в области безопасности обнаружили более 1800 раскрытых экземпляров, утекающих ключи API, истории чатов и учетные данные. Это подчеркивает, как низовое движение агентного ИИ может создавать неуправляемые поверхности атак, которые часто упускаются из виду традиционными инструментами безопасности, сообщает VentureBeat. Когда агенты работают на оборудовании Bring Your Own Device (BYOD), корпоративные стеки безопасности могут стать слепы к потенциальным угрозам.
Помимо проблем безопасности, ставится под сомнение эффективность систем RAG, особенно в отраслях, полагающихся на сложную документацию. Стандартные конвейеры RAG часто рассматривают документы как плоские строки текста, используя методы разбиения на фрагменты фиксированного размера, которые могут нарушить логику технических руководств, согласно отчету VentureBeat. Такой подход может разрезать таблицы, отделить подписи от изображений и игнорировать визуальную иерархию страницы, что приводит к неточным результатам, когда инженеры задают конкретные вопросы. "Проблема не в LLM. Проблема в предварительной обработке", - сообщает VentureBeat.
Чтобы устранить ограничения стандартного RAG, появилась новая платформа с открытым исходным кодом под названием PageIndex. PageIndex отказывается от традиционного метода "разбить на фрагменты и встроить" и рассматривает поиск документов как проблему навигации, а не как проблему поиска, сообщает VentureBeat. Эта платформа достигла 98,7% точности на документах, где векторный поиск обычно терпит неудачу. Поскольку предприятия пытаются интегрировать RAG в рабочие процессы с высокими ставками, такие как аудит финансовых отчетов и анализ юридических контрактов, они сталкиваются с барьерами точности, которые одна лишь оптимизация фрагментов не может преодолеть.
Discussion
AI Experts & Community
Be the first to comment