Проблемы безопасности и практичности в развитии ИИ
Последние разработки в области искусственного интеллекта, особенно в сфере агентного ИИ и систем Retrieval-Augmented Generation (RAG), сталкиваются со значительными проблемами, связанными с уязвимостями в безопасности и практическими ограничениями. Быстрый рост популярности ИИ-ассистентов с открытым исходным кодом, таких как OpenClaw, в сочетании со сложностями обработки технических документов, вызывает обеспокоенность у разработчиков и команд корпоративной безопасности.
OpenClaw, ИИ-ассистент с открытым исходным кодом, ранее известный как Clawdbot и Moltbot, пережил всплеск популярности, достигнув 180 000 звезд на GitHub и привлекая два миллиона посетителей за одну неделю, по словам его создателя Питера Штайнбергера. Однако такое быстрое распространение выявило критические недостатки в безопасности. Исследователи в области безопасности обнаружили более 1800 открытых экземпляров, раскрывающих API-ключи, истории чатов и учетные данные. Это подчеркивает значительный пробел в безопасности, поскольку традиционные меры безопасности часто не могут обнаружить угрозы от агентов, работающих на оборудовании Bring Your Own Device (BYOD), оставляя стеки безопасности в неведении. Луис Колумбус из VentureBeat отметил, что массовое движение агентного ИИ представляет собой "самую большую неуправляемую поверхность атаки, которую большинство инструментов безопасности не видят".
Между тем, эффективность систем RAG в обработке сложных документов также находится под пристальным вниманием. Многие предприятия развернули системы RAG в надежде демократизировать корпоративные знания путем индексации PDF-файлов и подключения их к большим языковым моделям (LLM). Однако для отраслей, полагающихся на тяжелое машиностроение, результаты оказались неудовлетворительными. Согласно статье Диппу Кумара Сингха в VentureBeat, проблема заключается в предварительной обработке документов. Стандартные конвейеры RAG часто рассматривают документы как плоские строки текста, используя методы фрагментации фиксированного размера, которые могут "разрушить логику технических руководств", разрезая таблицы, отрывая подписи от изображений и игнорируя визуальные иерархии. Это приводит к галлюцинациям LLM и неточным ответам на конкретные инженерные запросы.
Проблемы выходят за рамки безопасности и обработки документов. Один из пользователей Hacker News подробно рассказал о своем опыте создания "субъективного и минималистичного кодирующего агента", подчеркнув важность структурированных результатов инструментов и минимальных системных подсказок. Пользователь также отметил отказ от сложных функций, таких как встроенные списки дел, режимы планирования и субагенты, предложив сосредоточиться на простоте и прямоте в проектировании кодирующих агентов.
Эти события указывают на то, что, хотя ИИ-технологии быстро развиваются, предстоит проделать значительную работу для устранения уязвимостей в безопасности и улучшения практического применения этих систем в сложных средах. Необходимость в более сложных методах обработки документов и надежных мерах безопасности становится все более очевидной по мере того, как инструменты ИИ становятся все более распространенными.
Discussion
AI Experts & Community
Be the first to comment