Вот новостная статья, объединяющая информацию из предоставленных источников:
В последних отчетах освещены достижения в области искусственного интеллекта и проблемы безопасности
В последних отчетах освещены достижения в области искусственного интеллекта, от агентов кодирования до проблем обработки сложных документов, а также подняты серьезные вопросы безопасности. Согласно многочисленным источникам, быстрое развитие и развертывание инструментов ИИ, особенно агентного ИИ, выявили уязвимости в существующих моделях безопасности.
Одной из областей, находящихся в центре внимания, является эффективность систем Retrieval-Augmented Generation (RAG). Согласно VentureBeat, многие предприятия развернули системы RAG с обещанием демократизации корпоративных знаний путем индексации PDF-файлов и подключения их к большим языковым моделям (LLM). Однако эти системы часто не оправдывают ожиданий, особенно в отраслях, зависящих от тяжелого машиностроения. "Проблема не в LLM. Проблема в предварительной обработке", - сообщает VentureBeat, отмечая, что стандартные конвейеры RAG рассматривают документы как плоские строки текста, используя чанки фиксированного размера, которые могут разрушить логику технических руководств, разрезая таблицы и отрывая подписи от изображений.
Между тем, рост агентного ИИ привел к новым рискам безопасности. OpenClaw, AI-ассистент с открытым исходным кодом, получил значительную поддержку, набрав более 180 000 звезд на GitHub и привлек 2 миллиона посетителей за одну неделю, по словам его создателя Питера Штайнбергера, сообщает VentureBeat. Однако исследователи безопасности обнаружили более 1800 открытых экземпляров, раскрывающих ключи API, истории чатов и учетные данные. VentureBeat отметил, что это низовое движение агентного ИИ представляет собой значительную, неуправляемую поверхность атаки, которую многие инструменты безопасности не могут обнаружить. В отчете подчеркивается, что традиционные периметры безопасности часто не видят угроз агентного ИИ, особенно когда агенты работают на оборудовании BYOD.
Разработка агентов кодирования также прогрессирует, разработчики изучают минималистичные и субъективные дизайны. Один разработчик подробно рассказал о своем опыте создания такого агента, подчеркнув использование нескольких моделей, структурированные результаты разделения инструментов и минимальный системный запрос. Разработчик отметил такие дизайнерские решения, как "нет встроенных задач", "нет режима планирования" и "нет поддержки MCP", что отражает акцент на простоте и прямоте.
Discussion
AI Experts & Community
Be the first to comment