В последних отчетах подчеркиваются достижения в области ИИ и проблемы безопасности
Множество недавних отчетов и релизов из сектора ИИ демонстрируют как быстрые достижения в возможностях моделей ИИ, так и возникающие проблемы безопасности, которые их сопровождают. От улучшенной обработки документов до AI-агентов с открытым исходным кодом, ландшафт быстро развивается, требуя внимания от разработчиков, предприятий и специалистов по безопасности.
Arcee, AI-лаборатория из Сан-Франциско, выпустила свою самую большую на сегодняшний день языковую модель с открытым исходным кодом, Trinity Large, смесь экспертов (MoE) с 400 миллиардами параметров. Согласно отчету VentureBeat, модель доступна в предварительном просмотре. Наряду с этим, Arcee также выпустила Trinity-Large-TrueBase, "сырую" контрольную модель, позволяющую исследователям изучать тонкости разреженной MoE с 400B параметрами. Карл Франзен из VentureBeat отметил, что Arcee в прошлом году произвела фурор, став одной из немногих компаний в США, которая обучает большие языковые модели (LLM) с нуля и выпускает их под открытыми или частично открытыми лицензиями.
Между тем, сохраняются проблемы в эффективном использовании ИИ для сложного анализа документов. Стандартные системы retrieval-augmented generation (RAG) часто испытывают трудности со сложными документами, рассматривая их как плоские строки текста и используя "chunking фиксированного размера", согласно VentureBeat. Этот метод, хотя и подходит для прозы, может нарушить логику технических руководств, разрывая таблицы, подписи и визуальные иерархии. Бен Диксон из VentureBeat сообщил, что новая платформа с открытым исходным кодом под названием PageIndex решает эту проблему, рассматривая поиск документов как проблему навигации, а не как проблему поиска, достигая 98,7% точности на документах, где векторный поиск терпит неудачу.
Однако рост агентного ИИ также представляет значительные риски для безопасности. OpenClaw, AI-ассистент с открытым исходным кодом, набрал 180 000 звезд на GitHub и привлек 2 миллиона посетителей за одну неделю, по словам создателя Питера Штайнбергера. Луис Колумбус из VentureBeat сообщил, что исследователи безопасности обнаружили более 1800 раскрытых экземпляров, утекающих ключи API, истории чатов и учетные данные. Это подчеркивает, как массовое движение агентного ИИ может стать неуправляемой поверхностью атаки, часто невидимой для традиционных инструментов безопасности, особенно когда агенты работают на оборудовании BYOD.
Разработка кодирующих агентов также прогрессирует, при этом разработчики изучают минимальные и субъективные подходы. Один разработчик поделился своим опытом создания такого агента, подчеркнув акцент на минимальных системных подсказках и наборах инструментов, а также отказавшись от таких функций, как встроенные списки дел и режимы планирования, как сообщалось на Hacker News.
Эти разработки подчеркивают необходимость многогранного подхода к внедрению ИИ, балансируя инновации с надежными мерами безопасности и устраняя ограничения существующих систем ИИ в обработке сложной информации.
Discussion
AI Experts & Community
Be the first to comment