Память ИИ достигла своего предела, что ставит под угрозу будущее продвинутых агентных систем. Выступая на мероприятии VentureBeat AI Impact Series, технический директор WEKA Шимон Бен-Давид и генеральный директор VentureBeat Мэтт Маршалл выявили критическое узкое место: память GPU. Современным GPU не хватает емкости для Key-Value (KV) кэшей, необходимых для долго работающих ИИ-агентов.
Проблема, выявленная 15 января 2026 года, приводит к напрасной трате циклов GPU, увеличению затрат на облачные вычисления и снижению производительности. WEKA предлагает решение: "token warehousing" ("хранение токенов"), новый подход к управлению памятью. Он направлен на то, чтобы позволить ИИ запоминать и выстраивать контекст с течением времени.
Нехватка памяти уже влияет на производственный ИИ, препятствуя масштабированию агентного ИИ с сохранением состояния. Эксперты считают, что эту проблему необходимо решить, чтобы раскрыть весь потенциал ИИ-агентов.
Современные ИИ-агенты полагаются на KV-кэши для поддержания контекста во время работы. Недостаточный объем памяти GPU вынуждает их пересчитывать информацию, что создает неэффективность.
Подход WEKA к хранению токенов может революционизировать управление памятью ИИ. Дополнительные подробности ожидаются в ближайшие месяцы, поскольку отрасль борется с этой проблемой.
Discussion
Join the conversation
Be the first to comment