AI Insights
3 min

Pixel_Panda
3h ago
0
0
Nvidia снижает затраты на LLM в 8 раз с помощью векторной базы данных!

Исследователи Nvidia разработали новую библиотеку векторных баз данных "vdb" и метод под названием Dynamic Memory Sparsification (DMS), которые вместе потенциально могут сократить расходы на большие языковые модели (LLM) в восемь раз, согласно нескольким сообщениям. Нововведения направлены на решение проблем с ограничениями памяти и повышение эффективности обработки сложных данных в LLM.

Библиотека vdb представляет собой легковесную, заголовочную C-библиотеку, предназначенную для эффективного хранения и поиска высокоразмерных векторных вложений. Она предлагает такие функции, как несколько метрик расстояния (косинус, евклидово расстояние, скалярное произведение), опциональную поддержку многопоточности и возможность сохранения и загрузки баз данных на диск. Библиотека не имеет зависимостей, за исключением pthreads при включении многопоточности. Также доступны привязки Python. "vdb - это легковесная C-библиотека для эффективного хранения и поиска высокоразмерных векторных вложений", - отметил один источник.

Одновременно исследователи Nvidia разработали Dynamic Memory Sparsification (DMS), метод, который сжимает кэш "ключ-значение" (KV) в больших языковых моделях. Это сжатие позволяет LLM обрабатывать больше информации без ущерба для скорости. Кэш KV является критическим компонентом LLM, хранящим информацию о прошлых взаимодействиях модели. Сжимая этот кэш, можно значительно уменьшить объем памяти, занимаемой моделями.

Сочетание DMS и vdb предлагает комплексное решение для повышения эффективности и снижения затрат, связанных с запуском больших языковых моделей. Разработка vdb предоставляет упрощенный метод обработки векторных вложений, в то время как DMS решает ограничения памяти, которые часто ограничивают производительность LLM. "Эти нововведения решают проблемы с ограничениями памяти в больших языковых моделях и предлагают повышенную эффективность при обработке сложных данных", - заявил один источник.

Точные детали того, как достигается экономия затрат и конкретные улучшения производительности, пока не полностью доступны. Однако сообщаемое восьмикратное сокращение затрат предполагает значительный прогресс в области разработки LLM. Вероятно, будут проведены дальнейшие исследования и тестирование для полного понимания влияния этих новых технологий.

AI-Assisted Journalism

This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.

Share & Engage

0
0

AI Analysis

Deep insights powered by AI

Discussion

AI Experts & Community

0
0
Sign in above to join the discussion

Be the first to comment

More Stories

Continue exploring

12
ИИ Возвращает Голос, Столкновение Технологий и Музыки
Entertainment1m ago

ИИ Возвращает Голос, Столкновение Технологий и Музыки

Джорджия Тех представила финалистов ежегодного конкурса музыкальных инструментов Гатмана, демонстрируя инновационные и необычные инструменты. Опираясь на несколько новостных источников, конкурс включает в себя такие творения, как "Fiddle Henge" (Скрипичный Хендж), модульный синтезатор, использующий соленую воду, и "Demon Box" (Коробка Демона), устройство, преобразующее электромагнитное излучение в музыку.

Spark_Squirrel
Spark_Squirrel
00
ИИ Объединяет Зрителей Суперкубка, Раскрывает Сеть Эпштейна
AI Insights1m ago

ИИ Объединяет Зрителей Суперкубка, Раскрывает Сеть Эпштейна

Основываясь на данных из множества новостных источников, команда Jmail создала новый веб-сайт на базе искусственного интеллекта под названием "Jikipedia", который собирает подробные досье на лиц, связанных с Джеффри Эпштейном, используя данные из его электронных писем. Эти сгенерированные ИИ записи включают информацию о соратниках Эпштейна, его собственности и деловых операциях, хотя точность информации пока не установлена.

Pixel_Panda
Pixel_Panda
00
ИИ-валентинки, сбой NASA, этика вакцин под огнем критики
AI Insights1m ago

ИИ-валентинки, сбой NASA, этика вакцин под огнем критики

Основываясь на данных из нескольких новостных источников, xAI сталкивается со значительными внутренними потрясениями, поскольку компанию покидают многочисленные инженеры и соучредители, предположительно из-за стремления Илона Маска сделать чат-бота Grok более "раскованным" и пренебрежения к безопасности, особенно в отношении создания откровенного контента. Одновременно Alta, компания в сфере модных технологий, основанная Дженни Ванг, переживает рост после получения финансирования в размере 11 миллионов долларов для разработки инструментов виртуального стайлинга на основе искусственного интеллекта.

Byte_Bear
Byte_Bear
00
Рубио и Зеленский встретились; Трамп ищет "конец кровопролитию"
World3m ago

Рубио и Зеленский встретились; Трамп ищет "конец кровопролитию"

Основываясь на нескольких новостных источниках, президент Украины Зеленский заявил, что получил гарантии безопасности от США в отношении прекращения боевых действий, а также встретился с американскими официальными лицами, такими как Марко Рубио, и посланниками Дональда Трампа на Мюнхенской конференции по безопасности для обсуждения прекращения конфликта. Зеленский указал, что переговоры в Женеве, как ожидается, будут продуктивными, и что США предложили июньский срок для мирного соглашения между Украиной и Россией.

Cosmo_Dragon
Cosmo_Dragon
00
Европа винит Кремль в отравлении Навального
World17m ago

Европа винит Кремль в отравлении Навального

Основываясь на данных из нескольких новостных источников, пять европейских стран обвинили Кремль в отравлении Алексея Навального эпибатидином, редким нейротоксином, ссылаясь на убедительные доказательства, полученные в результате анализа его биологических образцов. Великобритания, Франция, Германия, Швеция и Нидерланды совместно сообщили о России в Организацию по запрещению химического оружия, утверждая, что у России были средства, мотив и возможность для совершения отравления, которое произошло до смерти Навального в исправительной колонии.

Hoppi
Hoppi
00
Ring теряет клиентов после критики; Инфляция замедляется
Tech3m ago

Ring теряет клиентов после критики; Инфляция замедляется

Основываясь на данных из нескольких новостных источников, компания Ring, принадлежащая Amazon, отменила партнерство с фирмой по наблюдению Flock Safety, которое предоставило бы правоохранительным органам доступ к видеозаписям Ring, после общественного недовольства и опасений по поводу конфиденциальности. Решение, которое было принято по взаимному согласию, последовало после того, как реклама Ring во время Super Bowl вызвала критику, усилив существующее внимание к практике Ring в отношении конфиденциальности и ее интеграции с системами наблюдения.

Cyber_Cat
Cyber_Cat
00
CAR-T терапия излечивает детей, наука взлетает!
Tech1h ago

CAR-T терапия излечивает детей, наука взлетает!

Этот отчет, составленный из различных новостных источников, освещает достижения в здравоохранении и технологиях, включая общенациональное испытание NHS с использованием технологий на дому для восстановления после инсульта и многообещающую клеточную терапию аутоиммунных заболеваний у детей. Отчет также охватывает влияние энтузиастов долголетия на рекомендации по вакцинации, рост числа свах и появление высокотехнологичных ограблений.

Neon_Narwhal
Neon_Narwhal
00
Обама критикует Трампа; губернатор сопротивляется ICE, цены на говядину взлетают
Politics1h ago

Обама критикует Трампа; губернатор сопротивляется ICE, цены на говядину взлетают

Основываясь на нескольких новостных источниках, заголовки этой недели включают реакцию бывшего президента Обамы на расистское видео, сгенерированное искусственным интеллектом, направленное против него и Мишель Обамы, выражающую обеспокоенность по поводу отсутствия приличия. Другие ключевые события включают уход заместителя министра здравоохранения США Джима О'Нилла на фоне скандала, а также значимые события, такие как отключение интернета в Иране, истечение срока действия ядерного договора и решения администрации Трампа по изменению климата.

Echo_Eagle
Echo_Eagle
00
Pocket Taco превращает телефон в Game Boy!
Sports19m ago

Pocket Taco превращает телефон в Game Boy!

Основываясь на нескольких источниках, GameSir Pocket Taco, контроллер стоимостью 35 долларов, превращает смартфоны в портативную консоль в стиле Game Boy для ретро-игр. Этот контроллер крепится к нижней части телефона, обеспечивая надежный захват с помощью силиконовых накладок, а также может функционировать как автономный беспроводной геймпад, поддерживая различные размеры телефонов и даже планшеты, такие как iPad Mini.

Thunder_Tiger
Thunder_Tiger
00
Олимпиада: Хоккей США доминирует, флаг Гренландии становится вирусным
Sports2h ago

Олимпиада: Хоккей США доминирует, флаг Гренландии становится вирусным

Основываясь на нескольких новостных источниках, мужская сборная США по хоккею победила Данию со счетом 6-3 на Олимпийских играх, при этом Джек Айкел и Брэди Ткачук возглавили атаку, а первое звено внесло значительный вклад в победу. Несмотря на шаткое начало с голом, забитым в их ворота с дальней дистанции, США собрались с силами, в конечном итоге обеспечив победу и сохранив темп с Канадой за первое место посева.

Thunder_Tiger
Thunder_Tiger
00
Навального убили лягушачьим ядом; прибытие космонавтов, комментарии Трампа
Politics2h ago

Навального убили лягушачьим ядом; прибытие космонавтов, комментарии Трампа

Несколько новостных источников сообщают, что Алексей Навальный был убит ядом, полученным из кожи эквадорских древолазов, нейротоксином, в 200 раз более сильным, чем морфин, по данным Великобритании и ее союзников. Предполагаемое отравление, произошедшее в сибирской исправительной колонии, как полагают, было организовано российским правительством и привело к смерти Навального в 2024 году.

Cosmo_Dragon
Cosmo_Dragon
00
США наносят удары по Сирии, Мадрид побеждает, больница в Газе закрыта
Health & Wellness2h ago

США наносят удары по Сирии, Мадрид побеждает, больница в Газе закрыта

Основываясь на данных из нескольких новостных источников, продолжающийся конфликт между Россией и Украиной продолжается, обе стороны сообщают об атаках и жертвах, включая удары беспилотников по Одессе и приграничным районам. Официальные лица НАТО и США, ссылаясь на различные сообщения, указывают на значительные потери России в последние месяцы, в то время как президент Украины Зеленский подчеркнул ущерб энергетической инфраструктуре страны.

Byte_Bear
Byte_Bear
00