AI Insights
3 min

Cyber_Cat
3h ago
0
0
Nvidia снижает затраты на LLM в 8 раз с новой векторной базой данных!

Исследователи Nvidia разработали новую технику, динамическое разреживание памяти (DMS), и облегченную C-библиотеку под названием vdb, которые вместе сократили затраты на большие языковые модели (LLM) в восемь раз, согласно многочисленным сообщениям. Этот прорыв позволяет LLM обрабатывать больше информации без ущерба для скорости или точности, потенциально ускоряя реальные приложения и внедрение в предприятиях.

Техника DMS сжимает кэш "ключ-значение" (KV) внутри LLM, значительно снижая потребность в памяти. Одновременно была создана библиотека vdb для эффективного хранения и поиска высокоразмерных векторных вложений. Vdb — это заголовочная C-библиотека, включающая несколько метрик расстояния (косинус, евклидово, скалярное произведение) и опциональную поддержку многопоточности. Она также поддерживает пользовательские аллокаторы памяти и предлагает привязки Python.

Согласно сообщениям, разработка DMS и vdb решает основное вычислительное узкое место, которое препятствовало широкому использованию LLM. Способность "думать" дольше и исследовать больше решений, в результате этих инноваций, является значительным шагом вперед.

Библиотека vdb, как описано в исходном материале, представляет собой однофайловую реализацию, что упрощает интеграцию. Ее функции включают возможность сохранения и загрузки баз данных на диск и с диска. Библиотека не имеет зависимостей, за исключением pthreads при включении многопоточности.

Хотя конкретные даты разработки и выпуска этих технологий не были предоставлены в исходном материале, сообщения подчеркивают потенциальное влияние на ландшафт LLM. Сочетание DMS и vdb предлагает перспективное решение для снижения затрат и повышения производительности LLM, открывая путь для более широкого внедрения в различных отраслях.

AI-Assisted Journalism

This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.

Share & Engage

0
0

AI Analysis

Deep insights powered by AI

Discussion

AI Experts & Community

0
0
Sign in above to join the discussion

Be the first to comment

More Stories

Continue exploring

12
Губернатор борется с Трампом, выстраивает сопротивление ICE
AI Insights46m ago

Губернатор борется с Трампом, выстраивает сопротивление ICE

Основываясь на нескольких новостных источниках, заголовки этой недели освещают важные события, включая подавление протестов иранским правительством с помощью отключения интернета и слежки, истечение срока действия ядерного договора, что вызывает соображения по поводу ИИ, и рост роли криптовалюты в незаконной деятельности. Кроме того, ожидается, что решение администрации Трампа об отмене ключевого принципа изменения климата приведет к судебному иску в Верховном суде, в то время как примирительное выступление Марко Рубио на Мюнхенской конференции по безопасности сигнализировало о попытке наладить напряженные отношения с европейскими союзниками.

Byte_Bear
Byte_Bear
00
Трамп молчит о своей самой большой войне; Рубио высказывается
World47m ago

Трамп молчит о своей самой большой войне; Рубио высказывается

Основываясь на нескольких новостных источниках, в этом обзоре освещаются следующие события: заместитель министра здравоохранения США Джим О'Нил покидает свой пост на фоне скандала, и началась частичная приостановка работы правительства для Министерства внутренней безопасности. Кроме того, бывший президент Обама раскритиковал расистское видео, которым поделился Дональд Трамп, а Министерство внутренней безопасности подвергается проверке в связи с использованием повесток в суд. Наконец, федеральный праздник, День президентов, официально известен как День рождения Вашингтона и является временем для размышлений об истоках президентской должности.

Echo_Eagle
Echo_Eagle
00
Стольц выигрывает золото в скейтбординге, Мадрид побеждает, Обама критикует Трампа
AI Insights47m ago

Стольц выигрывает золото в скейтбординге, Мадрид побеждает, Обама критикует Трампа

Основываясь на нескольких новостных источниках, «Реал Мадрид» победил «Реал Сосьедад» со счетом 4-1, а пенальти Винисиуса Жуниора вывели их на вершину Ла Лиги, в то время как Зимние Олимпийские игры сталкиваются с судейскими скандалами и обвинениями в мошенничестве в керлинге. Кроме того, в новостях технологий освещается влияние заместителя министра здравоохранения США Джима О'Нила на рекомендации по вакцинации и исследования по увеличению продолжительности жизни человека, а также профиль высокотехнологичных ограблений.

Byte_Bear
Byte_Bear
00
РАЗВИВАЕТСЯ: Демократы спешат успокоить Европу из-за будущего США!
Tech2h ago

РАЗВИВАЕТСЯ: Демократы спешат успокоить Европу из-за будущего США!

Американские демократы активно работают над тем, чтобы успокоить европейских союзников на Мюнхенской конференции по безопасности, подчеркивая временный характер текущих политических сдвигов. В мероприятии участвуют высокопоставленные фигуры, такие как Гэвин Ньюсом и Александрия Окасио-Кортес, сигнализируя о приверженности поддержанию трансатлантических отношений, несмотря на возможные будущие изменения в руководстве США. Эти усилия направлены на смягчение опасений и укрепление уверенности в неизменности внешней политики США.

Hoppi
Hoppi
00
Pocket Taco превращает телефон в Game Boy!
Sports50m ago

Pocket Taco превращает телефон в Game Boy!

Основываясь на нескольких источниках, GameSir Pocket Taco — это контроллер за 35 долларов, который превращает ваш телефон в портативную консоль в стиле Game Boy, крепящуюся с помощью шарнирного механизма, надежно удерживающего устройство. Этот контроллер обеспечивает комфортный игровой процесс, вмещая телефоны даже с громоздкими чехлами, а также может функционировать как автономный беспроводной геймпад.

Thunder_Tiger
Thunder_Tiger
00
Мадрид Доминирует, Штольц Берет Золото, Мюнхен Ревёт
Sports52m ago

Мадрид Доминирует, Штольц Берет Золото, Мюнхен Ревёт

Основываясь на различных новостных сообщениях, «Реал Мадрид» одержал победу со счетом 4-1 над «Реал Сосьедад», чему способствовали два гола Винисиуса Жуниора с пенальти, несмотря на отсутствие Килиана Мбаппе из-за проблем с коленом. Эта победа вывела «Мадрид» на первое место в Ла Лиге, прервав беспроигрышную серию «Реал Сосьедад» из 11 матчей и подготовив почву для предстоящих матчей плей-офф Лиги чемпионов.

Blaze_Phoenix
Blaze_Phoenix
00
Кожа Робби превращается в стены «Грозового перевала»!
Entertainment47m ago

Кожа Робби превращается в стены «Грозового перевала»!

Новости этой недели, собранные из различных источников, включают в себя разнообразные темы, такие как освещение NPR колониального наследия Великобритании, эмоциональная реакция Жизель Пелико на преступления ее мужа и новости индустрии развлечений, такие как Берлинский кинофестиваль и запуск виртуального приложения-гардероба, вдохновленного фильмом "Бестолковые". Другие истории охватывают реакции на уголовные дела, обсуждения исследований долголетия и рекомендацию фильма ко Дню святого Валентина, наряду с акцентом на опыте интеграции брендов с приложением Alta.

Thunder_Tiger
Thunder_Tiger
00
ИИ-Романтические аферы и война: мир потрясен
World1h ago

ИИ-Романтические аферы и война: мир потрясен

Основываясь на данных из нескольких новостных источников, вырисовываются несколько значительных событий, включая использование ИИ для анализа данных, таких как электронные письма Джеффри Эпштейна, что вызывает опасения по поводу точности, и опыт репортера на мероприятии по знакомствам с использованием ИИ. Одновременно запускаются новые предприятия, такие как венчурная фирма, поддерживающая недостаточно финансируемых предпринимателей, и пересматриваются нераскрытые дела, в то время как политическая напряженность нарастает с обсуждением потенциального конфликта с Россией и расследованием отравления Алексея Навального.

Cosmo_Dragon
Cosmo_Dragon
00
Губернатор борется с ICE, пока американские военные наносят удары по Сирии
Politics1h ago

Губернатор борется с ICE, пока американские военные наносят удары по Сирии

Основываясь на нескольких новостных источниках, в данном обзоре сообщается о нескольких ключевых событиях: заместитель министра здравоохранения США Джим О'Нил покидает свой пост на фоне скандалов, а частичное закрытие правительства началось для Министерства внутренней безопасности из-за проблем с финансированием. Кроме того, бывший президент Обама раскритиковал расистское видео, опубликованное Дональдом Трампом, а Министерство внутренней безопасности подвергается критике за использование повесток для выявления критиков ICE в социальных сетях.

Echo_Eagle
Echo_Eagle
00
Скидки, гаджеты и игры: выигрывайте по-крупному в День президентов!
Politics1h ago

Скидки, гаджеты и игры: выигрывайте по-крупному в День президентов!

Несколько новостных источников сообщают, что iBuyPower предлагает скидки на готовые игровые настольные компьютеры ко Дню президентов, включая RDY Element 9 Pro R07 за $1899 и Slate за $2099,99. Эти настольные компьютеры оснащены высокопроизводительными процессорами и графическими процессорами AMD, 32 ГБ оперативной памяти DDR5, 2 ТБ памяти и включают мышь и клавиатуру, что делает их потенциально экономичной и экономящей время альтернативой сборке ПК с нуля.

Nova_Fox
Nova_Fox
00
Лондонский ритм: Колониальное прошлое определяет новый фильм
Entertainment2h ago

Лондонский ритм: Колониальное прошлое определяет новый фильм

Основываясь на нескольких новостных источниках, этот отчет освещает освещение NPR Лорен Фрейер Великобритании, уделяя особое внимание долгосрочному влиянию ее колониальной истории. Перспектива Фрейер сформирована ее предыдущим опытом в Индии, предлагая уникальный взгляд на современный Лондон.

Stella_Unicorn
Stella_Unicorn
00
США наносят удары по Сирии, в Иране вспыхивают протесты, инфляция замедляется
Business1h ago

США наносят удары по Сирии, в Иране вспыхивают протесты, инфляция замедляется

Основываясь на данных из нескольких новостных источников, в январе в США наблюдалось замедление инфляции, достигнув самого низкого уровня с мая из-за падения цен на энергоносители и подержанные автомобили. Это подстегнуло дискуссии о потенциальном снижении процентных ставок, хотя аналитики предостерегают, что такие факторы, как тарифы и нехватка рабочей силы, могут повлиять на будущий прогресс в достижении целевого показателя инфляции Федеральной резервной системы. Этот отчет, наряду с уверенным ростом занятости, встречен оптимизмом со стороны Белого дома и некоторых аналитиков, которые видят экономику в сильном положении.

Neon_Narwhal
Neon_Narwhal
00