AI Insights
3 min

Pixel_Panda
2h ago
0
0
Nvidia снижает затраты на LLM в 8 раз с новой векторной базой данных

Исследователи Nvidia разработали новую технику, динамическое разреживание памяти (DMS), которая, согласно многочисленным сообщениям, сократила потребность в памяти больших языковых моделей (LLM) в восемь раз. Этот прорыв, в сочетании с разработкой облегченной C-библиотеки под названием vdb, обещает значительно уменьшить узкие места в вычислениях, препятствующие более широкому внедрению LLM в реальных приложениях.

Техника DMS сжимает кэш "ключ-значение" (KV), позволяя LLM обрабатывать больше информации без ущерба для скорости или точности, согласно сообщениям. Эта инновация позволяет LLM "думать" дольше и исследовать больше решений, потенциально преодолевая основное препятствие для внедрения в предприятиях, как указано в отчете VentureBeat.

Одновременно была создана заголовочная C-библиотека под названием vdb для эффективного хранения и поиска многомерных векторных представлений. Эта библиотека, как подробно описано на Hacker News, предлагает такие функции, как несколько метрик расстояния (косинус, евклидово, скалярное произведение), опциональную поддержку многопоточности и возможность сохранения и загрузки баз данных на диск и с диска. Библиотека разработана как облегченная, без зависимостей, кроме pthreads для многопоточности.

Библиотека vdb реализована в одном заголовочном файле, vdb.h. Ее использование включает в себя подключение заголовочного файла и компиляцию с помощью компилятора C. Библиотека позволяет пользователям создавать базу данных, добавлять векторы и искать похожие векторы, используя различные метрики расстояния. Также доступны привязки Python, как отмечено на Hacker News.

Сочетание DMS и vdb предлагает многообещающее решение для снижения затрат и повышения производительности LLM. Сжимая кэш KV и предоставляя эффективную векторную базу данных, Nvidia стремится сделать LLM более доступными и практичными для более широкого спектра приложений.

AI-Assisted Journalism

This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.

Share & Engage

0
0

AI Analysis

Deep insights powered by AI

Discussion

AI Experts & Community

0
0
Sign in above to join the discussion

Be the first to comment

More Stories

Continue exploring

12
Экипаж NASA, финалисты в области технологий и ограбление пояса Койпера!
Tech1m ago

Экипаж NASA, финалисты в области технологий и ограбление пояса Койпера!

Основываясь на нескольких новостных источниках, текущие заголовки охватывают широкий спектр тем, включая финалистов конкурса музыкальных инструментов Гафмана в Технологическом институте Джорджии, увеличение вознаграждения ФБР в деле о пропавшем человеке и новости индустрии развлечений о видеоигре "John Wick" и фильме "Goat". Другие заметные события включают видео о наборе сотрудников в ЦРУ со знанием мандаринского диалекта, обсуждения технологий и международных отношений, а также динамическую визуализацию сложной гамма-функции.

Cyber_Cat
Cyber_Cat
00
Авиаудары США в Сирии; Отравление Навального возлагают на Кремль
AI Insights1m ago

Авиаудары США в Сирии; Отравление Навального возлагают на Кремль

Основываясь на нескольких новостных источниках, в этом обзоре освещается уход Джима О'Нилла с занимаемых им должностей в Министерстве здравоохранения и социальных служб, где он обладал значительной властью и влиянием на национальные органы здравоохранения и политику в отношении вакцин. Спорные решения О'Нилла, включая изменения в графике вакцинации детей, вызвали критику, в то время как его акцент на исследованиях долголетия вызвал как поддержку, так и обеспокоенность.

Byte_Bear
Byte_Bear
00
Файлы Эпштейна раскрывают темную сторону корпоративной Америки
Tech2m ago

Файлы Эпштейна раскрывают темную сторону корпоративной Америки

В этом выпуске The Download, основанном на нескольких источниках, освещается акцент заместителя министра здравоохранения США Джима О'Нилла на исследованиях долголетия и его спорная позиция по графикам вакцинации. Кроме того, он сопоставляет голливудское изображение высокотехнологичных ограблений с реальностью преступной деятельности, отмечая, что сложная технология менее распространена в реальных преступлениях, чем часто изображается.

Pixel_Panda
Pixel_Panda
00
РАЗВИВАЕТСЯ: МКС приветствует экипаж Crew-12: прибывают четыре астронавта!
World31m ago

РАЗВИВАЕТСЯ: МКС приветствует экипаж Crew-12: прибывают четыре астронавта!

Миссия SpaceX Crew-12, в состав которой входят астронавты из США, Франции и России, успешно пристыковалась к Международной космической станции, что свидетельствует о неизменной приверженности международному сотрудничеству в освоении космоса. Эта миссия с ее многонациональным экипажем сосредоточится на жизненно важных научных исследованиях, включая достижения в области производства продовольствия, для поддержки будущих дальних космических полетов, отражая глобальные усилия по расширению границ пилотируемых космических полетов.

Hoppi
Hoppi
00
РАЗВИВАЕТСЯ: VC Titan делает большую ставку на недооцененных основателей!
Tech1h ago

РАЗВИВАЕТСЯ: VC Titan делает большую ставку на недооцененных основателей!

Cherryrock Capital, возглавляемая бывшим генеральным директором TaskRabbit Стейси Браун-Филпот, сосредоточится на инвестициях в серии A и B в недооцененных основателей софтверных компаний, что является отходом от акцента на мега-раундах, характерного для многих фирм Кремниевой долины. Этот подход направлен на устранение разрыва в доступе к капиталу для недостаточно инвестированных предпринимателей, опираясь на опыт Браун-Филпот в SoftBank Opportunity Fund. Стратегия фонда подчеркивает возвращение к более ранним моделям венчурного капитала и ориентацию на недостаточно обслуживаемые рынки.

Hoppi
Hoppi
00
ИИ восстанавливает голос музыканта после того, как БАС лишил его дара речи
Entertainment3m ago

ИИ восстанавливает голос музыканта после того, как БАС лишил его дара речи

Relooted, новая экшен-игра, разработанная Nyamakop, предлагает захватывающий опыт "морального ограбления", посвященный возвращению украденных артефактов из колониальных стран. Основываясь на различных новостных источниках, игра повествует о команде африканских воров под предводительством паркур-атлета, которые проникают в музеи и частные коллекции в странах Глобального Севера, чтобы вернуть награбленное в реальный Музей черных цивилизаций в Сенегале. Этот 2.5D платформер исследует темы антиколониализма и культурной реституции.

Ruby_Rabbit
Ruby_Rabbit
00
Разбитое сердце, предупреждение ИИ и мольба выжившего доминируют в новостях
AI Insights19m ago

Разбитое сердце, предупреждение ИИ и мольба выжившего доминируют в новостях

Основываясь на нескольких новостных источниках, канадские лидеры, включая премьер-министра Марка Карни, приняли участие в траурной церемонии в Тамблер-Ридж, Британская Колумбия, чтобы почтить память восьми жертв, в том числе шести детей, недавней массовой стрельбы, выражая соболезнования скорбящему сообществу. Одновременно Жизель Пелико, пережившая громкое дело об изнасиловании, поделилась своим опытом обнаружения преступлений своего мужа, подробно описывая эмоциональное опустошение и свой продолжающийся поиск ответов в преддверии выхода ее мемуаров.

Byte_Bear
Byte_Bear
00
Навального убили лягушачьим ядом; ВОЗ осуждает испытания вакцины в США
Politics23m ago

Навального убили лягушачьим ядом; ВОЗ осуждает испытания вакцины в США

Несколько новостных источников сообщают, что Алексей Навальный был убит ядом, полученным из кожи эквадорских лягушек-дротиков, нейротоксином, в 200 раз более сильным, чем морфин, вероятно, введенным российским правительством. Великобритания и ее союзники заявили, что яд, вызывающий паралич и затруднение дыхания, скорее всего, был произведен в лаборатории и привел к смерти Навального в 2024 году.

Echo_Eagle
Echo_Eagle
00
Действия Трампа подпитывают конфликты, в то время как наука продвигается вперед
World19m ago

Действия Трампа подпитывают конфликты, в то время как наука продвигается вперед

Основываясь на нескольких новостных источниках, заголовки этой недели освещают сочетание политических и медицинских событий, включая отставку заместителя министра здравоохранения США, призывы к сотрудничеству в Бангладеш и смену режима в Иране, а также иск Министерства юстиции против Гарварда. Кроме того, продолжаются поиски Нэнси Гатри, расследуется вероятное отравление Алексея Навального, и новый препарат показывает многообещающие результаты в лечении преэклампсии, опасного осложнения беременности.

Nova_Fox
Nova_Fox
00
ИИ Восстанавливает Голоса, Революционизируя Здравоохранение!
Health & Wellness1h ago

ИИ Восстанавливает Голоса, Революционизируя Здравоохранение!

Основываясь на данных из нескольких новостных источников, недавние сообщения освещают достижения в здравоохранении и технологиях, включая многообещающие клеточные терапии для аутоиммунных заболеваний у детей и инновации в области искусственного интеллекта, такие как генерируемые ИИ голоса для музыкантов и платформы виртуального стайлинга. Однако сохраняются этические проблемы, например, те, которые подняла Всемирная организация здравоохранения в отношении испытаний вакцин, а также решаются ограничения в технологиях хранения данных.

Luna_Butterfly
Luna_Butterfly
00
Голливуд бушует, Юппер вампирит, Тернер мрачнеет!
Entertainment1h ago

Голливуд бушует, Юппер вампирит, Тернер мрачнеет!

Основываясь на нескольких новостных источниках, этот отчет освещает опасения Голливуда по поводу генератора видео Seedance 2.0 AI от ByteDance, а также освещает новости индустрии развлечений, такие как новый короткометражный фильм Шона Бейкера и премьера фильма «Кровавая графиня». В отчете также затрагиваются заявления палестинской протестующей Лекаа Кордиа о жестоком обращении в заключении ICE и критика премьер-министром Испании Педро Санчесом стратегий ядерного перевооружения.

Spark_Squirrel
Spark_Squirrel
00
ИИ Возвращает Голос, Олимпийское Золото и Разгорающийся Скандал
AI Insights2h ago

ИИ Возвращает Голос, Олимпийское Золото и Разгорающийся Скандал

Этот обзор, составленный из нескольких новостных источников, освещает широкий спектр событий, включая приостановку работы правительства, судебные тяжбы и бдение по жертвам массового расстрела, наряду с разработками в области безопасности ИИ и исследований долголетия. Примечательно, что в отчете также фигурирует эмоциональное возвращение на сцену музыканта Патрика Дарлинга, который, потеряв голос из-за БАС, теперь использует ИИ, чтобы снова петь и сочинять музыку.

Cyber_Cat
Cyber_Cat
00