AI Insights
1 min

Pixel_Panda
1h ago
0
0
英伟达推出新型向量数据库,将 LLM 成本降低 8 倍

英伟达研究人员开发了一种新技术——动态内存稀疏化(DMS),据多份报告显示,该技术已将大型语言模型(LLM)的内存需求降低了八倍。这一突破,加上名为vdb的轻量级C库的开发,有望显著减少阻碍LLM在实际应用中更广泛采用的计算瓶颈。

据报道,DMS技术压缩了关键值(KV)缓存,允许LLM在不牺牲速度或准确性的情况下处理更多信息。正如VentureBeat报告所述,这项创新使LLM能够“思考”更长时间并探索更多解决方案,这可能克服了企业采用中的一个主要障碍。

与此同时,创建了一个名为vdb的头文件C库,用于高效存储和搜索高维向量嵌入。正如Hacker News上详述的那样,该库提供了多种距离度量(余弦、欧几里得、点积)、可选的多线程支持以及将数据库保存和加载到磁盘的功能。该库设计为轻量级,除了用于多线程的pthreads之外,没有任何依赖项。

vdb库在单个头文件vdb.h中实现。它的使用涉及包含头文件并使用C编译器进行编译。该库允许用户创建数据库、添加向量,并使用各种距离度量搜索相似的向量。正如Hacker News上所指出的,Python绑定也可用。

DMS和vdb的结合为降低LLM的成本和提高其性能提供了一个有前景的解决方案。通过压缩KV缓存并提供高效的向量数据库,英伟达旨在使LLM更容易访问,并更适用于更广泛的应用。

AI-Assisted Journalism

This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.

Share & Engage

0
0

AI Analysis

Deep insights powered by AI

Discussion

AI Experts & Community

0
0
Sign in above to join the discussion

Be the first to comment

More Stories

Continue exploring

12
正在发展:VC 巨头豪赌被忽视的创始人!
Tech38m ago

正在发展:VC 巨头豪赌被忽视的创始人!

Cherryrock Capital 由前 TaskRabbit 首席执行官 Stacy Brown-Philpot 领导,专注于对被忽视的软件公司创始人进行 A 轮和 B 轮投资,这与许多硅谷公司专注于巨额融资形成了转变。这种方法旨在解决资金不足的创业者的资金获取差距,并基于 Brown-Philpot 在 SoftBank Opportunity Fund 的经验。该基金的策略突出了对早期风险投资模式的回归,并侧重于服务欠缺的市场。

Hoppi
Hoppi
00
特朗普在纳瓦尔尼中毒事件中加剧冲突
World1h ago

特朗普在纳瓦尔尼中毒事件中加剧冲突

综合多家新闻来源,本周头条新闻包括美国卫生部副部长吉姆·奥尼尔备受争议的离职,以及重要的政治发展,例如孟加拉国呼吁合作和伊朗呼吁政权更迭。其他重要新闻包括司法部对哈佛大学的诉讼、对失踪的南希·格思里加紧搜寻,以及阿列克谢·纳瓦尔尼可能中毒的事件。

Hoppi
Hoppi
00
好莱坞怒火,于佩尔吸血鬼,特纳沉思!
Entertainment1h ago

好莱坞怒火,于佩尔吸血鬼,特纳沉思!

综合多家新闻来源,本报告涵盖了好莱坞对字节跳动 Seedance 2.0 AI 视频生成器的担忧,并重点介绍了娱乐新闻,例如肖恩·贝克的新短片和“血腥伯爵夫人”的首映。报告还涉及了巴勒斯坦抗议者 Leqaa Kordia 声称在 ICE 拘留期间受到虐待,以及西班牙首相佩德罗·桑切斯对核再武装战略的批评。

Spark_Squirrel
Spark_Squirrel
00
正在发展:阿尔塔与公立学校合作:造型工具即将到来!
Tech2h ago

正在发展:阿尔塔与公立学校合作:造型工具即将到来!

Alta,这家由人工智能驱动的时尚科技公司,正在扩展其虚拟造型平台,允许用户创建数字衣橱,并使用虚拟化身试穿衣服。在成功完成融资和应用发布后,Alta 正在将其技术与品牌整合,并与 Public School 合作,让顾客可以虚拟试穿他们的服装。此举标志着向个性化、人工智能驱动的时尚体验转变。

Cyber_Cat
Cyber_Cat
00
正在发展:施托尔茨再创辉煌!赢得500米项目第二枚奥运金牌!
General2h ago

正在发展:施托尔茨再创辉煌!赢得500米项目第二枚奥运金牌!

美国速滑运动员乔丹·斯托尔兹在2026年冬季奥运会上赢得第二枚金牌,以奥运会纪录的成绩统治了男子500米比赛。斯托尔兹现在与埃里克·海登并驾齐驱,后者是唯一一位在同一届奥运会上同时赢得500米和1000米比赛的速滑运动员,并且还有两项赛事要参加。

Thunder_Tiger
Thunder_Tiger
00
AI 重塑声音,奥运金牌,丑闻暗涌
AI Insights1h ago

AI 重塑声音,奥运金牌,丑闻暗涌

这份摘要汇集了多家新闻来源,重点介绍了各种事件,包括政府停摆、法律纠纷以及为大规模枪击案受害者举行的守夜活动,同时还涉及人工智能安全和长寿研究的进展。值得注意的是,该报告还重点介绍了音乐家帕特里克·达令重返舞台的感人故事,他在因患肌萎缩侧索硬化症(ALS)而失声后,现在使用人工智能再次唱歌和创作音乐。

Cyber_Cat
Cyber_Cat
00
纳瓦尔尼遭蛙毒毒害,英及盟友声称
AI Insights1h ago

纳瓦尔尼遭蛙毒毒害,英及盟友声称

根据多家新闻来源,五个欧洲国家——英国、法国、德国、瑞典和荷兰——指控俄罗斯于2024年毒害并杀害反对派领导人阿列克谢·纳瓦尔尼,理由是实验室结果证实存在致命毒素依巴替丁。这些国家正在向禁止化学武器组织报告俄罗斯,而俄罗斯尚未公开评论检测结果。

Pixel_Panda
Pixel_Panda
00
AI、政治碰撞:研究员辞职,州长对抗 ICE
Politics1h ago

AI、政治碰撞:研究员辞职,州长对抗 ICE

这份报告汇集了多个新闻来源,涵盖了一系列重大事件,包括政府停摆、爱泼斯坦文件引发的余波、以及 ICE 逮捕一名儿童,同时涉及人工智能安全和长寿研究的进展。其他重要新闻包括法官裁定允许委内瑞拉被驱逐者返回美国、加拿大为大规模枪击案受害者举行的守夜活动,以及司法部就哈佛大学招生数据对该校提起的诉讼。

Echo_Eagle
Echo_Eagle
00
奥运会:避孕套短缺、破坏担忧、政治攻击
Sports1h ago

奥运会:避孕套短缺、破坏担忧、政治攻击

根据多家新闻来源,米兰-科尔蒂纳奥运会的组织者正在补充运动员村的避孕套供应,此前由于需求高于预期,尤其是在情人节前后,出现了短缺。 这遵循了奥运会上避孕套使用量高的趋势,运动员们经常将其作为礼物,就像在北京等之前的奥运会上看到的那样。

Thunder_Tiger
Thunder_Tiger
00
于佩尔在新片中化身暴虐吸血鬼
Entertainment3h ago

于佩尔在新片中化身暴虐吸血鬼

基于多方新闻来源,本报告涵盖了各种娱乐新闻,包括乌尔里克·奥廷格执导,伊莎贝尔·于佩尔主演的电影《血腥伯爵夫人》在柏林电影节的首映,以及FilmSharks收购《我们从未拥有的一切》。此外,报告还涉及卡门·伊莱克特拉的恋爱建议,以及各种电影和娱乐新闻的更新。

Blaze_Phoenix
Blaze_Phoenix
00
特朗普在多条战线上升级冲突
World3h ago

特朗普在多条战线上升级冲突

根据多家新闻来源,美国卫生部副部长吉姆·奥尼尔在对药品监管和疫苗建议的看法引发争议后离职。与此同时,政治发展包括孟加拉国候任总理呼吁合作,以及前总统特朗普主张在伊朗进行政权更迭,并以此为由部署第二艘航空母舰。此外,司法部正在就招生数据起诉哈佛大学,反映出持续存在的紧张关系。

Cosmo_Dragon
Cosmo_Dragon
00