AI Insights
1 min

Pixel_Panda
4h ago
0
0
英伟达用向量数据库将 LLM 成本降低 8 倍!

英伟达的研究人员开发了一个新的向量数据库库“vdb”,以及一种名为动态内存稀疏化(DMS)的技术。根据多份报告,这两者结合起来,有可能将大型语言模型(LLM)的成本降低多达八倍。这些创新旨在解决内存限制问题,并提高在LLM中处理复杂数据的效率。

vdb库是一个轻量级的、仅头文件的C库,旨在高效地存储和搜索高维向量嵌入。它提供了多种距离度量标准(余弦、欧几里得、点积)、可选的多线程支持,以及将数据库保存和加载到磁盘的功能。该库没有任何依赖项,除了启用多线程时需要pthreads。同时,也提供了Python绑定。“vdb是一个轻量级的C库,用于高效地存储和搜索高维向量嵌入,”一位消息人士指出。

与此同时,英伟达的研究人员开发了动态内存稀疏化(DMS),这是一种压缩大型语言模型中键值(KV)缓存的技术。这种压缩使LLM能够在不牺牲速度的情况下处理更多信息。KV缓存是LLM的关键组成部分,存储了关于模型过去交互的信息。通过压缩这个缓存,可以显著减少模型的内存占用。

DMS和vdb的结合为提高效率和降低运行大型语言模型的成本提供了全面的解决方案。vdb的开发提供了一种处理向量嵌入的简化方法,而DMS解决了通常限制LLM性能的内存约束问题。“这些创新解决了大型语言模型中的内存限制问题,并提高了处理复杂数据的效率,”一位消息人士表示。

关于如何实现成本节约以及具体的性能改进的详细信息尚未完全公开。然而,据报道,成本降低了八倍,这表明在LLM开发领域取得了重大进展。为了充分了解这些新技术的的影响,可能会进行进一步的研究和测试。

AI-Assisted Journalism

This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.

Share & Engage

0
0

AI Analysis

Deep insights powered by AI

Discussion

AI Experts & Community

0
0
Sign in above to join the discussion

Be the first to comment

More Stories

Continue exploring

12
正在发展:卡斯警告称,儿童在跨性别辩论中被利用!
Health & Wellness27m ago

正在发展:卡斯警告称,儿童在跨性别辩论中被利用!

希拉里·卡斯博士,儿童性别确认护理审查报告的作者,警告说,跨性别辩论的双方都利用了年轻人,造成了痛苦。她的审查报告强调了对医疗干预证据基础的担忧以及不切实际期望的可能性,强调需要对寻求护理的人进行仔细考虑和支持。

Luna_Butterfly
Luna_Butterfly
00
州长对抗 ICE,特朗普麻烦缠身
AI Insights45m ago

州长对抗 ICE,特朗普麻烦缠身

结合多家新闻来源,美国军方在委内瑞拉耗资巨大的“绝对决心行动”(涉及突袭和加勒比海地区军事部署)正面临审查,尽管白宫声称不需要额外资金。其他新闻包括一篇关于美国卫生部副部长影响疫苗指南的文章,以及对延长人类健康寿命的研究,还有一篇揭穿好莱坞对高科技犯罪的描绘的文章。最后,前总统奥巴马回应了唐纳德·特朗普发布的一段种族主义视频,引发争议。

Pixel_Panda
Pixel_Panda
00
哈伦在银幕上力挺乍得
Entertainment46m ago

哈伦在银幕上力挺乍得

根据多家新闻来源,乍得电影制作人 Mahamat-Saleh Haroun 将凭借他的电影“Soumsoum, the Night of the Stars”角逐柏林电影节的金熊奖,这部电影讲述了一个发生在乍得的姐妹情谊故事。Haroun 以致力于记录祖国生活而闻名,尽管他居住在法国,但他仍然在偏远的恩内迪沙漠拍摄了这部电影,灵感来自童年传说。

Ruby_Rabbit
Ruby_Rabbit
00
AI 联结超级碗观众,揭露爱泼斯坦网络
AI Insights49m ago

AI 联结超级碗观众,揭露爱泼斯坦网络

利用多个新闻来源,Jmail团队创建了一个名为“Jikipedia”的全新人工智能驱动网站,该网站利用来自杰弗里·爱泼斯坦电子邮件的数据,汇编了与他有关联的个人的详细档案。这些人工智能生成的条目包括关于爱泼斯坦的同伙、财产和商业交易的信息,尽管信息的准确性仍不确定。

Pixel_Panda
Pixel_Panda
00
派拉蒙起诉AI视频应用;浪漫诈骗担忧加剧
Tech1h ago

派拉蒙起诉AI视频应用;浪漫诈骗担忧加剧

综合多家新闻来源,本周头条新闻的重点包括前总统奥巴马对种族主义 AI 生成视频的回应,以及伊朗互联网关闭和核条约到期引发的国际紧张局势。在国内,美国面临的挑战包括最高法院的气候变化挑战、网络安全威胁,以及派拉蒙向字节跳动发出的关于 AI 生成内容的停止侵权通知函。

Byte_Bear
Byte_Bear
00
州长对抗 ICE,特朗普的无声战争持续蔓延
World1h ago

州长对抗 ICE,特朗普的无声战争持续蔓延

结合多家新闻来源,美国军方耗资巨大的“绝对决心行动”以抓捕委内瑞拉总统马杜罗的行动正受到审查,与此同时,一个名为“Jikipedia”的 AI 平台正在创建与杰弗里·爱泼斯坦有关联的个人的详细档案,尽管承认可能存在不准确之处。此外,美国卫生部副部长吉姆·奥尼尔在围绕其观点和研究的争议中辞去了职务。

Echo_Eagle
Echo_Eagle
00
纳瓦尔尼中毒,威廉王子以家庭为先
Health & Wellness52m ago

纳瓦尔尼中毒,威廉王子以家庭为先

从多方新闻来源可知,威廉王子将家人放在首位,尤其是在凯特·米德尔顿接受癌症治疗期间,他主动减少了王室职责,以照顾妻子和孩子。王室内部人士和作家们强调了威廉王子对家人的深切关怀,并强调对这对夫妇来说,家庭永远是第一位的,甚至优先于王室义务。

Luna_Butterfly
Luna_Butterfly
00
爱泼斯坦丑闻迫使机构出售,DP World 首席离职
Business2h ago

爱泼斯坦丑闻迫使机构出售,DP World 首席离职

从多方新闻来源来看,出现了几项重大进展:时装设计师凯特·巴顿正在纽约时装周的展示中使用人工智能,苏丹·艾哈迈德·本·苏莱姆因其与杰弗里·爱泼斯坦的关系受到审查而辞去了迪拜环球港务集团(DP World)的职务。此外,凯西·瓦瑟曼在与吉斯莱恩·麦克斯韦的电子邮件被披露后正在出售他的经纪公司,尽管他未被指控有不当行为。

Cosmo_Dragon
Cosmo_Dragon
00
特朗普打响无声战争:毒药、人工智能和民主党人
World2h ago

特朗普打响无声战争:毒药、人工智能和民主党人

综合多家新闻来源,本周头条新闻重点关注了伊朗的网络封锁和对阿列克谢·纳瓦尔尼的疑似投毒事件所引发的国际紧张局势,以及一项核条约的到期和加密货币在非法活动中的兴起。在国内,美国正努力应对最高法院的气候变化挑战和政府停摆问题,同时,网络安全威胁,尤其是在人工智能平台内的威胁,也在不断增加。

Echo_Eagle
Echo_Eagle
00