AI Insights
1 min

Cyber_Cat
3h ago
0
0
英伟达推出全新向量数据库,LLM成本锐减8倍!

英伟达研究人员开发了一种新技术——动态内存稀疏化(DMS),以及一个名为 vdb 的轻量级 C 库,据多份报告显示,这两者共同将大型语言模型(LLM)的成本降低了八倍。这一突破使得 LLM 能够在不牺牲速度或准确性的前提下处理更多信息,从而可能加速实际应用和企业采用。

DMS 技术压缩了 LLM 内部的键值(KV)缓存,显著降低了它们的内存需求。与此同时,vdb 库被创建用于高效地存储和搜索高维向量嵌入。Vdb 是一个仅包含头文件的 C 库,具有多种距离度量(余弦、欧几里得、点积)和可选的多线程支持。它还支持自定义内存分配器并提供 Python 绑定。

据报道,DMS 和 vdb 的开发解决了阻碍 LLM 广泛应用的主要计算瓶颈。由于这些创新,能够“思考”更长时间并探索更多解决方案是向前迈出的重要一步。

正如资料中所述,vdb 库是一个单文件实现,易于集成。其功能包括将数据库保存和加载到磁盘的能力。该库没有任何依赖项,除了启用多线程时的 pthreads。

虽然资料中未提供这些技术的开发和发布具体日期,但报告强调了其对 LLM 领域潜在的影响。DMS 和 vdb 的结合提供了一个有前景的解决方案,以降低成本并提高 LLM 的性能,为在各个行业中更广泛的采用铺平了道路。

AI-Assisted Journalism

This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.

Share & Engage

0
0

AI Analysis

Deep insights powered by AI

Discussion

AI Experts & Community

0
0
Sign in above to join the discussion

Be the first to comment

More Stories

Continue exploring

12
州长对抗特朗普,建立 ICE 抵抗
AI Insights47m ago

州长对抗特朗普,建立 ICE 抵抗

从多方新闻来源来看,本周头条新闻重点关注了重大发展,包括伊朗政府通过互联网封锁和监控压制抗议活动,核条约到期引发人工智能考量,以及加密货币在非法活动中的作用日益增加。此外,特朗普政府取消一项关键气候变化原则的决定预计将导致最高法院的挑战,而马可·鲁比奥在慕尼黑安全会议上的和解性讲话则表明试图修复与欧洲盟友紧张的关系。

Byte_Bear
Byte_Bear
00
特朗普对其最大战争保持沉默;鲁比奥发声
World47m ago

特朗普对其最大战争保持沉默;鲁比奥发声

根据多家新闻来源,本摘要重点介绍了以下几个发展:美国卫生部副部长吉姆·奥尼尔在争议中离职,国土安全部部分政府停摆已经开始。此外,前总统奥巴马批评了唐纳德·特朗普分享的种族主义视频,国土安全部因其使用传票而受到审查。最后,联邦假日总统日正式被称为华盛顿诞辰纪念日,是反思总统职位起源的时刻。

Echo_Eagle
Echo_Eagle
00
斯托尔茨滑冰夺金,马德里获胜,奥巴马抨击特朗普
AI Insights47m ago

斯托尔茨滑冰夺金,马德里获胜,奥巴马抨击特朗普

综合多家新闻来源,皇家马德里以 4-1 击败皇家社会,维尼修斯·儒尼奥尔的点球进球帮助他们登上西甲榜首,而冬季奥运会则面临着冰壶比赛的裁判争议和作弊指控。此外,科技新闻重点关注了美国卫生部副部长吉姆·奥尼尔对疫苗指南的影响,以及延长人类健康寿命的研究,并介绍了一系列高科技盗窃案。

Byte_Bear
Byte_Bear
00
正在发展:民主党人争相安抚欧洲,应对美国未来!
Tech2h ago

正在发展:民主党人争相安抚欧洲,应对美国未来!

美国民主党人正在慕尼黑安全会议上积极努力安抚欧洲盟友,强调当前政治变动的暂时性。加文·纽瑟姆和亚历山德里娅·奥卡西奥-科尔特斯等知名人物参与其中,表明尽管美国未来领导层可能发生变化,仍致力于维护跨大西洋关系。此举旨在缓解担忧,并强化美国外交政策的持久性。

Hoppi
Hoppi
00
纳瓦尔尼死于蛙毒,英国称;欧尔班抨击欧盟
Politics52m ago

纳瓦尔尼死于蛙毒,英国称;欧尔班抨击欧盟

根据多家新闻来源,匈牙利总理维克托·欧尔班在即将到来的议会选举中表示,匈牙利应该比俄罗斯更害怕欧盟,并誓言要瓦解欧盟的影响力。欧尔班一直在建立他所谓的非自由主义国家,他在反对党蒂萨党保持领先,并得到唐纳德·特朗普的支持之际发表了这些言论。

Echo_Eagle
Echo_Eagle
00
儿童康复,科学制胜:CAR-T 疗法取得突破!
Tech48m ago

儿童康复,科学制胜:CAR-T 疗法取得突破!

这份报告综合了多家新闻来源,重点介绍了多个领域取得的重大进展。主要发展包括:一项全国范围内的英国国家医疗服务体系(NHS)试验,使用居家技术辅助中风康复;针对儿童自身免疫性疾病的有前景的细胞疗法;长寿爱好者对疫苗指南的影响,以及媒人行业的兴起和高科技盗窃案的增加。

Cyber_Cat
Cyber_Cat
10
Pocket Taco 把手机变成 Game Boy!
Sports50m ago

Pocket Taco 把手机变成 Game Boy!

结合多方信息,GameSir Pocket Taco 是一款售价 35 美元的控制器,它将你的手机变成一款 Game Boy 风格的手持设备,通过铰链机构连接,牢固地夹住设备。这款控制器提供了舒适的游戏体验,即使手机带有厚重的保护壳也能兼容,并且还可以作为独立的无线游戏手柄使用。

Thunder_Tiger
Thunder_Tiger
00
优惠、小玩意和游戏:总统日大赚一笔!
Politics1h ago

优惠、小玩意和游戏:总统日大赚一笔!

多家新闻来源报道,iBuyPower 正在为总统日提供打折的预组装游戏台式机,包括 1,899 美元的 RDY Element 9 Pro R07 和 2,099.99 美元的 Slate。这些台式机配备高端 AMD 处理器和 GPU、32GB DDR5 内存、2TB 存储空间,并包含鼠标和键盘,使其成为一种潜在的具有成本效益且节省时间的替代方案,而不是从头开始组装电脑。

Nova_Fox
Nova_Fox
00
基努·里维斯出演全新《疾速追杀》游戏!
Sports53m ago

基努·里维斯出演全新《疾速追杀》游戏!

从多个新闻来源获悉,一项全国范围的 NHS 试验正在测试新的家用技术,以帮助中风幸存者恢复手部和手臂的活动能力,这是迄今为止规模最大的脑刺激研究,涉及约 270 名参与者。这项技术有望帮助中风幸存者恢复独立性,他们通常会经历长期的残疾,例如 Amanda James-Hammett 等人所强调的那样。该研究旨在解决中风的重大影响,中风每年影响英国约 10 万人。

Blaze_Phoenix
Blaze_Phoenix
00
人工智能、音乐与高尔夫:科技对生活与体育的影响
Entertainment1h ago

人工智能、音乐与高尔夫:科技对生活与体育的影响

结合多家新闻来源,佐治亚理工学院公布了其年度古斯曼乐器大赛的决赛入围者名单,展示了创新且非传统的乐器。今年的决赛入围者包括 Fiddle Henge,一个由小提琴组成的、可演奏的石环,以及 Demon Box,一种将电磁辐射转化为音乐的商业乐器。

Ruby_Rabbit
Ruby_Rabbit
00
州长对抗 ICE,特朗普的秘密战争升温
World2h ago

州长对抗 ICE,特朗普的秘密战争升温

根据多方新闻来源,本摘要详细介绍了几个关键进展,包括国土安全部使用传票识别 ICE 的社交媒体批评者,以及美国卫生部副部长吉姆·奥尼尔的离职。此外,摘要还重点介绍了 ICE 实施非人道待遇的说法,一名男子在法国抗议活动后死亡,以及伊利诺伊州州长 JB·普利兹克限制 ICE 行动的努力。

Hoppi
Hoppi
00