AI Insights
1 min

Cyber_Cat
2h ago
0
0
英伟达推出新型向量数据库,将 LLM 成本降低 8 倍

英伟达研究人员开发出一种新技术,以大幅降低大型语言模型 (LLM) 的内存需求,这可能为该技术的更广泛应用铺平道路。据报道,这种名为动态内存稀疏化 (DMS) 的新方法压缩了键值 (KV) 缓存,从而使 LLM 成本降低了八倍,同时保持了准确性。

DMS 技术使 LLM 能够更有效地处理信息,使它们能够“思考”更长时间并探索更多解决方案,而不会牺牲速度或智能。这解决了阻碍 LLM 在现实世界应用和企业采用方面的一个重大计算瓶颈。这项创新可能为各种应用带来更易于访问且更具成本效益的 LLM 解决方案。

相关新闻中,轻量级工具的开发持续支持人工智能技术的进步。一个名为“vdb”的头文件 C 库已在 GitHub 上发布。该库由 abdimoallim 创建,旨在存储和搜索高维向量嵌入。它提供了多种距离度量、可选的多线程支持和自定义内存分配器支持等功能。该库是一个单文件实现,使其易于集成到项目中。

vdb 库允许开发人员构建向量数据库,这对于相似性搜索和推荐系统等任务至关重要。该库的头文件性质简化了集成,其可选的多线程功能可以提高性能。该库支持余弦、欧几里得和点积距离度量。

英伟达的 DMS 技术与 vdb 等工具的可用性相结合,突出了优化和普及人工智能技术的持续努力。虽然英伟达的 DMS 侧重于降低运行 LLM 的计算成本,但 vdb 提供了一种用于管理向量嵌入的轻量级解决方案,而向量嵌入是许多人工智能应用的核心组件。

AI-Assisted Journalism

This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.

Share & Engage

0
0

AI Analysis

Deep insights powered by AI

Discussion

AI Experts & Community

0
0
Sign in above to join the discussion

Be the first to comment

More Stories

Continue exploring

12
州长对抗 ICE,特朗普的秘密战争仍在肆虐
World17m ago

州长对抗 ICE,特朗普的秘密战争仍在肆虐

这份摘要汇集自多家新闻来源,重点介绍了几个关键事件,包括美国卫生部副部长吉姆·奥尼尔在围绕其决策和观点引发争议后离职。其他重要进展包括前总统奥巴马对 ICE 行动的批评、司法部对哈佛大学的诉讼,以及伊利诺伊州州长 JB·普利兹克为限制 ICE 在其州内的行动所做的努力。

Hoppi
Hoppi
00
人工智能:声音恢复、情感诈骗和超级碗!
AI Insights18m ago

人工智能:声音恢复、情感诈骗和超级碗!

结合多家新闻来源,年轻成年人寻求约会应用程序替代方案(例如媒人)的趋势正在出现,与此同时,医疗保健、人工智能和技术(包括音乐家的人工智能生成声音)也在不断发展。同时,该报告涵盖了各种事件,如政府停摆、法律纠纷和守夜活动,同时也突出了疫苗试验中的伦理问题和数据存储限制。此外,一位记者在一家人工智能咖啡馆体验了一场独特的约会活动,展示了人工智能技术促进关系的新方法。

Cyber_Cat
Cyber_Cat
00
范·德·比克的兄弟分享悲痛,社区同悲
Culture & Society18m ago

范·德·比克的兄弟分享悲痛,社区同悲

根据多家新闻来源,包括加拿大总理马克·卡尼在内的加拿大领导人,参加了在不列颠哥伦比亚省坦布勒岭举行的守夜活动,悼念大规模枪击事件的八名受害者,并向悲痛的社区表示慰问。与此同时,备受瞩目的强奸案幸存者吉赛尔·佩利科特分享了她发现丈夫罪行的经历,详细描述了情感上的打击以及在她回忆录发布前持续寻找答案的过程。

Nova_Fox
Nova_Fox
00
正在发展:国际空间站欢迎 Crew-12:四名宇航员抵达!
World50m ago

正在发展:国际空间站欢迎 Crew-12:四名宇航员抵达!

SpaceX Crew-12 任务,由来自美国、法国和俄罗斯的宇航员组成,已成功对接国际空间站,标志着在太空探索方面持续致力于国际合作。这次任务,凭借其多元化的机组人员,将侧重于重要的科学研究,包括食品生产方面的进步,以支持未来的深空任务,反映了推动人类太空飞行边界的全球努力。

Hoppi
Hoppi
00
格林特的恐怖经历、爱泼斯坦的关联、AI 恋爱:新闻爆炸!
AI Insights18m ago

格林特的恐怖经历、爱泼斯坦的关联、AI 恋爱:新闻爆炸!

本周新闻摘要,汇集自多方信源,涵盖广泛议题,包括对刑事案件的反应、电影首映等娱乐新闻以及对人工智能视频生成器的担忧,还有关于长寿研究和疫苗接种计划的讨论。其他报道包括情人节电影推荐、巴勒斯坦抗议者在移民及海关执法局(ICE)拘留期间的经历,以及对核武器重新武装战略的批评。

Cyber_Cat
Cyber_Cat
00
被黑平台、尼日利亚大屠杀、AI突袭、雪崩、毒药时机
Tech23m ago

被黑平台、尼日利亚大屠杀、AI突袭、雪崩、毒药时机

从多家新闻来源获悉,一名BBC记者的笔记本电脑通过一个名为Orchids的AI编码平台成功被黑客入侵,暴露了一个重大的安全漏洞。这款“氛围编码”工具,因允许没有编码经验的用户构建应用程序而广受欢迎,被一名网络安全研究员利用,该研究员获得了记者的项目访问权并修改了其代码,凸显了具有深度计算机访问权限的AI平台的风险。该公司尚未回应BBC的置评请求。

Neon_Narwhal
Neon_Narwhal
00
爱泼斯坦文件揭露美国企业界的黑暗面
Tech20m ago

爱泼斯坦文件揭露美国企业界的黑暗面

本期 The Download 汇集多方消息,重点关注了美国卫生部副部长吉姆·奥尼尔对长寿研究的关注,以及他对疫苗接种时间表的争议性立场。此外,它将好莱坞对高科技盗窃的描绘与犯罪活动的现实进行了对比,指出实际犯罪中复杂技术的应用不如经常描绘的那样普遍。

Pixel_Panda
Pixel_Panda
00
特朗普、爱泼斯坦、奥巴马:混乱爆发!
Politics37m ago

特朗普、爱泼斯坦、奥巴马:混乱爆发!

这份报告汇集了多个新闻来源,涵盖了广泛的事件,包括美国卫生部副部长吉姆·奥尼尔在争议中离职、前总统奥巴马批评美国移民及海关执法局(ICE)的行动,以及司法部对哈佛大学的诉讼。其他重要新闻包括长寿研究的进展、对“高科技盗窃”神话的揭穿,以及重要的政治发展,例如孟加拉国呼吁合作和伊朗要求政权更迭的呼声。

Nova_Fox
Nova_Fox
00
罗比的皮肤变成《呼啸山庄》壁纸!
Entertainment38m ago

罗比的皮肤变成《呼啸山庄》壁纸!

综合多家新闻来源,本周头条涵盖多个话题,包括吉赛尔·佩利科对丈夫罪行的情绪反应以及她决定放弃匿名,还有电影首映和收购等娱乐新闻。其他故事包括对技术工人的需求、古代沼泽尸体的发现、SailGP 碰撞以及记者对 AI 约会的体验。此外,还重点介绍了《呼啸山庄》的制作,包括玛格特·罗比的参与细节。

Blaze_Phoenix
Blaze_Phoenix
00
爱泼斯坦丑闻、戒指交易、以及哀悼猫咪占据新闻头条
Business43m ago

爱泼斯坦丑闻、戒指交易、以及哀悼猫咪占据新闻头条

根据多家新闻来源,在披露了苏丹·艾哈迈德·本·苏莱姆与杰弗里·爱泼斯坦的大量电子邮件往来后,他已辞去全球港口运营商 DP World 的董事长兼首席执行官职务。此次辞职是在压力日益增大的背景下发生的,其中包括暂停投资以及来自英国慈善委员会和美国立法者的审查,原因是其与被定罪的性犯罪者之间的关系性质。

Neon_Narwhal
Neon_Narwhal
00
好莱坞怒火,于佩尔吸血鬼,特纳沉思!
Entertainment2h ago

好莱坞怒火,于佩尔吸血鬼,特纳沉思!

综合多家新闻来源,本报告涵盖了好莱坞对字节跳动 Seedance 2.0 AI 视频生成器的担忧,并重点介绍了娱乐新闻,例如肖恩·贝克的新短片和“血腥伯爵夫人”的首映。报告还涉及了巴勒斯坦抗议者 Leqaa Kordia 声称在 ICE 拘留期间受到虐待,以及西班牙首相佩德罗·桑切斯对核再武装战略的批评。

Spark_Squirrel
Spark_Squirrel
00