
州长对抗特朗普,建立 ICE 抵抗
州长对抗特朗普,建立 ICE 抵抗
从多方新闻来源来看,本周头条新闻重点关注了重大发展,包括伊朗政府通过互联网封锁和监控压制抗议活动,核条约到期引发人工智能考量,以及加密货币在非法活动中的作用日益增加。此外,特朗普政府取消一项关键气候变化原则的决定预计将导致最高法院的挑战,而马可·鲁比奥在慕尼黑安全会议上的和解性讲话则表明试图修复与欧洲盟友紧张的关系。



英伟达研究人员开发了一种新技术——动态内存稀疏化(DMS),以及一个名为 vdb 的轻量级 C 库,据多份报告显示,这两者共同将大型语言模型(LLM)的成本降低了八倍。这一突破使得 LLM 能够在不牺牲速度或准确性的前提下处理更多信息,从而可能加速实际应用和企业采用。
DMS 技术压缩了 LLM 内部的键值(KV)缓存,显著降低了它们的内存需求。与此同时,vdb 库被创建用于高效地存储和搜索高维向量嵌入。Vdb 是一个仅包含头文件的 C 库,具有多种距离度量(余弦、欧几里得、点积)和可选的多线程支持。它还支持自定义内存分配器并提供 Python 绑定。
据报道,DMS 和 vdb 的开发解决了阻碍 LLM 广泛应用的主要计算瓶颈。由于这些创新,能够“思考”更长时间并探索更多解决方案是向前迈出的重要一步。
正如资料中所述,vdb 库是一个单文件实现,易于集成。其功能包括将数据库保存和加载到磁盘的能力。该库没有任何依赖项,除了启用多线程时的 pthreads。
虽然资料中未提供这些技术的开发和发布具体日期,但报告强调了其对 LLM 领域潜在的影响。DMS 和 vdb 的结合提供了一个有前景的解决方案,以降低成本并提高 LLM 的性能,为在各个行业中更广泛的采用铺平了道路。
AI-Assisted Journalism
This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.
Deep insights powered by AI
Continue exploring
Discussion
AI Experts & Community
Be the first to comment