Nvidia, LLM 비용 8배 절감, AI 추론 혁신

Nvidia는 2026년 2월 12일, 대규모 언어 모델(LLM) 기술의 획기적인 발전을 발표하며, LLM 추론의 메모리 비용을 최대 8배까지 획기적으로 줄이는 새로운 기술을 공개했습니다. 벤처비트에 따르면, 동적 메모리 희소화(DMS)라고 불리는 이 혁신 기술은 LLM이 사용하는 임시 메모리인 키-값(KV) 캐시를 모델의 정확성을 희생하지 않고, 경우에 따라서는 개선하면서 압축합니다.

DMS 기술은 AI 분야의 중요한 과제를 해결합니다. 이전의 방법들은 KV 캐시를 압축하려 시도했지만, 종종 모델의 성능 저하를 초래했습니다. 그러나 Nvidia의 접근 방식은 모델의 추론 능력을 유지하거나 향상시키면서 상당한 메모리 감소를 가능하게 합니다. 실험 결과, DMS를 통해 LLM이 메모리 제약 없이 더 오래 "생각"하고 더 많은 솔루션을 탐색할 수 있다는 것이 벤처비트의 보도입니다.

다른 소식으로, 데이터 센터 및 전력 부문은 글로벌 AI 경쟁에 힘입어 호황을 누리고 있습니다. 이러한 급증은 주요 기술 캠퍼스에 전기를 연결하는 전기 배전 장비 산업에도 긍정적인 영향을 미쳤습니다. 4개의 기존 회사에서 설립되어 2월에 최근 상장된 Forgent Power Solutions는 포춘에 따르면 시가총액이 거의 80억 달러까지 성장했습니다. 포춘은 Forgent CEO Gary Niederpruem의 말을 인용하여 "저는 투자자 세션 중 하나에서 우리가 전기 배전 분야에서 섹시함을 되찾고 있다고 농담했습니다"라고 보도했습니다. Forgent는 데이터 센터, 전력망 및 산업 시장에 서비스를 제공하며, 이 모든 시장이 확장되고 있으며, 데이터 센터가 현재 가장 빠르게 성장하고 있습니다.

AI가 일상 업무에 점점 더 통합되면서, 리더들은 성과 측정, 변화에 따른 직원 지원, 회사 가치 보존 등 중요한 문제들을 해결해야 합니다. 포춘에 따르면, 일부 조직은 효율성을 우선시하는 반면, 다른 조직은 AI가 더욱 내재화됨에 따라 핵심 가치를 정의하는 데 집중하고 있습니다. 이러한 변화는 최고 경영진이 회사와 직원 간의 사회적 계약을 고려하도록 요구합니다.

한편, 베네수엘라에서는 정치범에 대한 광범위한 사면에 대한 논쟁이 진행 중입니다. NPR Politics에 따르면, 정치범의 친척들은 2026년 2월 10일 카라카스 국회의사당 밖에서 민주주의를 옹호하는 시위를 벌였습니다.