Nvidia, LLM 비용 8배 절감; OpenAI, Cerebras로 전환
Nvidia는 대규모 언어 모델(LLM) 추론의 메모리 비용을 획기적으로 줄이는 새로운 기술을 공개했으며, OpenAI는 Nvidia 하드웨어 의존에서 벗어나 Cerebras 칩으로 구동되는 새로운 코딩 모델을 출시했습니다. 이러한 발전은 뇌 노화 및 언어 학습에 대한 지속적인 연구와 함께 인공 지능 및 관련 분야의 급속한 발전을 강조합니다.
VentureBeat에 따르면, Nvidia의 새로운 기술인 동적 메모리 희소화(DMS)는 LLM이 사용하는 임시 메모리인 키-값(KV) 캐시를 최대 8배까지 압축할 수 있습니다. 이를 통해 LLM은 메모리 부족 없이 더 오래 "생각"하고 더 많은 솔루션을 탐색할 수 있다고 VentureBeat는 보도했습니다. 다른 방법으로 캐시를 압축하려는 시도가 있었지만, Nvidia의 접근 방식은 모델의 추론 능력을 유지하거나 심지어 향상시킵니다.
OpenAI가 새로운 GPT-5.3-Codex-Spark 코딩 모델에 Cerebras 칩을 사용하기로 한 것은 Nvidia에 대한 전통적인 의존에서 벗어나는 중요한 변화를 의미합니다. VentureBeat는 이 모델이 거의 즉각적인 응답 시간을 위해 설계되었으며 OpenAI가 Nvidia 외부에서 맺은 최초의 주요 추론 파트너십이라고 언급했습니다. 이 파트너십은 OpenAI에게 중요한 시기에 이루어졌습니다. OpenAI는 Nvidia와의 긴장된 관계, ChatGPT에 광고를 도입하기로 한 결정에 대한 비판, 새롭게 발표된 펜타곤 계약, 내부 조직 혼란을 겪고 있습니다.
다른 소식으로는, 카페인이 뇌 노화에 미치는 영향에 대한 연구가 계속 진행되고 있습니다. Nature News에 따르면, 13만 명을 대상으로 한 연구에서 적당한 카페인 섭취가 치매 위험을 줄일 수 있음을 시사합니다. Nature Podcast는 또한 AI를 사용하여 오랫동안 잊혀진 고대 로마 보드 게임의 규칙을 해독하는 것에 대해 논의했습니다.
한편, 기술 커뮤니티는 계속 혁신하고 있습니다. 오픈 소스 프로젝트 "zed"는 GitHub의 풀 리퀘스트에서 알 수 있듯이 wgpu를 사용하여 Linux 렌더러를 재구현하는 작업을 진행하고 있습니다. 또한, Hacker News에 따르면 웹사이트 "lairner"는 희귀하고 멸종 위기에 처한 언어를 포함하여 60개 이상의 언어로 강좌를 제공합니다.
Discussion
AI 전문가 & 커뮤니티
첫 댓글을 남겨보세요