Nvidia, 새로운 기술로 LLM 비용 8배 절감

NASA는 아르테미스 III 미션 전에 우주 발사 시스템 로켓의 연료 공급 문제를 해결하기 위해 노력하고 있으며, 아르테미스 II 미션을 위한 두 번째 카운트다운 리허설을 준비하고 있다고 Ars Technica가 보도했다. 또한, 이 기관은 세계보건기구(WHO)가 비윤리적이라고 판단한 미국 자금 지원 백신 임상시험에 대한 감시를 받고 있다.

Ars Technica는 NASA 관리자 Jared Isaacman의 말을 인용하여, 아폴로 프로그램 이후 달 착륙을 위한 최초의 유인 미션이 될 예정인 아르테미스 III 미션 전에 우주 발사 시스템 로켓을 괴롭힌 연료 공급 문제를 예방할 방법을 모색하고 있다고 보도했다. 이달 초 발사 창을 놓친 후 플로리다주 케네디 우주 센터의 발사대에 남아 있는 아르테미스 II는 다음 주 중으로 기술자들이 2월 2일에 연습 카운트다운을 중단시킨 수소 연료 누출 문제를 해결했는지 확인하기 위해 두 번째 카운트다운 리허설을 준비하고 있다.

다른 소식으로, WHO는 미국 자금 지원 백신 임상시험을 비윤리적이라고 비난하는 공식 성명을 발표했다고 Ars Technica가 보도했다. 기니비사우에서 진행된 이 임상시험은 일부 신생아에게 B형 간염에 대한 안전하고 잠재적으로 생명을 구할 수 있는 백신을 제공하지 않았다. WHO는 이 임상시험이 확립된 윤리적 및 과학적 원칙과 일치하지 않는다고 결론 내리고, 임상시험이 해롭고 품질이 낮았던 이유를 요약한 목록을 제시했다. 이 임상시험은 12월에 미국 자금 지원 사실이 연방 관보에 게재된 이후 보건 전문가들로부터 광범위한 비난을 받았다.

기술 분야에서, Nvidia 연구원들은 VentureBeat에 따르면, 정확성을 잃지 않으면서 대규모 언어 모델(LLM) 추론의 메모리 비용을 최대 8배까지 줄일 수 있는 동적 메모리 희소화(DMS)라는 기술을 개발했다. DMS는 LLM이 프롬프트를 처리하고 문제와 문서를 통해 추론하는 동안 생성하고 저장하는 임시 메모리인 키 값(KV) 캐시를 압축한다. 실험 결과 DMS를 통해 LLM이 메모리 증가 없이 더 오래 "생각"하고 더 많은 솔루션을 탐색할 수 있는 것으로 나타났다.

또한, VentureBeat는 보안 리더들이 직원들이 단일 행 설치 명령으로 OpenClaw를 회사 컴퓨터에 배포하여 자율 에이전트에게 셸 접근 권한, 파일 시스템 권한, Slack, Gmail 및 SharePoint에 대한 OAuth 토큰을 부여하는 것에 대해 우려하고 있다고 보도했다. Censys는 오픈 소스 AI 에이전트를 약 1,000개 인스턴스에서 일주일도 안 되어 21,000개 이상의 공개 노출 배포로 추적했다.