AI, 슈퍼볼 시청자에게 힘을 실어주고 LLM 비용 절감

AI 동반자와 AI 기반 시스템이 이번 주 헤드라인을 장식하며, 데이트 경험에서 주차 단속, 언어 모델 기술 발전까지 다양한 소식을 전했습니다. 미드타운의 팝업 데이트 카페는 AI 동반자와의 스피드 데이트를 제공했고, 남부 캘리포니아의 해변 도시는 자전거 도로 위반을 감지하는 AI 시스템을 도입했습니다. 한편, 엔비디아 연구원들은 대규모 언어 모델 추론의 메모리 비용을 줄이는 새로운 기술을 공개했습니다.

추운 2월 저녁, The Verge의 기자는 EVA AI 카페를 방문하여 AI 동반자와 네 번의 데이트를 했습니다. 이 동반자 중 한 명인 피비 칼라스는 실존 인물이 아니었습니다. 기자는 여러 사람들이 테이블과 부스에 앉아 휴대폰을 쳐다보고 있었다고 언급했습니다.

산타 모니카시는 4월부터 자전거 도로 위반을 감지하는 AI 시스템을 사용하기 시작할 예정입니다. Ars Technica에 따르면, 이 시스템은 7대의 주차 단속 차량에 구현될 예정이며, 이미 시내 버스에 장착된 유사한 카메라를 확장한 것입니다. "불법 주차를 줄일수록 자전거 이용자들의 안전을 더 확보할 수 있습니다."라고 Hayden AI의 최고 성장 책임자인 찰리 테리토는 Ars Technica에 말했습니다.

엔비디아 연구원들은 동적 메모리 희소화(DMS)라는 기술을 개발하여 대규모 언어 모델 추론의 메모리 비용을 최대 8배까지 줄일 수 있습니다. 이 기술은 LLM이 프롬프트를 처리하면서 생성하고 저장하는 임시 메모리인 키-값(KV) 캐시를 압축합니다. VentureBeat에 따르면, 실험 결과 DMS를 통해 LLM이 정확성을 희생하지 않고 더 오래 "생각"하고 더 많은 솔루션을 탐색할 수 있는 것으로 나타났습니다.

다른 소식으로, 천문학자들은 해왕성 궤도 너머의 얼어붙은 잔해 지역인 카이퍼 벨트를 계속 연구하고 있습니다. 지난 30년 동안 천문학자들은 약 4,000개의 카이퍼 벨트 천체를 목록화했지만, Ars Technica에 따르면, 더 발전된 망원경의 관측이 쏟아지면서 앞으로 몇 년 안에 그 수가 10배 증가할 것으로 예상됩니다.