AI, 문서 이해 능력 획기적 발전, 벡터 검색 성능 능가

PageIndex라는 새로운 오픈 소스 프레임워크가 검색 증강 생성(RAG) 시스템에서 긴 문서를 처리하는 데 따르는 어려움에 대한 해결책을 제시하며, VentureBeat에 따르면 벡터 검색이 일반적으로 실패하는 문서에서 98.7%의 정확도를 달성했습니다. 한편, 다른 뉴스에서는 인간이 빙하가 아닌 웨일스와 스코틀랜드 북부에서 스톤헨지로 돌을 옮겼다는 연구 결과가 Ars Technica를 통해 보도되었습니다.

PageIndex는 문서를 청크로 나누고, 임베딩을 계산하고, 벡터 데이터베이스에 저장하고, 의미 유사성을 기반으로 상위 일치 항목을 검색하는 기존 RAG 워크플로에서 사용되는 표준 "청크 및 임베드" 방식을 버리고 문서 검색을 탐색 문제로 취급한다고 VentureBeat는 지적했습니다. 이러한 접근 방식은 기업이 재무제표 감사, 법률 계약 분석, 제약 프로토콜 탐색과 같은 중요한 워크플로에 RAG를 통합하려고 시도하면서 정확성 장벽에 직면함에 따라 특히 중요합니다.

VentureBeat는 문서를 평면적인 텍스트 문자열로 취급하고 고정 크기 청크를 사용하는 표준 RAG 파이프라인의 한계도 강조했습니다. 이 방법은 산문에는 적합하지만 테이블을 자르고, 이미지에서 캡션을 분리하고, 페이지의 시각적 계층 구조를 무시하여 기술 매뉴얼의 논리를 방해할 수 있습니다. VentureBeat는 "실패는 LLM에 있는 것이 아니라 전처리 과정에 있다"고 밝혔습니다.

별도의 소식으로 Ars Technica는 인간이 웨일스와 스코틀랜드 북부에서 스톤헨지로 돌을 옮겼다는 이론을 뒷받침하는 새로운 증거를 보도했습니다. 이 연구는 빙하가 아닌 인간이 상징적인 돌을 옮기는 데 책임이 있었다는 것을 시사합니다.

또한 Wired는 레고 세트, 데이트 박스, 꽃, 로브 등 발렌타인 데이 선물에 대한 지침을 제공했습니다. 이 간행물은 데이트 밤 박스도 검토했으며, 한 작가는 데이트 상대를 찾기 위해 Hinge를 다운로드한 후 10가지 인기 있는 옵션을 테스트했습니다.