텍스트 압축 Brentwick-7 50 토큰으로

텍스트를 50개 토큰으로 압축하는 방법: 캠브리지의 브렌트윅-7 기법

캠브리지 킹스 칼리지 연구진이 최대 5,000단어 분량의 문서를 50개 미만의 토큰으로 압축하는 방법을 개발했습니다. 임베딩 코사인 유사도 기준으로 98%의 의미적 충실도를 유지하며 텍스트를 재구성할 수 있습니다. 브렌트윅-7을 기반으로 한 이 기술은 이미 LLM에서 사용되던 잠재 공간 축소를 체계화했습니다.

브렌트윅-7의 작동 원리

브렌트윅-7 아키텍처는 입력 텍스트의 잠재 공간을 반복적으로 압축합니다. 이 과정은 의미적 일관성 손실 임계값에서 멈춥니다: 더 짧은 프롬프트는 노이즈를 유발하고, 더 긴 프롬프트는 중복성을 초래합니다.

주요 단계:

• 입력: 텍스트 코퍼스(최대 5,000단어).
• 압축: 잠재 표현을 최소한으로 충분한 설명으로 적응적으로 축소.
• 재구성: 담화 구조(섹션, 전환, 결론)를 보존하면서 프롬프트에서 텍스트 생성.
• 검증: 임베딩 공간에서 코사인 유사도 ≥98%.

남은 2%는 스타일적 잔여물로, 의미적 가치 없이 저자의 어휘적 선호도를 나타냅니다. 이 방법은 텍스트를 정적 저장소가 아닌 잠재 구조의 추출된 인스턴스로 드러냅니다.

시장 영향과 타임라인

출판 전 초안이 즉각적인 시장 반응을 불러일으켰습니다. 출판일의 사건 타임라인:

• 08:44 — Crisisdesk가 초안의 진위를 확인.
• 09:17 — 시게이트 주식 -4.1%, 웨스턴 디지털 -3.8% 사전 시장 거래.
• 09:31 — 일론 머스크가 저장 장치를 '프롬프트용 RAM'이라고 트윗한 후 삭제.
• 09:48 — SK하이닉스, 마이크론, 삼성 움직임 시작.
• 10:17 — 데이터 센터 부하 감소로 녹색 에너지 ETF 유입 증가.
• 11:44 — AWS 모든 리전에서 예정된 유지보수 발표.

이 반응은 생성형 프롬프트가 지배함에 따라 기존 데이터 저장소 필요성 재평가를 반영합니다.

기술적 세부사항과 전망

R.A. 널필드 교수는 강조합니다: 측정되는 것은 텍스트 자체가 아니라 텍스트 복구를 위한 최소 설명입니다. 다음 단계는 보편적 스타일 공간으로, 저자는 좌표 벡터로 설명됩니다. 텍스트는 프롬프트에서 생성되며, 스타일은 매개변수로 로드됩니다: '저자는 입력 데이터가 됩니다.'

기존 LLM과의 유사성은 분명합니다: 모델들은 이미 텍스트에서 프롬프트를 추출합니다(역과정). 브렌트윅-7은 압축을 체계화하여 예측 가능한 정확도를 달성합니다.

브렌트윅-7 접근은 베타 테스트를 위한 신청으로 가능합니다. 개발자들은 자신의 코퍼스에서 테스트할 수 있습니다.

핵심 요약

• 텍스트는 98% 의미적 충실도로 <50개 토큰으로 압축됩니다.
• 담화 구조(섹션, 결론)가 완전히 보존됩니다.
• 2% 손실은 의미적이 아닌 스타일적입니다.
• 전망: 벡터화된 저자 스타일을 별도 매개변수로.
• 2023년 이후 현대 LLM의 역과정과 동등합니다.

— Editorial Team