iPhone용 Gemini Distillation: 세부 정보

애플 기기용 온디바이스 AI를 위한 Gemini 증류

애플은 Google의 Gemini 기능을 단순히 클라우드 쿼리로만 통합하는 게 아니라, 모델을 증류해 iPhone에서 직접 실행되도록 하고 있습니다. Gemini 내부 계산 접근이 가능해 원본의 1.2조 매개변수 규모 생각의 연쇄를 모방하는 소형 버전을 만들 수 있게 됐습니다. 이는 핵심 논리를 잃지 않으면서 자원 요구 사항을 줄여줍니다.

모델 증류 메커니즘

증류는 전체 Gemini(선생님 모델)의 데이터를 기반으로 소형 '학생 모델'을 훈련시키는 과정입니다. 애플은 단순한 즉답뿐 아니라 전체 생각의 연쇄를 얻어 품질 유지를 위해 핵심적입니다. 이 학생 모델은 최소한의 계산으로 Gemini의 복잡한 추론을 로컬에서 재현합니다.

이 과정에는 다음이 포함됩니다:

• 중간 계산 접근: API 응답이 아닌 내부 텐서와 활성화.
• 생각의 연쇄 모방: 학생 모델이 생각 단계의 순서를 반복 학습.
• 매개변수 압축: 1.2조에서 iPhone의 NPU에 적합한 크기로 축소.

효율적이긴 하지만 완벽한 방법은 아닙니다. Gemini의 특화 기능(예: 멀티모달리티)이 Siri 작업과 항상 맞아떨어지지 않습니다. 음성 어시스턴트와 데이터 프라이버시에 맞게 미세 조정이 필요합니다.

애플의 전략: 온디바이스 추론

애플은 로컬 AI 처리에 초점을 맞춰 클라우드 호출을 최소화합니다. 증류된 Gemini 모델이 Apple Intelligence에 통합되어 Siri에게 자율성을 부여합니다. 이는 데이터가 기기를 떠나지 않는다는 프라이버시 정책과 딱 맞습니다.

테스트에는 다음이 포함됩니다:

• iOS 27용 독립형 Siri 앱.
• 강화된 Ask Siri 기능.
• 6월 8일 WWDC 발표에 통합.

Apple Foundation Models 팀은 동시에 독자적인 솔루션도 개발 중입니다. 목표는 모호합니다: 범용 모델일지, Apple Silicon 하드웨어에 최적화된 전문 모델일지.

기술적 도전과 전망

증류는 모델 크기와 성능의 균형을 요구합니다. 35 TOPS 성능의 iPhone Neural Engine (NPU)은 수십억 매개변수 규모 모델을 처리할 수 있지만, Gemini의 생각의 연쇄가 추가 오버헤드를 발생시킵니다. 최적화에는 양자화와 가지치기가 포함됩니다.

잠재력:

• Gemini가 강한 분야(코딩, 분석)에서 Siri 개선.
• 하이브리드 모드: 로컬 모델 + 클라우드 대체.
• 다른 기기(iPad, Mac)로 확장.

자체 모델 개발은 Google 의존도를 줄일 수 있지만, 증류는 배포를 가속화합니다.

주요 포인트

• 애플은 API가 아닌 Gemini 내부 계산을 증류에 활용.
• 소형 모델이 생각의 연쇄를 복사해 iPhone에서 로컬 실행.
• Siri가 iOS 27에서 온디바이스 AI 탑재, 6월 8일 WWDC 발표.
• 모델 특화 차이로 미세 조정 필요.
• 클라우드 쿼리 없이 프라이버시 중심 전략.

— Editorial Team