Gemma 4: Google의 오픈 MoE 모델, 최대 31B 매개변수

# Google DeepMind의 Gemma 4: MoE 아키텍처와 멀티모달 기능을 지닌 새로운 오픈 모델

Google DeepMind가 Gemma 4를 소개했습니다 — Gemini 3를 기반으로 한 차세대 오픈 AI 모델입니다. 이 라인업에는 E2B, E4B, 26B MoE, 31B Dense의 네 가지 변형이 포함됩니다. 핵심 신규 기능은 Mixture of Experts (MoE) 아키텍처를 적용한 26B 모델로, 추론 시 38억 개 파라미터만 활성화됩니다. 이는 지식의 깊이를 유지하면서 높은 성능을 제공합니다. 플래그십 31B Dense 모델은 오픈 모델들 중 Arena AI Text 리더보드에서 3위를 차지하며, "파라미터당 지능" 측면에서 효율성을 입증했습니다.

모든 모델은 멀티모달을 지원합니다: 이미지와 비디오를 처리할 수 있습니다. 소형 E2B와 E4B는 로컬 음성 인식을 위한 오디오 입력도 지원합니다. 컨텍스트 윈도우는 소형 모델의 128K 토큰에서 대형 모델의 256K 토큰까지 다양합니다. 에이전트 애플리케이션을 위한 네이티브 함수 호출 및 구조화된 JSON 출력 지원이 기본 내장되어 있습니다.

아키텍처 특징과 최적화

26B 모델의 MoE는 계산 부하를 최소화합니다: 260억 개 파라미터 중 38억 개만 실제로 사용됩니다. 이는 저지연 작업에 필수적입니다. 31B Dense는 밀집 아키텍처를 유지하면서 2배 이상 큰 모델들과 경쟁할 수 있도록 최적화되었습니다.

소형 E2B와 E4B는 엣지 디바이스를 타겟으로 합니다:

• Android 스마트폰;
• Raspberry Pi;
• Jetson Nano.

클라우드 의존 없이 완전 오프라인으로 실행됩니다. 140개 이상 언어 지원과 Apache 2.0 라이선스는 엄격한 제한 없이 상용 이용을 간편하게 합니다.

모델 가중치는 Hugging Face, Kaggle, Ollama, LM Studio, Docker 이미지에서 제공됩니다. 대형 모델도 단일 GPU에 탑재 가능하며, 데이터 프라이버시와 디지털 주권이 필요한 시나리오에 적합합니다.

개발자를 위한 기능

Gemma 4는 중고급 개발자의 실전 작업에 최적화되었습니다:

• 멀티모달: 입력 데이터 — 텍스트, 이미지, 비디오, 오디오 (E2B/E4B 한정).
• 에이전트 기능: 후처리 없이 네이티브 함수 호출과 구조화된 JSON 출력.
• 긴 컨텍스트: 대형 문서나 대화 처리에 256K 토큰까지.
• 로컬 배포: 모바일 기기부터 단일 GPU 서버까지.
• 다국어: 파인튜닝 없이 140개 이상 언어.

이는 저지연 애플리케이션 통합을 가능하게 합니다: 챗봇, RAG 시스템, 온디바이스 AI.

벤치마크와 비교

31B Dense는 Arena AI Text에서 크기의 2배에 달하는 많은 오픈 모델들을 앞지르며 (3위) 효율성을 강조합니다. Google 개발자들은 작은 크기에도 높은 지표를 목표로 했습니다. 소형 버전은 자원이 제한된 엣지 작업에서 성능을 유지합니다.

테스트를 위해 Hugging Face Transformers나 Ollama를 사용하세요. 기본 31B 로딩 예시:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "google/gemma-4-31b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")

단일 GPU에서 양자화(예: 4비트) 적용 시 메모리를 20-25GB로 줄일 수 있습니다.

주요 요점

• MoE 최적화: 26B에서 38억 파라미터 활성화 — 속도와 품질의 균형.
• 엣지 지원: Android, Raspberry Pi용 E2B/E4B, 오프라인 음성.
• 에이전트 기능: 기본 함수 호출 + JSON 출력.
• 접근성: Apache 2.0, HF/Ollama 가중치, 140개 이상 언어.
• 효율성: 벤치마크에서 600억 이상 모델과 경쟁하는 31B.

Gemma 4 제품군은 기능성을 희생하지 않으면서 프로덕션 작업을 위한 로컬 AI 기능을 확장합니다.

— Editorial Team