태그별 기사: llama-cpp

Claude Code 유출: Gemma 4 Qwen 소스 코드 및 릴리스

512K 줄 Claude Code 유출 분석, harness 아키텍처, Gemma 4 및 Qwen 3.6-Plus 릴리스. 벤치마크, 마이그레이션, 로컬 실행. 중간/시니어 개발자 — 세부 사항 확인하고 직접 에이전트 구축하세요.

6 GB GPU에서 MoE GPT-OSS-120B 실행, 최대 30 t/s

약한 GPU에서 -cmoe와 --fit으로 GPT-OSS-120B 가속. MoE 모델을 위한 효율적인 RAM 사용. 개발자 지침.

llama.cpp: Gemma 4와 Qwen3의 ASR

llama.cpp에 Gemma 4 (E4B/E2B)와 Qwen3 음성 인식 통합. GPU 실행, 프롬프트, 안정성을 위한 매개변수. 중/고급 개발자 지침.

로컬 AI 에이전트의 파일 액세스: 도구

로컬 AI 에이전트용 파일 액세스 구현: 권한 게이트, 자동 검증, KV-cache 버그 수정. 개발자를 위한 기술 세부 사항. 아키텍처를 연구하세요.

8k 컨텍스트의 ruGPT3XL: 희소 어텐션

희소 어텐션과 파인튜닝을 통한 ruGPT3XL의 8k 토큰 확장. gazeta에서 PPL 13.00, Triton/SDPA 최적화 ×1.85. 개발자를 위한 지침.

transformers용 ruGPT-3 XL 복원

레거시 ruGPT-3 XL을 fine-tuning 및 추론을 위한 HF 형식으로 변환하는 방법을 알아보세요. 가중치 구조, 커스텀 클래스, MERA 벤치마크. 개발자를 위한 지침.