태그별 기사: llm-inference

Apple M5 칩: 3nm 공정, 128코어 신경 블록 및 AI 혁명

Apple M5: TSMC 3nm 공정, 128 신경 엔진 코어, 제로 카피 메모리, 노트북에서 LLM 출시. M5가 NVIDIA와 Intel에 대한 가장 공격적인 공격인 이유를 알아보세요. 자세히 읽기.

iPhone 17 Pro에서 Qwen 3.5 397B: Flash-MoE

SSD와 Flash-MoE를 사용해 iPhone 17 Pro에서 3970억 파라미터 Qwen3.5 실행. 속도 0.6 t/s, M3 Max와 비교. 개발자를 위한 기술 세부 사항.

vLLM Production Stack: K8s에서 기본 실행

Production Stack을 사용한 Kubernetes에서의 vLLM 배포. GPU/CPU 설정, tool-calling, multimodal models. 중급/시니어 devops를 위한 YAML 구성 및 메모리 최적화.