Artikel nach Tag: llm-inference

Apple M5 Chip: 3nm-Prozess, 128-Kern-Neuronalblock und KI-Revolution

Apple M5: TSMC-3nm-Prozess, 128 Neural Engine-Kerne, Zero-Copy-Speicher und LLM-Start auf einem Laptop. Erfahren Sie, warum M5 der aggressivste Angriff auf NVIDIA und Intel ist. Lesen Sie Details.

Qwen 3.5 397B auf iPhone 17 Pro: Flash-MoE

Ausführen von 397 Milliarden Parametern Qwen3.5 auf iPhone 17 Pro mit SSD und Flash-MoE. Geschwindigkeit 0.6 t/s, Vergleich mit M3 Max. Technische Details für Entwickler.

vLLM Production Stack: einfacher Start in K8s

Bereitstellung von vLLM in Kubernetes mit Production Stack. GPU/CPU-Einstellungen, tool-calling, multimodale Modelle. YAML-Konfigurationen und Speicheroptimierungen für Middle-/Senior-DevOps.