按标签查看文章: llm-inference

Apple M5 芯片：3nm 工艺、128 核神经块与 AI 革命

Apple M5：台积电 3nm 工艺、128 核神经引擎、零拷贝内存，以及笔记本电脑上的大语言模型发布。了解为什么 M5 是对 NVIDIA 和 Intel 最激进的攻击。阅读详情。

Qwen 3.5 397B 在 iPhone 17 Pro 上：Flash-MoE

在 iPhone 17 Pro 上使用 SSD 和 Flash-MoE 运行 3970 亿参数 Qwen3.5。速度 0.6 t/s，与 M3 Max 比较。开发者技术细节。

vLLM 生产栈：K8s 中的基本启动

使用生产栈在 Kubernetes 中部署 vLLM。GPU/CPU 设置、工具调用、多模态模型。针对中高级 devops 的 YAML 配置和内存优化。