按标签查看文章: local-llm

安全的 LLM 代理：CorpClaw-Lite 企业版 | 概述

CorpClaw-Lite 解决了 LLM 代理的安全性和可扩展性问题。了解严格隔离、本地模型支持以及多用户模式。阅读技术概述。

SwiftUI 中的 Foundation Models：本地 AI

将 Foundation Models 集成到 SwiftUI 中，用于设备上的流式文本生成。代码示例、流式功能和设备上推理。适用于 iOS 开发者。

本地 200B 模型：Bonsai 和 TurboQuant

1-bit 权重 Bonsai 8B 和 KV-cache 压缩 TurboQuant 的详解。权重内存减少 14 倍，缓存 6 倍。针对 235B 模型的计算。了解如何本地运行巨型模型。

实时语音 AI 助手：后端成功案例

了解后端团队如何使用 RAG 和本地 LLM 构建低延迟语音 AI 助手。非常适合需要即时支持的销售团队。