Články podle tagu: local-llm

Bezpečné LLM-agenty: CorpClaw-Lite pro podnikání | Přehled

CorpClaw-Lite řeší problémy bezpečnosti a škálovatelnosti v LLM-agentech. Zjistěte více o přísné izolaci, podpoře lokálních modelů a víceuživatelském režimu. Čtěte technický přehled.

Foundation Models v SwiftUI: lokální AI

Integrovejte Foundation Models do SwiftUI pro streamovou generaci textu na zařízení. Příklad kódu, vlastnosti streaming a on-device inference. Pro vývojáře iOS.

Lokální 200B modely: Bonsai a TurboQuant

Rozbor 1-bitových vah Bonsai 8B a komprese KV-cache TurboQuant. Snížení paměti v 14x pro váhy, 6x pro cache. Výpočty pro 235B-modely. Zjistěte, jak spustit giganty lokálně.