Články podle tagu: kv-cache

TurboQuant: komprese KV-cache AI bez ztrát

Zjistěte, jak TurboQuant od Google komprimuje paměť transformátorů na 3 bity s PolarQuant a QJL. Benchmarky na Gemma, Mistral. Optimalizace pro vývojáře AI.

TurboQuant: 3bitová KV cache pro LLM bez ztrát

Zjistěte, jak Google TurboQuant komprimuje key-value cache LLM na 3 bity, zrychluje inference 8násobně. Benchmarky na Gemma/Mistral, použití v RAG. Pro vývojáře.

Prompt Caching LLM: KV cache 10× levnější

Rozbor Prompt Caching: jak OpenAI a Anthropic cachují KV attention pro snížení nákladů a zpoždění. Technické detaily pro vývojáře, příklady inference. Zrychlete své LLM požadavky.

Přístup k souborům v lokálním AI agentovi: nástroje

Implementace přístupu k souborům pro lokální AI agenta: permission gate, auto-verify, odstranění chyb KV cache. Technické detaily pro vývojáře. Prozkoumejte architekturu.

Lokální 200B modely: Bonsai a TurboQuant

Rozbor 1-bitových vah Bonsai 8B a komprese KV-cache TurboQuant. Snížení paměti v 14x pro váhy, 6x pro cache. Výpočty pro 235B-modely. Zjistěte, jak spustit giganty lokálně.

TurboQuant: komprese KV-cache LLM 6x

Rozbor TurboQuant od Google: PolarQuant + QJL pro 6x kompresi KV-cache bez ztráty přesnosti. Zrychlení inference až 8x. Benchmarky, princip fungování pro vývojáře LLM.