Články podle tagu: llamacpp

Lokální AI na RTX 3090: těžební sestava

Sestava na H510 Pro BTC+ a 3 RTX 3090 pro gpt-oss-120b: 110 t/s inferenční, optimalizace načítání. Testy, schémata, náklady pro vývojáře LLM.