Články podle tagu: swe-bench

GLM-5.1 vede na SWE-Bench Pro: 58,4%

GLM-5.1 od Z.ai překonává GPT-5.4 a Claude na SWE-Bench Pro. Sestavila Linux desktop za 8 hodin, x6 na VectorDBBench. Váhy na HuggingFace. Testujte pro long-running úlohy.

Qwen3.6-Plus: agentové programování a multimodálnost

Qwen3.6-Plus od Alibaba překonává konkurenty v kódování na SWE-bench, podporuje 1M tokenů a multimodálnost. Přístup k API, benchmarky, integrace — pro vývojáře. Zjistěte podrobnosti.

Degradace Claude Code: reasoning depth -73%

Analýza 6852 sezení Claude Code: pokles hloubky uvažování o 73 %, nárůst nákladů ×122, slepé úpravy 33 %. Workaround a metriky pro middle/senior dev. Zkontrolujte na svých úkolech.

14 benchmarků LLM: rozbor a kritika

Podrobná analýza SWE-bench, Terminal-Bench, τ² a dalších testů pro LLM. Zjistěte slabiny a relevanci pro dev úkoly. Vyberte model vědomě.