XML značky pro přesné řízení pozornosti v promptech
Modely založené na transformerech rozkládají pozornost najednou na celý kontext promptu, což vede k rozmazaným hranicím mezi instrukcemi, daty a příklady. XML značky vytvářejí jasné sémantické kotvy, posilují vzájemné vazby uvnitř bloků a snižují neurčitost interpretace. To je obzvláště klíčové pro dlouhé relace, kde se aktivuje řídká pozornost.
Mechanismus pozornosti v transformerech
Transformer počítá matici pozornosti pro všechny tokeny vstupního textu: každý token hodnotí relevanci ostatních. Plná pozornost (full attention) se škáluje kvadraticky podle délky kontextu, proto se u velkých objemů přepíná na řídkou pozornost – tokeny interagují jen s nejbližšími sousedy a globálními kotvami.
Bez struktury se prompt rozplývá: model plýtvá zdroji na určení hranic. XML značky tvoří párové shluky s vysokou vnitřní pozorností. Tokeny uvnitř <data> jsou silně propojené mezi sebou, ale slabě s <instructions>.
Při vnořenosti značek se hierarchie vah buduje automaticky: vnější značky pokrývají shluk, vnitřní podstruktury. To využívá předtrénink na HTML/XML/kódu, kde párové značky označují sémantické hranice.
Srovnání promptů s a bez značek
Podívejme se na identický obsah:
Bez XML:
Jsi analytik. Tady jsou data o prodejích za březen. Napiš závěr ve třech větách.
Data: 1200 transakcí, průměrný nákup 850 Kč, odliv 12 %.
Příklad dobrého závěru: stručný, s čísly, bez hodnocení.S XML:
<role>Jsi analytik dat</role>
<data>
1200 transakcí, průměrný nákup 850 Kč, odliv 12 %
</data>
<instructions>
Napiš závěr ve třech větách
</instructions>
<example>
Stručný, s čísly, bez hodnocení
</example>V prvním případě se pozornost rozkládá rovnoměrně, model hádá sekce. Ve druhém značky fixují fokus: <data> se shlukuje lokálně, bez ohledu na pozici v promptu.
U krátkých promptů (<512 tokenů) je rozdíl minimální. Výhoda se projeví nad 2k tokeny nebo v dialozích: každý výměna přidává kontext, řídká pozornost fragmentuje vazby bez kotev.
Použití v dlouhých kontextech
V relacích po 5 iteracích kontext překročí práh řídké pozornosti. Tokeny z úvodu dialogu jsou slabě propojené s koncem bez strukturálních majáků. XML značky zajišťují lokální hustotu pozornosti uvnitř bloků a zachovávají globální strukturu.
Struktura investuje do stability relace: rané instrukce neztrácejí váhu pod novými daty. Podobně jako metodologie GRACE pro dokumenty – značky označují zóny odpovědnosti modelu.
Praktické vzory XML značek
Používejte značky pro smíšený obsah. Zde jsou základní šablony:
- Instrukce + data:
```
<instructions>Úkol</instructions>
<data>Fakta</data>
```
- Příklady:
```
<examples>
<example>Vstup: ... Výstup: ...</example>
</examples>
```
- Role + omezení:
```
<role>Analytik</role>
<task>Analýza</task>
<constraints>3 věty, čísla</constraints>
```
Tyto vzory fungují v Claude 4.6 a podobných modelech: Anthropic doporučuje XML pro nejednoznačné prompty s instrukcemi, kontextem a proměnnými.
Co je důležité
- XML značky posilují lokální pozornost uvnitř bloků a minimalizují hádání hranic.
- Efekt je klíčový pro řídkou pozornost v dlouhých kontextech (>2k tokenů).
- Vnořenost značek buduje hierarchii vah automaticky.
- Vzory lze aplikovat na role, data, příklady a omezení.
- Doporučení Anthropic: používejte pro smíšené prompty bez dalších vysvětlení.
— Editorial Team
Zatím žádné komentáře.