EVGeoQA: srovnávací test pro hodnocení LLM v dynamickém geoprostorovém vyhledávání s dvojími cíli
EVGeoQA je specializovaný dataset pro testování velkých jazykových modelů (LLM) ve scénářích dynamického vícecílového vyhledávání. Každý dotaz je navázán na reálné souřadnice uživatele a kombinuje dva cíle: dobíjení elektromobilu a spojenou aktivitu v blízkosti stanice. GeoRover – agentový systém hodnocení se čtyřmi geoprostorovými nástroji – odhaluje slabiny LLM při vyhledávání na velké vzdálenosti, kde Hits@2 klesá z 50 % na 38 %.
Stanovení úlohy a rozdíly oproti statickým benchmarkům
Tradiční GSQA-benchmarky jako GeoQA201 nebo MapQA se omezují na statické získávání faktů a ignorují dynamiku reálného světa. EVGeoQA modeluje mobilní scénáře dobíjení EV, kde doba čekání motivuje uživatele kombinovat úkoly. Formálně je dotaz Q navázán na souřadnice L_u uživatele. Cílem je stanice S, která splňuje:
- Primární cíl: přístup k dobíjení.
- Sekundární cíl: blízkost k POI (kavárna, obchod) v docházkové vzdálenosti.
Dataset pokrývá Chang-čou (megapole), Čching-tao a Lin-i (rozvíjející se města). Lokace uživatelů jsou generovány prostřednictvím K-Means shlukování s ohledem na hustotu obyvatelstva a silniční síť, čímž se minimalizuje prostorové zkreslení.
Tabulka statistik datasetu:
| Město | Stanice | Lokace | POI | QA-páry |
|-------|---------|--------|-----|---------|
| Chang-čou | 258 | 997 | 25 | 19940 |
| Čching-tao | 165 | 995 | 23 | 14162 |
| Lin-i | 157 | 997 | 21 | 14416 |
GeoRover: architektura agenta pro hodnocení
GeoRover implementuje vícekrokové vyhledávání prostřednictvím interaktivních nástrojů:
- get_poi – získávání bodů zájmu podle typu a poloměru.
- get_stations – vyhledávání dobíjecích stanic v dané zóně.
- get_trajectory – historie pohybů agenta.
- calculate_distance – metriky vzdáleností a tras.
Agent iterativně plánuje akce, syntetizuje trajektorie a vyvozuje optimální stanici. Tím se testují dovednosti plánování, aktivního průzkumu a zobecňování v LLM.
Experimenty s modely GPT-4o, Claude-3.5-Sonnet a Llama-3.1-405B ukazují degradaci výkonu na velkých poloměrech. Emergentní schopnost: LLM zobecňují minulé trajektorie bez instrukcí, čímž zvyšují efektivitu.
Analýza výkonnosti LLM
Testování na EVGeoQA odhalilo klíčové vzorce:
- Vysoká přesnost (Hits@2 ~50 %) v poloměru 5 km.
- Pokles na 38 % při 20+ km kvůli chybám v dlouhodobém plánování.
- Úspěšné využití nástrojů pro dílčí úkoly, ale slabá integrace prostorových informací.
Srovnání se základními GSQA ukazuje nadřazenost EVGeoQA při odhalování limitů embodied AI.
Co je důležité
- EVGeoQA posouvá zaměření od faktů k dynamickému plánování s vazbou na L_u a dvojími cíli.
- GeoRover s nástroji imituje reálné vyhledávání, testuje iterativní uvažování.
- LLM jsou slabé ve vyhledávání na velké vzdálenosti, ale prokazují zobecňování trajektorií.
- Dataset je realistický díky K-Means s hustotou obyvatelstva.
- Benchmark je vhodný pro embodied AI a agenty v geoprostoru.
— Editorial Team
Zatím žádné komentáře.