EVGeoQA: LLM-Test in der georäumlichen Suche

EVGeoQA: Benchmark für LLMs im dynamischen Geospatial-Suchtest mit Doppelzielen

EVGeoQA ist ein spezialisierter Datensatz zur Überprüfung von Large Language Models (LLMs) in dynamischen Multi-Objective-Such-Szenarien. Jede Abfrage ist an reale Nutzerkoordinaten gebunden und verbindet zwei Ziele: E-Auto-Laden und eine nahegelegene Aktivität wie einen Kaffee trinken. GeoRover – ein agentenbasiertes Evaluationssystem mit vier Geospatial-Tools – deckt Schwächen von LLMs bei Langstreckensuchen auf, wo die Trefferquote bei Hits@2 von 50 % auf 38 % sinkt.

Aufgabenstellung und Unterschiede zu statischen Benchmarks

Traditionelle GSQA-Benchmarks wie GeoQA201 oder MapQA beschränken sich auf statische Faktenabruf, ignorieren aber reale Dynamiken. EVGeoQA modelliert mobile E-Auto-Ladeszenarien, in denen Wartezeiten Nutzer zum Multitasking anregen. Formal ist die Abfrage Q an Nutzerkoordinaten L_u gebunden. Das Ziel ist eine Ladesäule S, die erfüllt:

• Primäres Ziel: Ladezugriff.
• Sekundäres Ziel: Nähe zu einem POI (Café, Laden) in Gehweite.

Der Datensatz umfasst Hangzhou (Megastadt), Qingdao und Linyi (wachsende Städte). Nutzerpositionen wurden per K-Means-Clustering basierend auf Bevölkerungsdichte und Straßennetzen erzeugt, um räumliche Verzerrungen zu minimieren.

Datensatz-Statistiken:

| Stadt | Säulen | Positionen | POI | QA-Paare |

|----------|--------|------------|-----|----------|

| Hangzhou | 258 | 997 | 25 | 19940 |

| Qingdao | 165 | 995 | 23 | 14162 |

| Linyi | 157 | 997 | 21 | 14416 |

GeoRover: Agentenarchitektur für die Evaluation

GeoRover setzt Mehrschritt-Suchen über interaktive Tools um:

• get_poi – Abruf von Points of Interest nach Typ und Radius.
• get_stations – Suche nach Ladesäulen in einem Gebiet.
• get_trajectory – Bewegungsverlauf des Agenten.
• calculate_distance – Distanz- und Routenmetriken.

Der Agent plant iterativ Aktionen, synthetisiert Trajektorien und gibt die optimale Säule aus. Dies testet Planungsfähigkeiten, aktive Erkundung und Generalisierung von LLMs.

Experimente mit GPT-4o, Claude-3.5-Sonnet und Llama-3.1-405B zeigen Leistungsabfall bei größeren Radien. Emergente Fähigkeit: LLMs generalisieren aus früheren Trajektorien ohne explizite Anweisungen und steigern so die Effizienz.

LLM-Leistungsanalyse

Tests auf EVGeoQA enthüllen zentrale Muster:

• Hohe Genauigkeit (Hits@2 ~50 %) bis 5 km.
• Abfall auf 38 % bei 20+ km durch Langzeitplanungsfehler.
• Starke Tool-Nutzung für Teilaufgaben, aber schwache Integration räumlicher Infos.

Im Vergleich zu Basis-GSQA zeigt EVGeoQA klarer die Grenzen embodied AI.

Wichtige Erkenntnisse

• EVGeoQA verschiebt den Fokus von Fakten zu dynamischer Planung an L_u mit Doppelzielen.
• GeoRovers Tools simulieren reale Suchen und testen iteratives Denken.
• LLMs kämpfen bei Fernsuchen, zeigen aber Trajektorien-Generalisierung.
• Datensatz-Realismus durch K-Means mit Bevölkerungsdichte.
• Ideal für embodied AI und Geospatial-Agenten.

— Editorial Team