EVGeoQA: benchmark do oceny dużych modeli językowych w dynamicznym wyszukiwaniu geoprzestrzennym z podwójnymi celami
EVGeoQA to specjalistyczny zbiór danych do testowania dużych modeli językowych (LLM) w scenariuszach dynamicznego, wielocelowego wyszukiwania. Każde zapytanie jest powiązane z rzeczywistymi współrzędnymi użytkownika i łączy dwa cele: ładowanie samochodu elektrycznego i połączoną aktywność w pobliżu stacji. GeoRover — system agentowy oceny z czterema narzędziami geoprzestrzennymi — ujawnia słabości LLM w wyszukiwaniu na dużych odległościach, gdzie wskaźnik Hits@2 spada z 50% do 38%.
Sformułowanie problemu i różnice w stosunku do statycznych benchmarków
Tradycyjne benchmarki GSQA, takie jak GeoQA201 lub MapQA, ograniczają się do statycznego wydobywania faktów, ignorując dynamikę realnego świata. EVGeoQA modeluje mobilne scenariusze ładowania samochodów elektrycznych, gdzie czas oczekiwania skłania użytkowników do łączenia zadań. Formalnie, zapytanie Q jest powiązane ze współrzędnymi L_u użytkownika. Celem jest stacja S, która spełnia:
- Główny cel: dostęp do ładowania.
- Cel drugorzędny: bliskość do POI (kawiarnia, sklep) w zasięgu pieszym.
Zbiór danych obejmuje Hangzhou (megamiasto), Qingdao i Linyi (rozwijające się miasta). Lokalizacje użytkowników są generowane poprzez klasteryzację K-Means z uwzględnieniem gęstości zaludnienia i sieci drogowej, minimalizując przestrzenne odchylenie.
Tabela statystyk zbioru danych:
| Miasto | Stacje | Lokalizacje | POI | Pary pytań i odpowiedzi |
|----------|---------|---------|-----|---------|
| Hangzhou | 258 | 997 | 25 | 19940 |
| Qingdao | 165 | 995 | 23 | 14162 |
| Linyi | 157 | 997 | 21 | 14416 |
GeoRover: architektura agenta do oceny
GeoRover implementuje wieloetapowe wyszukiwanie poprzez interaktywne narzędzia:
- get_poi — wydobywanie punktów zainteresowania według typu i promienia.
- get_stations — wyszukiwanie stacji ładowania w określonej strefie.
- get_trajectory — historia przemieszczeń agenta.
- calculate_distance — metryki odległości i tras.
Agent iteracyjnie planuje działania, syntetyzuje trajektorie i wyprowadza optymalną stację. To testuje umiejętności planowania, aktywnego eksplorowania i generalizacji w LLM.
Eksperymenty z modelami GPT-4o, Claude-3.5-Sonnet i Llama-3.1-405B pokazują degradację wydajności na dużych promieniach. Emergentna zdolność: LLM generalizują przeszłe trajektorie bez instrukcji, zwiększając efektywność.
Analiza wydajności LLM
Testowanie na EVGeoQA ujawniło kluczowe wzorce:
- Wysoka dokładność (Hits@2 ~50%) w promieniu 5 km.
- Spadek do 38% na odległościach 20+ km z powodu błędów w długoterminowym planowaniu.
- Skuteczne wykorzystanie narzędzi do podzadań, ale słaba integracja informacji przestrzennej.
Porównanie z bazowymi GSQA pokazuje wyższość EVGeoQA w ujawnianiu ograniczeń embodied AI.
Co jest ważne
- EVGeoQA przesuwa nacisk z faktów na dynamiczne planowanie z przywiązaniem do L_u i podwójnymi celami.
- GeoRover z narzędziami imituje rzeczywiste wyszukiwanie, testując iteracyjne rozumowanie.
- LLM są słabe w dalekim wyszukiwaniu, ale demonstrują generalizację trajektorii.
- Zbiór danych jest realistyczny dzięki K-Means z gęstością zaludnienia.
- Benchmark jest odpowiedni dla embodied AI i agentów w geoprzestrzeni.
— Editorial Team
Brak komentarzy.