EVGeoQA : test LLM en recherche géospatiale

# EVGeoQA : Benchmark pour tester les LLM en recherche géospatiale dynamique à double objectif

EVGeoQA est un jeu de données spécialisé pour évaluer les grands modèles de langage (LLM) dans des scénarios de recherche multi-objectifs dynamiques. Chaque requête est liée à des coordonnées réelles d'utilisateurs et combine deux objectifs : recharge de véhicule électrique et une activité proche comme prendre un café. GeoRover — un système d'évaluation agentique avec quatre outils géospatiaux — met en lumière les faiblesses des LLM dans les recherches à longue distance, où le taux Hits@2 chute de 50 % à 38 %.

Configuration de la tâche et différences avec les benchmarks statiques

Les benchmarks GSQA traditionnels comme GeoQA201 ou MapQA se limitent à la récupération de faits statiques, ignorant les dynamiques du monde réel. EVGeoQA modélise les scénarios de recharge mobile pour véhicules électriques, où les temps d'attente incitent les utilisateurs à vaquer à d'autres occupations. Formellement, la requête Q est ancrée aux coordonnées de l'utilisateur L_u. L'objectif est une station S qui satisfait :

• Objectif principal : accès à la recharge.
• Objectif secondaire : proximité d'un POI (café, magasin) à distance de marche.

Le jeu de données couvre Hangzhou (mégalopole), Qingdao et Linyi (villes en croissance). Les positions des utilisateurs sont générées par clustering K-Means basé sur la densité de population et les réseaux routiers, minimisant les biais spatiaux.

Tableau des statistiques du jeu de données :

| Ville | Stations | Positions | POI | Paires QA |

|-----------|----------|-----------|-----|------------|

| Hangzhou | 258 | 997 | 25 | 19940 |

| Qingdao | 165 | 995 | 23 | 14162 |

| Linyi | 157 | 997 | 21 | 14416 |

GeoRover : Architecture agentique pour l'évaluation

GeoRover implémente une recherche multi-étapes via des outils interactifs :

• get_poi — récupérer les points d'intérêt par type et rayon.
• get_stations — trouver les stations de recharge dans une zone donnée.
• get_trajectory — historique des déplacements de l'agent.
• calculate_distance — métriques de distance et d'itinéraire.

L'agent planifie itérativement ses actions, synthétise les trajectoires et sélectionne la station optimale. Cela teste les compétences de planification, d'exploration active et de généralisation des LLM.

Les expériences avec GPT-4o, Claude-3.5-Sonnet et Llama-3.1-405B révèlent une dégradation des performances à plus grands rayons. Capacité émergente : les LLM généralisent à partir de trajectoires passées sans instructions explicites, améliorant l'efficacité.

Analyse des performances des LLM

Les tests sur EVGeoQA mettent en évidence des schémas clés :

• Précision élevée (Hits@2 ~50 %) dans un rayon de 5 km.
• Chute à 38 % au-delà de 20 km en raison d'erreurs de planification à long terme.
• Bon usage des outils pour les sous-tâches, mais faible intégration des informations spatiales.

Par rapport aux benchmarks GSQA de base, EVGeoQA révèle mieux les limites de l'IA incarnée.

Enseignements clés

• EVGeoQA déplace le focus des faits vers la planification dynamique liée à L_u avec double objectif.
• Les outils de GeoRover simulent des recherches réelles, testant le raisonnement itératif.
• Les LLM peinent sur les recherches lointaines mais montrent une généralisation des trajectoires.
• Réalisme du jeu de données via K-Means et densité de population.
• Benchmark idéal pour l'IA incarnée et les agents géospatiaux.

— Editorial Team