# EVGeoQA: Benchmark para Probar LLMs en Búsqueda Geoespacial Dinámica con Objetivos Duales
EVGeoQA es un conjunto de datos especializado para probar modelos de lenguaje grandes (LLMs) en escenarios de búsqueda multiobjetivo dinámica. Cada consulta está vinculada a coordenadas reales del usuario y combina dos objetivos: carga de vehículos eléctricos (EV) y una actividad cercana como tomar un café. GeoRover —un sistema de evaluación agentivo con cuatro herramientas geoespaciales— expone las debilidades de los LLMs en búsquedas a larga distancia, donde Hits@2 cae del 50% al 38%.
Configuración de la Tarea y Diferencias con Benchmarks Estáticos
Los benchmarks tradicionales de GSQA como GeoQA201 o MapQA se limitan a la recuperación de hechos estáticos, ignorando las dinámicas del mundo real. EVGeoQA modela escenarios móviles de carga de EV, donde los tiempos de espera llevan a los usuarios a multitarea. Formalmente, la consulta Q está anclada a las coordenadas del usuario L_u. El objetivo es una estación S que satisfaga:
- Objetivo principal: acceso a carga.
- Objetivo secundario: proximidad a un POI (cafetería, tienda) a distancia peatonal.
El conjunto de datos cubre Hangzhou (megaciudad), Qingdao y Linyi (ciudades en crecimiento). Las ubicaciones de usuarios se generan mediante clustering K-Means basado en densidad poblacional y redes viales, minimizando sesgos espaciales.
Tabla de Estadísticas del Conjunto de Datos:
| Ciudad | Estaciones | Ubicaciones | POI | Pares QA |
|-----------|------------|-------------|-----|----------|
| Hangzhou | 258 | 997 | 25 | 19940 |
| Qingdao | 165 | 995 | 23 | 14162 |
| Linyi | 157 | 997 | 21 | 14416 |
GeoRover: Arquitectura Agentiva para Evaluación
GeoRover implementa búsqueda multi-paso mediante herramientas interactivas:
- get_poi — recuperar puntos de interés por tipo y radio.
- get_stations — encontrar estaciones de carga en un área dada.
- get_trajectory — historial de movimiento del agente.
- calculate_distance — métricas de distancia y rutas.
El agente planifica acciones iterativamente, sintetiza trayectorias y emite la estación óptima. Esto prueba las habilidades de planificación, exploración activa y generalización de los LLMs.
Experimentos con GPT-4o, Claude-3.5-Sonnet y Llama-3.1-405B revelan degradación del rendimiento en radios mayores. Habilidad emergente: los LLMs generalizan de trayectorias pasadas sin instrucciones explícitas, mejorando la eficiencia.
Análisis del Rendimiento de los LLMs
Las pruebas en EVGeoQA destapan patrones clave:
- Alta precisión (Hits@2 ~50%) dentro de 5 km.
- Caída al 38% a 20+ km por errores en planificación a largo plazo.
- Fuerte uso de herramientas para subtareas, pero débil integración de info espacial.
Comparado con GSQA base, EVGeoQA revela mejor los límites de la IA encarnada.
Lecciones Clave
- EVGeoQA desplaza el foco de hechos a planificación dinámica ligada a L_u con objetivos duales.
- Las herramientas de GeoRover simulan búsquedas reales, probando razonamiento iterativo.
- Los LLMs luchan con búsquedas lejanas pero muestran generalización de trayectorias.
- Realismo del dataset vía K-Means con densidad poblacional.
- Benchmark ideal para IA encarnada y agentes geoespaciales.
— Editorial Team
Aún no hay comentarios.