EVGeoQA：LLM 在地理空间搜索中的测试

# EVGeoQA：测试大语言模型动态地理空间搜索的双目标基准

EVGeoQA 是一个专为测试大语言模型（LLM）在动态多目标搜索场景下的专用数据集。每个查询都绑定真实用户坐标，并结合两个目标：电动车充电和附近活动（如喝杯咖啡）。GeoRover——一个配备四个地理空间工具的代理评估系统——暴露了 LLM 在长距离搜索中的弱点，其中 Hits@2 从 50% 降至 38%。

任务设置与静态基准的区别

传统的 GSQA 基准如 GeoQA201 或 MapQA 仅限于静态事实检索，忽略现实世界的动态性。EVGeoQA 模拟移动电动车充电场景，用户在等待充电时会进行多任务处理。形式上，查询 Q 锚定于用户坐标 L_u。目标是找到一个满足以下条件的充电站 S：

• 主要目标：充电服务。
• 次要目标：步行距离内靠近 POI（咖啡店、商店）。

数据集覆盖杭州（特大城市）、青岛和临沂（发展中城市）。用户位置通过基于人口密度和路网的 K-Means 聚类生成，减少空间偏差。

数据集统计表：

| 城市 | 充电站 | 位置数 | POI | QA 对数 |

|--------|--------|--------|-----|---------|

| 杭州 | 258 | 997 | 25 | 19940 |

| 青岛 | 165 | 995 | 23 | 14162 |

| 临沂 | 157 | 997 | 21 | 14416 |

GeoRover：评估代理架构

GeoRover 通过交互工具实现多步搜索：

• get_poi — 按类型和半径检索兴趣点。
• get_stations — 在指定区域查找充电站。
• get_trajectory — 代理移动历史。
• calculate_distance — 距离和路径指标。

代理迭代规划行动、合成轨迹，并输出最优充电站。这测试了 LLM 的规划、主动探索和泛化能力。

使用 GPT-4o、Claude-3.5-Sonnet 和 Llama-3.1-405B 的实验显示，在更大半径下性能下降。新兴能力：LLM 无需明确指令即可从过去轨迹泛化，提高效率。

大语言模型性能分析

在 EVGeoQA 上的测试揭示关键模式：

• 5 公里内高准确率（Hits@2 ~50%）。
• 20+ 公里降至 38%，因长期规划错误。
• 子任务工具使用强，但空间信息整合弱。

与基线 GSQA 相比，EVGeoQA 更好地揭示具身 AI 的极限。

关键要点

• EVGeoQA 将焦点从事实转向锚定 L_u 的动态规划与双目标。
• GeoRover 工具模拟真实搜索，测试迭代推理。
• LLM 在远距离搜索挣扎，但显示轨迹泛化。
• 数据集通过人口密度 K-Means 实现真实性。
• 基准适合具身 AI 和地理空间代理。

— Editorial Team