EVGeoQA: 지리공간 검색에서의 LLM 테스트

# EVGeoQA: LLM의 동적 지리공간 검색 능력을 테스트하는 듀얼 목표 벤치마크

EVGeoQA는 대형 언어 모델(LLM)의 동적 다중 목표 검색 시나리오를 테스트하기 위한 특화된 데이터셋입니다. 각 쿼리는 실제 사용자 좌표와 연계되어 있으며, 전기차(EV) 충전과 근처 활동(예: 커피 한 잔 사기)을 결합한 두 가지 목표를 포함합니다. GeoRover—네 가지 지리공간 도구를 갖춘 에이전트 기반 평가 시스템—은 장거리 검색에서 LLM의 약점을 드러내며, 여기서 Hits@2 정확도가 50%에서 38%로 하락합니다.

작업 설정 및 정적 벤치마크와의 차이점

전통적인 GSQA 벤치마크(예: GeoQA201, MapQA)는 정적 사실 검색에 그치며, 실제 세계의 동적 요소를 무시합니다. EVGeoQA는 이동 중인 EV 충전 시나리오를 모델링하며, 대기 시간 동안 사용자가 여러 작업을 병행하는 상황을 반영합니다. 형식적으로, 쿼리 Q는 사용자 좌표 L_u에 고정되어 있습니다. 목표는 다음을 만족하는 충전소 S를 찾는 것입니다:

• 주요 목표: 충전 접근성.
• 부차 목표: 도보 거리 내 POI(커피숍, 상점)와의 근접성.

데이터셋은 항저우(대도시), 칭다오, 린이(성장 중인 도시)를 커버합니다. 사용자 위치는 인구 밀도와 도로망을 기반으로 K-평균 클러스터링을 통해 생성되어 공간 편향을 최소화합니다.

데이터셋 통계 표:

| 도시 | 충전소 | 위치 | POI | QA 쌍 |

|----------|--------|----------|-----|---------|

| 항저우 | 258 | 997 | 25 | 19940 |

| 칭다오 | 165 | 995 | 23 | 14162 |

| 린이 | 157 | 997 | 21 | 14416 |

GeoRover: 평가를 위한 에이전트 아키텍처

GeoRover는 상호작용 도구를 통해 다단계 검색을 구현합니다:

• get_poi — 유형과 반경으로 관심 지점 검색.
• get_stations — 지정 영역 내 충전소 찾기.
• get_trajectory — 에이전트 이동 이력.
• calculate_distance — 거리 및 경로 메트릭 계산.

에이전트는 반복적으로 행동을 계획하고, 궤적을 종합하며 최적 충전소를 출력합니다. 이는 LLM의 계획, 능동 탐색, 일반화 능력을 테스트합니다.

GPT-4o, Claude-3.5-Sonnet, Llama-3.1-405B 실험에서 더 큰 반경에서 성능 저하가 관찰됩니다. 신흥 능력: 명시적 지시 없이 과거 궤적에서 일반화하여 효율성을 높입니다.

LLM 성능 분석

EVGeoQA 테스트에서 주요 패턴이 드러납니다:

• 5km 이내에서 높은 정확도(Hits@2 ~50%).
• 20km 이상에서 장기 계획 오류로 38%로 하락.
• 하위 작업에서 강력한 도구 사용, 하지만 공간 정보 통합 약함.

기준 GSQA 대비 EVGeoQA는 embodied AI의 한계를 더 잘 드러냅니다.

주요 요약

• EVGeoQA는 사실 중심에서 L_u 연계 듀얼 목표 동적 계획으로 초점 이동.
• GeoRover 도구는 실제 검색 시뮬레이션으로 반복 추론 테스트.
• LLM은 원거리 검색에 약하지만 궤적 일반화 보임.
• 인구 밀도 기반 K-평균으로 데이터셋 현실성 확보.
• embodied AI 및 지리공간 에이전트에 이상적 벤치마크.

— Editorial Team