Graph QA — 그래프 기반 질답
정의
그래프 구조의 정보에 대해 복잡한 질문에 정확하게 답변하는 능력을 평가하는 벤치마크. 텍스트 그래프에서 AI의 성능을 측정하는 표준 평가 지표.
평가 대상
질문 유형
1. 관계 파악
- "A와 B의 관계는?"
2. 경로 찾기
- "A에서 B까지의 최단 경로는?"
3. 다중 홉 추론
- "A → B → C의 연쇄 관계는?"
4. 복잡한 상식 추론
- "만약 ~라면 어떻게 될까?"
G-Retriever의 성과
벤치마크 결과
기존 방법들: 낮은 성능
↓
G-Retriever: 압도적으로 우수
↓
비교 불가능한 수준
성능 지표
| 지표 | G-Retriever | 기존 방법 |
|---|---|---|
| 정확도 | 매우 높음 | 낮음 |
| 환각 방지 | 효과적 | 부족 |
| 확장성 | 우수 | 제한적 |
의미
Graph QA 벤치마크에서의 우수성
= 실제 복잡한 정보 처리 능력 우수
= 신뢰할 수 있는 AI 시스템
출처: AI인터시스브랜드 Video 19 평가: 텍스트 그래프 처리 능력의 표준 지표