Explainability in AI (AI의 설명 가능성)
정의
Explainability in AI는 AI 시스템이 내린 결정이나 생성한 답변의 이유와 근거를 인간이 이해할 수 있도록 설명할 수 있는 능력.
단순히 “답이 A입니다”가 아니라 “왜 A인지, 어떤 자료를 기반으로 했는지” 보여주는 것.
왜 필요한가?
신뢰성 (Trust)
Black Box AI:
사용자: "이 치료법을 추천해주나요?"
AI: "네, 추천합니다"
사용자: "왜?"
AI: "..."
→ 신뢰할 수 없음
Explainable AI:
사용자: "이 치료법을 추천해주나요?"
AI: "네, 추천합니다. 이유는:
1. 임상 데이터 가장 최신 (2025-12)
2. 성공률 95% (논문 출처)
3. 부작용 낮음 (의학 저널)
→ 이 3가지 근거 때문입니다"
→ 신뢰할 수 있음
책임성 (Accountability)
AI가 실수했을 때:
- Explainable: "어디서 실수했는지 정확히 알 수 있음"
- Black Box: "왜 실수했는지 모름"
→ 개선할 수 없음
규정 준수 (Compliance)
의료: "어떤 근거로 진단했는가?"
→ 의료법에 따라 설명 의무
금융: "왜 대출을 거부했는가?"
→ 개인정보보호법에 따라 설명 의무
법률: "어떤 판례를 기반으로 했는가?"
→ 항소 가능하려면 근거 명시 필수
Traditional AI vs RAG의 설명 가능성
Before: Traditional LLM (설명 불가)
사용자: "AI가 가장 똑똑한 과학자가 될까?"
LLM: "그럴 가능성이 높습니다. 왜냐하면..."
문제:
- 어떤 자료를 봤는지 알 수 없음
- 출처를 제시할 수 없음
- 최신 정보인지 알 수 없음
- 사실인지 검증 불가능
→ 신뢰도 낮음
After: RAG (설명 가능)
사용자: "AI가 가장 똑똑한 과학자가 될까?"
RAG: "여러 관점이 있습니다:
[관점 1] 가능성 있음
근거:
- Nature 2025년 논문: 'AI의 과학 발견 능력 폭발적 증가'
- URL: https://...
- 발표 기관: Nature Publishing Group
[관점 2] 인간만의 창의성 필요
근거:
- Science 2025년 사설: 'AI는 보조 도구'
- 인용: "AI는 새로운 가설 생성보다 검증에 탁월"
- URL: https://...
[결론]
협력이 최선이다 (출처: MIT AI Report 2025)
→ URL로 검증 가능
→ 신뢰도 매우 높음
## RAG가 제공하는 설명 가능성
### 1단계: 근거 제시
일반 AI: “인공지능의 미래는 밝습니다” → 출처 없음
RAG: “인공지능의 미래는 밝습니다 근거:
- 논문1: ‘AI의 경제적 영향’ (2025)
- 논문2: ‘AI 산업 성장 전망’ (2025)
- 뉴스: ‘AI 투자 급증’ (2025-12) → 각 출처로 링크 제공 가능
### 2단계: 검증 가능
reader: “정말 그런지 확인하고 싶은데?” → 링크 클릭 → 원본 자료 확인 → 자신의 판단 가능
일반 AI: → 확인할 방법 없음
### 3단계: 최신성 보장
일반 AI: “2024년 정보가 맞는지? 2025년 업데이트는?” → 알 수 없음
RAG: 각 근거에 “날짜” 표시 “2025-12 최신 논문 기준” → 데이터 신선도 명시
## 설명 가능성의 4가지 수준
### Level 1: 최소 설명 (Minimal)
AI: “답은 A입니다” → 근거 없음
### Level 2: 출처 제시 (Source Attribution)
AI: “답은 A입니다 (출처: 자료 X)” → 어디서 나왔는지는 알려줌 → 하지만 왜 그 자료를 선택했는지는 미스터리
### Level 3: 근거 제시 (Reasoning Explanation)
AI: “답은 A입니다 이유:
- 자료 X는 ‘이것’ 때문에 신뢰성 높음
- 자료 Y와는 모순되지만, X가 더 최신 (2025)
- 종합하면 A가 정답 (각 단계마다 근거 링크) → 추론 과정이 투명함
### Level 4: 완전 투명성 (Full Transparency)
AI: “다음이 제 추론 과정입니다”
- 검색된 모든 자료 리스트
- 각 자료의 신뢰도 점수
- 선택된 자료들 간 가중치
- 최종 합성 과정
- 각 단계의 불확실성 명시
→ 완전히 투명한 의사결정
## 의료 분야의 설명 가능성 (Critical Case)
### 진단 과정
일반 AI: “암일 가능성 95%입니다” → 의사: “왜? 어떤 근거로?” → AI: ”…”
신뢰도: 0% → 사용 불가능
RAG 기반 AI: “암일 가능성 95%입니다 근거:
-
CT 스캔 분석:
- 종양의 형태가 ‘악성 패턴’ (참고: 의학 이미지 데이터베이스)
- 크기 2.5cm (일반적 악성 기준: >2cm)
-
혈액 검사:
- 종양 마커 수치 높음 (정상: <10, 환자: 45)
- 논문 인용: ‘High marker = 95% cancer probability’
-
가족력:
- 어머니 유방암 병력
- 논문 인용: ‘유전적 위험도 2배 증가’
-
최신 임상 가이드라인:
- ASCO 2025 기준: 위 3가지 + 이 나이 + 이 성별 → 95% 확률
- 출처: https://asco.org/2025-guideline
→ 의사가 완전히 이해하고 동의 또는 다른 의견 제시 가능
### 결과
신뢰도: 95% → 의료진과 환자 모두 안심 의사: “이 분석과 내 임상 경험이 일치한다” → 치료 계획 수립 가능
만약 AI 분석과 의사의 판단이 다르다면? → 왜 다른지 정확히 파악 가능 → 더 좋은 진단으로 개선 가능
## 설명 가능성 vs 정확도의 트레이드오프
일반적 패턴: 설명 가능한 모델: 정확도 낮음 (의사결정 트리 등) 블랙박스 모델: 정확도 높음 (딥러닝 등)
하지만 RAG는 다름: ↑ 정확도 (최신 근거 기반)
- ↑ 설명 가능성 (출처 명시)
→ 둘 다 가능!
## 설명 가능성의 미래
### 1. 자동 설명 생성
현재: 사람이 수동으로 설명 작성 미래: AI가 자동으로 “왜” 설명 생성
“그 자료를 선택한 이유는…” “다른 자료와 다른 점은…” “최신 정보는…” → AI가 자동 생성
### 2. 대화형 설명
사용자: “왜 이 자료를 선택했어?” AI: “이 자료가 가장 최신이고…” 사용자: “하지만 다른 관점도 있지 않나?” AI: “맞습니다. 반대 의견도…” (다른 자료 제시)
→ 인터랙티브 이해
### 3. 시각화
최종 답변이 나올 때까지의 모든 과정을 그래프로
- 어떤 자료들을 검색했는가?
- 신뢰도 순서는?
- 어느 부분이 중요했는가?
→ 한눈에 파악 가능
## 규제 동향
### 현재
EU: AI Act → “고위험 AI는 설명 의무” 규정
미국: Executive Order on AI → “투명성 강화” 권고
한국: AI 기본법 제정 추진 → “설명 가능성” 포함 예정
### 미래
2026: 의료 AI 관리 규정 강화 2027: 금융 AI 설명 의무화 2028: 모든 고위험 AI 설명 필수
→ 설명 가능성이 선택 아닌 필수
## 관련 개념
- [[RAG]] — 설명 가능성을 제공하는 기술
- — 근거 제시의 기초
- — 설명 가능성의 목표
- — 투명성과 설명 가능성
- — 이해 가능성
---
**출처**: AI인터시스브랜드 - Retrieval Augmented Generation of Ontologies from Relational Data (2025-12-16)
**관련 영상**: [[wiki/sources/rag-ontologies-relational]]
**관련 규제**: EU AI Act, Executive Order on Artificial Intelligence (백악관)