검증 가능성의 법칙
Andrej-Karpathy가 제시한 LLM 능력 분포의 핵심 원리.
한 줄 정리
전통적 컴퓨터는 코드로 명시할 수 있는 것을 자동화한다. 이번 라운드에 LLM은 검증할 수 있는 것을 자동화한다.
메커니즘
프론티어 LLM(OpenAI, Anthropic, Google 등)의 학습 방식:
거대한 RL 환경 → 행동 → 검증 보상 → 정책 업데이트
- 답이 맞으면 +점, 틀리면 -점 식의 검증 보상
- 채점 가능한 영역에서 능력이 가속됨
영역별 적용
| 영역 | 검증 가능성 | LLM 능력 |
|---|---|---|
| 수학 | 답 정해짐 | 강함 |
| 코드 | 컴파일·테스트 | 강함 |
| 일반 추론 | 부분적 | 들쭉날쭉 |
| 글쓰기 미학 | 애매함 | 약함 |
| 일상 상식 | 검증 어려움 | [[wiki/concepts/Jagged-Intelligence |
확장: 거의 모든 것은 검증 가능하게 만들 수 있다
- 글쓰기처럼 애매한 영역도 LLM Judge 위원회 구조로 채점 가능
- “쉬움과 어려움의 차이일 뿐”
파운더 함의 (Section 5 연관)
- 검증 가능한 RL 환경이지만 랩들이 아직 안 만든 영역에 기회
- 직접 RL 환경 만들고 파인튜닝 추가하면 잘 작동하는 시스템
관련 개념
- Jagged-Intelligence — 검증 가능성 분포의 결과
- RL / 강화학습
- Agentic-Engineering — 책임 있는 검증 절차
출처
- yt-UNnsS03whx0-카파시-30분-인터뷰-완전정리 (Section 4-5)