JYP Garden

Generator-Reviewer Pattern

Properties1
tagsllm, design-pattern, quality-assurance, ai-collaboration, knowledge

5 min read

Definition

생성자-심판자 패턴(Generator-Reviewer Pattern)은 2개의 LLM이 서로 다른 역할을 수행하면서 협력하여 고품질 결과물을 생성하는 AI 아키텍처 패턴이다.

Core Concept

Division of Responsibilities
├─ Generator: 창의성, 생산성 담당
└─ Reviewer: 정확성, 품질 관리 담당

협력으로 인한 효과:
└─ 개별 LLM의 약점 보완
└─ 결과물 품질 극대화

The Two Roles

1. Generator (생성자)

역할: 카탈로그 초안 창의적 작성

특징:

  • ✨ 창의성 중심 — 새로운 아이디어, 다양한 표현
  • 🔄 빠른 생성 — 가능한 한 많은 초안 제시
  • 📚 맥락 활용 — RAG를 통해 전 세계 지식 참조
  • 🎨 풍부한 설명 — 다양한 관점의 정의 제시

동작 예시:

Input: 데이터 테이블 + RAG 결과
Generator's Task: 
  "이 데이터를 설명하는 온톨로지 카드를 작성해줘. 
   관련 개념, 속성, 관계도 포함해."
Output: 카탈로그 초안 (창의적, 풍부함)

2. Reviewer (심판자)

역할: 초안의 꼼꼼하고 냉철한 검토

특징:

  • 🔍 정확성 검증 — 팩트 체크, 논리 검증
  • ✂️ 불필요한 부분 제거 — 군더더기 정리
  • 📋 완전성 확인 — 누락된 정보 체크
  • 🎯 명확성 평가 — 이해하기 쉬운가?
  • ⚖️ 일관성 검사 — 다른 개념과 모순 없는가?

동작 예시:

Input: Generator가 만든 초안
Reviewer's Task:
  "이 카탈로그가 정확한가? 
   - 정확성: OK?
   - 완전성: 빠진 게 있나?
   - 명확성: 이해하기 쉬운가?
   - 일관성: 다른 개념과 맞는가?"
Output: 검증된 카탈로그 (또는 피드백으로 Generator에게 재작성 지시)

Iterative Collaboration

Loop Until Quality Threshold:

┌─ Generator
│  └─ 창의적 초안 작성
│     ↓
├─ Reviewer
│  ├─ 검증 수행
│  └─ 피드백 (OK? → 카탈로그에 추가 / NG? → Generator에게 반환)
│     ↓
└─ (필요시 반복)

Why This Pattern Works

문제점 (Single LLM)

한 LLM이 모두 해야 할 때:
├─ 창의성과 정확성 트레이드오프
├─ 자기 검증 약함 (자신의 오류 찾기 어려움)
└─ 품질 편차 큼

해결책 (Generator-Reviewer)

역할 분리:
├─ Generator: 창의성에만 집중 → 풍부한 초안
├─ Reviewer: 정확성에만 집중 → 철저한 검증
└─ 협력: 개별 약점 보완 → 높은 품질

Quality Assurance Framework

Reviewer는 다중 기준 평가:

기준설명예시
Accuracy (정확성)팩트 기반, 논리적 오류 없음”Patient는 사람이다” (O) / “Patient는 약물이다” (X)
Completeness (완전성)필수 정보 모두 포함”의료 기록: 진단, 처방, 검사 결과 모두 명시”
Clarity (명확성)이해하기 쉬운 표현전문 용어 정의, 중의성 제거
Consistency (일관성)다른 개념과 충돌 없음”Doctor는 health professional이고, Patient와 ‘treats’ 관계” (일관성)

Applications in Ontology

RIGOR 시스템에서:

  • Generator: 데이터 테이블 기반 온톨로지 초안 생성
  • Reviewer: 생성된 온톨로지 검증
  • Result: 4.6/5.0 품질 점수 달성

Variations

Serial (순차적) — 기본 패턴

Generator → Reviewer → 최종 결과

(위에서 설명한 RIGOR 방식)

Parallel (병렬적)

Generator → 다수의 Reviewer (다양한 기준)
            ↓
        투표·합의 (Consensus)
            ↓
        최종 결과

Hierarchical (계층적)

Generator (L1)
    ↓
Reviewer (L1) — 초기 검증
    ↓
Generator (L2) — 고급 생성
    ↓
Reviewer (L2) — 최종 검증

References

그래프 뷰