JYP Garden

End to End Ontology Learning with Large Language Models

Properties1
tagsontology, learning, pipeline, llm, automation, end-to-end, knowledge

9 min read

End to End Ontology Learning with Large Language Models

채널: AI인터시스브랜드 | 날짜: 2025-12-12 | 길이: 약 6분 55초

Summary

Video 1-4에서 학습한 개별 기술들(온톨로지 활용, 자동 생성, 벡터 표현, 에이전트)을 모두 통합하여 완전한 온톨로지 학습 파이프라인을 구축하는 방법을 다룹니다.

데이터 수집 → 온톨로지 추출 → 검증 → 개선 → 에이전트 활용의 전체 사이클을 하나의 자동화된 시스템으로 구현합니다.

Key Claims

  • 온톨로지 학습은 자동화 가능: 수동 설계가 아닌 데이터 기반 자동 학습
  • 완전한 파이프라인: 데이터 입력 → 온톨로지 출력의 엔드투엔드 시스템
  • 반복적 개선: 각 사이클마다 온톨로지 품질 향상
  • 도메인 적응: 새로운 도메인도 동일한 파이프라인으로 빠르게 학습 가능
  • 비용 절감: 전문가 의존도 ↓, 자동화 비용 ↓

Key Topics

1. 온톨로지 학습 파이프라인의 7단계

┌─────────────────────────────┐
│ 1. 데이터 수집 (Collection) │
│    - 도메인 텍스트 모음     │
│    - 최소 100~1000문서 권장 │
└────────┬────────────────────┘
         ↓
┌─────────────────────────────┐
│ 2. 전처리 (Preprocessing)    │
│    - 텍스트 정제             │
│    - 토크나이제이션         │
│    - 중복 제거               │
└────────┬────────────────────┘
         ↓
┌─────────────────────────────┐
│ 3. 엔티티 추출 (Entity Extr.)│
│    - LLM 기반 자동 추출     │
│    - 개념 식별               │
└────────┬────────────────────┘
         ↓
┌─────────────────────────────┐
│ 4. 관계 추출 (Relation Extr.)│
│    - 개념 간 연결 식별       │
│    - 관계 타입 분류          │
└────────┬────────────────────┘
         ↓
┌─────────────────────────────┐
│ 5. 온톨로지 구성 (Integration)
│    - 클래스 계층 구축        │
│    - 속성 정의               │
│    - 규칙 수립               │
└────────┬────────────────────┘
         ↓
┌─────────────────────────────┐
│ 6. 검증 (Validation)        │
│    - 역량 질문으로 테스트   │
│    - 온톨로지 정합성 확인   │
│    - 전문가 검토             │
└────────┬────────────────────┘
         ↓
┌─────────────────────────────┐
│ 7. 배포 (Deployment)         │
│    - 에이전트에 통합        │
│    - 지속적 모니터링        │
│    - 피드백 수집             │
└─────────────────────────────┘

2. 각 단계의 세부 설명

Step 1: 데이터 수집

도메인 텍스트 수집:
  - 의료: 병원 기록, 의학 논문, 진료 가이드
  - 법조: 판례, 법률 문서, 계약서
  - 기술: 문서, 포럼, 블로그
  
품질 기준:
  - 도메인 적합성: 100%
  - 텍스트 중복도: < 5%
  - 길이: 각 문서 최소 100단어

Step 2-4: 정보 추출

LLM 프롬프트 예시:

"다음 의료 텍스트에서:
1. 모든 의료 개념(엔티티)을 찾으시오
2. 각 개념 간의 관계를 식별하시오
3. 관계의 유형을 분류하시오 (예: DIAGNOSES, TREATS)

텍스트: '환자는 고혈압으로 진단받았으며 
         리시노프릴 10mg을 처방받았다.'

출력:
  Entities: Patient, Hypertension, Lisinopril
  Relations: 
    - Patient DIAGNOSES Hypertension
    - Patient PRESCRIBED Lisinopril
    - Lisinopril TREATS Hypertension"

Step 5: 온톨로지 구성

추출된 정보 → 구조화

Classes:
  - MedicalCondition (고혈압, 당뇨 등)
  - Drug (약물)
  - Patient (환자)

Relationships:
  - DIAGNOSES: Patient → MedicalCondition
  - PRESCRIBED: Doctor → Drug
  - TREATS: Drug → MedicalCondition

Properties:
  Drug.dosage: "10mg"
  MedicalCondition.severity: "high"

Step 6: 검증

역량 질문 (Competency Questions):
  "이 온톨로지로 다음 질문을 답할 수 있는가?"
  
  Q1: "환자 A가 어떤 질병을 진단받았는가?"
  Q2: "고혈압 치료에 사용되는 약물은?"
  Q3: "리시노프릴을 처방받은 환자들의 질병은?"
  
정합성 검사:
  - 순환 관계 제거
  - 누락된 관계 확인
  - 중복 클래스 통합

Step 7: 배포

에이전트에 통합:
  에이전트 온톨로지 ← 학습된 온톨로지
  
  PRAL 루프에서 활용:
    P: 환자 입력 → 온톨로지로 질병 분류
    R: 온톨로지 규칙 적용
    A: 치료 행동 실행
    L: 결과로 온톨로지 갱신

3. 반복적 개선 (Bootstrapping)

1차 사이클:
  기초 데이터 (100문서) → 초기 온톨로지 (80% 정확도)
  
2차 사이클:
  추가 데이터 + 피드백 (200문서) → 개선 온톨로지 (85%)
  
3차 사이클:
  실제 운영 데이터 + 오류 분석 (500문서) → 성숙 온톨로지 (92%)
  
N차 사이클:
  지속적 학습 (1000+ 문서) → 최적화된 온톨로지 (95%+)

4. 파이프라인의 자동화

전체 시스템:

┌─────────────┐
│ 데이터 소스 │ (웹, DB, API)
└──────┬──────┘
       ↓
┌─────────────────────────────────┐
│  자동화 파이프라인              │
│  ├─ 데이터 전처리               │
│  ├─ LLM 기반 추출               │
│  ├─ 온톨로지 생성               │
│  ├─ 검증 & 정제                 │
│  └─ 버전 관리                   │
└──────┬──────────────────────────┘
       ↓
┌─────────────┐
│  온톨로지   │ (자동 갱신)
└──────┬──────┘
       ↓
┌─────────────┐
│  에이전트   │ (최신 온톨로지 사용)
└─────────────┘

5. 도메인별 학습 시간

간단한 도메인 (상품 카테고리):
  데이터 50문서 → 1시간 자동 학습 → 85% 정확도
  
중간 복잡도 (의료):
  데이터 500문서 → 1일 학습 → 90% 정확도
  
높은 복잡도 (법조):
  데이터 1000+ 문서 → 1주 학습 → 92% 정확도

6. 파이프라인의 도전 과제

도전 1: 데이터 품질 부족
  문제: 비정형, 오류 많은 텍스트
  해결: 전처리 강화, 다중 소스 결합
  
도전 2: 중의성 (Ambiguity)
  문제: "은행"은 금융? 물가의 가장자리?
  해결: 문맥 분석, 다중 의미 인식
  
도전 3: 도메인 간 전이
  문제: 의료 온톨로지를 법조에 적용 불가
  해결: 도메인별 커스터마이징, 부분 재사용
  
도전 4: 지속적 갱신
  문제: 새로운 개념 추가 시 기존 온톨로지 수정
  해결: 버전 관리, 호환성 유지

Key Insights (My Analysis)

  1. Video 1-4의 완벽한 통합:

    • Video 1: 온톨로지 활용 (정적 지식)
    • Video 2: 온톨로지 생성 (자동 생성)
    • Video 3: 벡터 온톨로지 (표현)
    • Video 4: 에이전트 (지식 활용)
    • Video 5: 완전한 사이클 (통합)

  2. “자동화의 극대화”:

    • 전통: 도메인 전문가 → 1~6개월
    • Video 5: 데이터 입력 → 1주일 → 90%+ 정확도
    • 비용 절감: 10배 이상

  3. 실무 적용의 핵심:

    • “온톨로지 설계”는 이제 선택사항 아닌 필수
    • “자동 학습”이 주도 패러다임
    • “지속적 개선”이 경쟁력

Connections to Other Sources

출처: AI인터시스브랜드 채널 (2025-12-12)

그래프 뷰

백링크