진짜는 에이전트가 아니라 ‘스킬’이었다
관심사 유튜브 채널 전일 영상 번들로 수집한 YouTube 자료. 채널: 메이커 에반 | Maker Evan, 게시: 2026-06-08 18:00 KST.
핵심 메타데이터
- URL: https://www.youtube.com/watch?v=2oOXHWGn_Cw
- Video ID:
2oOXHWGn_Cw - Channel: 메이커 에반 | Maker Evan
- Raw: 2026-06-08-yt-2ooxhwgn-cw-진짜는-에이전트가-아니라-스킬-이었다
기존 관련 문서 연결
설명
검증된 AI 전문가 에반의 강의를 듣고 싶으시면 아래 멤버쉽으로 와주세요 https://www.vrl.co.kr/ai-insider-club AI 도입 관련 문의는 아래 페이지를 참고해주세요 https://www.vrl.co.kr/ 더 많은 정보를 얻으시려면 아래 커뮤니티로 와주세요 ai 인사이더 클럽 https://open.kakao.com/o/pNsaddci 스킬샵 https://open.kakao.com/o/pUigc
TRANSCRIPT
오늘 이야기는요. 앤스로픽 공식 블로그에서 직접 올린 글에서 시작해요. 엔스로픽이요. 자기들이 회사 안에서 클로드를 어떻게 쓰는지 다 공개하고 있어요. 내용이 뭐냐면요. 회사 데이터 분석 1의 95%를 AI한테 통제로 넘겼다는 거예요. 정확도요. 무려 95%예요. 어떤 영역에서는 99%까지 나왔고요. 데이터 사이언티스트들이 더 이상 단순 질문에 시달리지 않게 됐어요. 그리고요. 저도이 글에서 배운 걸로 지금 제 스킬들을 설계하고 있어요. 그래서 오늘은요 앤스로픽이 실제로 어떻게 하고 있는지 그 안에 숨은 노하우랑 팁을 하나도 빠짐없이 같이 뜯어 볼게요. 먼저요. 데이터를 모두가 쓸 수 있게 만드는 거. 이게 회사들의 오랜 숙제였어요. 근데 방법마다 다 벽에 부딪혔어요. 세 가지 방법이 있었거든요. 첫 번째가요. 넓고 평평한 테이블을 만드는 거예요. 쉽게 말해서요. 모든 데이터를 한 장의 거대한 엑셀 시트에 다 때려 박는 거예요. 처음엔 괜찮아 보여요. 근데 회사가 커지면요. 비슷한 시트가 자꾸 생겨요. 매출이라는게이 시트에선 이렇게 저 시트에선 저렇게 계산돼요. 정의가 서로 안 맞을 수 있는 거예요. 결국 SQL 모르는 사람한테 아무 도움이 안 됐어요. 두 번째 방법은요. 울타리친 환경을 주는 거예요. 미리 정해진 대시보드만 보게 하는 거죠. 근데 이건요. 사람들이 진짜 궁금해하는 자잘라는 질문들을 못 받아 줘요. 그래서 대시보드가 끝도 없이 늘어나요. 관리가 안 돼요. 세 번째가요. 바로 AI 에이전트한테 그냥 맡기는 거예요. 이게 제일 위험했어요. 왜냐면요. 그럴듯한 답을 주거든요. 근데 그 답이 맞는지 확인할 길이 없어요. AI가 회사의 진짜 데이터 구조나 문서 전문가 지식이랑 분리돼 있으니까요. 것만 분지르하고 속은 빈 가짜 정밀함이 생기는 거예요. 자, 여기까지가 문제예요. 셋다 실패했어요. 그럼 엔트로픽은 뭘 다르게 봤을까요?이 이 사람들이 진짜 문제를 딱 세 개로 정리했어요. 이거 진짜 중요하니까 천천히 들어 주세요. 첫 번째가요. 개념이랑 실제 데이터 사이 애매함이에요. 예를 들어 볼게요. 활성자이 말 하나에도요. 질문이 한 가득이에요. 어떤 행동을 해야 활성이에요. 로그인 하면 돼요. 글을 써야 해요. 가짜 계정도 포함해요. 며칠 전까지 본 걸 활성으로 칠 거예요. 비유하자면요. 신입 직원한테 단골 손님 수 좀 세 줘라고 한 거랑 같아요. 단골의 기준이 뭔지 안정해 주면요. 신입은 자기 맘대로 세요. 두 번째 이유는요. 데이터가 자꾸 낡는다는 거예요. 회사는 살아 있어요. 테이블 구조도 바뀌고 정의도 바뀌고 로직도 바뀌어요. 어제 맞던게 오늘 틀려요. 세 번째는요. 정보를 못 찾는 거예요. 분명히 정답이 회사 어딘가에 있어요. 근데 AI가 그걸 못 찾아요. 비유하자면요. 도서관의 책은 다 읽는데요. 분류표가 없는 거예요. 찾고 싶은 책이 있어도 수만 건 사이에서 헤매는 거죠.이 이 세 개가 핵심이에요. 엔스로픽은 이걸 하나씩 부었어요. 자, 이제부터 그 유명한 4층짜리 구조를 볼 거예요. 집 짓는다고 생각하시면 편해요. 1층부터 차근차근 올라가요. 1층은요. 데이터 기초 공사예요. 여기서 제일 중요한 단어가 하나가 나와요. 표준 데이터 셋이에요. 이게 뭐냐면요. 단 하나의 진실의 원천이에요. One tr source of tru스라고 부르는 그런 친구입니다. 아까 매출이 시트마다 다르게 계산된다고 했죠. 표준 데이터셋은요. 매출은 무조건이 데이터를 봐라고 못을 박는 거예요. 40개에 그럴듯한 후보가 아니라요. 딱 하나로요. 비유하자면요. 음식점 표준 레시피예요. 알바가 바뀌어도 김치찌개의 맛이 똑같으려면요 레시피가 하나여야 하잖아요. 근데 여기서 진짜 노하우가 나와요. 레시피만 정해 두면요. 사람들이 안 지켜요. 그래서 엔스로픽은 강제했어요. 도그로. 그리고 CD로요. CICD가 뭐냐면요. 코드 올릴 때 자동으로 검사해 주는 컨베이어 검수대예요. 규칙 안 지키면 아예 통과를 못시켜요. 그리고 또 하나 메타데이터를 1등 시민으로 대접했어요. 메타데이터요.이 데이터가 뭔지 설명해 주는 꼬리표예요. 설명, 정의, 어디서 봤는지, 누가 주인인지 이걸 그냥 부록 취급 안 하고요. 제품처럼 정성껏 관리했어요. 2층으로 올라가요. 진실의 원천들이에요. 여기엔요. 믿을 수 있는 정보들을 실내도 순서로 쌓아 놨어요. 맨 위에서부터 제일 믿을 만한 거예요. 맨 위가 시멘틱 레이어예요. 이건요 회사가 공식 인증한 지표 계산기예요. 활성자는 이렇게 계산한다를 시스템이 보장해 주는 거죠. 이게 있으면요. 사람마다 다르게 계산해서 조용히 틀리는 일이 사라져요. 그 아래는 데이터의 족보예요.이 데이터가 어디서 와서 어떻게 변했는지 그 흐름을 보여 줘요. 옛날에 버려진 테이블 같은 것도 맥락을 알 수 있게요. 그 아래는 과거 커리 모음이에요. 예전에 짰던 SQL들을 그냥 쌓아둔게 아니라 잘 정리된 참고 문서로 다듬었어요. 여기 진짜 중요한 팁이 하나 숨어 있어요. 낡어서 SQL을 그냥 검색하게 했더니만 정확도가 1%도 안 올랐대요. 다듬어야 의미가 있다는 거예요. 이거 뒤에서 또 나와요. 기억해 두세요. 맨 아래는 회사의 맥락 지식이에요. 컨텍스트라고 하죠. 로드맵, 의사 결정, 기록 조직도 같은 거예요. 핵심 한 문장이 있어요. 매출이라는 단어가 40개 후보가 아니라 딱 하나의 데이터로 연결되면 문제는 거의 사라진다. 자, 잠깐만요. 여기까지 따라오느라 고생하셨습니다. 지금 우리 2층까지 왔어요. 1층은 기초 공사, 2층은 source스 of truth. 근데요. 지금부터가 진짜입니다. 이제 나올 3층이요. 정확도를 21%에서 95%로 뒤집은 마법의 층이거든요. 이거 하나 때문에이 영상 보시는 분들 많을 거예요. 집중해 주세요. 3층이에요. 이름이 스킬이에요. 스킬이 뭐냐면요. 절차적 지식이에요. 어려운 말 같죠. 쉽게 말해서요. 일하는 방법입니다. 어떤 자료를 먼저 봐야 하는지, 애매할 땐 어떻게 헤쳐 나가는지, 완성 분석은 어떻게 생겨야 하는지 이런 노하우 묶음이에요. 비유하자면요. 신입 직원한테 주는 선배의 업무 매뉴얼이에요. 그냥 데이터만 던져 주는 거랑요. 일하는 법까지 알려 주는 거랑은 하늘과 땅 차이예요. 자, 그럼 숫자를 보여 드릴게요. 이게 충격이에요. 스킬이 없을 때요. 정확도가 21%를 못 넘었어요. 다섯 번 중 한 번 맞는 거예요. 쓸 수가 없죠. 근데 스킬을 넣었더니만 95% 위로 올라갔어요. 어떤 영역은 99%까지요. 같은 AI인데 매뉴얼 하나 줬다고 이렇게 바뀐 거예요. 근데이 스킬을요 영리하게 둘로 나눴어요. 이게 진짜 노하우예요. 첫 번째가 지식 스킬이에요. 이건 안내 데스크 역할이에요. 최상의 라우터라고 부르는데 질문이 들어오면요. 아, 이건 마케팅 영역이네 하고요. 그 영역에 맞는 참고 문서 30개 정도를 딱 골라서 불러와요. 수만 개를 다 뒤지는게 아니라요. 잘 고른 30개만요. 아까 도서관 비유 기억하시죠? 이게 바로 분류표예요. 두 번째가 언북 스킬이에요. 좀 특이한 이름이죠. 이건 베테랑 분석가의이라는 순서예요. 먼저 질문을 명확히 하고요. 자료를 찾고요. 실행하고요. 그다음에 핵심인데요. 적대적 검토를 해요. 자기가 낸 답을 자기가 의심하면서 다시 따져 보는 거예요. 그리고 자주 쓰는 패턴들을 재사용해요. 리텐션 곡선이라든가 문제를 쪼개는 법이라든지 퍼 같은 거예요. 매번 새로 짜는게 아니라 검증된 툴을 가져다 쓰는 거예요. 그럼 참고 문서는 어떻게 생겼을까요? 구조가 있어요. 메뉴에 빠른 참조가 있어요.이 데이터의 맥락이랑 기본 필터요. 그다음에 차원 설명, 핵심 테이블, 주의 사항이랑 자주 쓰는 패턴. 마지막에 다른 문서로 가는 연결이까지요. 군더더기 없이 딱 필요한 것만 짜여 있어요. 자, 여기서 제가 제일 좋아하는 이야기를 할게요. 이거 들으면 등꼬리 좀 선을해요. 스킬을 다 만들고요. 정확도 95%를 찍었어요. 다들 좋아했겠죠? 근데요. 딱 한 달이 지났어요. 정확도가 95%에서 65%로 떨어졌어요. 아무것도 안 했는데 떨어진게 아니에요. 오히려 반대예요. 회사가 계속 일을 했어요. 테이블이 바뀌고 정의가 바뀌었어요. 근데 스킬 문서는 그대로였어요. 문서가 낡아 버린 거예요. 비유하자면요. 가게 메뉴는 바뀌었는데 신입한테 준 매뉴얼은 작년 거인 거예요. 신입이 열심히 일할수록 더 틀리는 거죠. 그래서 엔스로픽이 어떻게 했냐면요. 진짜 똑똑한 해결책을 썼어요. 스킬 문서를요. 데이터 코드랑 같은 창고에 넣었어요. 그리고 C 훅을 걸었어요. 데이터 모델을 바꾸면요. 스킬 문서도 같이 바꾸라고 강제한 거예요. 안 바꾸면 통과 안 돼요. 결과가요. 이제 코드 수정의 90%가 스킬 업데이트를 같이 포함해요. 문서가 코드랑 같이 살아 움직이게 된 거예요. 여기서 교훈 하나는요. 낡은 문서는요. AI 성능을 모델 한 개보다 더 빨리 죽여요. 4층은 검증이에요. 답이 맞는지 확인하는 칭이죠. 크게 세 가지로 했어요. 먼저 오프라인 평가예요. 미리 정답을 아는 문제들을 잔뜩 만들어 놓고요. AI한테 시험을 보게 해요. 재밌는 건요.이 시험 문제도 클로드가 만들었어요. 대시보드를 보고 자동으로 문제를 뽑고요. 사람이 검소하는 시기예요. 그리고 영역별로 90% 안 넘으면요. 출시를 못 하게 막았어요. 자, 이제 그 반전 실험이에요. 이거 진짜 중요해요. 엔스로픽이 궁금했어요. AI한테 과거 SQL 수천개를 통제로 주면 어떨까? 그래서 실제로 줘봤어요. 무려 그 파일들의 80%가 관련을 갖고 있었어요. 정답이 거기 다 있었던 거예요. 결과가 어땠을까요? 정확도가 1점도 안 올랐어요. 이게 무슨 뜻이냐면요. 문제는 정보 접근이 아니었어요. 정보는 이미 있었습니다. 진짜 문제는 구조였어요. 질문을 데이터에 어떻게 연결하느냐 그 다리가 없었던 거예요. 비유하자면요. 신입한테 10년치 영수증을 박습죄 던져 준 거예요. 여기 답 다 있어 하고요. 근데 정리가 안 돼 있으니 못 쓰는 거죠. 데이터는 쌓는게 아니라 구조화하는 거예요. 이게 핵심 교훈입니다. 마지막으로 실시간 검증이에요. 여기서 아까 나온 적대적 검토가 다시 나와요. AI가 답을 내놓으면은 다른 AI 검토관이 그 답을 의심하고 따져요. 근데 이게 공짜가 아니에요. 트레이드오프가 있어요. 숫자로 딱 나와요. 정확도는 6% 올라가죠. 좋죠? 토크은 32% 줄어요. 비용도 아끼는 거예요. 더 좋죠. 근데요. 응답 시간이 72% 늘어나요. 느려지는 거예요. 정확도를 얻는 대신 속도를 내주는 거죠. 이게 현실이에요. 공짜 점심은 없습니다. 뭘 중요할게 볼지 정해야 돼요. 그리고 또 하나 좋은 장치가 있어요. 출처 푸터예요. 답을 줄 때요. 밑에 꼬리표를 달아요.이 정보가 어느 등급 출처에서 왔는지 얼마나 신선한지 누가 주인인지요. 비유하자면요. 식당 메뉴판에 원산집 표시하는 거랑 같아요. 믿고 먹을 수 있게요. 마지막으로 자동 교정 수집이에요. 예약된 에이전트가요. 채팅 채널들을 돌아다녀요. 누가이 숫자 틀렸어요? 하면요. 그걸 잡아서 수정화를 알아서 만들어요. 시스템이 스스로 학습하면서 나아지는 거예요. 자, 여기까지가 4층 전부 한번 본 겁니다. 정말 고생 많으셨어요. 이제 결과를 한번 정리해 볼게요. 숫자로요. 비즈니스 분석 질문의 95%가 자동화됐어요. 정확도는 평균 95%, 특정 영역은 99%예요. 그리고 제일 중요한 거 데이터 사이언티스트들이 자유로워졌어요. 매일 들어오는 단순 질문에서 벗어나세요. 이제 진짜 어려운 일을 해요.인가 모델링, 예측, 머신 러닝 같은 거예요. AI가 잠을 가져가니까요. 사람은 더 가치 있는 일로 올라간 거예요. 자, 이제 엔트로픽이 직접 짚은 핵심 교훈들 한번 얘기해 볼게요. 이거 여러분 회사에 그대로 적용될 수 있는 거니까 잘 들어 주세요. 첫째, 데이터는 소프트웨어가 아니다. 이게 무슨 말이냐면요. 코드는 맞는지 증명할 수 있어요. 근데 데이터 분석은요. 정답이 뭔지 딱 증명할 방법이 없어요. 진짜 문제는 코드 생성이 아니라 애매함 그 자체예요. 둘째, 정확도는 결국 맥락이랑 검증의 문제예요. 모델이 똑똑한가의 문제가 아닙니다. 셋째, 강제가 없는 규칙은 빠르게 썩어요. 정해만 두고 강제 안 하면 무너져요. 넷째, 낡은 문서는 모델 한 개보다 성능을 더 빨리 죽여요. 한 달 만에 65%로 떨어진 거 기억하시죠? 다섯째, AI는 문서 만드는 건 잘해요. 근데 정의는 사람이 책임져야 돼요. 활성자가 뭔지는 AI가 정하면 안 돼요. 사람이 정하는 거예요. 여섯째, 과거 커리는 그냥 쌓지 말고 정리된 패턴으로 다듬어야 됩니다. 날것으로 주면 1%도 안 올라간다는 거. 두 번이나 나왔죠? 그럼 여러분은 어떻게 시작하면 될까요? 엔트로픽이 친절하게 최소 시작 지점을 알려줬어요. 거창하게 시작 안 돼요. 딱 세 개면 됩니다. 첫째 표준 데이터셋 몇 개요? 어, 모든 걸 다 정리할 필요는 없어요. 제일 중요한 핵심 데이터 몇 개만 단 하나의 진실로. 그러니까 소스 오브스로 정해요. 둘째, 오프라인 평가 몇 십개요? 미리 정답하는 시험 문제 수십개만 만들어 두세요. 이걸로 잘되는지 측정해요. 셋째 얇은 지식 스킬 하나요. 처음부터 두껍게 스킬을 엄청나게 고심 있게 해 가지고 만들지 않아도 됩니다. 안내 데스크 역할만 하는 아주 아주 얇은 스킬 하나만 제작하시면 됩니다.이 세 개로 시작하시고요. 그다음엔 여러분 상황에 맞춰 조절하면 돼요. 지금 오류를 얼마나 견딜 수 있는지, 비즈니스가 얼마나 복잡한지, 쓰는 사람들이 얼마나 기술에 익숙한지, 정확도랑 속도 중에 뭐가 중요한지, 접근한 관리는 어떻게 할지 이런 걸 따져가면서요. 한 층씩 쌓아 올리면 되는 거예요. 잡기 시작해서 측정하고 강제하고 관리한다.이 내 박자예요. 자, 진짜 오늘 영상 길었어요. 엔트로픽이 어떻게 데이터 분석이 95%를 AI한테 넘겼는지. 어, 그 부분에 대해서 제가 이제 설명을 해 드렸고요. 어, 엔트로픽이 회사 데이터 분석에서 한 걸요. 저는 제 스킬 설계에 그대로 옮겨오고 있습니다. 여러분이 어떤 일을 하든이 원리는 똑같이 적용돼요. 여러분은 어떠세요? AI한테 일시킬 때 스킬이나 매뉴얼 만들어서 써 본 적 있으세요? 잘됐는지 아니면 엉뚱한 답을 줘서 고생했는지요. 댓글로 여러분 경험 들려 주세요. 진짜 궁금해요. 특히나 이번 분석글에서 나온 것처럼음 우리에게 필요한 거는 에이전트를 만드는 것이 아닙니다. 스킬을 만드는 거예요. 스킬을 만드는 것이 핵심이고 이런 스킬을 만들어 가지고 우리의 어떤 테크닉들을 늘려 나가는 것이 우리의 해자라고 보실 수 있을 것 같습니다. 그리고 이런 검증된 스킬을 얻고 싶으시면 스킬샵에 방문을 한번 해 보세요. 검증된 스킬들을 지금 팔고 있으니까 어 그 부분 참고해 주시면 정말 감사하겠습니다. 오늘 영상 수고하셨습니다.