AI 환각을 업무에서 막는 검증 체계: 발생 지점부터 기계검증·사람확인까지

“이 판례, 실제로 존재하는 게 맞나요?” 한 변호사가 ChatGPT에 물었고, AI는 “네, 렉시스넥시스와 웨스트로 같은 신뢰할 수 있는 데이터베이스에서 찾을 수 있습니다”라고 답했습니다. 그 판례들은 전부 가짜였습니다.

업무에서 AI 환각을 막는 가장 확실한 방법은 단 하나입니다. AI 출력을 검증할 수 있는 형태로 만듭니다. 그다음 기계가 먼저 거르고 사람이 마지막에 결정합니다. 이 2단계를 일의 흐름 안에 박아 넣는 것입니다. 모델을 더 좋은 것으로 바꾸거나 프롬프트를 다듬는 것만으로는 부족합니다. 최신 모델조차 환각을 0으로 만들지 못하기 때문입니다. 검증은 모델의 문제가 아니라 시스템 설계의 문제입니다.

환각이 어디서 생기는지, 연구가 보여주는 실제 환각률은 어느 정도인지, 그리고 ‘기계검증 + 사람확인’과 ‘AI 초안 + 사람 결정’ 두 축으로 검증 체계를 어떻게 짜는지 봅니다.

환각은 무엇이고, 왜 위험한가

AI 환각(hallucination)은 모델이 사실이 아닌 내용을 그럴듯하게, 확신에 찬 어조로 만들어내는 현상입니다. 문제는 틀렸다는 것이 아닙니다. 틀렸는데 맞는 것처럼 보인다는 것입니다. 모델은 자기가 모른다는 것을 모릅니다. 그래서 빈칸을 가장 그럴듯한 토큰으로 채웁니다. 그 결과 존재하지 않는 논문, 가짜 판례, 잘못된 수치, 실재하지 않는 함수명이 매끄러운 문장 안에 섞여 나옵니다.

이게 업무에서 위험한 이유는 단순합니다. 명백히 이상한 오류는 사람이 바로 걸러내지만, 환각은 ‘검증할 생각조차 안 들 만큼 자연스럽게’ 나오기 때문입니다. 2025년 Deloitte 호주 법인이 호주 정부에 제출한 약 29만 호주달러 규모의 보고서가 대표 사례입니다. 시드니대 연구자가 보고서 안에 존재하지 않는 참고문헌과 연방법원 판결문에 대한 날조된 인용이 다수 포함됐다고 지적했고(없는 책을 시드니대 교수의 저서로 잘못 단 사례까지 있었습니다), Deloitte는 작성에 Azure OpenAI를 사용했음을 인정한 뒤 정부에 마지막 대금 일부를 환불했습니다(Fortune). 글로벌 컨설팅 펌의 검수 과정조차 환각을 잡지 못했다는 점이 이 사건의 진짜 교훈입니다.

법조계에서는 더 직접적인 결과가 나왔습니다. 2023년 미국 Mata v. Avianca 사건에서 변호사들이 ChatGPT가 만든 가짜 판례를 법원에 제출했고, 담당 판사는 인용 요약 중 일부를 “횡설수설(gibberish)“이라 표현하며 변호사들에게 5,000달러의 제재금을 부과했습니다(Mata v. Avianca, Wikipedia). AI를 썼다는 사실보다, 검증 없이 그대로 내보냈다는 사실이 책임의 근거가 됐습니다.

환각은 정확히 어디서 발생하는가

환각을 막으려면 ‘언제 생기는지’를 알아야 합니다. 실무에서 환각은 주로 네 지점에서 발생합니다.

1. 모델이 학습 범위 밖을 물었을 때. 모델의 지식 컷오프 이후 사건, 사내 비공개 데이터, 특정 고객 계약 조건처럼 학습에 없던 정보를 물으면 모델은 “모른다” 대신 그럴듯한 답을 지어냅니다.

2. 검색(RAG)을 붙여도 근거가 부실할 때. RAG(검색 증강 생성)는 외부 문서를 근거로 답하게 해 환각을 줄이지만, 만병통치약은 아닙니다. Stanford RegLab은 2024년, 환각을 없앴다고 주장한 상용 법률 AI 도구들을 200개 이상의 법률 질의로 검증했는데, Lexis+ AI와 Ask Practical Law AI가 17% 이상, Westlaw AI-Assisted Research가 34% 이상의 오류율을 보였습니다. 연구진은 “RAG는 만병통치약이 아니다”라고 명시했습니다(Stanford HAI). 검색된 문서가 부정확하거나, 상위 랭크 문서가 누락되거나, 모델이 검색 결과와 충돌하는 답을 만들면 RAG도 뚫립니다.

3. 작업이 깊고 복잡할수록. Stanford 연구는 질의가 복잡할수록 환각이 늘어난다는 점을 보여줍니다. 특히 법원의 핵심 판시(holding)를 묻는 질문에서는 모델이 최소 75% 확률로 환각을 일으켰습니다(Stanford Law School).

4. 에이전트가 여러 단계를 거칠 때. 한 단계의 작은 오류가 다음 단계 입력이 되어 누적·증폭됩니다. Deloitte는 입력 데이터에 대한 이해 부족과 에이전트 시스템의 오류 누적이 환각 위험과 직결된다고 지적합니다(Deloitte Insights).

연구 데이터가 말하는 환각률의 실제

“요즘 모델은 좋아져서 환각이 거의 없다”는 말은 과제 난이도를 빼고 본 착시입니다. 같은 모델이라도 무엇을 시키느냐에 따라 환각률이 크게 갈리기 때문입니다.

비교적 통제된 조건에서도 환각은 한 자릿수 후반대로 남아 있습니다. Vectara의 환각 리더보드는 ‘주어진 짧은 문서를 사실에 충실하게 요약했는지’만 채점하는 가장 유리한 조건인데, 이 조건에서조차 GPT-4o(2024-08-06)는 약 9.6%, Gemini-2.5-Flash는 약 7.8%, Claude Sonnet 4.5는 약 12.0%, Grok-4-Fast-Reasoning은 약 20.2%의 환각률을 기록했습니다(Vectara hallucination-leaderboard, GitHub). 근거 문서를 손에 쥐여 주고 ‘요약만 정확히 하라’고 시켜도 100건 중 8~12건은 사실과 어긋난다는 뜻입니다. 이 리더보드는 수시로 갱신되므로 게재 시점의 최신 값을 다시 확인하는 것이 정확합니다.

조건이 어려워지면 격차는 더 벌어집니다. 앞서 본 Stanford RegLab 결과에서 상용 법률 AI는 17~34%, 핵심 판시를 묻는 질문에서는 75% 이상 환각을 일으켰습니다. 같은 기술이라도 ‘근거 있는 짧은 요약’과 ‘추론이 필요한 전문 질의’ 사이의 간극이 이만큼 큽니다.

기업이 더 주목해야 할 데이터는 따로 있습니다. McKinsey의 2025 State of AI 조사(2025년 6~7월, 응답자 1,993명)에서 부정확성(inaccuracy)은 기업이 가장 많이 보고한 위험 요소였지만, 이를 실제로 완화하고 있다고 답한 기업은 32%에 그쳤습니다(McKinsey, The State of AI). 위험은 모두가 알지만, 검증 체계를 갖춘 곳은 셋 중 하나뿐이라는 뜻입니다. 환각은 모델 성능이 해결해 줄 문제가 아니라, 운영이 책임져야 할 문제입니다.

검증 체계 1축: 기계가 먼저 거르고, 사람이 확인한다

환각을 사람의 ‘꼼꼼함’에만 맡기면 반드시 뚫립니다. Deloitte 사례가 증명하듯, 사람은 그럴듯한 환각을 놓칩니다. 그래서 검증은 두 겹으로 짜야 합니다. 기계가 자동으로 걸러낼 수 있는 것은 전부 기계가, 사람은 기계가 못 잡는 판단만.

기계검증(machine-checkable)은 ‘정답이 정해진 것’을 맡습니다.

• 출처 대조: AI가 인용한 모든 사실에 출처 링크를 강제하고, 그 출처가 실제로 존재하며 해당 내용을 담고 있는지 자동 검증합니다. Mata 사건과 Deloitte 사건의 공통점은 ‘존재하지 않는 출처’였고, 이건 100% 기계로 잡을 수 있는 오류입니다.
• 형식·범위 검증: 숫자가 정해진 범위 안에 있는지, 날짜 형식이 맞는지, 합계가 일치하는지, 필수 필드가 채워졌는지를 규칙으로 검사합니다.
• 근거 일치 검증(faithfulness): RAG 환경에서 AI 답변이 실제로 검색된 문서에 근거하는지를 별도 모델로 채점합니다. 연구 커뮤니티에서는 RAG로 구조화 출력의 환각을 줄이는 기법이 활발히 연구되고 있습니다(Reducing hallucination in structured outputs via RAG, arXiv).
• 교차 검증: 같은 질문을 다른 방식·다른 모델로 다시 던져 답이 일관되는지 봅니다. 답이 흔들리면 환각 신호입니다.

사람확인(human-in-the-loop)은 기계가 못 푸는 것만 맡습니다. 출처는 진짜인데 맥락이 어긋나는 경우, 사실관계는 맞지만 우리 회사 상황에 부적절한 경우, 윤리적·법적 책임이 따르는 결정. 사람의 시간은 비싸므로, 사람은 ‘검수’가 아니라 ‘결정’에만 투입해야 합니다.

우리가 구축한 거래처 등록 사례가 이 구조를 그대로 따릅니다. PDF에서 정보를 파싱하고 브라우저 자동화로 등록까지 진행하되, 형식·중복·필수값은 기계가 검증하고 자가복구하며, 사람은 오직 최종 승인 한 번만 누릅니다. 사람이 모든 필드를 일일이 확인하는 게 아니라, 기계가 통과시킨 결과를 ‘승인할지 말지’만 결정하는 구조입니다.

검증 체계 2축: AI는 초안을, 사람은 결정을

검증 체계의 두 번째 축은 권한 설계입니다. AI에게 무엇을 맡기고 무엇을 절대 맡기지 않을지를 작업 단위로 나누는 것.

자동화에 적합한 일은 네 가지 특성을 가집니다. 반복되고(반복), 시스템 간 연결이 필요하고(연결), 데이터가 쌓이고(누적), 오류 시 되돌릴 수 있는(복구) 일입니다. 반대로 AI에게 최종 권한을 넘기면 안 되는 일도 명확합니다. 최종 결정, 대외 신뢰가 걸린 판단, 창의적 방향 설정입니다. 환각이 가장 치명적으로 작용하는 영역이 바로 이 세 가지이기 때문입니다.

그래서 운영 원칙은 ‘AI 초안 + 사람 결정’으로 고정합니다. AI는 근거와 함께 초안을 만들고, 사람은 승인하거나 수정합니다. 핵심은 두 가지입니다. 첫째, AI 출력에는 항상 ‘왜 이렇게 판단했는지’에 대한 근거가 따라붙어야 합니다. 근거 없는 결론은 검증할 수 없습니다. 둘째, 사람의 개입은 ‘작성’이 아니라 ‘승인/수정’이어야 합니다. 사람이 처음부터 다시 쓰면 자동화의 의미가 없고, 무조건 통과시키면 검증의 의미가 없습니다.

여기에 운영 안전장치(Harness Engineering)를 더합니다. 권한을 최소로 제한하고, 모든 AI 행동을 감사 로그로 남기고, 문제가 생기면 롤백할 수 있게 하고, 호출 한도를 두는 것입니다. 검증이 한 번 뚫리더라도 피해 범위를 가둘 수 있어야 진짜 시스템입니다. 우리가 결재 자동화를 30분에서 3분으로 줄이면서도 자가복구 구조를 함께 넣은 이유가 여기 있습니다. 빠른 것보다 ‘틀려도 안전한 것’이 먼저입니다.

검증 체계를 일의 흐름에 박아 넣는 순서

검증을 ‘나중에 사람이 한 번 보는 단계’로 두면 반드시 무너집니다. 처음부터 작업 흐름 안에 내장해야 합니다. 도입 순서는 다음과 같습니다.

1. 검증 가능한 출력으로 설계. AI에게 결론만 내게 하지 말고, 출처·근거·신뢰도를 함께 출력하도록 형식을 강제합니다. 검증 가능성은 사후가 아니라 설계 단계에서 결정됩니다.
2. 기계검증을 자동화 파이프라인에 삽입. 출처 존재 여부, 근거 일치, 형식·범위, 교차 검증을 코드로 자동 실행하고, 통과하지 못한 출력은 사람에게 가기 전에 차단합니다.
3. 사람 결정 게이트를 한 곳에. 사람은 기계를 통과한 결과만, 그것도 ‘승인/수정’ 두 가지 행동으로만 개입합니다.
4. 감사·롤백·한도를 기본값으로. 모든 결정을 추적 가능하게 남기고, 되돌릴 수 있게 하고, 폭주를 막습니다.
5. 2주 단위로 측정·교정. 어떤 환각이 뚫렸는지, 어디서 멈췄는지를 데이터로 보고 검증 규칙을 보강합니다. 검증 체계는 한 번 만들고 끝나는 게 아니라 계속 조여 가는 것입니다.

AI 자동화를 처음 시작하는 단계라면, 검증 체계를 어디에 어떻게 넣을지부터 설계하는 것이 순서입니다. 에이전틱 AI 자동화를 어디서 시작할지를 함께 보면 검증과 자동화를 한 흐름으로 묶는 데 도움이 됩니다.

환각은 모델을 바꾼다고 사라지지 않습니다. 검증을 시스템으로 만들어야 사라집니다. 우리는 결재, 거래처 등록, CRM, 영업 대시보드 같은 실제 업무에 이 2단계 검증 구조를 박아 넣어 운영해 왔습니다. 환각이 두려워 AI 도입을 미루고 있다면, 막연한 불안 대신 검증 체계부터 함께 설계하면 됩니다. 상담을 신청하시면 지금 하시는 업무의 어느 지점에 어떤 검증을 넣어야 하는지 구체적으로 짚어 드리겠습니다.

자주 묻는 질문

더 좋은 모델로 바꾸면 환각이 해결되지 않나요?

아닙니다. 모델 교체는 환각을 줄이지만 없애지 못합니다. Vectara 리더보드에서는 근거 문서를 주고 요약만 시키는 유리한 조건에서도 GPT-4o가 약 9.6%, Claude Sonnet 4.5가 약 12.0%, Grok-4-Fast-Reasoning이 약 20.2%의 환각률을 보였습니다(Vectara hallucination-leaderboard, GitHub). 추론이 필요한 전문 질의로 가면 수치는 훨씬 더 올라갑니다. 모델 성능에 기대는 대신 출력을 검증 가능하게 만들고 기계검증과 사람 결정을 흐름에 넣는 것이 근본 해법입니다.

RAG(검색 증강 생성)를 붙이면 환각이 사라지나요?

줄지만 사라지지 않습니다. Stanford RegLab은 RAG 기반 상용 법률 AI 도구들이 17~34%의 오류율을 보였다고 보고하며 “RAG는 만병통치약이 아니다”라고 결론지었습니다(Stanford HAI). 검색된 문서가 부정확하거나, 핵심 문서가 누락되거나, 모델이 검색 결과와 충돌하는 답을 만들면 RAG도 뚫립니다. RAG에는 ‘답변이 실제로 검색 문서에 근거하는지’를 검증하는 별도 장치를 반드시 함께 두어야 합니다.

사람이 검수하면 충분하지 않나요?

사람 검수만으로는 부족합니다. 환각의 본질은 ‘검증할 생각조차 안 들 만큼 자연스럽다’는 데 있습니다. Deloitte 호주 법인의 검수 과정도 날조된 참고문헌을 걸러내지 못해 정부에 대금 일부를 환불해야 했습니다(Fortune). 출처 존재 여부나 형식 오류처럼 기계가 100% 잡을 수 있는 것은 기계가 먼저 거르고, 사람은 기계가 통과시킨 결과를 ‘결정’하는 데만 투입하는 2단계 구조가 필요합니다.

환각이 무서워서 AI 도입 자체가 망설여집니다. 어떻게 시작해야 하나요?

‘반복·연결·누적·복구’가 가능한 저위험 업무부터 시작하되, 처음부터 검증 체계를 함께 설계하면 됩니다. AI는 근거와 함께 초안을 만들고 사람은 승인/수정만 하는 ‘AI 초안·사람 결정’ 구조에, 권한 제한·감사 로그·롤백·호출 한도를 기본값으로 두면 환각이 한 번 발생해도 피해를 가둘 수 있습니다. 최종 결정·대외 신뢰·창의 영역은 AI에게 맡기지 않는 선을 명확히 하는 것이 출발점입니다.

우리 업무의 환각 위험이 어느 정도인지 어떻게 알 수 있나요?

업무의 복잡도와 데이터 출처에 따라 환각률이 크게 달라지므로, 일률적으로 말할 수 없습니다. 근거를 준 단순 요약도 한 자릿수 후반대 환각이 남고, 복잡한 추론은 같은 모델로도 수십 %까지 올라갑니다. 따라서 ‘우리가 실제로 시키는 작업’을 기준으로, 어떤 입력에서 어떤 환각이 나오는지 측정하고 2주 단위로 검증 규칙을 교정하는 것이 정확합니다. 어느 지점에 어떤 검증을 넣을지 구체적으로 진단받고 싶다면 상담을 신청해 주세요.