AI 오류를 잡는 네 개의 관문

공장 품질관리의 오래된 원칙이 AI 운영에 그대로 적용됩니다. 똑같은 불량이어도 어느 지점에서 걸러내느냐에 따라 치르는 값이 크게 달라집니다 — 부품 검수대에서 잡으면 부품 하나 값, 조립 후에 잡으면 뜯어내는 값, 출하 후에 잡으면 리콜과 사과문 값. 에이전트의 오류도 같습니다. 틀린 가정 하나를 입력 단계에서 잡으면 몇 마디로 끝나지만, 그 가정을 바탕으로 보고서를 쓰고 의사결정까지 내린 뒤에는 교정 비용이 몇 배로 불어납니다.

에이전트를 이어 붙일수록 이 성질은 사나워진다

단일 작업에서도 오류는 늦게 잡을수록 비싸지지만, 에이전트 여러 개를 연결한 파이프라인에서는 두 가지가 추가됩니다. 앞 단계의 잘못된 결과를 다음 단계가 그대로 받아 쓰고, 뒤로 갈수록 더 그럴듯한 모습으로 다듬어진다는 것입니다. 원자료의 오타 하나가 분석 단계를 지나며 통계가 되고, 요약 단계를 지나며 인사이트가 되고, 최종 보고서에서는 자신감 있는 결론이 됩니다. 마지막 산출물만 보는 검토자는 가장 다듬어진 형태의 오류를 만나는 셈이라 잡기도 가장 어렵습니다.

그래서 검증을 마지막에 한 번 하는 구조는 자동화가 깊어질수록 반드시 무너집니다. 질문은 “검증을 할 것인가”가 아니라 “관문을 어디에 세울 것인가”입니다.

관문의 네 자리

오류에도 생애가 있습니다 — 들어와서 증식하고 고착된 끝에 실제 손실로 바뀝니다. 관문은 그 흐름을 네 자리에서 끊습니다.

자리	끊는 것	관문의 예
입력	오류가 들어오는 것	원자료 형식·출처·기간 검사, 신뢰할 수 없는 입력 분리
중간 산출	오류가 불어나는 것	단계별 합계 재계산, 원본 대비 누락 대조
최종 산출	오류가 굳어지는 것	합격 기준 판정, 인용·수치 전수 확인
실행 직전	손실이 되는 것	비가역 실행 전 사람 승인

배치 기준은 시간 순서가 아니라 교정 비용이 크게 뛰는 지점입니다. 두 원칙이 따라옵니다. 한번 넘어가면 되돌릴 수 없는 지점 바로 앞에는 반드시 관문을 세웁니다 — 자동화 금지선과 같은 논리입니다. 반대로 되돌릴 수 있는 구간에서는 관문을 가볍게 두고 빠르게 실험합니다. 모든 곳에 무거운 관문을 세우면 검증이 다시 병목이 됩니다.

관문은 사람의 주의를 아끼는 장치다

오해를 하나 걷어내면 — 관문은 검토를 늘리는 장치가 아니라 사람의 주의를 아끼는 장치입니다. 형식 검사, 재계산, 누락 대조처럼 반복 가능한 검증을 기계 관문이 앞에서 걸러내면, 사람은 전체 결과를 훑는 대신 관문을 통과하지 못한 예외에만 주의를 집중할 수 있습니다. 1,000건 중 950건을 관문이 거르고 50건만 올라오는 구조 — 검증능력의 실체가 바로 이 관문 배치입니다.

투자 판단 기준도 명확합니다. 일회성 업무에 붙인 검사는 그 한 번으로 수명이 끝납니다. 반면 날마다 물량이 지나가는 길목에 세운 검사는 지나갈 때마다 값을 합니다. 일회성 작업에 정교한 관문을 짓는 것은 낭비이고, 매일 도는 파이프라인의 입력 검사는 며칠 만에 본전을 뽑습니다.

운영 원칙: 오류를 앞으로 옮긴다

관문 체계는 세운 날 완성되지 않습니다. 운영하며 키워야 합니다. 핵심 원칙은 하나입니다 — 같은 오류가 뒤 공정에서 자꾸 걸리면, 다음 주기에는 그 검사를 한 단계 앞으로 당겨 놓는다. 최종 검토에서 같은 유형의 수치 오류가 세 번 잡혔다면, 그 검사는 중간 산출 관문으로 내려보냅니다. 실행 직전 승인에서 같은 반려가 반복되면, 그 기준은 합격 판정 관문에 명문화합니다.

이 원칙이 돌아가면 시간이 지날수록 오류는 점점 어린(싼) 단계에서 잡히고, 사람의 검토는 점점 새로운 유형의 예외에만 쓰입니다 — 반려 이력이 지시서와 관문으로 축적되는, 검증의 복리 구조입니다. 업무별 검증 강도의 차등은 위임 등급표에서, 환각 특화 탐지는 환각 검증 체계에서 이어집니다. 우리 파이프라인의 관문 공백은 무료 AX 진단으로 점검할 수 있습니다.

자주 묻는 질문

AI 오류 검증은 언제 하는 게 맞나요?

마지막 한 번이 아니라 네 자리입니다 — 입력(들어오기 전), 중간 산출(불어나기 전), 최종 산출(굳어지기 전), 실행 직전(손실이 되기 전). 배치 기준은 교정 비용이 크게 뛰는 지점이고, 특히 비가역 실행 직전 관문은 생략할 수 없습니다.

관문을 많이 세우면 속도가 느려지지 않나요?

반복 가능한 검증을 기계 관문에 맡기는 것이라 사람의 병목은 오히려 줄어듭니다. 느려지는 설계는 모든 단계에 사람 검토를 넣는 것이고, 빨라지는 설계는 기계가 걸러낸 예외에만 사람이 붙는 것입니다. 되돌릴 수 있는 구간의 관문은 가볍게 두는 것도 원칙입니다.

어떤 검사부터 만들어야 하나요?

두 기준의 교집합부터입니다 — 매일 지나가는 자리(반복 빈도)이면서 최근 오류가 실제로 잡힌 유형(실증된 위험). 상상 속 오류에 대한 검사보다, 지난달 뒤늦게 잡혀 비싸게 치른 오류를 한 칸 앞으로 옮기는 것이 언제나 첫 투자입니다.

연결된 에이전트 중 어디서 오류가 났는지 어떻게 찾나요?

중간 산출 관문이 그 답을 만들어 줍니다. 단계마다 산출물이 검사를 통과한 기록이 남으면, 문제 발생 시 마지막 통과 지점 이후만 보면 됩니다. 관문 없는 파이프라인은 오류 발견 시 전 구간을 재검토해야 하고, 그 비용이 무서워 검토 자체를 건너뛰게 되는 악순환에 빠집니다.