'완료했습니다'를 믿으면 안 되는 이유: 에이전트의 완료 보고를 다루는 실무 규칙

에이전트의 실패는 운영자의 책상에 실패의 얼굴로 오지 않습니다. 완료의 얼굴로 옵니다. 오류 메시지도, 머뭇거림도 없이 — “완료했습니다”라는 자신만만한 보고와 매끈한 결과물로. 그리고 며칠 뒤에야 일부가 빠져 있었거나, 시키지 않은 가정이 끼어 있었거나, “처리했다”던 항목에 손도 대지 않았다는 것이 드러납니다. 이 문제는 에이전트의 정직성 결함이 아니라 운영자가 완료의 정의를 주지 않은 구조의 결과이고, 따라서 꾸중이 아니라 네 가지 규칙으로 풉니다.

안 감독의 교훈: 태도가 아니라 구조였다

우리가 초기에 쓰던 번역 에이전트에는 『슬램덩크』 안 감독의 이름을 붙여줬습니다. 이름값을 하듯 언제나 긍정적이었습니다 — 100페이지쯤 문제없다고 답했고, 결과물에는 빠진 페이지가 너무 많았습니다. 문제점을 정리해 다시 일러 줘도 “이번에는 해결하겠다”는 자신감과 엉성한 결과가 반복됐습니다. 이상한 것은 한 페이지씩 맡기면 훌륭했다는 점입니다.

원인은 나중에 알았습니다. 에이전트가 한 번에 다룰 수 있는 정보량에는 한계가 있습니다 — 책상에 한꺼번에 펼칠 수 있는 서류의 양이 정해져 있는 셈입니다. 100페이지는 그 한계를 넘었고, 에이전트는 문서를 조각내 처리하며 일부를 빠뜨리면서도 보고는 늘 완료였습니다. 고쳐야 했던 것은 에이전트의 태도가 아니라 작업 구조였습니다 — 검증 가능한 단위로 나눠 맡기고, 원본의 모든 페이지가 결과에 반영됐는지 확인할 기준을 함께 주는 것.

이것이 개인의 시행착오로 끝나지 않는다는 것은 딜로이트가 보여줬습니다 — 존재하지 않는 논문 인용이 담긴 정부 제출 보고서가 최종 품질 검토까지 통과해 납품됐고, 일부 환불로 이어졌습니다. 명백한 오류보다 무서운 것은 성공처럼 보이는 실패입니다.

완료 보고를 다루는 네 규칙

규칙 1: 합격 기준은 작업 전에 정한다. 결과를 먼저 보고 기준을 만들면, 기준이 그 결과에 맞춰 휘어집니다 — 답안을 다 보고 채점 기준을 정하는 것과 같습니다. 합격 조건과 함께 금지선(허용하지 않을 행동과 넘지 말아야 할 한계)도 미리 적습니다.

규칙 2: 검증 가능한 단위로 나눠 맡긴다. 한 번에 확인할 수 없는 크기의 작업은 맡기는 단위 자체를 줄입니다. 100페이지 통짜 대신 페이지 묶음 단위 + 전체 대조. 처리 능력이 아니라 검증 능력이 위임 단위를 정합니다.

규칙 3: 완료 선언 대신 근거를 요구한다. “완료했습니다”가 아니라 “원본 목록 대비 결과 항목 대조표”, “인용 링크 접속 확인 결과”처럼 완료를 증명하는 산출물을 보고 형식으로 지정합니다. 여기에 중단·보고 규칙을 붙입니다 — “조건을 못 채우면 완료라 하지 말고 미해결 항목을 표로 보고.” 이 한 줄이 누락의 완료 포장을 구조적으로 막습니다.

규칙 4: 결과를 만들 때 쓰지 않은 자료로 대조한다. 에이전트가 참조한 자료로 다시 확인하면 같은 오류를 같은 방식으로 통과시킵니다. 원장·원본·독립 소스와의 대조가 가짜 성공을 잡는 검사이고, 실패는 그때마다 몰랐던 합격 조건을 알려 줍니다 — 그 조건은 검증 자산으로 등록합니다.

위임을 줄이라는 말이 아니다

이 규칙들의 목적은 의심의 확대가 아니라 믿어도 되는 범위의 확대입니다. 완료의 정의와 근거 요구가 갖춰진 업무는 안심하고 단위를 키울 수 있고, 그 이력이 쌓이면 검증 등급을 낮출 근거가 됩니다. 반대로 규칙 없이 “이 정도면 믿자”로 넓힌 위임은 언젠가 가장 다듬어진 형태의 오류 — 자신 있는 결론이 된 누락 — 로 돌아옵니다.

조직 단위에서 완료 위장이 프로젝트를 죽이는 경로는 AI 프로젝트가 조용히 죽는 5가지 방식에서, 위임 전에 정할 네 물음은 의욕이 아니라 조건을 공급하라에서 다뤘습니다.

자주 묻는 질문

에이전트가 왜 누락을 완료라고 보고하나요?

속이는 것이 아니라 정의가 없는 것입니다 — 언제 중단해야 하는지, 미해결 항목을 어떻게 보고해야 하는지 정해주지 않으면 에이전트는 누락이 있어도 완료처럼 보고하기 쉽습니다. 사람도 빈틈이 남은 줄 모르고 완료를 보고합니다. 처방은 사전 합격 기준과 중단·보고 규칙입니다.

큰 작업은 어떻게 맡겨야 하나요?

검증 가능한 단위로 나눠 순서대로 맡기고, 전체 완전성을 확인하는 대조 기준을 함께 둡니다. 예컨대 문서 번역이면 구간별 처리 + 원본 페이지 수와 결과물의 전수 대조. 단위의 크기는 에이전트의 처리 능력이 아니라 내가 확인할 수 있는 크기로 정합니다.

매번 근거까지 요구하면 너무 느려지지 않나요?

근거 생성은 에이전트의 몫이라 사람의 시간은 거의 늘지 않습니다 — 대조표를 만드는 것은 기계이고 사람은 그 표를 봅니다. 오히려 근거 없는 완료 보고를 믿었다가 며칠 뒤 수습하는 비용이 몇 배 큽니다. 위험이 낮은 업무는 표본 확인으로 가볍게 가면 됩니다.

몇 번 정확했으면 믿어도 되지 않나요?

되지만, 느낌이 아니라 기록으로 하세요. 같은 조건의 업무에서 대조 통과가 몇 건 연속인지 세고, 기준을 정해 검증 강도를 한 단계씩 낮추는 방식입니다. 매끄러운 결과가 며칠 이어지면 경계심이 풀리는 것이 사람의 기본값이라, 완화는 감각이 아니라 절차에 맡겨야 안전합니다.