자동화에 통제를 잃지 않는 법: Harness Engineering로 AI 거버넌스를 설계하라

자동화에 통제를 잃지 않으려면, 에이전트에게 권한을 주기 전에 통제 구조부터 설계해야 합니다. 권한, 감사, 롤백, 한도. 이 네 가지 통제층을 시스템에 먼저 심고, 그 위에서만 에이전트가 움직이게 합니다. 통제는 자동화를 막는 브레이크가 아닙니다. 더 멀리, 더 빠르게 가게 해 주는 안전벨트입니다. 통제가 있어야 더 큰 권한을 맡길 수 있습니다.

추상적인 이야기가 아닙니다. 시장 데이터가 그렇게 가리킵니다. Gartner는 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 비용 급증, 불분명한 비즈니스 가치, 또는 부적절한 리스크 통제 때문에 취소될 것이라고 예측했습니다(Gartner, 2025). 프로젝트를 죽이는 것은 모델 성능이 아니라 통제가 없다는 사실입니다. 챗봇에게 도움을 받는 일과, 권한을 쥔 에이전트에게 일을 맡기는 일은 무게가 다릅니다. 뒤엣것은 거버넌스 설계의 문제입니다.

왜 ‘통제’가 자동화의 첫 번째 과제가 되었나

자동화의 단계가 바뀌었기 때문입니다. 챗봇과 보조도구는 사람에게 답을 ‘제안’할 뿐, 스스로 무언가를 ‘실행’하지 않았습니다. 그래서 통제가 큰 문제가 아니었습니다. 잘못된 답이 나와도 사람이 거르면 그만이었으니까요.

에이전트는 다릅니다. 데이터를 쓰고, 메일을 보내고, 시스템에 변경을 가하고, 외부 도구를 호출합니다. 권한을 가지고 실제로 행동합니다. 행동에는 결과가 따르고, 결과에는 책임이 따릅니다. 이 전환이 지금 빠르게 일어나고 있습니다. Gartner는 2024년 0%였던 ‘에이전틱 AI를 통한 자율적 일상 업무 의사결정’이 2028년에는 최소 15%에 이를 것으로 봅니다(Gartner, 2025).

문제는 통제가 이 속도를 따라가지 못한다는 데 있습니다. Deloitte의 엔터프라이즈 AI 조사에 따르면 에이전틱 AI에 대해 성숙한 거버넌스 모델을 갖췄다고 답한 기업은 21%에 불과합니다. 반면 응답 기업의 약 74%가 2년 내 AI 에이전트를 최소 ‘어느 정도’ 활용할 것으로 예상합니다(Deloitte, 2026). 세 가지가 빠진 채 권한이 먼저 주어지고 있습니다. 어디까지 에이전트가 스스로 결정하고 어디부터 사람 승인을 받을지의 경계. 에이전트 행동을 실시간으로 좇아 이상을 잡는 시스템. 행동의 전 과정을 남기는 감사 기록. 가드레일보다 에이전트가 빠르게 확산되고 있다는 것이 Deloitte의 진단입니다.

통제 없는 자동화의 비용: 리스크 데이터가 말하는 것

통제 부재의 비용은 이제 숫자로 측정됩니다. IBM의 2025년 데이터 유출 비용 보고서가 가장 선명합니다.

• AI 모델·애플리케이션 유출을 겪은 조직의 97%가 적절한 AI 접근 통제(access control)를 갖추지 않았습니다. 13%의 조직이 AI 시스템 유출을 보고했고, 그중 거의 전부가 기본적인 접근 통제 부재 상태였습니다(IBM Newsroom, 2025).
• 유출을 겪은 조직의 63%가 AI 거버넌스 정책 자체가 없거나 아직 수립 중이었습니다. AI 거버넌스 정책을 가진 조직 중에서도 비인가 AI 사용을 정기 감사하는 곳은 34%뿐이었습니다(IBM Newsroom, 2025).
• ‘섀도 AI’(IT 승인 없이 쓰는 비인가 AI 도구) 사용이 많은 조직은 유출 비용이 평균 67만 달러 더 높았습니다. 전체 조직의 20%가 섀도 AI에서 비롯된 유출을 보고했고, 이런 사고는 개인식별정보(PII)를 65%(전체 평균 53%), 지식재산을 40%(평균 33%) 비율로 노출시켰습니다(IBM, Cost of a Data Breach 2025).

거버넌스 성숙도 자체도 낮습니다. McKinsey의 2025 State of AI 조사에서 AI를 최소 한 개 업무에 정기적으로 활용하는 조직은 88%에 달하지만, AI 거버넌스를 CEO가 직접 책임진다고 답한 곳은 28%, 이사회가 감독한다는 곳은 17%에 그쳤습니다(McKinsey, 2025). 활용은 보편화됐지만 책임은 비어 있습니다. 그리고 Gartner는 더 직접적으로 경고합니다. 거버넌스와 리스크 통제가 애초에 에이전틱 시스템에 맞게 설계되지 않았고, 특히 여러 에이전트가 서로 다른 애플리케이션에 접근하며 상호작용할 때 한계가 드러난다는 것입니다(Gartner, 2025).

핵심은 이것입니다. 통제는 ‘있으면 좋은 것’이 아니라, 없으면 자동화가 부채로 바뀌는 전제 조건입니다.

Harness Engineering: 권한·감사·롤백·한도라는 네 개의 통제 레이어

그래서 우리는 통제를 별도 정책 문서가 아니라 시스템의 일부로 설계합니다. 에이전트를 ‘안전한 마구(harness)’ 안에서만 달리게 하는 것 — 이것이 Harness Engineering입니다. 마구는 말을 묶어두는 것이 아니라, 마차를 끌 수 있게 하는 장치입니다. 네 개의 레이어로 구성됩니다.

1. 권한(Permission) — 에이전트가 접근할 수 있는 범위를 최소로 묶는다. 에이전트마다 어떤 데이터를 읽고 어떤 도구를 호출할 수 있는지를 명시적으로 부여합니다. 기본값은 ‘거부’이고, 필요한 것만 열어줍니다. IBM 데이터가 보여주듯, 유출을 겪은 조직의 97%가 접근 통제 부재 상태였습니다. 권한 설계가 첫 번째 방어선인 이유입니다.

2. 감사(Audit) — 모든 행동을 추적 가능하게 기록한다. 에이전트가 무엇을, 언제, 왜 했는지의 전체 연쇄를 로그로 남깁니다. 감사 추적이 없으면 사고가 나도 원인을 재구성할 수 없고, 책임 소재도 가릴 수 없습니다. 이것은 규제 요건이기도 합니다.

3. 롤백(Rollback) — 잘못된 행동을 되돌릴 수 있게 만든다. 에이전트의 행동은 가역적으로 설계합니다. 변경 전 상태를 보존하고, 문제가 생기면 한 번에 되돌립니다. 되돌릴 수 없는 행동(자금 이체, 외부 발송, 데이터 삭제)일수록 사람의 최종 승인을 강제합니다.

4. 한도(Limit) — 행동의 규모와 빈도에 상한을 건다. 한 번에 처리할 수 있는 건수, 시간당 호출 수, 금액 상한 등을 설정합니다. 에이전트가 오작동하거나 공격받더라도 피해가 한도 안에서 멈추게 합니다.

이 네 레이어는 NIST의 AI 위험관리 프레임워크(AI RMF)의 구조와도 맞닿아 있습니다. NIST AI RMF는 Govern(관리체계)·Map(맥락 파악)·Measure(측정)·Manage(대응) 네 기능으로 구성되며, 그중 Govern은 책임 소재와 정책을 세우고 나머지 세 기능을 반복 가능하게 만드는 ‘조직 전체를 가로지르는’ 기능입니다(NIST AI RMF 1.0). 권한·감사·롤백·한도는 이 Govern을 코드와 인프라 수준에서 구현한 것이라고 보면 됩니다. 우리가 사내에서 거래처 등록을 자동화할 때도 PDF 파싱과 브라우저 자동화, 자가복구까지 에이전트가 처리하되 최종 승인만은 반드시 사람이 누르도록 설계한 것이 이 원칙의 적용입니다.

무엇을 자동화하고, 무엇을 사람에게 남길 것인가

통제의 출발점은 ‘무엇을 자동화할지’를 제대로 고르는 일입니다. 잘못 고르면 아무리 좋은 마구를 채워도 사고가 납니다. 우리는 두 가지 기준으로 판단합니다.

자동화에 적합한 일 (✓ 맡긴다): 반복되는 일, 시스템 간 연결이 필요한 일, 데이터가 누적되는 일, 그리고 실패 시 복구가 가능한 일. 이런 일은 에이전트가 사람보다 빠르고 일관되게, 지치지 않고 처리합니다.

사람에게 남겨야 할 일 (✗ 맡기지 않는다): 최종 결정, 신뢰가 핵심인 관계, 그리고 창의가 요구되는 판단. 이 세 가지는 자동화의 대상이 아니라, 자동화가 만들어낸 여유 시간으로 사람이 더 집중해야 할 영역입니다.

여기에 더해, 우리는 에이전트를 자율성 수준에 따라 네 단계로 나눠 통제 강도를 다르게 겁니다. 관찰(읽기 전용)·조언(초안·추천만 하고 실행은 사람)·승인 후 행동(변경·발송·기록을 사람 승인 후에만)·자율 행동(가드레일 안에서 실행하되 사람은 예외와 로그·결과를 검토)입니다. 모든 에이전트를 똑같이 다루면 안 됩니다. Gartner가 지적하듯 일률적 거버넌스는 에이전틱 시스템에 맞지 않기 때문입니다(Gartner, 2025). 되돌릴 수 없고 신뢰가 걸린 행동일수록 ‘승인 후 행동’ 단계에 묶고, 반복적이고 가역적인 일일수록 자율성을 넓혀갑니다.

여기서 흔히 보이는 실패 3패턴을 짚어둘 필요가 있습니다. 첫째, 개인 분산 — 직원 각자가 제각기 AI를 쓰면서 회사 차원의 자산이 쌓이지 않는 것(이것이 바로 섀도 AI의 온상입니다). 둘째, 축적 안 됨 — 자동화의 결과가 시스템에 남지 않고 휘발되는 것. 셋째, 시스템 단절 — 자동화가 기존 업무 시스템과 연결되지 못하고 섬처럼 고립되는 것. 통제 구조는 이 세 패턴을 막는 장치이기도 합니다.

지금 사내에서 누가 어떤 AI 도구를 쓰는지 모르겠다면, 그것이 가장 먼저 닫아야 할 통제 격차입니다. 무료 AI 도입 진단으로 우리 조직의 자동화·거버넌스 성숙도를 점검해 보십시오.

규제는 통제를 선택이 아니라 의무로 만든다

통제는 점점 ‘하면 좋은 것’에서 ‘안 하면 처벌받는 것’으로 바뀌고 있습니다. EU AI Act가 대표적입니다. 고위험 AI 시스템에 대한 핵심 의무가 2026년 8월 2일부터 구속력 있게 적용됩니다. 그 요건이 정확히 Harness Engineering이 다루는 영역입니다.

• 인간 감독(Article 14): 고위험 시스템은 사람이 출력을 해석하고 적절히 사용할 수 있어야 하며, 운영 중 이상·오작동·예상치 못한 동작을 감지하고 대응할 수 있도록 설계되어야 합니다. 즉 감독 기능이 문서가 아니라 시스템 자체에 기술적으로 내장되어야 합니다(EU AI Act, Article 14).
• 로깅·기록 보존: 배포자(deployer)는 시스템이 자동 생성한 로그를 최소 6개월간 보관해야 합니다(EU AI Act, Article 26).
• 위반 시 제재: 위험관리·데이터 거버넌스·인간 감독 등 고위험 시스템 요건을 지키지 않으면 최대 1,500만 유로 또는 전 세계 연 매출의 3% 중 더 큰 금액의 벌금이 부과될 수 있습니다(EU AI Act, Article 99; European Commission).

한국도 같은 방향입니다. 개인정보보호위원회는 2025년 8월 ‘생성형 AI 개발·활용을 위한 개인정보 처리 안내서’를 통해 목적 명확성·최소 수집·투명성·안전한 관리·정보주체 권리 보장을 AI 프라이버시 거버넌스의 원칙으로 제시했습니다(개인정보보호위원회, 2025). 권한·감사·롤백·한도를 처음부터 시스템에 심어두면, 규제 대응은 별도 프로젝트가 아니라 이미 갖춰진 구조의 부산물이 됩니다. 통제를 먼저 설계한 조직은 규제가 강화될 때 비용을 치르는 게 아니라, 앞서 있게 됩니다.

자주 묻는 질문

Harness Engineering이 일반적인 ‘AI 거버넌스’와 무엇이 다른가요?

거버넌스가 정책·원칙·책임 체계라면, Harness Engineering은 그 거버넌스를 코드와 인프라 수준에서 구현한 것입니다. “AI는 안전하게 써야 한다”는 정책은 PDF에 머무르지만, 권한 부여 규칙·감사 로그·롤백 메커니즘·행동 한도는 에이전트가 실제로 동작하는 시스템 안에 박혀 있어 우회할 수 없습니다. NIST AI RMF의 Govern 기능을 실행 가능한 통제로 번역한 것이라고 보면 됩니다(NIST AI RMF). 정책은 사람이 지키지 않으면 무력하지만, 시스템에 심은 통제는 기본값으로 작동합니다.

통제를 강하게 걸면 자동화의 속도와 효과가 떨어지지 않나요?

오히려 반대입니다. 통제가 없으면 권한을 크게 줄 수 없고, 권한이 작으면 자동화 효과도 작습니다. 안전벨트가 있어야 빠르게 달릴 수 있는 것과 같습니다. 실제로 Gartner는 부적절한 리스크 통제가 에이전틱 AI 프로젝트 취소의 핵심 원인이라고 지목했습니다(Gartner, 2025). 통제를 먼저 설계한 조직이 더 큰 권한을, 더 오래 안정적으로 맡길 수 있습니다. 통제는 자동화의 천장을 높입니다.

섀도 AI(직원들이 몰래 쓰는 AI)는 어떻게 통제하나요?

금지가 아니라 ‘양지화’가 답입니다. 섀도 AI가 위험한 이유는 도구 자체가 아니라 통제 밖에 있다는 점입니다. IBM 데이터에 따르면 섀도 AI 사용이 많은 조직은 유출 비용이 평균 67만 달러 더 높았고, 전체 조직의 20%가 섀도 AI 관련 유출을 겪었습니다(IBM, 2025). 먼저 누가 무엇을 쓰는지 가시성을 확보하고(감사), 승인된 도구에 권한·한도를 걸어 안전한 경로를 제공하면, 직원들이 위험한 우회로를 찾을 이유가 사라집니다. 막으면 숨고, 안전한 길을 열면 따라옵니다.

작은 조직도 이런 통제 구조가 필요한가요?

필요합니다. 오히려 규모가 작을수록 사고 한 번의 타격이 큽니다. 다만 처음부터 전사 프레임워크를 갖출 필요는 없습니다. 자율성이 높고 되돌릴 수 없는 행동(외부 발송·자금·삭제)부터 ‘승인 후 행동’ 단계로 묶고, 감사 로그를 켜는 것만으로도 가장 큰 위험의 상당 부분이 닫힙니다. 자동화를 어디서부터 시작하고 어떻게 시스템으로 축적할지는 에이전틱 AI 자동화를 시작하는 법에서 단계별로 다뤘습니다.

통제 설계를 어디서부터 시작해야 할까요?

자동화 대상 선정부터입니다. 반복·연결·누적·복구 가능한 일을 골라 자율성 수준(관찰→조언→승인 후 행동→자율)을 정하고, 각 수준에 맞는 권한·감사·롤백·한도를 설계합니다. 우리는 교육으로 조직의 AI 역량을 끌어올린 뒤, 실제 자율 에이전트를 통제 구조와 함께 구축하는 일관된 방식으로 이 과정을 함께합니다. 어디서부터 손대야 할지 막막하다면, 상담을 통해 현재 자동화 현황과 통제 격차를 진단하는 것부터 시작하시기 바랍니다.

---

자동화의 승부는 모델 성능이 아니라 통제 설계에서 갈립니다. Gartner의 40% 취소 예측, IBM의 97% 접근통제 부재, Deloitte의 21% 거버넌스 성숙도 — 데이터가 한목소리로 가리키는 결론은 하나입니다. 권한·감사·롤백·한도를 먼저 시스템에 심은 조직만이 에이전트에게 더 큰 일을 안심하고 맡길 수 있습니다. 통제는 자동화의 적이 아니라 조건입니다. 우리는 교육에서 시작해 통제 구조를 갖춘 자율 에이전트 구축까지 함께 끝냅니다. 지금 상담을 신청하십시오.