회사 데이터를 AI에 넣어도 되나: 데이터 등급·권한·감사로 만드는 안전한 도입

“회사 데이터를 AI에 넣어도 되나요?” 결론부터 말씀드리면, 데이터를 넣어도 되는 것과 안 되는 것으로 등급을 나눕니다. 그다음 누가 무엇을 어디까지 넣을 수 있는지를 권한과 감사로 통제합니다. 모든 데이터를 막으면 AI 도입이 멈추고, 다 열면 사고가 납니다. 물어야 할 것은 되냐 안 되냐가 아닙니다. 어떤 데이터를 어떤 경로로, 어떤 통제 아래 넣느냐입니다.

이 질문이 지금 중요한 이유는 명확합니다. 통제 없이 AI를 쓰는 직원이 이미 회사 안에 있고, 그 흔적이 보이지 않기 때문입니다. 데이터 등급을 어떻게 나누고, 권한과 감사와 한도를 어떻게 설계하며, 온프렘과 기업용 API 중 무엇을 고를지, 실제로 어떤 사고가 났는지를 실무 기준으로 정리합니다.

지금 회사 안에서 벌어지고 있는 일: 섀도 AI

통제를 정하기도 전에 직원들은 이미 AI 에 회사 데이터를 넣고 있습니다. 여기서부터 봐야 합니다.

시스코(Cisco)의 2025 사이버보안 준비지수에 따르면 한국 기업의 83%가 지난 1년간 AI 관련 보안 사고를 경험했고, 동시에 83%가 비인가 AI 사용(섀도 AI)을 탐지하는 데 자신이 없다고 답했습니다. 이 조사는 한국을 포함한 30개국의 보안·경영 리더 8,000여 명을 대상으로 했습니다(Byline Network / Cisco 2025 Cybersecurity Readiness Index). 즉 사고는 났는데, 어디서 어떻게 새는지 모르는 상태가 절대다수입니다.

글로벌 데이터도 같은 방향을 가리킵니다. 가트너(Gartner)는 사이버보안 리더의 69%가 직원들이 공개 생성형 AI를 업무에 쓰고 있다는 증거를 갖고 있거나 그렇게 의심한다고 밝혔으며, 2030년까지 전 세계 조직의 40% 이상이 비인가 AI 사용으로 인한 보안·컴플라이언스 사고를 겪을 것으로 전망했습니다(Infosecurity Magazine / Gartner).

더 중요한 변화는 AI에 흘러가는 데이터의 ‘질’입니다. 사이버헤이븐(Cyberhaven)의 2025 AI 도입·리스크 리포트에 따르면 기업이 AI에 입력하는 데이터 중 민감 데이터 비중이 34.8%로, 2년 전 10.7%에서 3배 이상 급증했습니다(Cyberhaven 2025 AI Adoption and Risk Report). 처음에는 잡담과 요약으로 시작하지만, 곧 고객 명단·계약서·소스코드가 프롬프트에 들어갑니다.

그래서 “AI에 데이터를 넣어도 되나”라는 질문은 사실 이미 늦은 질문입니다. 정확한 질문은 “이미 새고 있는 데이터를, 어떻게 안전한 경로로 끌어올 것인가”입니다.

1단계: 데이터를 4등급으로 나눈다

안전한 AI 도입의 출발점은 모든 데이터를 똑같이 취급하지 않는 것입니다. 회사 데이터를 민감도에 따라 4개 등급으로 나누면, 입력 가능 여부와 필요한 통제 수준이 자동으로 정해집니다.

• 공개(Public): 보도자료, 공개된 제품 소개, 채용 공고. 어떤 AI 도구에 넣어도 무방합니다. 자유롭게 활용해 생산성을 올리는 영역입니다.
• 내부(Internal): 회의록, 업무 매뉴얼, 내부 보고서 초안. 외부 공개는 안 되지만 치명적이지 않습니다. 데이터를 학습에 쓰지 않는 기업용 계약/API 경로에서만 사용합니다.
• 기밀(Confidential): 고객 개인정보, 계약 조건, 미공개 재무 데이터. 입력 자체를 통제하고, 가능하면 가명화·마스킹 후 처리합니다. 접근 권한과 감사 로그가 필수입니다.
• 제한(Restricted): 소스코드, 핵심 알고리즘, 영업비밀, M&A 정보. 외부 공개 AI에는 절대 입력 금지. 필요하다면 폐쇄망/온프렘 환경에서만 다룹니다.

이 분류가 없으면 직원은 ‘이걸 넣어도 되는지’ 매번 스스로 판단해야 하고, 결국 편한 쪽으로 기웁니다. 등급표 한 장이 수백 번의 잘못된 판단을 막습니다.

특히 개인정보가 포함된 기밀 데이터는 법적 기준도 함께 봐야 합니다. 개인정보보호위원회는 2025년 ‘생성형 AI 개발·활용을 위한 개인정보 처리 안내서’를 발간해, 생성형 AI 단계별 개인정보 처리 원칙과 안전조치를 제시했습니다(개인정보보호위원회, 2025). 등급 분류와 법적 안내서를 함께 적용하는 것이 안전합니다.

2단계: 권한과 감사, 한도를 심는다

데이터를 등급으로 나눴다면, 다음은 그 등급을 실제로 강제하는 장치입니다. 우리는 이것을 Harness Engineering이라 부릅니다. 말은 거창하지만 핵심은 단순합니다. AI에게 권한을 주되, 그 권한에 고삐(harness)를 채우는 것입니다.

왜 이게 결정적이냐면, 사고는 ‘AI를 썼기 때문’이 아니라 ‘통제 없이 썼기 때문’에 납니다. IBM의 2025 데이터 유출 비용 보고서는 이를 수치로 증명합니다. AI 관련 보안 사고를 겪은 조직의 97%가 적절한 AI 접근 통제(access control)를 갖추지 못한 상태였고, 63%는 AI를 관리하거나 섀도 AI를 막을 거버넌스 정책 자체가 없었습니다(IBM Cost of a Data Breach 2025, via Kiteworks). 결국 사고의 본질은 AI가 아니라 통제의 부재입니다.

Harness는 4가지 축으로 설계합니다.

• 권한(Permission): 누가 어떤 등급의 데이터에 접근하고, AI가 어떤 시스템(메일·DB·결재)을 건드릴 수 있는지 최소 권한으로 한정합니다.
• 감사(Audit): AI가 무엇을 읽고, 어떤 행동을 했는지 모든 흔적을 로그로 남깁니다. 추적 불가능한 자동화는 통제 불가능한 자동화입니다.
• 롤백(Rollback): 잘못된 실행을 되돌릴 수 있어야 합니다. 자동화가 위험한 건 빠르기 때문이고, 빠른 실수는 빠르게 복구할 수 있어야 합니다.
• 한도(Limit): 1회 처리량, 금액, 외부 전송 범위에 상한을 둡니다. 그리고 최종 결정·신뢰·창의가 필요한 지점에는 반드시 사람을 둡니다.

마지막 원칙이 중요합니다. 자동화에 맡길 일과 사람이 쥐고 있어야 할 일은 다릅니다. 반복되고, 시스템이 연결되며, 데이터가 누적되고, 실패 시 복구 가능한 작업은 AI에 넘깁니다. 반대로 최종 결정·외부 신뢰가 걸린 판단·창의가 필요한 일은 사람이 잡습니다.

이건 이론이 아닙니다. 우리가 구축한 거래처 등록 자동화 사례가 그렇습니다. PDF 사업자등록증을 파싱하고 브라우저를 자동 조작해 시스템에 등록하지만, 최종 승인 버튼만은 사람이 누릅니다. 등록이라는 반복 작업은 AI가, 책임이 따르는 승인은 사람이 맡는 구조입니다. 권한은 등록까지, 한도는 승인 직전까지 — 이것이 Harness의 실제 모습입니다.

3단계: 온프렘이냐 기업용 API냐

통제 장치를 정했다면, 데이터가 실제로 ‘어디서’ 처리되는지가 다음 질문입니다. 크게 두 갈래입니다.

첫째, 기업용 API/계약 경로를 쓰는 방법. 가장 흔히 오해받는 지점이 “AI에 넣은 데이터는 학습에 쓰인다”입니다. 개인용(consumer) 서비스와 기업용(enterprise/API) 서비스는 데이터 취급이 완전히 다릅니다. 예를 들어 Anthropic은 2025년 8월 개인용 제품(Free·Pro·Max)에 대해 데이터 학습 동의 여부를 사용자가 직접 선택하도록 정책을 바꾸면서도, 기업용 제품과 API 이용 고객은 이 변경의 영향을 받지 않는다고 명시했습니다. 이는 OpenAI가 엔터프라이즈 고객을 학습 정책에서 보호하는 방식과 같습니다(TechCrunch, 2025). 따라서 내부·일부 기밀 등급까지는 개인 계정 무료 챗봇이 아니라 기업용 계약 경로로 옮기는 것만으로도 위험이 크게 줄어듭니다.

둘째, 온프렘/폐쇄망에서 직접 운영하는 방법. 제한(Restricted) 등급 — 소스코드, 핵심 알고리즘, 규제 대상 데이터 — 은 외부로 단 한 바이트도 나가면 안 됩니다. 이 경우 자체 인프라에서 오픈소스 모델을 돌리거나, 격리된 전용 환경을 구성합니다. 비용과 운영 부담은 크지만, 데이터가 외부 네트워크를 타지 않는다는 확실성을 얻습니다.

실무에서는 둘을 섞습니다. 공개·내부 데이터는 기업용 API로 빠르게 생산성을 얻고, 제한 데이터만 폐쇄 환경으로 분리하는 하이브리드가 현실적입니다. 핵심은 데이터 등급에 맞는 경로를 매칭하는 것이지, 무조건 온프렘이 안전하고 클라우드가 위험한 게 아닙니다.

실제로 무슨 일이 일어났나: 사고에서 배우기

추상적인 위험보다 실제 사고가 더 많은 걸 가르쳐 줍니다. 가장 유명한 사례는 삼성전자입니다.

2023년, 삼성 반도체 부문이 ChatGPT 사용을 허용한 지 약 20일 만에 3건의 기밀 유출이 연달아 발생했습니다. 엔지니어들이 반도체 설비 진단·수율 관련 소스코드와 비공개 내부 회의 녹취록을 직접 프롬프트에 붙여넣은 것입니다. 결국 삼성은 사내 기기·네트워크에서 외부 생성형 AI 사용을 제한하고, 자체 내부 AI 도구 개발로 전환했습니다(Bloomberg, 2023). 이 사건 이후 Apple, JPMorgan, Verizon 등도 잇따라 ChatGPT 사용을 제한했습니다.

이 사례의 교훈은 “AI를 금지하라”가 아닙니다. 삼성조차 금지가 답이 아니라고 보고 내부 AI로 전환했습니다. 진짜 교훈은 ① 제한 등급 데이터(소스코드)를 ② 개인용 경로로 ③ 통제 없이 입력했을 때 사고가 난다는 것입니다. 등급 분류, 학습 비사용 경로, Harness — 이 글에서 다룬 세 장치가 모두 빠져 있었습니다.

비용 측면에서도 통제 부재는 비쌉니다. IBM에 따르면 섀도 AI 수준이 높은 조직은 데이터 유출 시 평균 67만 달러(약 9억 원)의 추가 비용을 부담했고, 섀도 AI가 관련된 유출은 고객 개인정보가 침해될 확률이 65%로, 일반 유출보다 높았습니다(Kiteworks / IBM 2025).

AI 도입을 망설이는 진짜 이유가 보안이라면, 역설적으로 답은 ‘도입 통제 체계를 먼저 세우는 것’입니다. 보안이 두려워 손 놓고 있는 사이, 직원들은 이미 통제 밖에서 AI를 쓰고 있습니다. 어디서부터 손대야 할지 막막하다면 상담을 신청해 보세요. 데이터 등급 진단부터 Harness 설계까지 함께 짚어드립니다.

자주 묻는 질문

AI에 넣은 회사 데이터는 모두 학습에 쓰이나요?

아닙니다. 개인용 무료 챗봇과 기업용 서비스는 데이터 취급이 다릅니다. 주요 AI 제공사들은 기업용 API·엔터프라이즈 계약 고객을 소비자용 데이터 학습 정책에서 분리해 보호합니다. 예를 들어 Anthropic은 2025년 8월 개인용 제품에 학습 동의 선택제를 도입하면서도 기업용·API 고객은 영향을 받지 않는다고 밝혔습니다(TechCrunch, 2025). 문제는 직원이 개인 계정으로 무료 도구를 쓸 때 발생합니다. 데이터 보호가 보장된 기업 경로로 통일하는 것이 첫 단계입니다.

작은 회사도 데이터 등급 분류가 필요한가요?

필요합니다. 오히려 작은 회사일수록 핵심 데이터(고객 명단, 소스코드, 영업비밀)가 소수 인원에 집중돼 있어 한 번의 유출이 치명적입니다. 거창한 분류 체계가 아니라, ‘공개·내부·기밀·제한’ 4단계와 각 등급에 어떤 도구를 쓸지 정한 한 장짜리 표면 충분히 시작할 수 있습니다. 중요한 건 완벽함이 아니라 직원이 매번 스스로 판단하지 않게 만드는 것입니다.

섀도 AI(직원의 비인가 AI 사용)는 어떻게 막나요?

전면 금지는 작동하지 않습니다. 가트너 조사에서 보안 리더의 69%가 직원의 공개 AI 사용 정황을 인지하고 있었고, 시스코 조사에서는 83%가 비인가 AI 탐지에 자신이 없다고 답했습니다(Gartner, Cisco). 막을수록 음지로 숨습니다. 현실적 해법은 ① 안전한 사내 AI 경로를 공식 제공하고 ② 등급별 사용 규칙을 명확히 하며 ③ 사용 로그를 감사하는 것입니다. 좋은 통로를 열어줘야 우회로가 줄어듭니다.

온프렘 AI가 클라우드보다 항상 안전한가요?

데이터 종류에 따라 다릅니다. 소스코드·규제 데이터처럼 외부로 절대 나가면 안 되는 제한 등급은 온프렘/폐쇄망이 맞습니다. 하지만 온프렘도 내부 접근 권한과 감사가 부실하면 사고가 납니다. IBM 보고서는 AI 사고를 겪은 조직의 97%가 적절한 접근 통제를 갖추지 못했다고 지적합니다(IBM 2025). 인프라 위치보다 권한·감사·한도 설계가 안전을 좌우합니다.

보안 때문에 AI 도입을 미루는 게 더 안전하지 않나요?

오히려 위험합니다. 도입을 미루는 동안에도 직원들은 통제 밖에서 개인 계정으로 AI를 쓰고 있고, 이때 새는 데이터가 가장 위험합니다. 또한 AI에 입력되는 민감 데이터 비중은 2년 만에 3배로 늘었습니다(Cyberhaven 2025). 안전한 길은 ‘도입을 막는 것’이 아니라 ‘통제된 도입 체계를 먼저 세우는 것’입니다. 통제 설계가 곧 보안이고, 보안이 곧 도입의 속도입니다. AI 자동화를 어디서부터 시작할지는 에이전틱 AI 자동화 시작 가이드에서 더 확인할 수 있습니다.