'AI 사용률 90%' 보고의 함정: 활동을 측정하면 활동만 늘어난다
도입률·사용률·호출 수는 가장 재기 쉬운 숫자라서 가장 먼저 KPI가 되고, 그 순간 조직은 가치 없는 사용을 늘리기 시작합니다. 사용률 지표가 만드는 세 가지 왜곡과, 활동 대신 측정해야 할 세 층, 곧 결과와 해방과 재사용을 정리했습니다.
“전사 AI 사용률 90% 달성”이라는 보고는 무엇을 말해줄까요. 직원들이 로그인했다는 것. 딱 거기까지입니다. 그 사용이 고객 가치를 만들었는지, 시간을 해방했는지, 재사용될 자산을 남겼는지에 대해서는 아무것도 말하지 않습니다. 사용량은 활동의 기록이지 성과의 기록이 아닙니다. 그런데 사용률은 가장 재기 쉬운 숫자라서 가장 먼저 KPI가 되고, KPI가 되는 순간 조직은 재는 것을 늘리기 시작합니다. 여기서 재는 것은 활동입니다.
사용률 KPI가 만드는 세 가지 왜곡
왜곡 1: 가치 없는 사용의 증식. 사용률이 평가에 걸리면 그러면 사용 실적을 만드는 쪽이 합리적인 행동이 됩니다. 안 써도 되는 일에 한 번 돌려보고, 검색이면 충분한 것을 채팅으로 묻고, 월말이면 한도를 채웁니다. 늘어난 것은 로그, 나간 것은 비용, 달라진 것은 없습니다.
왜곡 2: 진짜 활용의 은폐 지속. 역설적이게도 사용률 KPI는 고성과 사용자를 드러내지 못합니다. 업무를 크게 줄인 핵심 노하우를 가진 사람이 공개하면 손해인 구조라면, 그는 사용률 집계에는 잡히되 방법은 계속 숨깁니다. 지표는 좋아지는데 조직 자산은 늘지 않는 상태가 유지됩니다.
왜곡 3: 경영진의 조기 안심. 가장 비싼 왜곡입니다. 대시보드의 90%를 본 경영진은 전환이 진행되고 있다고 믿고 다음 단계를 미룹니다. 측정을 다시 짜고, 보상을 다시 걸고, 데이터를 다시 준비하는 일입니다. MIT 조사에서 기업 파일럿의 95%가 손익 영향 없이 정체된 것은(Fortune) 도입률이 낮아서가 아닙니다. 도입률과 성과가 애초에 다른 축이기 때문입니다.
무엇을 측정해야 하나: 세 층
사용률을 버리고 나면 무엇을 재야 할까요. 층이 세 개입니다.
| 층 | 질문 | 지표의 예 |
|---|---|---|
| 결과 | 업무의 산출이 달라졌는가 | 처리 기간, 오류율, 고객 응답 품질, 전에 못 하던 산출물 |
| 해방 | 사람이 얼마나 덜 묶이는가 | 같은 결과에 드는 사람 시간, 해방된 시간의 재투자처 |
| 재사용 | 남긴 자산이 다시 쓰였는가 | 팀 표준이 된 지시서 수, 자동 관문이 잡은 오류 수, 자산의 재사용 횟수 |
첫째 층만으로는 부족합니다 — 결과가 좋아져도 사람이 더 갈려 들어간 것이면 지속 불가능하고(해방 층), 이번 결과가 다음 결과를 쉽게 만들지 못하면 복리가 없습니다(재사용 층). 특히 셋째 층이 토큰 경영의 고유한 측정입니다: 이번 분기의 성과가 아니라 다음 분기의 생산능력을 재는 층이기 때문입니다.
사용률에도 자리는 있습니다 — 도입 첫 분기의 확산 추적용 보조 지표까지입니다. 문제는 지표 자체가 아니라 그것이 평가·보상에 연결되는 순간이고, 연결할 지표는 언제나 세 층에서 골라야 합니다.
전환 실무: 보고 양식부터 바꿔라
측정 철학을 바꾸는 가장 빠른 방법은 보고 양식의 교체입니다. “이번 달 사용률·호출 수” 칸을 지우고 세 칸을 넣습니다 — 달라진 결과(무엇이 얼마나), 해방된 시간과 그 용처(어디서 얼마가 나와 어디로 갔나), 재사용된 자산(누가 만든 무엇을 누가 다시 썼나). 첫 달의 보고는 빈칸투성이일 것입니다. 그 빈칸이 바로 현재 상태의 정확한 측정이고, 무엇을 만들어야 하는지의 목록입니다.
지표 설계의 전체 틀 — 도입지표에서 전환지표로 — 은 AI ROI, 무엇으로 측정하나에서 다뤘고, 측정이 평가·보상과 만나는 지점은 인사평가 재설계에서 이어집니다. 우리 조직의 측정 체계가 어느 층까지 와 있는지는 무료 AX 진단으로 확인할 수 있습니다.
자주 묻는 질문
AI 사용률은 왜 KPI로 부적합한가요?
측정되는 순간 목표가 되고, 목표가 되는 순간 가치 없는 사용이 늘기 때문입니다. 사용은 수단이므로 지표는 결과(산출 변화)·해방(사람 시간)·재사용(자산)에 걸어야 합니다. 사용률의 정당한 용도는 도입 초기의 확산 추적용 보조 지표까지입니다.
그럼 대시보드에서 사용량을 빼야 하나요?
빼는 것이 아니라 자리를 옮깁니다 — 평가·보상과 연결된 전면 지표에서, 운영 참고용 후면 지표로. 사용량은 비용 관리와 이상 탐지(급증·급감)에는 유용합니다. 문제는 숫자가 아니라 그 숫자에 걸린 유인입니다.
결과 지표는 측정이 어려운데 어떻게 시작하나요?
전수 측정을 목표로 하지 말고, 업무 하나씩 전후 비교로 시작하세요. 자동화 전 처리 기간·오류율·투입 시간을 기록해 두고 후와 비교하는 것입니다. 파일럿의 전환 계약에 관찰 항목을 넣어 두면 측정이 별도 작업이 아니라 운영의 일부가 됩니다.
재사용 자산은 구체적으로 뭘 세나요?
동료가 실제로 다시 쓴 것을 셉니다 — 팀 표준이 된 업무 지시서, 자동 관문에 반영된 검증 규칙, 다른 업무가 가져다 쓴 데이터 정리물. 핵심은 ‘만들었다’가 아니라 ‘재사용됐다’는 사실이고, 그 기록이 자산 배당의 근거가 됩니다.
