사내 고객지원 AI가 답변 초안을 만들었습니다. 문장은 매끄럽습니다. 그런데 승인 화면에는 완성된 답변만 보입니다.

승인자는 ERP에서 제품을 다시 찾고, 고객 계약 조건을 확인하고, 최신 매뉴얼의 근거를 대조합니다. 수정한 답변은 메일 시스템에 복사하고 수신자를 다시 확인해야 합니다. AI가 없을 때 하던 확인 작업이 그대로 남은 상태에서 AI 초안 검토만 추가됐습니다.

이때 AI는 업무를 가져간 것이 아니라 검토할 결과물 하나를 더 만든 셈입니다.

저라면 모델 정확도를 올리기 전에 승인자의 화면부터 고치겠습니다. 사람 승인은 모든 AI 결과 뒤에 붙는 고정 단계가 아니라, 사람이 실제로 판단해야 할 위험과 예외에 열리는 분기여야 합니다.

모든 건이 승인으로 끝나면 보조 기능입니다

AI가 답변을 제안하고 사람이 모든 건을 다시 읽어 발송한다면 그 기능은 글쓰기를 돕는 보조 도구에 가깝습니다. 보조 도구도 충분히 가치가 있습니다. 다만 업무 자동화의 성과로 설명하려면 이전 수동 단계가 실제로 줄었는지 확인해야 합니다.

  • AI가 답변을 만들지만 승인자가 근거를 다시 찾고, 문장을 고치고, 다른 시스템에 복사합니다.
  • AI가 승인된 근거를 함께 제시하고, 승인자의 결정이 곧바로 발송과 처리 상태 변경으로 이어집니다.

첫 번째는 작성자 앞에 AI를 한 명 더 세운 구조입니다. 두 번째는 근거 탐색과 복사라는 기존 단계를 없앤 구조입니다. 승인 버튼의 존재보다 버튼을 누르기 전후에 어떤 일이 사라졌는지가 자동화의 범위를 결정합니다.

승인자가 받아야 할 것은 문장이 아니라 결정 근거입니다

승인자는 AI의 문장력을 평가하는 사람이 아닙니다. 이 답변을 지금 이 고객에게 보내도 되는지 결정하는 사람입니다.

그래서 승인 화면은 완성된 문장보다 결정에 필요한 차이를 먼저 보여줘야 합니다. 고객이 무엇을 물었는지, 어떤 제품과 계약이 적용됐는지, 어느 버전의 문서를 근거로 썼는지, 실제 발송 뒤 무엇이 바뀌는지가 한 화면에 있어야 합니다. 근거가 없거나 두 시스템의 값이 다르면 그 충돌도 숨기지 말고 표시해야 합니다.

확신 높음 같은 표시만으로는 부족합니다. 승인자는 그 표시가 아니라 빠진 근거와 충돌한 값, 되돌리기 어려운 결과를 판정합니다. 모델의 자기 평가보다 관찰할 수 있는 조건이 검토 시간을 더 잘 줄여줍니다.

승인자가 다시 ERP와 계약 시스템을 열어야 한다면 근거가 승인 화면까지 오지 않은 것입니다. 답변을 메일에 복사해야 한다면 승인이 실행과 연결되지 않은 것입니다. 이 두 연결이 빠진 상태에서 모델만 바꾸면 초안은 좋아져도 승인자의 일은 그대로 남습니다.

승인도 위험에 따라 세 갈래로 나눠야 합니다

승인 강도는 행동의 영향과 복구 가능성에 맞춰야 합니다. 저는 첫 버전부터 다음 세 경로를 나누겠습니다.

  • 허용 범위 안에서 실행: 되돌릴 수 있는 내부 분류나 임시 태그처럼 영향이 낮은 작업은 실행하고 기록합니다.
  • 예외가 보이면 이관: 승인된 근거가 없거나 값이 충돌하고, 재시도 횟수를 넘긴 경우에는 승인자에게 바로 넘깁니다.
  • 영향이 크면 실행 직전 승인: 금전, 계약, 개인정보, 대외 발송처럼 고객과 회사에 직접 영향을 주는 행동은 승인자가 결과와 근거를 본 뒤 실행합니다.

행동마다 승인을 요구하면 마찰이 커지고 사용자가 알림을 무시할 수 있습니다. Claude Code의 Plan Mode는 개별 행동 대신 전체 계획을 먼저 검토하게 만들어 판단 단위를 바꿨습니다.[1]

초기 운영에서 모든 건을 검수하는 선택은 합리적일 수 있습니다. 실패 사례를 모으고 자동 처리할 경계를 확인하는 기간이기 때문입니다. 다만 전수 검수가 영구 단계가 되지 않도록 검수 기간과 표본 검수로 전환할 오류 기준을 먼저 정해야 합니다.

사람을 남겨도 전체 업무는 빨라질 수 있습니다

병목은 사람의 존재보다 역할과 AI가 들어간 위치에서 생깁니다.

승인자가 기존 업무 화면에서 근거를 확인하고 그 결정이 바로 실행으로 이어지면, 사람을 남겨도 근거 탐색과 복사에 쓰던 시간은 줄일 수 있습니다.

반대로 생성 시간만 줄이고 근거 탐색과 복사, 승인 대기를 남기면 모델 사용량은 늘어도 고객 답변은 빨라지지 않습니다. 업무 전체를 다시 설계하고 사람과 에이전트의 의사결정 권한을 명시해야 하는 이유입니다.

저는 두 숫자가 줄지 않으면 범위를 다시 잡겠습니다

사내 AI를 시험할 때 지표를 많이 만들 필요는 없습니다. 고객 문의가 접수된 때부터 답변이 발송될 때까지의 전체 시간, 발송 뒤 수정하거나 다시 연 비율을 도입 전후에 같은 방식으로 보겠습니다.

초안 생성 시간은 진단용으로만 남깁니다. 초안이 빨라졌는데 전체 시간이 그대로라면 병목은 승인 화면이나 시스템 연결에 있습니다. 전체 시간은 줄었지만 재수정이 늘었다면 자동 처리 범위를 너무 넓게 잡은 것입니다.

첫 적용 범위도 작게 잡겠습니다. 승인된 문서 한 묶음으로 답할 수 있는 문의 유형 하나를 고르고, AI가 근거와 충돌을 함께 담은 검토 묶음을 만들게 합니다. 승인자는 그 화면에서 결정하고, 승인 결과가 발송과 처리 상태에 바로 반영되게 연결합니다.

이렇게 시험해도 승인자가 근거를 처음부터 찾고 문장을 다시 써야 한다면 모델을 교체하기 전에 기능 범위를 줄이겠습니다. 모든 건이 같은 승인을 기다린다면 위험 분류를 다시 하겠습니다. AI 단계 하나를 추가할 때 기존 수동 단계 하나가 실제로 사라지는 것을 완료 조건으로 삼겠습니다.

사내 AI의 첫 결과물은 답변 창보다 승인자가 한 번에 결정할 수 있는 검토 묶음이어야 합니다. AI가 일을 끝냈다는 표시는 중요하지 않습니다. 승인자가 다시 시작하지 않아도 고객 문의 한 건이 끝나는지가 진짜 결과입니다.

출처