AI챗봇 성과는 자동응답률이 아니라 "고객의 용건이 진짜 해결되었는가"로 봐야 합니다.

응답률이 아무리 높아도 상담사 업무량이 그대로라면, 챗봇이 아니라 성과를 정하는 지표를 다시 점검해야 합니다.

AI챗봇 도입 반년 차, 성과 보고서에는 '자동응답률 90%'가 찍혀있습니다.

그런데 CS팀 전화는 여전히 울립니다.

오늘은 AI챗봇 성과를 무엇으로 측정해야 하는지,

챗봇을 도입하기 전에 정하면 좋은 것들을 정리해드릴게요.

1. 자동응답률 90%인데 상담사는 왜 여전히 바쁠까

보고서 숫자와 현장 느낌이 어긋나는 일은 생각보다 흔합니다.

성과 대시보드에는 'AI가 처리한 문의 90%'라고 뜹니다.

그러나 상담 대기는 줄어들지 않습니다.

이유는 간단합니다.

자동응답률은 'AI가 답변을 내놓은 비율'이지, '고객의 용건이 해결된 비율'이 아닙니다.

고객이 AI의 자동응답을 받고 나서 곧바로 사람 상담사를 다시 찾았다면,

그 답변은 성과라 보기 어렵습니다.

같은 문의를 AI와 사람이 두 번 처리한 셈이니, 오히려 일이 한 번 더 생긴 것이죠.

고객 경험 입장에서도 같은 문의를 두 번 해야하니 오히려 더 나빠진 것입니다.

2. 응답률이 아니라 해결률

최소한 네 가지는 나눠서 봐야 합니다.

• 자동응답률: 챗봇에 들어온 문의 중에 AI가 답변을 내놓은 비율. 어쩌면 가장 올리기 쉬운 숫자입니다.
  

• 자기해결률: 챗봇에 들어온 문의 중 상담사를 부르지 않고 끝난 비율. 진짜 성과에 가장 가까운 숫자입니다.
  

• 이관율: 챗봇에 들어온 문의 중 상담사에게 넘어간 비율
  

• 재문의율: AI가 해결됐다고 판단한 문의 중, 같은 고객이 같은 일로 다시 물어본 비율. 결과적으로 해결되지 않은 누수를 잡아내는 숫자입니다.
  

여기엔 함정이 하나 있습니다. 가장 중요한 지표인 '자기해결률'은 기준에 따라 성과가 통째로 바뀝니다.

예를 들어 볼까요?

한 달 문의량이 1,000건일때, 챗봇이 답변을 내놓은 건 300건, 그 중 상담사없이 끝난 건 200건이라고 해볼게요.

AI챗봇이 해결한 문의는 똑같이 200건입니다. 하지만,

• 기업에 들어온 전체 문의량(1,000건) 기준 → 20%
  

• 챗봇이 답변을 내놓은 문의량(300건) 기준 → 67%
  

둘 다 틀린 계산이 아니지만, 의미는 달라집니다.

우리 기업의 전체 문의량(1,000건) 기준은 CS 조직 전체가 체감하는 업무량에 가깝습니다.

챗봇이 답변한 문의량(300건) 기준은 챗봇이 답변하지 못한 문의는 제외되므로 가장 후한 성과가 나옵니다.

그래서 숫자만을 비교하기 전에 어느 기준으로 측정한 지표인지부터 먼저 확인해야합니다.

3. 실패는 대부분 '사람에게 넘기는 구간'에서 발생한다

AI가 모든 문의를 답할 수는 없습니다.

진짜 문제는 답하지 못할 때가 아니라, 답하지 못한 문의를 사람에게 넘기는 길이 만들어져 있지 않을 때 생깁니다.

특히, 세 지점이 무너지면 고객이 느끼는 만족도가 크게 떨어집니다.

1. 언제 넘길까: 몇 번 헛돌고 나서 상담사로 넘어가는지를 잘 설정해야 합니다. 감으로 정하지 말고 대화 기록을 살피세요. 같은 질문이 몇 번 반복된 뒤에 고객이 떠나거나 상담사를 찾는지가 힌트가 됩니다.
   

2. 대화도 같이 넘어가는가: 넘겨받은 상담사가 앞 대화를 보지 못하면 고객은 처음부터 다시 설명해야 하고, 고객 경험이 나빠집니다. 실제 불만이 가장 많이 나오는 지점이기도 합니다.
   

3. 얼마나 기다려야 할지 알려주는가: 상담사에게 넘긴 뒤 대기 시간이나 순번을 보여주지 않으면 고객은 연결이 되고 있는지 조차 알 수 없고, 답답함은 곧 불만으로 이어집니다.
   

이 구간들이 비어있으면, 챗봇의 답변 건수가 그대로 불만 건수가 될 수 있습니다.

챗봇이 측정한 성과 숫자는 올라가는데 우리 기업 서비스의 평판은 내려가는, 꽤 흔한 패턴입니다.

4. AI콜봇·AICC로 넓힐 때 기준은 어떻게 달라지나

AI챗봇이 자리를 잡으면 자연스럽게 전화 채널로도 넓히게 됩니다.

이 때 AI챗봇 기준을 그대로 AI콜봇에 가져오면 판단이 어긋납니다.

AI챗봇은 고객이 스스로 끝낸 비율이 핵심이지만 AI콜봇은 다릅니다.

통화가 상담사 연결 없이 끝났는지, 한 통을 처리하는 데 걸리는 시간이 줄었는지를 봅니다.

AICC는 이 채널들을 하나로 묶어서 보는 층입니다.

'고객 한 명의 문의가 어디서 시작해 어디서 끝났는가'를 채널을 넘나들며 따라가는 것이 목적입니다.

말은 쉽지만, 조건이 하나 붙습니다. 채널을 넘나들며 따라가려면 '지금 이 사람이 아까 그 사람'인 걸 알아볼 수 있어야 합니다.

웹 챗봇은 브라우저 기록이나 로그인 계정으로 알아보거나, 콜봇은 전화번호 등으로 알아보는 식입니다.

상담시스템이 있다면 회원번호나 접수번호를 쓸 수도 있씁니다.

이 셋이 이어져있지 않으면, 챗봇에서 해결하지 못하고 전화한 고객과 오늘 처음 전화한 고객이 구분되지 않습니다.

그러면 채널을 넘나드는 자기해결률도, 재문의율도 계산 자체가 안 됩니다.

고객을 알아보는 방식을 하나로 잇는 일은, 지표를 정한 다음에 할 숙제가 아닙니다.

그 지표를 만들 수 있는지를 결정하는 첫 단추입니다.

5. 챗봇을 도입하기 전에 정해야 할 네 가지

기준은 시스템을 도입한 다음에 정하면 늦습니다.

이미 나온 숫자를 놓고 해석을 다투게 되기 때문입니다.

그러니 아래 네 가지 사항을 정하는 것을 선행해야 합니다.

첫째, 어디까지 잴 것인가. 전체 문의를 볼지, 배송조회나 비밀번호 재설정 같은 특정 유형만 볼지 정합니다.

둘째, 지금 숫자는 얼마인가. 챗봇을 도입하기 전 일정 기간 동안 문의 유형별 건수와 상담사 처리 시간을 기록해둡니다.

셋째, 언제 누가 판단하는가. 주 단위로 볼지 월 단위로 볼지 정하고, 성과 숫자를 최종적으로 판단할 사람을 지정해둡니다.

넷째, 어디부터 실패로 볼 것인가. '이 아래면 다시 검토한다'는 선을 미리 그어두는 게 좋습니다.

자주 묻는 질문(FAQ)

Q. 자동응답률은 보지 않아도 되는건가요?

A. 자동응답률도 보되, 성과 지표라기 보단 점검 지표로 보는 걸 추천합니다. 자동응답률은 챗봇이 답변 자체를 만들어내지 못하는 구간을 찾을 때 도움이 됩니다.

Q. 자기해결률은 몇 %면 잘한건가요?

A. 외부의 평균치와 비교하는 것은 권장하지 않습니다. 앞서 말한 것 처럼, 같은 수치('200건')라도 기준을 어떻게 잡느냐에 따라 20%에서 67%까지 벌어집니다. 공개된 수치들도 각자 내부의 기준으로 계산된 것이라, 우리 기업과 같은 뜻이 아닐 수 있습니다. 비교 대상은 남의 평균이 아닌 '도입 전 우리 기업의 값'으로 두는게 좋습니다. 5번에서 도입 전 '지금 숫자'를 기록할 것을 얘기한 이유입니다.

Q. 여러 지표 중 하나만 골라야 한다면 무엇을 봐야 하나요?

A. 자기해결률입니다. 고객의 용건이 상담사 없이 끝났는지를 직접 세는 유일한 숫자이기 떄문입니다. 다만 혼자 두면 왜곡되기 쉬우니, 해결로 세어둔 건이 정말 끝난 건지는 재문의율을 함께 봐야합니다.

AI챗봇 도입의 성패는 무엇을 성공이라 부를지 정하는 데에서 갈립니다.

여러 곳에서 내놓은 숫자 성과만 보기보단, 그 숫자가 무엇을 세고 있는지부터 확인하세요.