호텔리어가 직접 만든 AI 응대 품질 점수표와 감성 지표 융합 실험 사례 분석

호텔리어는 AI 챗봇 응대가 고객에게 정보를 빠르게 전달하는 데는 효과적이지만, 만족도를 끌어올리는 데는 한계를 느꼈다. AI는 정확하고 논리적인 응답을 제공할 수 있지만, 고객이 느끼는 감정 만족도까지 측정하거나 개선하긴 어렵다. 이를 해결하기 위해 호텔리어는 AI 응답의 품질을 수치화하고, 감성 품질을 병행 측정할 수 있는 응대 점수표를 직접 만들기 시작했다.

 

이 글은 호텔리어가 어떻게 응대 품질을 수치로 평가했는지, 그리고 감성 지표와 결합한 융합 실험을 통해 실제 고객 경험이 어떻게 변화했는지를 실무 중심으로 분석한다.

 

호텔리어가 발견한 ‘AI 응대 품질’의 비가시성 문제

호텔리어는 AI 챗봇이 빠르게 대화를 이어가고 있음에도, 고객이 남긴 후기에는 성의가 없어 보였다, 대충 응대하는 느낌이었다 는 평가가 포함된다는 점에 주목했다. 단순히 응답 속도나 정확도만으로는 고객의 감정을 담아내지 못한다는 한계를 느낀 것이다. 호텔리어는 응답 품질을 평가하는 새로운 기준이 필요하다고 판단했다. 기존의 기술 중심 평가 항목 외에도 문장의 따뜻함, 공감도, 고객 감정 회복 정도 등을 함께 반영해야 한다는 인식에서 출발해, 호텔 내부에서 사용 가능한 AI 응대 품질 점수표를 구상하기 시작했다.

 

호텔리어가 설계한 AI 응대 품질 점수표의 구조

호텔리어는 AI 응대 평가를 기술 점수 + 감정 점수로 이원화했다. 기술 점수는 기존처럼 응답 정확성, 처리 속도, 정보 누락 여부 로 구성했고, 감정 점수에는 공감 표현 유무, 말투의 부드러움, 개인화 여부, 감정 회복력이라는 항목을 새롭게 추가했다.

각 항목은 1점에서 5점까지 등급화했고, 예시 문장과 실제 평가 기준을 명확히 제시하여 평가자의 주관을 최소화했다.

예를 들어, 요청하신 내용 확인 중입니다 는 감정 점수 2점, 불편을 끼쳐드려 정말 죄송합니다. 지금 바로 확인 중입니다 는 5점으로 분류되었다. 이 점수표는 AI 응답 로그를 기반으로 실제 챗봇 문장을 수집해 평가하며, 응대 품질을 정량적으로 분석할 수 있게 해 주었다.

 

호텔리어가 감성 지표를 도입해 융합 실험을 시작한 과정

호텔리어는 단순히 점수를 매기는 데 그치지 않고, 점수와 실제 고객 반응 사이의 상관관계 분석까지 시도했다. 고객이 대화 후 남긴 후기, 이탈률, 재문의율, 긍정 단어 사용 빈도 등을 분석해, 감성 점수가 높았던 문장 군에서 후기 점수와 NPS(순추천지수)가 더 높게 나타나는 경향을 발견했다.

특히 불만 상황에서 공감 표현이 포함된 문장이 사용되었을 경우, 불만 재확률이 40% 가까이 줄었다.

호텔리어는 이 결과를 바탕으로 감성 점수 4점 이상 문장을 챗봇 시스템의 우선 응답으로 설정했다. 또한 감성 점수가 낮은 문장은 수정하거나 삭제하여, 챗봇 응답 전체의 평균 감성 점수를 끌어올리는 품질 튜닝 작업을 동시에 진행했다.

 

호텔리어가 사내에 공유한 AI 응대 품질 평가 프로세스

호텔리어는 이 점수표를 사내 서비스 운영팀과 공유하며, 전 지점에서 일관된 응대 품질을 유지할 수 있는 평가 시스템으로 발전시켰다. 각 지점에서는 매주 10개 이상의 고객 대화 사례를 랜덤으로 수집해, AI 응답 문장을 점수표 기준으로 평가하고 개선 피드백을 공유했다. 이 과정을 통해 챗봇 응답 문장이 표준화되었고, 브랜드 전체의 언어 톤이 일정 수준 이상 유지되는 성과를 거두었다.

호텔리어는 이 프로세스를 “기술을 평가하는 것이 아니라, 기술이 말한 내용을 사람의 감정으로 확인하는 과정”이라고 정의했다.

특히 이 시스템은 신규 직원 교육에도 활용되었으며, AI를 통한 비대면 서비스가 중심이 되는 환경에서도 감성 응대의 기준점을 유지하는 데 큰 기여를 하게 되었다.

 

호텔리어가 정의한 ‘응대 품질’의 진짜 기준

호텔리어는 AI 응대 품질을 단순히 빠르고 정확한 답변 제공 능력으로 보지 않았다.

그는 고객이 챗봇과의 대화를 끝낸 뒤 “이 호텔은 참 따뜻하네”라고 느끼게 만드는 것이 진짜 응대 품질이라고 정의했다.

그렇기 때문에 문장의 어휘 선택, 어조, 응답의 구조까지 전부가 고객 경험에 영향을 준다고 판단했고, 이 모든 요소를 수치화해 관리 가능한 체계로 만든 것이 이번 점수표 개발의 핵심이었다.

그는 이 실험이 단순한 성과 지표를 위한 프로젝트가 아니라, 기술과 감정 사이의 간극을 좁히기 위한 실질적 시도였다고 정리하며, 앞으로 AI가 더욱 정교해질수록 인간 호텔리어가 이런 감정 품질의 기준을 제시하는 역할이 중요해질 것이라 전망했다.

 

호텔리어가 고객 피드백 데이터를 점수표에 반영한 실무 방식

호텔리어는 응대 품질 점수표를 실효성 있게 운영하기 위해, 고객 피드백 데이터를 정기적으로 점수 체계에 반영하는 루틴을 구축했다. 고객이 남긴 후기, 예약 후 설문, AI 응대 종료 후 만족도 체크 결과 등을 모두 수집해, 문장별 응대 후 고객 반응과 감정 상태를 정량화했다.

특히 후기 중 ‘사람 같다’, ‘친절했다’, ‘다정한 말투였다’와 같은 긍정 키워드는 감성 점수 상향 조정에 활용되었고, ‘무성의하다’, ‘로봇 같다’, ‘딱딱하다’ 같은 키워드는 감성 점수 감점 요인으로 지정되었다.

호텔리어는 이 분석 결과를 매달 업데이트된 ‘응대 품질 점수표 개정판’에 반영했고, 이 자료는 전 지점 서비스팀에 정기적으로 배포되었다.

또한 그는 특정 문장이 반복적으로 낮은 감성 점수를 받거나 고객 불만과 연결될 경우, 그 문장을 ‘퇴출 후보 리스트’에 올려 테스트 응대에서 제외시키는 실험도 병행했다. 이처럼 실제 고객의 언어 반응을 기준으로 챗봇 문장과 점수표 항목을 조율함으로써, 평가가 현실성을 띄게 되었고 현장 직원들도 수치 기반 응대 품질 개선에 적극 참여하게 되었다.

 

호텔리어가 품질 점수표를 조직 내 평가 시스템에 연결한 전략

호텔리어는 응대 품질 점수표를 단지 챗봇 시스템 개선에만 쓰지 않았다.

그는 이 평가 체계를 호텔리어 조직 내부의 팀 성과 평가 및 교육 훈련 자료와 연결시켰다. 각 지점에서는 특정 기간 동안 AI 응대 문장의 평균 감성 점수와 고객 만족도 점수를 연계해 모니터링했고, 그 결과를 팀 단위 피드백 회의에서 활용했다.

또한 AI 문장 튜닝을 담당한 직원에게는 직무 기여 평가 항목으로 점수화된 데이터를 반영해 인정하거나 포상했다. 이렇게 되자 현장 호텔리어들도 AI 응대 품질을 단순한 기술 결과가 아니라 자신의 서비스 품질 일부로 인식하게 되었고, 챗봇 응대 개선 작업에 더 높은 책임감을 갖고 참여하게 되었다.

이런 방식은 호텔 조직 전반에 긍정적인 파급 효과를 만들어냈다. 기술과 감정의 중간 지점에서 호텔리어가 새로운 역할을 창출해 낸 셈이며, 그 결과 호텔은 단순히 자동화를 추구하는 조직이 아니라, 자동화를 사람 중심으로 설계하고 운영하는 서비스 기관이라는 인식을 고객에게 전달할 수 있었다.