AI와 경어: 일본어 접객 AI의 최난관을 공략하다
왜 GPT-4도 경어가 어려울까? Bookmi의 3층 경어 모델과 평가 시스템을 해설.
「お客様が申されました」(손님께서 말씀하셨습니다)
베타 테스트 중, 한 점포 사장님으로부터 지적을 받았습니다. 「이 경어, 좀 이상하지 않아요?」
우리 AI가 생성한 문장이었습니다. 문법적으로는 문제없습니다. 정중하기도 합니다. 하지만 일본인이라면 누구나 위화감을 느낍니다——「申す」는 겸양어로, 자신의 행동에 쓰는 말입니다. 손님의 행동에 사용하는 것은 명백한 실수입니다.
이것이 우리의 경어와의 싸움의 시작이었습니다.
세계에서 가장 복잡한 「정중함」
일본어 경어는 단순한 정중 표현이 아닙니다. 존경어, 겸양어, 정중어——게다가 각각 안에도 세세한 레벨이 존재합니다. 「です」와 「でございます」의 차이. 「お越しになる」와 「いらっしゃる」의 뉘앙스.
그리고 가장 어려운 것은, 이것들이 「상황」에 따라 바뀐다는 것입니다.
처음 오신 손님에게는 최대한의 경의를. 단골에게는 친근함을 담은 경어를. 비즈니스 이용이면 격식 있게, 데이트 이용이면 따뜻하게——같은 사람에게도 장면에 따라 최적의 경어 레벨이 달라집니다.
최첨단 AI의 한계
처음에 우리는 GPT-4를 그대로 쓰면 된다고 생각했습니다. 세계 최고의 언어 모델이니까, 경어 정도는 완벽하게 다룰 수 있겠지 하고.
현실은 달랐습니다.
이중 경어(「ご予約をお承りいたします」), 겸양어와 존경어의 혼동, 그리고 문맥을 무시한 부자연스러운 경어 레벨——테스트할수록 문제가 발견되었습니다.
왜일까요? 경어의 정확성은 문법만으로는 판단할 수 없기 때문입니다. 화자와 청자의 관계, 장소의 분위기, 과거의 대화 이력——모든 것을 고려해야 비로소 「자연스러운 경어」가 성립합니다.
인간의 감각을 가르치다
우리는 100명의 일본어 원어민에게 협력을 요청했습니다.
매주, AI가 생성한 수백 개의 응답문을 평가받습니다. 「자연스러운가요?」「이 장면에서 적절한가요?」「불쾌감이 있나요?」——수치화할 수 없는 감각을, 꾸준히 수치화해 나갔습니다.
그리고 하나의 발견이 있었습니다. 평가자 전원이 「자연스럽다」고 느끼는 경어에는 공통점이 있었습니다. 그것은 「적당한 거리감」이었습니다.
너무 정중하지도, 너무 캐주얼하지도 않게. 상대를 존중하면서도 따뜻함이 있는. 이 절묘한 균형을, 우리는 3층 모델에 담았습니다.
지금, 그리고 앞으로
현재, 우리의 AI는 자연스러움 점수 4.2, 적절성 점수 4.5를 달성했습니다(5점 만점). 아직 완벽하지는 않습니다.
하지만 그날 사장님에게 지적받은 「申されました」같은 명백한 실수는 이제 일어나지 않습니다. 그리고 무엇보다, 손님과의 대화에서 「위화감을 느꼈다」는 보고는 거의 제로가 되었습니다.
말은 문화입니다. 경어는 일본의 마음입니다. 그 깊이를 AI는 아직도 배우고 있습니다.