Supervisor Agent 상세해설: AI '폭주'를 방지하는 감사 시스템
환불 금액 환각, 재고 오인식, 부적절한 약속——이들을 실시간으로 방지하는 구조를 공개.
「대단히 죄송합니다. 전액 환불해 드리겠습니다」
도입 2주 후의 일이었습니다. 어느 라멘집의 AI가 클레임 대응 중에 이렇게 대답했습니다. 문제는, 이 점포에서는 「전액 환불」 권한을 AI에게 부여하지 않았다는 것입니다. 애초에 라멘 한 그릇 값으로 전액 환불은 통상적인 대응이 아니었습니다.
점장에게 연락을 받았을 때, 저희 얼굴이 하얗게 질렸습니다.
AI는 「거짓말을 한다」
정확히 말하면, AI는 거짓말을 하는 것이 아닙니다. 하지만 모르는 것을 자신 있게 말하는 경우가 있습니다. 업계에서는 「환각」이라고 부르는 현상입니다.
존재하지 않는 할인을 약속한다. 품절된 상품을 권한다. 점포 규칙을 무시한 대응을 한다——이것들은 모두 AI의 「환각」이 일으키는 문제입니다.
그 라멘집 건 이후, 저희는 하나의 결론에 도달했습니다. AI를 완전히 신뢰할 수는 없다. 하지만 AI를 사용하지 않는다는 선택지도 이제는 없다.
그렇다면, AI를 「감시」하는 구조가 필요하다고.
파수꾼을 만들다
저희가 구축한 것은 「Supervisor Agent」——AI의 출력을 고객에게 전송하기 전에 실시간으로 체크하는 감시 시스템입니다.
구조는 단순합니다. AI가 생성한 모든 답변은 전송 전에 복수의 검증을 통과해야 합니다. 금액이 맞는가? 재고 상황과 모순되지 않는가? AI에게 부여된 권한을 넘어서지 않는가?
하나라도 문제가 있으면, 그 답변은 차단됩니다.
0.3초의 공방
하지만 검증에는 시간이 걸립니다. 고객을 오래 기다리게 할 수는 없습니다.
저희는 검증을 병렬 처리함으로써 이 문제를 해결했습니다. 금액 검증, 재고 검증, 권한 검증, 개인정보 검증——이것들을 동시에 실행하여 평균 0.3초에 완료합니다.
고객에게는 거의 대기 시간 없음. 하지만 뒤에서는 이 0.3초 동안 4개의 다른 검증이 돌아가고 있습니다.
멈추는 용기, 연결하는 판단
모든 것을 자동화할 수 있는 것은 아닙니다. Supervisor가 「위험」이라고 판단한 경우, AI는 답변을 보류하고 인간 상담원에게 에스컬레이션합니다.
「죄송합니다, 담당자에게 확인하겠습니다. 잠시만 기다려 주세요」——이 한 마디가 큰 문제를 미연에 방지합니다.
그 라멘집 건 이후, Supervisor가 막은 「위험한 답변」은 하루 평균 12건. 작은 숫자로 보일 수 있지만, 각각이 점포의 신뢰에 관련된 문제였습니다.
AI의 힘을 해방하면서, 그 폭주를 방지한다. 이 양립이 저희가 목표로 하는 바입니다.