멀티 모델 전략: GPT-4o, Claude, GLM-4를 구분해 사용하는 기술

멀티 모델 전략

「중국어 손님만 불만이 많아요」

도입 3개월 후, 한 점포에서 이런 보고를 받았습니다. 저희는 최고 성능으로 평판이 좋은 Claude Sonnet을 사용하고 있어서 솔직히 놀랐습니다.

조사해보니 원인은 명확했습니다. Claude Sonnet은 일본어 경어는 완벽하게 구사하지만, 중국어는 「좀 딱딱한」 느낌을 주고 있었습니다.

「최강 AI」라는 환상

저희는 처음에 「가장 좋은 AI를 선택하면 모든 게 잘 될 것」이라고 생각했습니다.

하지만 AI 모델에는 개성이 있습니다. 어떤 모델은 일본어의 미묘한 뉘앙스에 강합니다. 다른 모델은 자연스러운 중국어 표현에 강합니다. 비용이 저렴한 모델도 있고, 추론력이 뛰어난 모델도 있습니다.

「최강」은 상황에 따라 달라집니다.

언어로 전환하다

저희는 방침을 바꿨습니다. 하나의 AI에 모든 것을 맡기는 게 아니라 상황에 맞게 최적의 AI를 선택합니다.

일본어 문의에는 경어 표현에 강한 Claude를. 중국어 문의에는 중국어 네이티브인 GLM-4를. 복잡한 추론이 필요한 장면에서는 GPT-4o를.

손님은 뒤에서 3개의 AI가 돌아가고 있는지 모릅니다. 그저 「이 AI, 내 말을 잘 알아듣네」라고 느낄 뿐입니다.

하나가 쓰러져도 서비스는 멈추지 않는다

어느 아침, OpenAI의 API가 30분간 다운됐습니다. 예전이라면 모든 AI 기능이 정지했을 것입니다.

하지만 지금은 GPT-4o가 사용 불가라는 것을 감지한 순간, 자동으로 Claude로 전환됩니다. Claude도 안 되면 GLM-4로. 손님에게는 아무 일도 없었던 것처럼 서비스가 계속됩니다.

40%의 비용 절감

의외의 부산물도 있었습니다. 「오늘 영업시간은?」 같은 간단한 질문에 고성능의 비싼 모델을 쓸 필요는 없습니다.

질문의 복잡도를 판정해서 간단한 질문에는 경량 모델, 복잡한 예약 처리에는 고성능 모델을 할당합니다. 이 구조로 API 비용을 40% 절감하면서 응답 품질을 유지하고 있습니다.

하나의 「최강」을 추구하기보다, 적재적소로 구분해 사용한다. 그것이 저희가 배운 멀티 모델 전략입니다.