코딘스쿨 답다팀게시 5분
핵심 요약
AI 상담원의 환각은 자료에 없는 질문에 모델이 그럴듯한 답을 만들어 낼 때 생깁니다. 등록된 자료에서만 답하도록 지시하고, 근거가 없으면 ‘확인 후 안내’로 답한 뒤 사람에게 넘기는 규칙을 두면 고객응대에서 틀린 안내를 크게 줄일 수 있습니다.
환각은 왜 생길까
대규모 언어모델은 다음에 올 가장 자연스러운 문장을 만들어 내는 방식으로 작동합니다. 질문에 대한 정보가 주어지지 않으면, 모르는 내용도 자연스러운 문장으로 채워 넣을 수 있습니다. 고객응대에서는 ‘환불은 3일 안에 됩니다’처럼 실제 정책과 다른 안내가 바로 클레임으로 이어지므로 특히 주의해야 합니다.
막는 방법 세 가지
- 근거 기반 답변(RAG): 질문과 관련된 쇼핑몰 자료를 함께 제공하고, 그 자료에 있는 내용으로만 답하도록 지시합니다.
- 모르면 모른다고 답하기: 자료에 없는 가격·날짜·재고·정책은 추측하지 않고 ‘확인 후 안내드리겠습니다’로 답하게 합니다.
- 상담원 전환 규칙: 환불 분쟁, 강한 불만, 법적 문제, 자료로 답할 수 없는 질문은 자동으로 사람에게 넘깁니다.
답다는 이렇게 설계했습니다
답다의 AI 상담원은 쇼핑몰이 등록한 자료를 대화마다 근거로 제공받고, 자료에 없는 정책·가격·날짜·재고는 추측하지 않도록 지시받습니다. 환불 분쟁이나 자료로 답할 수 없는 질문, 운영자가 직접 정한 조건에 해당하면 대화를 상담원 전환 대상으로 표시합니다.
운영자는 콘솔의 플레이그라운드에서 실제 고객처럼 질문해 보며 답변을 미리 검증할 수 있습니다. 틀린 답이 나오면 대부분 자료의 빈칸이 원인이므로, 해당 내용을 자료에 추가하는 것이 가장 빠른 해결책입니다.
자주 묻는 질문
환각을 완전히 없앨 수 있나요?
현재 기술로 완전히 0으로 만들 수는 없습니다. 그래서 근거 기반 답변으로 발생 가능성을 줄이고, 민감한 주제는 사람에게 넘기며, 대화 기록을 주기적으로 검토하는 세 겹의 안전장치를 함께 쓰는 것이 중요합니다.