필자가 인공지능 연구를 시작했을 때만 해도, 주로 0부터 9까지의 손글씨 숫자를 분류하는 데이터셋으로 실험하던 시절이었다. 그때 문득 궁금했던 것이 있다. 숫자만 학습한 인공지능 모델에 ‘개’나 ‘고양이’ 이미지를 입력하면 과연 무엇이라고 답할까. 필자는 그럴 때 모델이 “0부터 9까지의 숫자가 아니라, 나는 모른다(I don’t know)”라고 말할 수 있어야 한다고 주장하곤 했다. 그러나 당시 연구의 목표는 어디까지나 성능 향상이었기에, 이 문제의식은 대수롭지 않게 넘기고 말았다. 돌이켜보면, 그때의 단순한 의문이 오늘날 인공지능의 가장 큰 과제로 다시 돌아온 셈이다.

언어모델의 ‘환각(Hallucination)’은 단순한 기술적 결함이 아니라, 언어모델이 작동하는 본질적 방식에서 비롯된다. 언어모델은 진실을 검증하기보다는, 주어진 문맥에서 가장 그럴듯한 다음 단어를 확률적으로 예측한다. 갓난아기가 부모의 말을 뜻도 모른 채 따라하듯, 언어적 일관성을 추구하는 것이다. 하버드대 연구진이 발표한 논문(*링크)에 따르면, 대규모 언어모델(Large Language Model, LLM)은 답변의 확신 정도를 언어적으로 표현할 때 실제 정확도와 일치하지 않는 경향을 보인다. 이른바 ‘언어적 확신(Verbalised Confidence)’ 현상으로, 언어모델이 “확실하다”고 말하더라도 실제로는 정답일 가능성이 높지 않다는 것이다. 이는 인간이 자신의 능력이 부족할수록 과도한 자신감을 보이는 ‘더닝-크루거 효과(Dunning-Kruger effect)’를 떠올리게 한다.

환각의 근본 원인은 보상구조에 있는 것으로 파악된다. 인공지능 모델은 학습 과정에서 정확한 답보다 확신에 찬 답을 더 높은 점수로 평가받는다. 사용자로부터 긍정적 피드백을 많이 받은 표현이 학습 과정에서 강화되면서, 언어모델은 자신이 모르는 영역에서도 자신감 넘치는 어조를 습득하게 된다. 즉, 모른다고 답할 용기가 보상받지 못하는 구조다. 이러한 문제의식은 최근 OpenAI의 연구(**링크)에서도 동일하게 제기된 바 있다.

이를 해결하기 위해 연구자들은 다양한 시도를 하고 있다. 모델이 자신의 불확실성을 수치로 표현하도록 하거나, 외부 데이터베이스를 참조해 사실 검증(Retrieval-Augmented Generation, RAG)을 수행하는 방식이 대표적이다. 최근에는 ‘자기 검증(Self-verification)’이라 불리는 기법도 제안되어, 모델이 스스로 생성한 답변을 다시 검토하도록 하는 연구가 진행 중이다. 그러나 이러한 보조 장치는 어디까지나 보조장치일 뿐이다. 내재된 환각을 완전히 제거하기는 어렵다. 따라서 현 단계에서는 인공지능의 답변을 ‘사실의 선언’이 아니라 ‘언어적 확률의 결과’로 이해해야 한다.

필자는 모른다라고 말할 줄 아는 용기가 발전의 출발점이라고 생각한다. 인공지능이 사회의 다양한 의사결정 과정에 관여할수록, 인공지능이 무엇을 알고 무엇을 모르는지 검증하는 일이 더욱 중요해질 것이다. 결국 필요한 것은, 인공지능이 모르는 질문 앞에서 “나는 그 답을 모른다”고 말할 수 있는 능력이다. 사람이 그러하듯, 인공지능이 모른다는 사실을 인정할 수 있을 때, 비로소 인간이 신뢰할 수 있는 동반자가 될 것이다.