들어가며

기업이 LLM을 도입하거나 활용할 때 가장 먼저 부딪히는 문제 중 하나가 환각(Hallucination)입니다. 환각은 LLM이 자신이 모르는 정보를 마치 사실처럼 그럴듯하게 만들어내는 현상을 의미합니다. 겉으로 보면 답변이 자연스럽고 신뢰감 있어 보이지만, 실제 사실과 다른 경우가 많습니다.

이는 곧 AI 활용의 효용을 낮추고, 특히 정확도가 중요한 업무에서는 심각한 문제로 이어질 수 있습니다. 결국 낮은 정합성은 기업 입장에서 도입 단계에서 가장 큰 어려움이 됩니다.

LLM이 왜 이런 환각을 일으키는지에 대해서는 다양한 가설과 시각이 존재하는데, 최근 OpenAI에서 발표한 “Why Language Models Hallucinate” (공식 블로그, 원문) 논문은 이 문제를 설득력 있게 다루고 있습니다.

이번 글에서는 해당 연구를 바탕으로 LLM이 왜 환각을 만들어내는지, 그리고 기업 환경에서 이를 어떻게 관리할 수 있는지 풀어보았습니다.

환각의 원인: 찍어서라도 답하게 만드는 LLM의 학습과 평가 구조

논문의 핵심은 단순합니다. “모르는 문제는 모른다고 해야 하지만, LLM은 찍어서라도 답을 하도록 학습되고 평가된다.”

학교 시절을 떠올려봅시다. 객관식 쪽지시험을 보는데 모르는 문제가 나왔습니다. 실력을 키우려면 모르는 문제는 솔직히 모른다고 하고, 시험이 끝난 뒤 다시 공부하는 게 맞습니다. 하지만 대부분의 학생은 점수를 더 받기 위해 일단 찍고 보는 전략을 택했을 겁니다. 왜냐하면 시험 점수를 잘 받아야 하는 평가 구조가 그렇게 설계되어 있기 때문입니다.

LLM도 똑같습니다. 현재 대부분의 데이터셋과 벤치마크, 리더보드가 아래와 같은 이진 채점 구조를 사용하기 때문입니다.

• 정답이면 1점

• 오답이면 0점

• “모른다”라고 답해도 0점

즉, 정답을 맞혀야만 점수를 얻을 수 있는 구조이기 때문에, 모델은 자신이 모르는 질문에 대해서도 찍어서라도 답을 생성하는 전략을 배우게 됩니다. 이 평가 구조는 모델에게 “모른다”라고 솔직히 말할 이유를 주지 않습니다.

결국 모델은 높은 점수를 위해 자신 없는 추측을 학습하고, 확신이 없는 정보에서도 그럴듯한 답을 만들어내는 습관을 가지게 됩니다. 바로 이 과정에서 환각이 발생한다는 것입니다.

LLM 학습 방법이 만드는 환각 메커니즘

조금 더 기술적인 내용을 쉽게 다루어보겠습니다.

연구에서는 LLM의 학습 과정은 크게 사전학습(Pre-training)과 사후학습(Post-training) 두 단계로 나뉘며, 두 과정 모두 환각을 강화하는 구조적 원인을 갖고 있습니다.

1. 사전학습 (Pre-training) 단계에서 환각이 만들어지는 이유

사전학습 단계에서 LLM은 방대한 텍스트 데이터를 기반으로 “다음 단어를 예측하는 방식”으로 훈련됩니다 (Next Token Prediction). 모델의 목표는 간단합니다. 한 문장이 주어졌을 때, 다음에 올 가장 가능성 높은 단어들을 예측하는 것입니다.

이 때, 문제는 학습 데이터에 있습니다. 데이터 안에는 패턴을 일반화하기 어려운 희귀한 사실(Fact)이 너무 많습니다.

예를 들어, “데스크룸 박경호의 생일은 언제야?”라는 질문을 생각해봅시다.

이 정보는 학습 데이터에서 극도로 드물게 등장하기 때문에, 모델이 패턴을 학습하기 어렵습니다. 데스크룸 박경호의 생일을 맞춘다고 해도, 데스크룸 전시흠의 생일을 맞출 수 없기 때문입니다. 하지만 LLM은 이런 질문에 대해서도 답을 반드시 생성하고, 정답을 맞추도록 학습됩니다. 확신이 없어도 찍어서 답을 조합하는 전략을 배우게 됩니다.

OpenAI의 연구는 사전학습 단계에서 이미 환각이 만들어지는 구조가 만들어진다고 주장합니다. 패턴이 없는 데이터에서도 답을 생성하도록 학습되기 때문에, 모델은 모르는 질문에서도 그럴듯한 답을 만드는 방법을 먼저 배우게 됩니다.

2. 사후학습(Post-training) 단계에서 환각이 만들어지는 이유

사후학습(Post-training)은 모델이 사전학습을 마친 뒤, 사람에게 더 친근하고 유용한 답변을 하도록 출력을 조정하는 과정입니다. 대표적인 방법이 RLHF(Reinforcement Learning from Human Feedback, 참고자료)와 DPO(Direct Preference Optimization, 참고자료)입니다.

여기서 핵심은 “사람의 선호”를 반영하는 방식입니다. 사람 평가자가 여러 개의 답변을 보고 “어떤 답변이 더 좋다”를 선택하면, 모델은 이 데이터를 바탕으로 학습합니다. 즉, 사람의 선택을 점수로 바꾸어 모델에 피드백하는 구조입니다.

문제는 이 평가 방식이 너무 단순하다는 데 있습니다. 대부분의 사후학습 과정은 이진 채점 구조를 사용합니다.

• 좋은 답변을 선택하면 1점

• 나쁜 답변을 선택하면 0점

• “모른다”라고 답해도 0점

즉, 모델 입장에서는 정답을 맞혀야만 점수를 얻는 구조입니다. “모른다”라고 솔직히 말해도 점수가 오르지 않으니, 모르면 찍어서라도 답하는 전략을 학습하게 됩니다.

RLHF에서는 이 문제가 특히 두드러집니다. 사람이 두 개의 답변을 보고 더 나은 쪽을 선택하면, 모델은 “선택된 답변”을 강화하고, 선택되지 않은 답변은 버려집니다. 결과적으로 모델은 점수를 높이기 위해 항상 답을 생성하는 방향으로 학습됩니다.

DPO(Direct Preference Optimization)도 비슷합니다. DPO는 RLHF보다 효율적인 방식으로 사람의 선호 데이터를 학습하지만, “더 나은 답변”과 “덜 나은 답변”을 비교해 학습한다는 점에서 여전히 둘 중에 하나를 선택해야 하는 이진 평가 구조 사용합니다. 즉, 학습의 본질은 동일합니다.

결국 사후학습은 모델에게 “모르면 모른다고 해도 된다”라는 신호를 주지 않습니다. 오히려 반대로 “모르더라도 그럴듯한 답을 만드는 게 낫다”라는 잘못된 학습을 강화합니다.

이 구조에서 모델은 불확실성을 숨기고 자신 있게 오답을 만들어내는 습관을 키우게 되고, 환각은 더 빈번해집니다.

데스크룸이 LLM의 환각을 최소화하는 방법

LLM의 환각은 기업에서 반드시 마주치는 문제입니다. LLM이 사실과 다른 답을 자신 있게 말하는 순간, AI의 신뢰성은 크게 떨어집니다. 특히 대고객 서비스 환경에서는 단 1-2번의 환각만으로도 고객 불만과 실무자의 혼란이 커질 수 있어, 신중한 접근이 필요합니다.

OpenAI의 연구에서는 환각을 줄이기 위해 몇 가지 대안을 제시합니다. 핵심 중 하나는 “LLM에 100% 정확한 데이터를 제공해야 한다”는 것입니다. 모델이 완전히 정확한 정보만 학습하거나 참조할 수 있다면, 환각 가능성을 근본적으로 줄일 수 있다는 논리입니다. 하지만 논문에서도 지적하듯, 현실에서 모든 데이터가 완벽히 정답을 갖는 경우는 거의 없으며, 이 접근법은 실질적으로 대부분의 기업에게 적용하기 어렵습니다.

데스크룸은 현실적인 관점으로 접근합니다. LLM을 100%에 가까운 정확한 데이터로 완전히 재학습시키는 대신, 이미 학습된 LLM을 그대로 활용하면서 기업 데이터를 정확하게 이해할 수 있도록 가드레일(guardrail)을 설계하는 전략으로 바라보고 있습니다.

데스크룸은 기업에 알맞은 데이터 해석 기준과 제약 조건을 온톨로지로 정의하고, 모델이 불확실한 상황에서도 근거 없는 추측을 하지 않도록 제어하는 환경을 만듭니다. 즉, OpenAI가 제안한 “100%에 가까운 정확한 데이터”라는 목표를 현실적으로 구현합니다.

1. 온톨로지를 활용한 데이터 구조화

데스크룸은 온톨로지 라는 기능을 통해, LLM이 정확하게 데이터를 해석할 수 있는 기준을 제공합니다.

온톨로지를 활용하면. 기업 내 데이터가 어디에서 발생해 어디로 전달되고, 어떤 관계로 연결되는지를 명확히 정의할 수 있습니다. 이를 통해 모델은 데이터 간의 관계를 이해하고, 추측 대신 기업의 해석 기준에 따라 답변을 생성할 수 있습니다.

또한 온톨로지는 사실(Fact)과 추정(Estimation)을 명확히 구분하는 구조를 제공합니다. 예를 들어, “판매량”이라는 사실 데이터를 “제품 인기도”라는 추정 데이터로 혼동하지 않도록 설계합니다. 이렇게 정제된 데이터 환경을 제공하면, LLM은 잘못된 해석을 만들지 않고, 기업의 정확한 데이터에 기반한 신뢰성 있는 답변을 생성할 수 있습니다.

2. 기업 환경에 맞는 LLM 학습

온톨로지를 통해 환각을 줄이더라도, LLM의 성능을 기업 환경에 맞게 보완합니다. 데스크룸은 문제의 난이도와 데이터 특성에 따라 프롬프트 엔지니어링(Prompt Engineering), RAG(Retrieval-Augmented Generation), 파인튜닝(Fine-tuning)을 조합해 최적의 학습 전략을 제공합니다.

리스크가 낮고 모델이 충분히 이해할 수 있는 문제라면, 프롬프트 엔지니어링으로 LLM의 사고 범위를 기업 데이터에 기반한 제약 조건 안으로 제한합니다. 실시간으로 변하는 최신 데이터가 많은 경우에는, RAG를 활용해 LLM이 답변하기 전에 최신 데이터를 참조하도록 구성합니다. 롱테일(Long-tail) 데이터가 많거나 정확도가 매우 중요한 환경에서는, 기업 데이터를 직접 학습한 파인튜닝으로 모델을 부분 재학습시켜 환각 가능성을 크게 줄이고 있습니다.

마무리하며

데스크룸은 단순히 LLM을 도입하는 것을 넘어, 기업 데이터에 맞는 AI 활용 구조를 설계하는 것을 목표로 합니다.

LLM이 기업의 데이터를 해석하는 기준을 온톨로지로 정립하고, 모델이 추측 대신 사실에 기반한 답변을 생성할 수 있도록 제약을 설정합니다. 상황에 맞는 학습 전략으로 LLM을 최적화하여 기업 환경에서 신뢰할 수 있는 LLM 활용을 가능하게 만들고 있습니다.

cf. 이 포스트는 OpenAI의 공식 입장이 아니며, OpenAI의 “Why Language Models Hallucinate” 연구를 데스크룸의 관점에서 리뷰하고 해석한 글입니다. 연구의 원문이 궁금하신 분들은 원문을 직접 확인해보시길 권장드립니다.