시리즈 1편. 해석되지 않은 데이터는 아무 것도 아니다.
시리즈 2편. 조직 데이터를 이해하는 LLM 만들기의 시작점: 온톨로지(Ontology)
시리즈 3편. 데스크룸이 기업을 이해하는 LLM을 만드는 방법 1: Prompt Engineering
시리즈 4편. 데스크룸이 기업을 이해하는 LLM을 만드는 방법 2: Fine-tuning
시리즈 3편과 4편에서 데스크룸이 기업을 이해하는 LLM을 만들기 위해 사용하는 두 가지 방법, Prompt Engineering과 Fine-tuning에 대해서 알아봤습니다. 각각의 방법은 구조화된 응답을 빠르고 간단하게 생성할 때, 기업 고유의 판단 기준을 내재화할 때 적합했습니다.
하지만 정책과 기준이 변화하는 조직도 있고. 상황에 따라 여러 가지 말투를 사용하거나 반응을 달리해야 하는 조직도 있습니다. 오늘 알아볼 마지막 방법인 RAG(Retrieval-Augmented Generation)는 이런 조직에게 최적화된 LLM을 만들 때 사용할 수 있는 방법입니다.
RAG란?
RAG란 LLM에 조직의 모든 정보를 학습시키는 것(Fine-tuning) 대신 입력되는 질문에 따라 LLM이 필요한 관련 문서를 실시간으로 검색해서 응답하도록 만드는 방법입니다.
LLM이 질문을 받으면 조직 내부 문서에서 답변에 필요한 관련 문서를 찾고, 그 결과물을 바탕으로 최종 응답을 생성합니다. LLM이 응답의 근거가 되는 문서를 사전에 학습하지 않았더라도 검색을 통해 맥락을 확보한 후 답변하는 구조입니다.
RAG방식의 핵심은 정적인 LLM모델 파라미터와 동적인 정보 접근 간의 분리입니다. 필요한 정보는 조직에서 가져오고, LLM은 찾은 정보를 문맥에 맞게 해석하고 요약하는 역할을 수행합니다.
RAG의 장점과 어울리는 조직
RAG방식의 장점은 크게 아래 세 가지입니다.
조직 내 기준과 규칙이 자주 바뀌어도 LLM을 재학습시킬 필요가 없음
LLM이 기존에 학습하지 않아 모르는 내용에 대해 질문하더라도 근거에 기반하여 응답이 가능
LLM의 답변에서 환각(Hallucination) 현상 감소
장점에서 확인할 수 있듯 RAG가 어울리는 조직은 Prompt Engineering이나 Fine-tuning방식이 어울리는 조직과 차이가 있습니다. 의사결정을 위한 기준과 규칙이 자주 바뀌는 조직, 각종 기술 문서나 매뉴얼을 실시간으로 참조할 필요가 있는 조직에서는 그때그때 LLM을 재학습 시키기 보다 문서를 수정하는 게 훨씬 간편한 방법입니다. 특별히 RAG가 어울리는 조직의 유형은 크게 세 가지로 정리할 수 있습니다.
업무 수행에 앞서 참조해야 할 지침과 가이드 문서의 양이 많은 조직
정책, 지침, 매뉴얼 등 결정을 위한 기준이 자주 바뀌는 조직
답변을 위한 내용이 문서에 모두 정리되어 있어 정보를 찾을 수만 있다면 높은 퀄리티의 답을 생성할 수 있는 조직
RAG 활용 예시
LLM에 RAG방식을 적용한 커머스 기업 A가 있다고 가정하고 고객 질문에 응대 메시지를 생성하는 상황을 예시로 보여드리겠습니다.
기업 A의 상황
배송 정책, 환불/보상 처리 절차, 배송 관련 FAQ는 모두 문서로 정리되어 있습니다.
하지만 각각의 문서는 일정 기간이 지날 때마다 세부 내역이 수정됩니다.
이틀 전 환불/보상 처리 절차에 포함된 일부 내용이 수정되었습니다.
고객이 ‘배송 지연에 따른 보상’이 무엇인지 문의했다고 가정해 보겠습니다. 이때 Prompt Engineering 방식으로는 배송 정책과 보상 처리 절차의 세부 항목을 빠짐없이 안내하기 어렵습니다. Fine-tuning 방식을 사용한다면 가장 최신의 문서를 LLM에 매번 학습시켜야 할 뿐 아니라 이틀 전 변경된 사항이 LLM에 학습되었는지도 확인해야 할 텐데 시간과 인력이 너무 많이 들어가는 일입니다.
하지만 LLM에 RAG방식이 적용되어 있다면 LLM은 고객의 문의에 맞춰 최신화되어 있는 배송 정책, 환불/보상 처리 문서를 확인하고 보상 조건, 금액, 절차를 모두 올바르게 답변할 수 있을 것입니다. 아래는 고객과 LLM의 대화 예시입니다.
고객: 배송이 원래 도착하기로 했던 날짜보다 3일 지연되었어요. 보상을 받고 싶습니다.
LLM: 안녕하세요 고객님. 현재 고객님이 주문하신 상품의 배송은 안내된 도착 예정일보다 3일 이상 지연된 것으로 확인되었습니다. 이는 2일 이상 배송 예정일을 초과했을 경우 보상을 지급하는 내부 정책 기준에 부합했으므로 고객님께는 오늘부터 즉시 사용 가능한 1만 원 쿠폰이 발행되었음을 알려드립니다. 지금 바로 쿠폰함에 가셔서 쿠폰을 활성화하시면 사용이 가능합니다.
필요한 경우 문서는 사람이 수정하고, LLM은 문서를 찾고 해석해서 답변하는 것에 집중하게 만드는 것이 RAG 방식의 핵심입니다.
RAG 기반 LLM 시스템을 설계하기 위한 데스크룸의 접근법
데스크룸은 RAG를 단순히 ‘검색하고 답변’하게 만드는 방식으로 LLM에 적용하지 않고 조직 내 지식 구조를 반영한 하나의 도메인 시스템으로 적용합니다.
그러기 위해 데스크룸이 RAG를 구성하는 방식을 크게 네 가지로 나눠서 설명해 보겠습니다.
문서 메타 정보 정의
문서마다 작성일, 버전, 부서, 카테고리, 적용 범위 등의 메타 정보를 붙이고 이를 통해 LLM이 ‘가장 최신 버전’, ‘특정 부서 전용 정책’등을 정밀하게 검색할 수 있도록 합니다.
문서 벡터화를 통한 맥락 부여
조직의 문서를 의미 단위로 나누어 숫자 벡터로 변환합니다. 이후 LLM에 입력되는 질문 역시 벡터 방식으로 변환하여 질문의 의미와 가장 유사한 내용을 매칭합니다. 이 방식을 통해 LLM은 단순히 같은 단어를 찾는 것이 아니라 질문의 의도와 맥락에 가장 어울리는 문서와 단어를 찾아냅니다.
문서 유형별 응답 프레임 구성
조직의 정책은 항목별 기준을 명시하고, 매뉴얼은 절차 중심으로 구성하는 등 각각의 문서 종류에 맞는 응답 구조를 미리 정해두어 LLM이 일관성 있는 답변을 출력하도록 설계합니다.
실시간으로 갱신될 수 있는구조 설계
문서가 수정되면 2번에서 벡터화 해둔 부분 중 일부만 재구성해서 LLM을 수정하거나 재학습시키지 않고도 최신 정보를 반영할 수 있게 설계합니다.
이 4가지 방법을 통해 RAG로 LLM을 구조화하면 조직 내 정보가 자주 바뀌는 환경에서도 LLM이 최신의 정확한 근거에 기반해 답변할 수 있게 됩니다.
데스크룸의 통합적인 LLM 구축
RAG 방식은 조직 내부에 쌓여 있는 방대만 문서와 지속적으로 변화하는 기준을 LLM의 지식으로 전환하는 가장 현실적인 방법 중 하나입니다.
데스크룸은 RAG를 단독으로 활용하기도 하지만 Prompt-Engineering 기반의 응답 시스템과 Fine-tuning된 LLM모델을 결합하여 통합적인 LLM 운영 체계를 구축합니다. 앞에서 소개한 모든 방법론은 각각의 기업에 가장 필요한 형태로 적용되거나, 아래처럼 병렬적으로 동시에 적용될 수도 있습니다.
구조화된 업무에는 Prompt-Engineering
반복적인 판단에는 Fine-tuning
변화하는 정보에는 RAG
이렇게 각각의 LLM 구조화 방법론을 병렬로 구성하면 LLM은 조직의 말투, 판단 기준, 정책을 모두 이해할 뿐 아니라 다양한 변수에도 문제없이 반응하는 우리 기업만을 위한 커스텀 의사결정 플랫폼이 됩니다.
Next. 데스크룸 플랫폼의 구성: Analytics
다음 글에서는 데스크룸에서 제공하는 Analytics 기능이 제공하는 네 가지 관점. Search, Trend, Summary, Breakdown이 어떻게 설계되어 있고 이 관점들로 무엇을 할 수 있는지 알아보도록 하겠습니다.
AX Case Study 웨비나에 초대합니다 (신청 링크)
AI를 기반으로 업무 방식과 문화를 바꾸는 AX. 어디서부터 시작해야할지 막막하지 않으신가요?
데스크룸 박경호 대표가 직접 AX/DT 조직을 위한 실제 구현 방법을 소개합니다. 단순한 대시보드나 보고서가 아니라, 온톨로지 기반 데이터 표준화부터 AI·ML 모델을 활용한 자동화까지, 실제 기업 환경에서 바로 적용할 수 있는 현실 중심 인사이트를 들어보세요.
