시리즈1편. 해석되지 않은 데이터는 아무 것도 아니다.
시리즈2편. 조직 데이터를 이해하는 LLM의 시작점: 온톨로지(Ontology)

우리 조직만의 법전, 온톨로지를 제작했다면 다음 순서는 LLM이 온톨로지를 기준으로 우리 조직을 더 깊게 이해하도록 만드는 일입니다.

이 단계에서 중요한 점은 LLM이 조직 고유의 도메인을 인식하고 환경과 상황에 맞게 데이터를 해석할 수 있도록 설계하는 것입니다. 

이때 많은 조직에서 Fine-Tuning, 혹은 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 시스템 적용을 고민합니다. Fine-Tuning은 LLM에게 우리 조직의 데이터를 추가 학습시키는 일이고, RAG는 LLM이 실시간으로 외부 데이터를 검색해서 기존에 저장되어 있는 데이터를 보완하게 만드는 기술인데요. 대부분의 조직은 이 정도로 무거운 기술이 필요하지 않습니다. 프롬프트만 잘 구성하면 LLM을 만족스럽게 활용할 수 있고 이것을 Prompt Engineering이라고 합니다.

Prompt Engineering이란?

Prompt Engineering은 LLM에게 “어떻게 말할지 알려주는 기술”입니다.

LLM은 조직의 내부 정보를 다 알고 있는 상태가 아니기에 어떤 배경지식을 바탕으로, 어떤 말투로, 어떤 논리 구조에 따라 답해야 하는지 자연어로 설정해 주는 것입니다. 쉽게 요약하자면 LLM에게 우리 조직에서의 ‘역할’을 지정해 주는 것이라 할 수 있습니다.

프롬프트는 구조화된 명령문일 수도, 자연스럽게 쓰인 지시문일 수도 있습니다. 중요한 것은 LLM이 프롬프트를 이해하고 조직이 지정한 프레임 안에서만 답변하도록 만드는 것입니다.

Prompt Engineering이 적합한 때는 언제인가?

모든 조직에 Fine-Tuning과 RAG가 필요하지 않은 것과 같은 맥락에서, Prompt Engineering의 방식으로 접근하는 것이 LLM 활용에 적합한 조직이 존재합니다.

1. 다루는 도메인이 특수하지 않고, 웹상에 유사한 사례가 많은 조직

2. 조직 내부 지식이 외부에 공개되어도 무방한 조직

3. 참조해야 할 문서가 적어 별도 검색 시스템 구축이 필요 없는 조직

4. 사내 정책이나 데이터가 자주 바뀌지 않는 정적인 구조를 가진 조직

크게 위 4가지 특징을 보유한 조직은 Prompt Engineering 방식을 사용하는 것만으로도 LLM으로부터 충분히 만족스러운 응답을 얻을 수 있습니다.

조금 더 구체적인 예시를 든다면, 설명서를 기반으로 매뉴얼을 요약하거나, 공개된 채용 가이드를 바탕으로 지원서 평가 기준을 안내하거나, 일반적인 고객 응대 문장을 생성하는 상황 등이 이 경우에 포함됩니다.

Prompt Engineering 활용 예시

소재 부품 전문 제조기업 A를 예시로, Prompt Engineering이 어떻게 활용될 수 있는지 보여드리겠습니다.

A사는 고객 응대 방식이 철저히 문서화되어 있고 말투나 표현 가이드도 명확합니다. A는 품질 불만에 대한 고객 응대 메시지를 LLM으로 자동화하기로 했습니다. 이 경우에는 LLM에게 아래와 같은 프롬프트를 입력하는 것만으로도 CS 구성원과 거의 동일한 퀄리티의 답을 생성할 수 있으며 LLM이 프롬프트 내의 규칙을 벗어나지 않습니다.

1. 너는 [소재 부품 전문 제조기업]의 고객지원 담당자야
2. 모든 메시지는 정중하고 책임감 있게 작성되어야 해
3. "기계적 결함"에 대한 불만이 접수되었을 때는 아래의 순서로 답변해
  ① 제품명 확인
  ② 증상 요약
  ③ 사과 표현
  ④ 보증 기간 안내
  ⑤ 대응 절차 안내

이때 Prompt Engineering을 활용하는 장점은 크게 세 가지로 요약할 수 있습니다.

1. 추가 데이터 학습을 위한 비용이 없습니다.

2. 빠르게 수정하거나 개선할 수 있습니다.

3. 운영 및 관리가 매우 용이합니다.

데스크룸이 LLM에 조직의 문맥을 주입하는 방식

데스크룸은 Prompt Engineering을 단순히 문장 작성 기술이 아닌 조직의 도메인 문맥을 외부에서 주입하는 기술로 여깁니다. 설명을 위해 프롬프트 예시를 보여드리겠습니다.

1. 부여역할: 너는 [A 회사]의 [B 부서] 담당자
2. 사용말투: 항상 정중하고 고객 친화적으로
3. 금기단어: "고객 과실", "불가", "규정상"은 사용 금지
4. 업무규칙: C 유형의 문제에는 반드시 [D 문서] 기준을 따를 것
5. 문장구조: 문제 상황 요약 → 사과 → 해결 절차 → 마무리

위처럼 프롬프트를 설계하면 조직 내부의 정책, 가치, 표현 규칙, 대응 기준 등을 하나의 프롬프트 템플릿으로 정리할 수 있습니다.

이렇게 정리된 프롬프트가 존재하면 프롬프트 내용을 한 줄 수정하는 것만으로도 LLM의 모든 답변을 수정하거나 방향성 자체를 바꿀 수 있기에 데이터나 정책이 자주 바뀌지 않는 조직에게는 매우 이상적입니다.

위 프롬프트에 따라 LLM이 고객 문의에 어떻게 답변할 수 있는지 예시를 보여드리겠습니다.

고객: C 가 작동하지 않아요. 어떻게 해야하나요?
LLM: 안녕하세요 고객님. 저는 고객님의 문의에 답변해드릴 A회사, B부서의 담당자입니다.
     현재 C 가 작동하지 않는 문제를 겪고 있다고 알려주셨는데요.
  
     우선 C 사용에 있어 불편을 드린점 진심으로 사과드립니다.
  
     C 문제의 경우 D에 올바로 설정되어 있지 않을때 발생하는 경우가 많이 있습니다.
     혹시 D가 올바로 설정되어 있는지 확인을 부탁드릴 수 있을까요?
     D가 올바로 설정되어 있는데도 문제가 발생했다면 고객님의 PC사용 환경 이슈일 수 있어
     추가로 필요한 조치를 알려드리도록 하겠습니다.

고객: 아 확인해 보니 D가 설정되어 있지 않았네요. 해결했습니다.
LLM: C 문제가 해결되었다니 다행이네요!
     같은 문제가 다시 발생하거나, 다른 문의사항이 있으시면 언제든
     A 고객센터로 알려주시기 바랍니다. 감사합니다

위 예시처럼 프롬프트만 정확히 작성해두면 LLM은 지정해둔 5가지 가이드를 정확하게 지켜서 고객에게 필요한 피드백을 제공할 수 있습니다.

LLM을 활용하는 가장 이상적인 출발점

Prompt Engineering은 기업이 선택할 수 있는 LLM 활용법 중 가장 가볍고, 빠르며, 관리하기 쉬운 방법론입니다.

일반적인 도메인에 소속되어 있고, 정책이 자주 바뀌지 않으며, 참조할 문서 양이 방대하지 않은 조직이라면 Fine-Tuning이나 RAG 같이 무겁고 비용이 드는 방법론을 선택하기 보다 우리 조직만을 위한 프롬프트를 설계하는 것이 좋습니다.

이 과정에서 중요한 점은 프롬프트 안에 우리 조직의 말투, 관점, 가치와 기준을 잘 녹이는 것입니다. 데스크룸은 조직의 도메인을 온톨로지화 한 후, 상황에 적합한 프롬포트를 설계하여 LLM에게 주입합니다.  이를 통해 LLM은 마치 오랫동안 우리 조직의 구성원으로 있었던 것처럼 설계됩니다. 데스크룸과 함께라면 Prompt Engineering을 통해 조직에서 LLM을 활용하는 가장 이상적인 출발점을 만들 수 있습니다.

Next. 데스크룸이 기업을 이해하는 LLM을 만드는 방법 2: Fine-Tuning

이어지는 글에서 본문에서도 언급된 Fine-Tuning이라는 기법을 통해 데스크룸이 기업을 이해하는 AI을 만드는 실질적인 방법에 대해서 다루어 보겠습니다.

AX Case Study 웨비나에 초대합니다 (신청 링크)

AI를 기반으로 업무 방식과 문화를 바꾸는 AX. 어디서부터 시작해야할지 막막하지 않으신가요?

데스크룸 박경호 대표가 직접 AX/DT 조직을 위한 실제 구현 방법을 소개합니다. 단순한 대시보드나 보고서가 아니라, 온톨로지 기반 데이터 표준화부터 AI·ML 모델을 활용한 자동화까지, 실제 기업 환경에서 바로 적용할 수 있는 현실 중심 인사이트를 들어보세요.