[AI Search Solution] RAG = LLM + Vector Search Part 2

LLM이 질의 맞춤형 답변을 생성할 수 있도록 하는 레시피에는 파인튜닝(Fine-Tuning)과 강화 학습이라는 2가지의 핵심 비법이 있습니다.

파인 튜닝은 특정 도메인이나 작업에 맞도록 가중치를 조정하는 과정이라고 간단히 정리할 수 있습니다. 하지만 그 과정은 결코 간단하지 않겠죠?

어떻게 딥서핑이 행정안전부에 딱 맞는 옷을 입게 되었는지 단계 별로 소개해 드리겠습니다.

1. Pre-Trained 모델 선택

언어 모델의 기초를 마련하기 위해, 이미 학습된(pre-trained) 모델을 사용합니다. 사전 학습된 모델은 다양한 언어 작업에 필요한 기본적인 언어 이해와 생성 능력을 갖추고 있습니다. 사전 학습 모델을 선택할 때는 과제의 특성 / 모델 크기 / 학습한 데이터 / 연산 리소스 등을 고려해야 합니다.

2. 특정 태스크 지정: 질의응답(QA)

기본 모델을 특정 작업에 맞게 조정하는 단계입니다. 행정안전부 프로젝트에서는 질의응답 시스템을 구축이 필요했고, 태스크에 맞춰 모델을 세부 조정하여 특정 질문에 대한 답변을 생성할 수 있도록 했습니다.

다양한 도메인의 데이터를 질의응답 쌍으로 변환하여 학습하는 단계를 거쳤으며, 오픈된 데이터를 자체 전처리 과정을 통해 정제하는 단계를 추가했습니다. 한국어로 서비스가 필요하니, 한국어로 된 질의응답 작업을 수행할 수 있게 조정했습니다. 이를 통해 모델은 한국어 질문을 이해하고 답변하는 능력도 갖게 된 것이죠!

3. 도메인 특화 학습

도메인 특화 학습 단계를 통해 법률, 행정과 같은 특수한 도메인에서도 알아서 잘 센스 있게 질문을 더 잘 이해하고 답변을 제공할 수 있도록 했습니다.

법률, 행정, 금융 등 특정 도메인에 대한 이해를 높이기 위해, 오픈 데이터에서 해당 분야에서 자주 사용되는 용어와 문장 구조를 질의응답 쌍을 구성하여 학습시켰습니다.

4. 맞춤형 추가 학습

마지막으로, 고객사의 특정 데이터를 사용하여 모델을 더욱 최적화합니다. 행정안전부에서 공개한 법률, 행정 문서를 활용하여 QA쌍을 생성하여 학습시켰고, 이 과정을 통해 모델은 고객의 요구사항과 데이터 특성에 맞춤화되어 더 정확하고 효율적인 출력을 제공할 수 있게 되었습니다.

질의 맞춤형 답변을 위한 마지막 비법은 강화학습인데요, 강화학습 중 DPO 기법을 선택했습니다. DPO(Direct Preference Optimization)는 목표하는 성능 지표에 직접적으로 영향을 주도록 학습시키는 방법입니다. 사용자와의 상호작용을 통해 학습하고 특정 상황에 따라 행동을 조정하고 적응하기도 하는 유연성을 심어주는 단계라고 생각해 주시면 됩니다.

파인 튜닝에서는 질문에 대한 하나의 대답 쌍으로 이뤄진 Q-A 쌍의 데이터를 활용했다면, 강화학습에서는 하나의 질문에 대한 좋은 답변과 나쁜 답변 두 가지 모두 학습에 사용합니다. 이 피드백을 기반으로 모델이 '좋은' 응답을 더 많이 생성하도록 학습시키고, 이를 통해 모델의 출력을 조정하여, 사용자가 원하는 결과를 더욱 정확하게 달성할 수 있도록 하여 법률, 행정 등의 특수한 도메인에서도 딥서핑은 사용자가 원하는 답변을 척척 할 수 있는 똑똑이가 되었습니다.

LLM은 어떤 역할을 하는 친구인지, 어떤 레시피로 법률, 행정 도메인에도 똑똑한 답변을 할 수 있는지 알아봤는데요.

그렇다면 검색 증강 생성 RAG는 어떤 역할을 하는지 알아볼까요?