RAG란? 내 데이터로 답하게 만드는 AI

왜 이게 필요한가

LLM은 똑똑하지만 내 회사 문서, 내 노트, 최신 정보는 모릅니다. 학습 시점 이후 일도 모르고요. 그래서 "우리 사내 규정 알려줘"라고 하면 환각으로 지어냅니다.

이걸 해결하는 두 가지 방법이 RAG와 파인튜닝입니다.

RAG, 한 문장으로

RAG(검색 증강 생성)는 질문할 때 관련 자료를 먼저 찾아서, 그걸 같이 AI에게 보여주고 답하게 하는 방식입니다. "오픈북 시험"이라고 생각하면 쉬워요. AI에게 답을 외우게 하는 게 아니라, 참고서를 펴서 보고 답하게 하는 거죠.

어떻게 동작하나 (개념만)

1. 내 문서들을 잘게 쪼개 저장(검색 가능한 형태로)
2. 사용자가 질문하면, 질문과 관련된 조각을 검색
3. 그 조각 + 질문을 함께 AI에게 전달
4. AI는 근거를 보고 답함 → 환각이 크게 줄고 출처도 댈 수 있음

이게 "내 데이터로 답하는 챗봇"의 표준 방식입니다.

RAG vs 파인튜닝

• RAG: 자료를 그때그때 찾아서 보여줌. 빠르고 싸고, 자료가 바뀌어도 바로 반영. 대부분의 경우 먼저 이걸 시도.
• 파인튜닝: 모델 자체를 추가 학습시켜 성향·말투를 바꿈. 비용·데이터 많이 필요. 특정 스타일·도메인이 꼭 필요할 때.

초보 기준 결론: 거의 항상 RAG로 충분합니다. 파인튜닝은 RAG로 안 될 때 고민하세요.

바이브코딩과 연결

RAG는 MCP·AI 에이전트와도 잘 붙습니다. "내 문서를 검색하는 도구"를 AI에 쥐어주면, AI가 필요할 때 찾아보고 답하니까요. 만들 때는 보통 API로 검색+생성을 엮습니다.

정리

모르는 걸 지어내는 AI를, 근거를 보고 답하는 AI로 바꾸는 게 RAG입니다. "내 데이터 기반 챗봇"을 만들고 싶다면 가장 먼저 배울 개념이에요.

개념을 잡았으면, 문서 몇 개로 작은 Q&A 봇을 만들어보며 "근거를 보고 답한다"를 직접 확인해보세요.