RAG 기반 AI 검색 시스템: 실행 흐름, 구축 과정, 아키텍쳐

다운로드

 

이번에 'RAG 기반 AI 검색 시스템' 프로젝트 진행간에 만든 백서를 공유 합니다.

 

 

📌 RAG 시스템의 실행 흐름 (검색 & 응답 프로세스)

 

💡 실제 검색이 어떻게 진행되는지 단계별 설명

1️⃣ 사용자가 질문 입력 → LLM이 답변 가능 여부 판단
LLM이 기존 지식만으로 답변 가능하면 바로 응답
필요하면 외부 검색(벡터DB + SERP API) 요청

2️⃣ 벡터DB에서 유사한 문서 검색

벡터DB에 저장된 데이터 중 가장 유사한 데이터를 검색

3️⃣ 벡터DB에 없으면 SERP API로 실시간 검색
검색된 웹사이트에서 관련 정보를 가져옴
크롤링하여 텍스트를 추출

4️⃣ 검색된 데이터를 벡터DB에 저장
벡터DB에 새로운 데이터를 추가하여 다음번에 더 빠른 검색 가능

5️⃣ LLM에게 검색된 데이터 전달 → 최종 답변 생성
LLM이 검색된 정보와 기존 지식을 결합해서 답변 생성

 

🚀 RAG 시스템 구축 과정 (구성 요소 정리)

💡 RAG 시스템을 만들기 위해 필요한 요소들

1️⃣ LLM 선택
OpenAI GPT-4 (가장 강력한 범용 LLM)
Claude 2 (Anthropic에서 개발한 강력한 모델)
LLaMA 2 / Mistral (오픈소스 LLM, 비용 절감 가능)

2️⃣ 벡터DB + 임베딩 모델 연결
벡터DB 선택: FAISS, Pinecone, Weaviate, ChromaDB 중 하나 사용
임베딩 모델 사용: text-embedding-ada-002 같은 모델로 문서를 벡터로 변환 후 저장

3️⃣ 외부 검색 API 활용
Google Search API / SerpApi 활용해서 최신 웹 검색 데이터 가져오기
크롤러(BeautifulSoup, Scrapy)로 검색된 웹페이지 텍스트 추출

4️⃣ 검색된 데이터를 벡터DB에 저장 & LLM에 전달하여 답변 생성
벡터DB에 검색된 데이터를 저장 (추후 빠른 검색 가능)
LLM이 검색된 데이터(벡터DB 결과 + 외부 검색 데이터)를 활용하여 최종 답변 생성

 

✅ LLM 기반 RAG 시스템 아키텍처

1️⃣ LLM
gpt-4o-mini 등

2️⃣ 벡터 DB
FAISS, Pinecone, Weaviate, ChromaDB 등

3️⃣ 임베딩 모델
text-embedding-3-small
text-embedding-3-large
text-embedding-ada-002

4️⃣ SERP API
Google Search API
SERP API

5️⃣ 웹 스크래핑
Python (BeautifulSoup, Scrapy)

6️⃣ 컴퓨팅 자원 (AWS)
AWS EC2 인스턴스 또는 Lambda 활용
벡터DB/LLM API 연동 및 검색 수행
서버 비용 최적화를 위해 스팟 인스턴스 고려 가능

7️⃣ 웹 인터페이스 (Next.js 기반)
Next.js를 사용하여 프론트엔드 개발
검색 결과 및 AI 생성 응답을 UI에서 시각적 제공
API와 연동하여 LLM 기반 RAG 시스템을 사용자가 쉽게 활용 가능

(1) 사용자가 웹에서 검색 요청  →  (2) AI Agent 호출
(3) AI Agent가 벡터DB에서 검색  →  (4) 필요하면 SERP API 호출
(5) 검색 결과를 RDB에 저장  →  (6) Next.js가 RDB에서 데이터 가져옴
(7) 사용자에게 결과 표시