RTX 5090을 사용해서 gcube 문서로 RAG 챗봇 만들기

[MkDocs 문서 (.ko.md)]
        │ 청킹
        ▼
[BGE-M3 임베딩] ──▶ [Chroma 벡터DB]
                          │ 검색 (top-k)
                          ▼
[사용자 질문] ──▶ [LangChain 검색+프롬프트 조립] ──▶ [vLLM: Qwen2.5-7B] ──▶ [답변]

%%bash
pip install -q virtualenv
python -m virtualenv /workspace/rag-env

/workspace/rag-env/bin/pip install -q vllm langchain langchain-community \
    langchain-text-splitters langchain-huggingface langchain-chroma \
    langchain-openai chromadb sentence-transformers ipykernel ipywidgets

/workspace/rag-env/bin/python -m ipykernel install --user \
    --name=rag-env --display-name "Python (rag-env)"

import sys, vllm
print(sys.executable)   # /workspace/rag-env/bin/python
print(vllm.__version__) # 0.25.1

import os

# 기본값 /data는 이 컨테이너에서 쓰기 권한이 없음
os.environ["HF_HOME"] = "/workspace/hf-cache"

# 이미지에 설정된 구버전 변수 — 두면 매 셀마다 deprecation 경고가 뜸
os.environ.pop("HF_HUB_ENABLE_HF_TRANSFER", None)

%%bash
cd /workspace
git clone https://github.com/data-alliance/gai-platform-docs.git 2>/dev/null || echo "이미 클론되어 있음"
find gai-platform-docs -name "*.ko.md" | wc -l

from langchain_text_splitters import MarkdownHeaderTextSplitter, RecursiveCharacterTextSplitter

def clean_text(text):
    # 프론트매터(--- ... ---) 제거
    if text.startswith('---'):
        idx = text.find('---', 3)
        if idx != -1:
            text = text[idx+3:]
    return text

headers_to_split_on = [("#", "h1"), ("##", "h2"), ("###", "h3")]
md_splitter = MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on)
char_splitter = RecursiveCharacterTextSplitter(chunk_size=800, chunk_overlap=100)

import glob

files = glob.glob('/workspace/gai-platform-docs/**/*.ko.md', recursive=True)
print('files found:', len(files))

all_chunks = []
for fp in files:
    with open(fp, encoding='utf-8') as f:
        raw = f.read()
    cleaned = clean_text(raw)
    md_docs = md_splitter.split_text(cleaned)
    for d in md_docs:
        d.metadata['source'] = fp          # 근거 문서 추적용
    all_chunks.extend(char_splitter.split_documents(md_docs))

print('total chunks:', len(all_chunks))
print('avg chunk len:', sum(len(c.page_content) for c in all_chunks) // len(all_chunks))

from langchain_huggingface import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(
    model_name="BAAI/bge-m3",
    model_kwargs={"device": "cuda"},
    encode_kwargs={"normalize_embeddings": True},
)

from langchain_chroma import Chroma

vectordb = Chroma.from_documents(
    documents=all_chunks,
    embedding=embeddings,
    persist_directory="/workspace/rag-lab/chroma_db",
)
print('indexed:', vectordb._collection.count())

query = "gcube CLI는 어떻게 설치하나요?"
results = vectordb.similarity_search(query, k=3)

for i, doc in enumerate(results):
    print(f"--- rank {i+1} ---")
    print("SOURCE:", doc.metadata["source"])
    print(doc.page_content[:200].replace("\n", " "))
    print()

--- rank 1 ---
SOURCE: .../platform-guide/openwebui-comfyui.ko.md
gcube 워크로드 터미널에서 아래 명령어를 순서대로 입력합니다. ...

--- rank 2 ---
SOURCE: .../gcube-cli/cli-overview.ko.md
gcube CLI는 gcube AI GPU 클라우드 플랫폼의 공식 커맨드라인 도구입니다.
GPU 워크로드 등록·관리, 리소스 모니터링, 컨테이너 로그 스트리밍을 터미널에서 수행할 수 있습니다.

import subprocess, os, sys, time, urllib.request

env = {**os.environ, "HF_HOME": "/workspace/hf-cache", "VLLM_USE_FLASHINFER_SAMPLER": "0"}
proc = subprocess.Popen(
    [sys.executable, "-m", "vllm.entrypoints.openai.api_server",
     "--model", "Qwen/Qwen2.5-7B-Instruct",
     "--host", "0.0.0.0", "--port", "8001",
     "--gpu-memory-utilization", "0.6",
     "--max-model-len", "8192"],
    stdout=open("/workspace/vllm.log", "w"), stderr=subprocess.STDOUT, env=env,
)
print("서버 기동 중, pid:", proc.pid)

for i in range(60):
    if proc.poll() is not None:
        print(f"서버가 종료됨 (exit={proc.returncode}) — 아래 로그 확인")
        break
    try:
        r = urllib.request.urlopen("http://localhost:8001/v1/models", timeout=3)
        print("READY:", r.read().decode())
        break
    except Exception as e:
        print(i, "대기 중...", e)
        time.sleep(10)

print(open("/workspace/vllm.log").read()[-3000:])

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="http://localhost:8001/v1",
    api_key="dummy",
    model="Qwen/Qwen2.5-7B-Instruct",   # 위 --model 값과 반드시 일치해야 함
    max_tokens=300,
)

# 가드레일 — 자세한 내용은 7단계 참고
SYSTEM_PROMPT = """당신은 gcube 공식 문서를 기반으로 답변하는 어시스턴트입니다.
아래 제공된 문서 내용에서만 근거를 찾아 답변하세요.
문서에 없는 내용이면 "문서에서 확인할 수 없습니다"라고 답하세요."""

def answer_with_rag(question, k=3):
    docs = vectordb.similarity_search(question, k=k)
    context = " ".join(d.page_content for d in docs)
    messages = [
        {"role": "system", "content": SYSTEM_PROMPT},
        {"role": "user", "content": f"문서: {context}\n질문: {question}"},
    ]
    resp = llm.invoke(messages)
    return resp.content, docs


def answer_without_rag(question):
    """비교용 — 검색 없이 모델에게 바로 물어봅니다 (DEMO 3에서 사용)"""
    return llm.invoke([{"role": "user", "content": question}]).content

당신은 gcube 공식 문서를 기반으로 답변하는 어시스턴트입니다.
아래 제공된 문서 내용에서만 근거를 찾아 답변하세요.
문서에 없는 내용이면 "문서에서 확인할 수 없습니다"라고 답하세요.

# DEMO 1 — 문서에 있는 질문
ans, docs = answer_with_rag("gcube CLI는 어떤 기능을 제공하나요?")
print(ans)
print("근거 문서:", docs[0].metadata["source"])

# DEMO 2 — 문서에 없는 질문 (가드레일 테스트)
ans, _ = answer_with_rag("gcube는 몇 명이 창업했나요?")
print(ans)

# DEMO 3 — RAG 없이 같은 질문 (환각 비교)
print(answer_without_rag("gcube는 몇 명이 창업했나요?"))