RAG 공부 (최신기법 및 동향)

최신 RAG의 진화 방향과 Graph RAG가 등장한 이유

1. RAG는 왜 등장했는가?

초기 LLM은 학습 시점 이후의 정보를 알 수 없고, 기업 내부 문서나 최신 정보에 접근할 수 없다는 문제가 있었다.

이를 해결하기 위해 등장한 것이 RAG(Retrieval-Augmented Generation)이다.

RAG의 핵심 목적은 단순히 검색이 아니라, 모델이 가지고 있지 않은 외부 지식을 필요할 때 가져와 답변에 활용하는 것이다.

 

LLM = 추론 엔진

RAG = 외부 지식 저장소 라고 볼 수 있다.

 

2. 초기 RAG는 벡터 검색 중심이었다.

초기의 RAG는 대부분 임베딩 기반 검색을 사용했다.

문서를 Chunk 단위로 분리한 뒤 임베딩 벡터로 변환하고, 질문과 가장 유사한 Top-K 문서를 찾아 LLM에 전달하는 방식이다.

 

구조는 질문 → Embedding → Vector Search → Top-K Chunk → LLM 이 방식은 구현이 단순하고 성능도 우수했기 때문에 사실상 RAG의 표준이 되었다.

 

3. 하지만 벡터 검색만으로는 한계가 존재했다.

Vector RAG는 "비슷한 문서"를 찾는 데는 강하지만 "관계"를 이해하는 데는 약하다.

예를 들어 김철수 → AI팀 , AI팀 → RAG 프로젝트, RAG 프로젝트 → AWS 운영이라는 정보가 있을 때

"김철수가 수행하는 프로젝트는 어디에서 운영되는가?"

와 같은 Multi-Hop 질문은 정확하게 처리하기 어렵다. 왜냐하면 관련 정보가 여러 문서에 분산되어 있기 때문이다.

 

4. 그래서 Hybrid RAG가 등장했다.

최근의 RAG 시스템은 단순한 벡터 검색보다 Hybrid Retrieval 구조를 많이 사용한다.

대표적으로 BM25, Dense Retrieval, Reranker 구조가 널리 사용된다.

검색 정확도를 높이기 위해 키워드 검색, 의미 기반 검색, 재정렬을 결합하는 방향으로 발전했다.

현재 대부분의 실무 RAG는 사실상 Hybrid Retrieval 구조를 사용한다고 볼 수 있다.

 

5. Graph RAG는 검색보다 관계 탐색에 가깝다.

Graph RAG는 문서를 임베딩 공간에만 저장하지 않는다.

문서에서 Entity와 Relation을 추출하여 Knowledge Graph를 구축한다.

따라서 Graph RAG는 가장 유사한 문서를 찾는 것 보다관련된 개체와 관계를 탐색하는 것에 더 가깝다.

특히 Multi-Hop Question, Aggregation, Root Cause Analysis와 같은 문제에서 강점을 가진다.

 

6. Agent 시대에는 RAG도 하나의 Tool이 되었다.

최근 LLM 연구는 단순 질의응답보다 Agent 방향으로 발전하고 있다.

Agent는 필요할 때만 도구를 사용한다.

예를 들어 검색, 계산기, 코드 실행, 웹 브라우징, RAG등이 모두 Tool이 된다.

따라서 최근 연구의 관심사는

더 좋은 LLM뿐만 아니라 Agent가 Retrieval Tool을 어떻게 사용할 것인가로 이동하고 있다.

Agentic RAG가 등장한 이유도 여기에 있다.

 

7. 생각보다 Retrieval 자체는 빠르다.

많은 사람들이 RAG가 느릴 것이라고 생각하지만 실제로는 Retrieval 비용보다 LLM 생성 비용이 훨씬 크다.

Vector Search는 수 ms ~ 수십 ms 수준에서 수행되는 경우가 많다.

오히려 Agentic RAG에서는

검색 → 판단 → 재검색 → 검증 → 추론과 같은 반복 과정 때문에 지연 시간이 증가한다.

즉 일반 RAG보다 Agentic RAG가 훨씬 느릴 수 있다.

8. Long Context의 발전으로 RAG의 역할도 변화하고 있다.

최근 모델들은 수십만~수백만 토큰의 Context Window를 지원한다.

과거에는 긴 문서를 반드시 Chunking 해야 했지만, 최근에는 수백 페이지 규모의 문서를 통째로 넣는 것이 더 좋은 결과를 만드는 경우도 존재한다. 다만 이는 RAG가 사라진다는 의미는 아니다.

Long Context는 Retrieval의 대체재라기보다 보완재에 가깝다.

앞으로는 Long Context, RAG, Tool Use, Agent가 결합된 형태가 주요 방향이 될 가능성이 높다.

 

---

결론

rag라는것은 끝내 기존의 llm의 fine-tuning이 없이도 모델 외부의 최신 지식이나 도메인 지식을 동적으로 주입하기 위해 제안되었다 .초창기에 제안하던것은 vector기반의 방식이였고 시간이지나면서 그래프, hybrid방식의 rag가 제안되었다. 

vector기반이냐 그래프 방식이냐의 성능은 task에 따라 다르고 최근에는 llm자체의 context window가 커지면서 rag의 chunck기법이나 이런게 아니라 오히려 agentic rag 방식이 더 발전하고 있는 추세이다. agentic rag는 llm이 tool을 사용할때 rag를 사용할지 말지 또 반복적으로 다시 재응답을 통해 더 나은 대답을 만들지를 사용하는 기법이다. 

 

개인적으로 앞으로의 RAG 구조는 사용하는 LLM 자체보다는 해결하려는 Task와 데이터 구조에 따라 결정될 것으로 보인다. 단순 문서 검색은 Embedding 기반 RAG가 효율적이며, 관계 중심 질의는 Graph RAG가 강점을 가진다. 또한 최근에는 검색 결과를 단순히 반환하는 것을 넘어 반복적인 검색과 추론을 수행하는 Agentic RAG가 중요한 연구 방향으로 자리잡고 있는것 같다. 

 

후에는 이런 agentic tool 사용을 잘하게 해주는 langgraph를 이용해서 tool selecting이나 agent를 만들고 새로운 기법을 넣어보려고 한다. 그리고 현재 context window가 큰 llm이 아닌 로컬 모델들도 실험을 해보려고 한다.