Record

최신 RAG의 진화 방향과 Graph RAG가 등장한 이유1. RAG는 왜 등장했는가?초기 LLM은 학습 시점 이후의 정보를 알 수 없고, 기업 내부 문서나 최신 정보에 접근할 수 없다는 문제가 있었다.이를 해결하기 위해 등장한 것이 RAG(Retrieval-Augmented Generation)이다.RAG의 핵심 목적은 단순히 검색이 아니라, 모델이 가지고 있지 않은 외부 지식을 필요할 때 가져와 답변에 활용하는 것이다. LLM = 추론 엔진RAG = 외부 지식 저장소 라고 볼 수 있다. 2. 초기 RAG는 벡터 검색 중심이었다.초기의 RAG는 대부분 임베딩 기반 검색을 사용했다.문서를 Chunk 단위로 분리한 뒤 임베딩 벡터로 변환하고, 질문과 가장 유사한 Top-K 문서를 찾아 LLM에 전달하는 방..

Ai agent를 만들다 보면 rag라는 말을 적지 않게 들을 수 있다. 어떤 방식인지는 대충 알지만 수식이나 이런 이해를 안하고 써왔어서 시간이 남는 지금 조금 원론적으로 이번에 공부를 해보려고 한다.https://arxiv.org/abs/2005.11401 Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLarge pre-trained language models have been shown to store factual knowledge in their parameters, and achieve state-of-the-art results when fine-tuned on downstream NLP tasks. However, the..

요즘 moltbot , openclaw라는 레포가 엄청 인기가 많다. 나도 관심을 가지고 있는데 이 openclaw의 주된기술이 skills라해서 한번 공부해보려고 한다. Claude Skills는 Anthropic이 2025년 10월 16일에 공개한 새로운 기능으로, Claude가 특정 작업을 더 효율적이고 일관되게 수행할 수 있도록 커스텀 능력을 부여하는 시스템이다. Skills를 사용하면 반복적인 프롬프트 작성 없이 전문화된 워크플로를 만들고 재사용할 수 있다. MCP랑 비슷하면서 다른느낌인데, MCP는 외부 서비스 및 데이터 소스에 연결한다. Skills는 절차적 지식을 제공한다. 즉, 특정 작업 또는 워크플로우를 완료하는 방법에 대한 지침이다. 둘을 함께 사용할 수 있다. MCP 연결은 Cl..

맨날 MCP에 대해서 그냥 ai agent를 쓰기 위한 protocol이다 라고만 뜬구름처럼 알고 있어서, 이번에 플젝에 쓰기 위해 정리를 하려한다. MCP는 AI(LLM)이 외부 도구, 데이터, 시스템과 안전하고 표준화된 방식으로 연결되도록 만든 오픈 프로토콜이다. 쉽게 말하면AI가 외부 세계(메일, DB, 배포 시스템 등)를 사용할 수 있도록 제공하는‘AI용 USB-C 포트’ 같은 표준 인터페이스 약간 langchain과 같으면서 다른 느낌인데, langchain은 application 단에서 처리를 하는 느낌이면 MCP는 protocol을 정의해서 다른 곳에서 쓸 수 있게 해주는 느낌이라고 해석하는 중이다, (실제로는 맞는지 모름) MCP는 이를 하나의 표준으로 통합하여 다음을 가능하게 한다 ..

학부수준의 인공지능의 경우 현업에서 뽑아주지 않아서 DA로 직무를 정한 후 인공지능에서는 손을 땠는데. 현재 팀에서 원하는 것이 AI 엔지니어여서 다시 공부를 하고자 한다. 현재 task에서는 transfomer와 self attention을 무조건적으로 이해하고 있어야 해서 다시 공부하려고 한다. 또한 3학년 시절 Transfomer를 리뷰한적이 있는데 그때 공부한것과 지금 지식을 비교 했을때, 얼마나 이해가 달라졌는지도 궁금해서 공부하고자 한다 차근차근... 그리고 수식에 대한 전반적인 이해를 해보자 한다. RNN에 부터 공부하는 것이 좋을꺼 같아서 다시 공부한다. 기존의 RNN의 문제점 RNN은 시퀀스의 길이가 길어질수록 초기 시점의 입력값에 대한 정보가 옅어진다. 이러한 문제를 장기 의존성 문제..

다시 AI 프로젝트를 하게 되어서 복습할겸 , 지식이 쌓인 이후에 공부하는 기초는 느낌이 다를꺼 같아서 차근차근 공부했습니다 ㅎㅎ 너무 기초적인거는 뛰어넘고 애매한 개념만 정립했습니다. * 위 내용은 딥 러닝 파이토치 교과서 - 입문부터 파인튜닝까지 (https://wikidocs.net/book/2788) 의 내용을 참고했습니다. 1) 스칼라, 벡터, 행렬, 텐서딥러닝의 기본 단위로는 스칼라, 벡터, 행렬, 텐서가 있다. 스칼라의 경우 방향을 가지지 않는 하나의 값이고 벡터, 행렬, 텐서의 경우 1차원, 2차원 , 3차원의 형태가 있다. 3차원 이상부터는 다 텐서라고 부른다. 행렬에서 행과 열은 다른 의미를 가지는데 각 행안의 값은 1차원 벡터의 값을가지고 열은 그러한 1차원 벡터가 쌓인 ba..