[ 

00:00 인트로 01:03 RAG 프로세스 03:16 문서 전처리 단계 05:36 Document Loader 07:18 Document Loader 선택 시 고려사항 10:07 PDF Loader(1) fitz 11:27 PDF Loader(2) PyPDFLoader 11:58 PDF Loader(3) UnstructuredPDFLoader 13:16 PDF Loader(4) PDFPlumber ☆ 14:11 Text Splitter (소제목 중요) 15:02 Text Splitter(1) CharacterTextSplitter 15:59 Text Splitter(2) RecursiveCharacterTextSplitter ☆ 17:08 Text Splitter(3) TokenTextSplitter 18:05 Text Splitter(4) 오픈소스 토크나이저 18:48 Text Splitter(5) SemanticChunker ☆ 19:35 Embedding 21:18 Embedding(1) OpenAIEmbedding ☆ (유료) 23:47 Embedding(2) CacheBackedEmbeddings ☆ 25:30 Embedding(3) MTEB (허깅페이스) 26:50 Embedding 정리 오픈소스 vs OpenAI 27:48 VectorStore 28:58 Semantic Search 29:19 VectorStore(1) Faiss 29:51 전처리의 소중한 경험 공유 🎉 30:34 페이지 단위 분할 32:29 필요한 영역 Croping 33:05 문서의 다양한 형태 (열 분할) 34:45 표 추출 35:37 Chunk Overlap 36:22 이미지 추출 (fitz) 36:50 Retriever 37:01 Retriever(1) Multi-Query Retriever 38:18 Retriever(2) Ensemble Retriver ☆ 39:33 Retriever(3) Long Context Reorder 40:50 Retriever(4) 그밖에... 41:11 Prompt Engineering 42:05 문서 요약 프롬프트 44:01 마무리

함께 해주신 분들 너무 감사합니다. 이렇게 재미난 기능이 있는 줄 몰랐네요🎉 또 다뤘으면 하는 주제가 있다면 댓글 남겨 주세요~ 즐거운 밤 되세요🙏👍

정말 RAG 설명의 끝판왕입니다. 어렵고 힘들게 습득하신 경험과 지식을 공유해주셔서 감사드립니다. 복받으실겁니다^^ 스타 꾹 누르고 다른 발표도 신청하겠습니다.

도움이 많이되네요 감사드립니다!!

기다리던 강의가 올라왔네요. 감사합니다.

감사합니다. 👍👍👍👍👍

감사합니다 너무너무 감사합니다 열심히 학습해보겠습니다!

정말 궁금한거 다 설명 진심감사해요

설명을 잘해주셔서 이해하는데 많은 도움이 되었습니다. 감사합니다.

노하우와 팁을 아낌없이 공유해 주셔서 감사합니다.

유익한 강의 정말 잘 들었습니다! 감사합니다.

좋은 강의 잘 들었습니다. 감사합니다.

자료보고 놀랬는데 설명도 너무 잘하시는 것 같아요. 목소리도 좋으십니다. 공유해주셔서 감사합니다!

좋은 내용 감사합니다!

소중한 지식공유 감사합니다 많이 배웠습니다!

도움 많이 받습니다!!

감사합니다!!

최고에요!

쵝오^^

너무 감사합니다😀

너무 재미있고, 유익했던 영상이었습니다. 감사합니다!

와 고민과 시행착오가 많이 녹아있는 강의라는 생각이 들었습니다. 리스펙입니다

너무 좋은 강의에요! 감사합니다!

많은 도움이 되었습니다. 감사합니다.

지금까지 봤던 RAG 관련 내용 중 최고에요!!! 감동적입니다

테디님 덕에 잘 LLM도 잘 공부하고있습니다. 노하우를 공개한다는 얘기를 들으면서 어려운 결정이라는 감정을 느꼈는데요. 소중한 경험 공유 감사드리고 존경스럽습니다

최고입니다!! 문과생인 저도 한번에 이해!! 귀한 경험 공유 감사합니다

감사합니다.

감사합니다❤

아직도 전통적 방식으로 일하는 장치산업(정유업)에는 너무나 혜안을 주는 강의라고 생각됩니다…!!!항상 감사합니다!

기획잡니다. 덕분에 진짜 하나도모르는거 조금이나마 알게됩니다. 감사합니다.

감사드립니다!

제가 본 RAG 영상 중에서 가장 깔끔하고 유익했던것 같습니다. 공유해주셔서 감사합니다!! :)

이런 자료 감사합니다...

좋은 내용을 공유해 주셔서 정말 큰 도움이 되고 있습니다. 먼저 무한 감사를 드립니다. 질문이 있는데요 20:05 에서 설명하실때 VectorDB에 저장되는 문서 Embedding model = Query Embedding 과 동일한 모델이어야 한다. 고 하셔서 그렇게 이해 할때 Query Embedding은 llm model이 하게 될테니 예를 들어 open source model 인 aya:8b model을 llm으로 사용하고자 할때는 vectordb document embedding 도 aya:8b 로 맞추어서 embedding 을 해야 하는 것으로 이해하였습니다. 그렇게 하는게 논리적으로도 맞는것 같습니다. 그렇게 되면 사실 llm을 어떤것으로 사용할 것인지에 따라 embedding model이 동일한 것으로 fix 되어야 할것 같은데요 RAG 강의 들을 들어보면 query 에 사용할 llm model은 고정하고 embedding model만 이것 저것 바꾸는 경우들도 있는것 같더라구요 openai emedding list 도 text-embedding-3-small / text-embedding-3-large / text-embedding-ada-002 과 같이 llm model은 gpt-3.5 쓰더라도 embedding model은 여러개 중에 선택적으로 쓰는것 으로 보여서요 embedding model과 query할 llm model과 연관성이 어떻게 되는지 알려주실수 있으실까요?

정말 감사합니다

와아 오늘 테디노트 님 영상을 알고리즘의 축복으로 처음 알게 되었습니다 ..!! 올해 제가 한 일 중에 가장 잘한 일이 테디노트님 영상 알게 된 일이 아닐까 싶어요 ㅎㅎ 감사합니다 ~~ 많이 배우고 갑니다 ~~~

테디형 목소리 넘 좋아요

본인 경험을 이렇게까지 공유해주시다니!

퍄 늘 잘 보고있습니다. 리트리버랑 벡터스토어 관련 부분은 상당히 유익했습니다. 뭐가 더 좋고 나쁘고를 따지기 참 애매하더라구요,,, 개인프로젝트로 진행중이라 이것저것 엄청 손대볼려고 노력중인데 늘 상당히 도움이 많이됩니다! 요즘 랭그래프도 좋은 아키텍쳐들이 많이 나오고 있던데, 시간나시면 요부분도 개발후기 같은 것도 괜찮으시다면 한 번 공유해주시면 너무 좋을 것 같네요😊😊 늘 잘보고 있습니다! 감사합니다!

귀.....귀.....귀하다...... 감사합니다.

좋은 영상 감사합니다! IT 종사자지만 LLM에 대한 마음의 장벽이 있었는데, 테디 님 덕분에 점차 허물어져 가고 있습니다 ㅎㅎ 복 받으실 거예요 >.

아.. 나도 얼른 훌륭해져서 테디노트님 같이 좋은 일 많이해야지ㅠ 정말 감사합니다. 근래에 들은 강의중 넘사 젤 귀한 강의입니다. 넘 감동이네요ㅠ 정말 필요했어요.

안녕하십니까 영상 잘봤습니다. 실제 규정이나 공지사항 pdf 안에는 테이블 형식으로 작성한 경우가 상당히 많은데 이 경우에는 어떤 Document Loader를 추천하시나요?

완벽한 설명 감사드립니다! 추가로 궁금한 부분이 있습니다. 데이터(PDF)를 로드하여 벡터 DB로 저장할 때 활용한 임베딩 모델(ex. OpenAI Embedding)과 사용자 질의를 벡터로 변환할 때 활용하는 임베딩 모델은 동일하며, 이후 ChromaDB나 FAISS의 semantic serach를 통해 DB 내에서 유사한 벡터를 찾아내서 프롬프트에 넣어준다 라고 이해하면 될까요?

최근 랭체인을 활용해서 어플리케이션 개발중인데 도움이 많이되었습니다. 노하우 공유까지 정말로 감사합니다! 혹시 context reorder의 체감성능은 어떠셨나요? 저는 에이전트를 활용하는 방식을 사용하고있는데, 기본 agent executor는 사실 컨텍스트 재정렬을 원하는 방식으로 행하기 힘들더라구요. 성능차이가 심하다면 executor를 커스텀하는것도 고려중입니다.

선생님 감사합니다! 한국 기업들도 적극적으로 인공지능을 사용하는 날이 오길..

안녕하세요, 영상 잘보고 있습니다~ 관련 자료보고 랭체인 한국어 튜토리얼 보면서 따라 하고 있는데, UnstructuredPDFLoader을 사용시 partially initialized module 'charset_normalizer' has no attribute 'md__mypyc' (most likely due to a circular import)이러한 에러가 발생합니다. 혹시 실행하시다가 같은 에러가 발생하셨을까요? 발생했다면 어떻게 처리 하셨는지 궁금합니다~ (stackoverflow에 나온대로 처리 해봤지만 되지 않네요 ㅜㅜ)

안녕하세요. 영상 너무 잘 봤습니다! 궁금한 게 있습니다. retriever에서 앙상블 모델을 사용하려고 하는데요, doc list를 직접 임베딩해 사용하는 방식으로 이해했는데 이미 db에 저장해둔 임베딩을 대상으로 bm25와 faiss를 융합한 검색은 어떻게 할 수 있나요? db에 임베딩 저장 -> 쿼리가 들어오면 BM25 + FAISS로 DB에서 문서 서치 하는 방법이 궁금합니다

안녕하세요? 덕분에 많은 도움을 받았습니다. 그리고 한가지 궁금한 것이 있습니다. PDF LOADER를 통해 메타데이터를 잘 불러 왔습니다. 그런데 답변을 생성할 때는 어떠한 방법을 써도 메타데이터 정보를 넣을 수가 없습니다. 청크의 첫 번째 어절을 문서의 제목으로 반환하는 현상이 계속 나타나는데요, 어떻게 해결을 하면 좋을까요?

임베딩이 끝난 문서들을 chromadb 에 저장하고 나서 다시 한번 추가된 문서를 임베딩해서 원래 chromadb에 추가로 저장을 하는 방법이 있나요?? 업데이트 되는 문서를 처음부터 다시 임베딩하고 저장하기에는 시간이 오래걸려서..

자바스크립트 버젼도 있나요?!

vector store 관련 상세한 내용도 만들어주실꺼죠? 미리 감사드립니다.^^ 추가적으로 crop시 bbox를 통해 안에 있는 내용만 가져오려고 하는데 문서에 따라 bbox의 수치를 자동으로 가져오는 방법이 있을까요?

감사합니다.