테디노트의 RAG 비법노트 : 랭체인을 활용한 GPT부터 로컬 모델까지의 RAG 가이드 @teddynote 님께서 패스트 캠퍼스의 강의를 런칭하셨습니다:) fastcampus.co.kr/data_online_teddy 특별히 저희 구독자분들을 위한 쿠폰을 발행해주셨습니다. 평범한 사업가 구독자 전용 쿠폰 - 20% 쿠폰 코드 : PRDTEA240528_teddy - 쿠폰 사용 기간 : 2024년 6월 9일(일) 23시 59분 - 쿠폰 사용 방법 가이드 설명 - 패스트캠퍼스 가입 -로그인- 마이 페이지- 쿠폰 내역 - 쿠폰 코드 입력 및 등록 - 강의 결제시 쿠폰 적용 관심있으신분들은 강의 신청하셔서 들어보시면 RAG에 대한 이해도가 생기고 llm을 이해하는 시야가 넓어지실거라 생각합니다.
안녕하세요. 덕분에 AnythingLLM를 잘 사용해보았습니다. 사용이 너무 용이하여서 참 좋았습니다. 그런데 Vector DB에 10개 정도 PDF 파일을 올린 후 에이전트를 통해서 질문 2-3개 정도 요약 정리에 관한 질문을 하였더니 OpenAI 4.0o API 과금이 단번에 2만원이 나와버렸습니다. LLM와 Agent를 OpenAI API로 설정한 상황이었습니다. 에이전트를 활성한 후 사용하니 토큰 사용이 더욱 급증하였습니다. 그렇다고 기본탑재되어 있는 모델이나 람마를 사용하여 보니, 컴퓨터 사양이 GPU가 아니면 답변시간이 너무 길거나 답변을 중간에 포기해버렸습니다. OpenAI API를 사용하면서, AnythingLLM의 에이전트 기능을 사용하고 싶은데 요금 과금 폭탄을 피할 수 있는 방법이 있을까요?
네 요약과 같은 테스크는 요금 폭탄을 맞을 수도 있어요~ 왜냐면 텍스트를 처음부터 끝까지 다 읽어야 요약이 가능하기 때문입니다.(시간도 매우 오래 걸릴꺼에요) 요약을 수행할 때 여러 방법론으로 이걸 해결할 수 있겠지만, 지금의 anythingLLM에서는 아쉽게도 거기까지의 세부 설정은 구현이 되지 않은 것 같아요. 그래서 추천 드리는 anythingLLM사용 방법으로 ‘요약’ 을 제외한 QA(질의 응답) 을 먼저 경험해 보세요. QA는 검색 기반 답변을 하기 때문에 요금이 많이 들지 않아요. 문서가 10개든 100개든 상관 없습니다~
프롬프트 다음 꼭 공부해야 될 부분이네요 AnytingLLM 정말 좋은것 같네요 챗지피티 처음 나왔을때 좋다고 생각했지만 영어 기반이라 어렵다는생각에 저는 많이 활용못하다가 시간이 한참지나 와이프에게 사용을 권장했고 저보다 와이프가 많이 사용해 보았습니다 AnytingLLM 도 와이프를 사용시켜 보아야겠네요 와이프가 미국약대를 다니는데 챗지피티로는 정보처리가 극히 제한적(딥러닝시킬분야가 적어) 어어서 사용범위가 제한적이었는데 AnytingLLM 적극적으로 사용시켜 보아야겠네요
영상을 처음부터 끝까지 들으시면 이해가 잘되실겁니다.gpts는 널리지에 pdf문서를 청크(쪼개기)를 제어할수가 없어 정보를 제대로 못가져오거나 할루시네이션이 발생할수 있습니다.가장쉽게 말씀드리자면 이전에 pc를 구매할때 업체에서 만든 사양의 컴퓨터를 구매해서 사용했다면 조립pc가 등장하면서 각자 원하는 사양의 pc를 구매하며 목적에 맞는 성능을 사용한것과 유사하다고 보시면 됩니다.챗gpt는 범용적인 서비스여서 그 한계가 아직은 좀 있는것 같습니다.물론 가장 뛰어난 언어모델임은 틀림없습니다.
rag와 랭체인으로 구축을 하는 이유자체가 제한이 걸린 챗gpt의 성능을 올리는거라 기술적인 접근만 가능하면 회사 사정에 맞게 튜닝하는건 챗gpt보다 훨씬더 정확한 답변을 얻으실수 있으십니다.다만 누구나다 할수 있는게 아니라 개념을 배우고 기본 개발지식이 있다는 전제하에 말입니다.
그러면 너무 좋겠지만 현실적으로 그러기가 쉽지가 않습니다.챗gpt나 gemini나 클로드는 범용적인 모델이어서 그 성능을 개인이나 기업이 원하는데로 조절하는데에는 한계가 있을수밖에 없을거라 생각합니다.글을 생성하는 성능은 좋아지겠지만 말입니다.지금도 rag를 못해서가 아니라 그 성능을 플레이그라운드처럼 안열어둬서 못하는거라 지금도 성능은 뛰어납니다.