[LangServe 리뷰] 초간편 LLM 웹앱 제작 & 배포기능까지! 과연, Streamlit 대체할 수 있을까? 

좋은 말씀 감사합니다요~🙏🙏🙏

감사합니다!! 오늘도 뽜이팅입니다🎉

찬찬히 다시보기로 시청 고고 하시죠!

감사합니다!!

후기가 기대됩니다!! 좋은 서비스 만들어 주세요!!👍👍

로컬호스트도 가능하고요 llama3 local 로도 가능합니다~

우선, GPTs 는 OpenAI사에서 만든 개인화된 GPT 입니다. 따라서, 모델을 GPT 밖에 사용하지 못합니다. 또한, GPTs 로 만들어서 쉬운 공유는 좋지만, 공유 받는 사람이 이용하려면 GPT 유료 구독자 이어야만 하죠. LangChain은 GPT 뿐만아니라 Claude, 무료 로컬 모델등을 활용할 수 있을 뿐만아니라, 도큐먼트 로드 형식, 60개가 넘는 DB 선택지 등 모든 과정을 세세하게 커스터마이징 할 수 있어요. 잘만 설정한다면, GPTs 로 만든 챗봇 대비 내가 원하는 형식에 가까운 답변을 받을 수 있는 것은 물론, GPT 에서는 지원하지 않는 다양한 기능 구현이 가능하다는 장점이 있습니다. 예를들어, 폐쇄망에도 구축할 수 있는 챗봇을 만드는 것도 가능하구요. 다만, 코딩과 LangChain 프레임워크에 대한 이해가 선행되어야 한다는 진입장벽은 존재합니다. 비용은 LangChain 으로 구현시 전부 무료 모델을 사용하면 운영비 밖에 안듭니다. (서버비용 정도) 하지만 유료 과금 모델(GPT, Claude 등)을 사용하면 사용한 만큼 과금이 됩니다. 반면 GPTs 는 정액제 이기때문에 한달 $20 만 내면 무제한(하루 제한은 있지만..) 사용이 가능하죠! 정리하자면, 노코드로 비교적 쉽게 개발한다면 GPTs, 상품화 단계까지 고려한다면 LangChain 을 선택할 것 같습니다. 나 혼자만 사용하거나 한 명의 사람을 위한 개인화된 비서는 GPTs 로도 충분히 훌륭한 GPT 만들 수 있습니다.

@@teddynote 와 정확히 이해 했습니다. 최근에 크롬 확장 프로그램 'Deploy GPTs'로 커스텀 GPTs를 일반에 배포하는 방법이 있더라고요. 유료 사용자들이 아니니 모든 API비용은 내가 내는 것이고요..ㅎㅎ GPTs도 이런식으로 배포가 가능하니 더욱 RAG과 비교가 되었습니다. 답변 너무 소중하고 감사합니다!

@@Dr.Ahn. 감사합니다. 또 궁금한 점 있으시면 댓글 남겨주세요~

@@teddynote 구축방식에 따라 운용 비용이 궁금합니다ㅠ 커스텀 gpts에 pdf 12개 올려놓고 내가 하는 질문에 맞는 pdf를 찾아서 거기에 있는 내용을 요약해주도록 했는데, 한번 질문당 300원 정도 비용이 발생하네요 ㅎㅎ 이게 매번 질문마다 12개 pdf를 모조리 다 읽어서 그런건가요? 혹시 RAG방식을 사용할때 벡터DB 저장소를 사용한다면 이런경우에 비용이 확줄어들게 되나요? GPTs 내부가 어떤방식으로 돌아가는지 모르겠지만 제 생각에는 GPTs도 랭체인처럼 knowledge에 올려놓은 pdf들을 나름의 벡터db로 저장을 해서 연산을 할 것 같은데, 질문당 300원정도씩 비용이 발생되니 놀랐습니다. 실제로 대답으로 출력되는 텍스트는 한글로 1,000자 내외거든요. 실제로 RAG에서 gpt4.5터보를 쓸때 한번의 질문당 대략적인 비용은 어느정도 발생하는게 맞나요?

streamlit 의 장점은 쉬운 개발, 비교적 좋은 위젯, 다양한 3rd party 위젯, llm 과의 연계성 등이 장점입니다. langserve 는 아직은 위젯이 많이 없어서 UX/UI 적으로만 봤을때는 streamlit 의 압승입니다. 하지만, langserve deploy 로 쉽게 배포 (물론, streamlit 도 streamlit cloud 배포를 지원하긴 합니다) langchain 에서 지원하는 langchain-template 연계 -> 사실 이게 정말 편리합니다. 아직은 langserve 정식 오픈 전이라 사실 Streamlit 과 게임이 안되지만, LangChain 의 개발 속도라면 올해 말 ~ 내년에는 어떤 모습일지 궁금합니다^^ LangSmith 도 처음에는 굉장히 미진했는데, 이제는 정말 좋은 기능들이 많이 추가되고, 활성 사용자도 많이 늘어나고 있거든요~ 그래서 더욱 궁금하네요!!

langserve 를 사용하는 것에 대한 가장 큰 이점은 코드의 간결함, 스트리밍 출력을 지원하는 것입니다. 하지만, 말씀하신 (보안상의 이유로) rest api 를 구현하고자 하려면 langserve 보다는 별도의 (fastapi 등을 활용하여) 서버 구현을 하셔야 할 것 같아요!

⁠@@teddynote정성스러운 답변 감사합니다 ㅜㅜ 헷갈렸던 부분을 콕찝어서 해결해주시는 능력이 있으시네요..! 답변해주신대로 따로 서버구현 해보겠습니다!!

@@Sww3158 궁금하신 점 있으시면 연락 주세요 감사합니다🙏

@@teddynote 영상을 보며 궁금한 점이 있어 여쭤봅니다!! poetry add langchain-openai 명령어를 실행하면 So, because langserve-template depends on both langchain (^0.1.13) and langchain-openai (^0.1.8), version solving failed. 위와 같이 뜨며 실패합니다. 의존성 문제라는데 잘 모르곘어서 질문드려봅니다..

맞습니다! 그정도 공부해 놓으시면 충분합니다~ 파이썬 문법 잘 배워놓으시면 여기저기 활용하실 곳이 많기때문에 이참에 미리 좀 더 배워놓으셔도 좋을 것 같아요!!

@@teddynote 감사합니다~

넵~^^ 의견 감사합니다🙏🙏

리눅스로 충분히 가능해요~ 동작하는 건 동일합니다^^

가능합니다 이미 영상으로 업로드 해두었습니다. 🔥#llama3 로 #agent 🤖 만드는 방법 + 8B 오픈 모델로 Agent 구성하는 방법😉 ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-04MM0PXv2Fk.html

정말정말 감동의 댓글 감사해요. 기획자 이셨는데 RAG 구현하신건.. 제가 잘 알려드렸다기 보다 원래 소질이 있으셨던 거에요~! 대단한 열정이십니다! 앞으로 저랑 손잡고 높은 곳으로 고고 하시죠~