테디노트님, 혹시 사이즈가 큰 csv과 llm과 연결해서 소통을하려고합니다. 랭체인 및 판다스AI를 통해서 결과는 좋게 나오는데, maximun token 이슈가 발생되네요. chunk > 임베딩 방식도 활용해보았는데, 결과 유실이 생기네요. 혹시 팁을 주시면 감사드리겠습니다. 국내외 영상을 다 찾아보고 있는데, 실제 큰 사이즈 데이터로 예제를 보여주시는 분들은 안계시네요. ㅠ
@@김대현-v2b dataframe agent 를 생성한 다음에요. CSV 파일이 크니 직접 내용을 가져오는 것은 max token 과 비용에 한계가 있어요. 따라서, dataframe agent 가 pandas query 를 짜서 실행하게끔 만들고요. dataframe 에 쿼리를 날려서 정보 조회를 하게끔 만드는 것이 베스트 인데요. 작성하면서 유추하기론 이미 이 단계까지는 하신 것 같고요. 이 결과 해석을 위해서 LLM 에 넣으시는 거라면 조회된 결과(query로 조회된 행)가 양이 많다면, 이를 통째로 LLM 에 넣게되면 쩔 수 없이 Max token 에 걸릴 수 밖에 없어요.그럴때는 조회된 행이 작게 가져오도록 잘게 쪼개서 여러 llm 으로 부분 답변을 받아 다시 종합하는 (map-reduce 방식) 방식을 고려해 볼 수 있을 것 같습니다! 데이터나 코드를 보고 말씀드리는 건 아니라서 정확한 피드백이 아닐 수 있어요!
안녕하세요? 강의 수강 감사합니다🙏PDF 는 수강하시는 분들 전원에게 제공해 드릴 예정인데요. 다만 9월까지는 꾸준히 교재를 업데이트 예정이고요. 강의 전체공개시점인 8월말즈음 교재를 PDF 로 발행하여 드릴 예정아에요! PDF 제본 하셔도 되지만 상업적인 목적으로 판매만 안하시면 됩니다^^ 혼자 보시는 용도로 프린트 하셔서 엮으셔도 됩니다! 감사합니다
존경하는 테디님 아래 질문 영상이나 답변 점 부탁드리면 안될까요? RunPod -> Pod 에서 A100 을 올려, 허깅페이스에 있는 EEVE-Korean-10.8B-v1.0 모델을 Pod 에서 다운받아 Python 으로 해당 EEVE 모델을 올리고, RestfulAPI 로 원격에서 테스트 해보는 방법이 없을까요 ? 그리고, Pod 에서 LLM 성능만 놓고 봤을 때 EEVE 모델을 아래의 원형 그대로 올리는게 좋은지, GGUF 를 받아서 ollama 로 올리는게 좋은지에 대해서도 궁금합니다. ^^ config.json model-00001-of-00005.safetensors model-00002-of-00005.safetensors model-00003-of-00005.safetensors model-00004-of-00005.safetensors model-00005-of-00005.safetensors model.safetensors.index.json special_tokens_map.json tokenizer.json tokenizer_config.json
안녕하세요~^^ restful 로 구축하시려면 fastapi 를 별도 띄우셔야 하는데요. 제가 추천 드리는 방식은 langserve 튜토리얼 처럼 remote runnable 로 띄우는 것입니다. 결국 안에는 비슷한 restful 방식이지만 langchain 의 러너블로 래핑한 라이브러리 입니다. client 도 랭체인으로 구축하시려면 remote runnable 이 더 깔끔할 수 있습니다^^ gguf 는 양자화 모델이라 pc에서도 구동이 되는 수준이고요. 따라서 A100보다 3090으로도 돌아갈 것 같아요. 물론 fp16 생각하시면 터질 수 있습니다~ 원형 그대로 돌리면 아무래도 양자화로 인한 성능저하에서 좀 더 자유로우실 수 있습니다. huggingface 로 직접 로드하실 수 있어요~!
테디님 윈도우 내에서 설치 중 오류가 발생해서 그런데 아래의 오류 관련 질문을 보시고 해결해주실 수 있으실까요? poetry shell을 입력하였을 때 긴 오류 문구가 뜨지만 그 중 가장 핵심적으로 보이는 부분만 보내드립니다 No global/local python version has been set yet. Please set the global/local version by typing: pyenv global 3.7.4 pyenv local 3.7.4 이런식으로 오류가 발생해서 더이상 진행을 못하는 상황인데 해결 가능하실까요?? 참고로 테디님 영상에서는 관리자 모드 실행 시와는 다르게 저는 C:\Windows\System32로 들어가지는 것이 오류의 발단이 아닌가 싶습니다. 오류 발생 이전 내용까지는 해당 경로의 하위 디렉토리로 생성해서 C:\Windows\System32\Documents\langchain-kr이런 형식으로 어찌저찌 따라가긴 했습니다 감사합니다!
