🔥성능이 놀라워요🔥 무료로 한국어🇰🇷 파인튜닝 모델 받아서 나만의 로컬 LLM 호스팅 하기( 

감사합니다😱🙏

vscode내 소스 화면에서 생성형 아이콘이 나오는건 무슨 익스텐션인가요?

@@링크업IT Github Copilot Extension 입니다!

맥북이 너무 힘들어 합니다😭😭😭 시청 감사합니다🙏🙏

ㅋㅋㅋㅋㅋ 감솨합니다.

인기가 있는데에는 이유가 있더라구요! 감사합니다🙏

어멋?! 다 가져가세요🤤

ollama에서 parallel 설정을 해보세요! github.com/ollama/ollama/issues/761

도움이 되셨다니 다행입니다. 감사합니다~!

맞습니다 문제 있습니다 코드 수정해 두겠습니다^^

컴퓨터가 많이 힘들어 하더라고요😭😭

도움이 되셨다니 다행입니다. 감사합니다 🙏

저도요~ 이런걸 찾다가 영상으로 만들었습니다 ㅎ

감사합니다🙏🙏 앞으로도 열심히 하겠습니다!

네 외장 그래픽(엔비디아 계열) 이 달려있지 않으면 답변이 굉장히 느립니다. 빠른 출력을 위해서는 GPU가 필요합니다!!

네 시청해주셔서 감사합니다🙏🙏

정말 활용할 수 있는 방법들이 많이 있습니다~^^ 다양한 실험을 해보세요!!

감사합니다~^^

아이쿠 멤버십 가입 감사합니다 앞으로도 좋은 콘텐츠 업로드 하겠습니다🙏

네 오류가 나는 부분은 디스코드에 남겨주시면 메시지 보고 답변 드릴 수 있을 것 같아요. 댓글로 남겨 주셔도 좋구요~ openai embedding 은 괜찮다고 생각하는데요. api 써서 모델 답변 받는 건 아무래도 보안이 걱정되실 수 있죠. 만약 이 부분이 걱정이시라면 로컬 모델로(llama3, eeve korean) 다운 받아서 진행하셔야 되지만 GPU 인프라 구축은 동반되어야 원하시는 출력이 나오실꺼에요! 참고하십쇼^^

@@teddynote 아, 추가로 말씀 드리면 Nvidia 카드가 있어 cuda로 셋팅 하고 공유 주신 EEVE Korean으로 사용했습니다. 응답의 퀄리티가 생각보다는 좋아서 더 사용해보고 싶었습니다. 다만 embedding을 OpenAI로 하면 올리는 데이터가 똑같이 OpenAI로 넘어가는 것 같아 걱정되어서 만들어놓으신 USE_BGE_EMBEDDING = True로 하고 사용했더니 에러가 난거였습니다!

@@cklee4069 네~ 그러시군요. 이해했습니다. 오류는 세부로그가 없으면 구체적으로 원인을 알기가 어렵습니다. 유추해보자면 VRAM 메모리 부족일 수 있을 것 같아요 왜냐면 BGE 모델도 GPU에 올려야 하는데요 기존 LLM과 동시에 올라가려면 메모리 부족이 발생할 수 있을 것 같습니다~

@@teddynote CPU로 바꿔도 똑같은 에러가 나오네요, 여기까지 만족하겠습니다. 패스트 캠퍼스 강의 보면서, 하나하나 공부 해보겠습니다. 감사합니다. 월간 라이브도 잘하세요~

@@cklee4069 넵! 나중에 디스코드에 에러 남겨주심 한 번 볼게요~^^ 감사합니다

안녕하세요! 혹시 langserve github에 업로드된 streamlit 예제에서 bge-m3 임베딩 사용하는 예제가 있는데요. 폐쇄망에서도 문제 없이 잘 동작하고 pdf 도 문제 없이 잘 임베딩 되는데요. 한 번 확인해 보시겠어요? 소스코드 링크 남겨드립니다. github.com/teddylee777/langserve_ollama/blob/main/example/main.py

만약에 폐쇄망에서 안되는 이유를 찾자면 허깅페이스에서 모델 다운로드 할 때 막혀있을 수는 있을 것 같습니다. 이 부분은 외부망에서 다운로드 받아 놓으시고 그 다음부터는 폐쇄망으로 진행해 보십쇼~!!

감사합니당👍👍

넵 가능합니다! 방화벽 설정을 추가로 해야할 수는 있습니다!

감사합니다~🙏

폐쇄망끼리는 서로 통신이 되면 문제 없을껍니다. 다만 이때 ngrok 대신 내부 아이피를 사용해야 하고요 방화벽이 해당 포트에 대해 열려 있어야 합니다. M3 정말 빠르더라구요! 맥북 프로 M3 gpu 업그레이드 한 CTO 사양입니다. 굳이 맥북 아니더라도 양자화 모델이라서 GPU 달린 노트북이라면 어느정도 답변 속도는 빠른편입니다^^

만족스럽습니다😍

vram 은 넉넉할 수록 좋습니다~ 어떤 모델이냐에 따라서 충분할 수도 혹은 부족할 수도 있을 것 같아요. 여기서 직접 계산해 보실 수 있어요 huggingface.co/spaces/NyxKrage/LLM-Model-VRAM-Calculator

비용이 발생하지 않기 때문에 Ollama 에 사람들이 관심을 많이 가집니다. 오픈되어 있는 모델을 다운로드 받아서 구동하는 개념이구요. 다만, 컴퓨터에서 돌리게되면 전기를 많이 잡아먹어서 전기료 정도? 발생한다고 보시면 됩니다. 오늘 공유드린 EEVE 모델 추천 드립니다. 개인이 사용하는 것은 자유롭고, Apache-license 로 표기되어 있기는 한데요. 상업적인 이용이 궁금하시면 이 부분은 원저작자인 yanolja 개발팀에 문의해보시는 것이 정확할 것 같습니다~

로직에서 처음 체인을 만들때 시간이 걸릴 수 있습니다. 서버 구동하면서 체인 만들어 놓으시면 지연시간을 줄여보실 수 있습니다^^

속도는 vector db를 바꿔보시는 것이 좋습니다!

@@teddynote 감사합니다! 테디님! 몇 가지 궁금증이 있습니다...! 1. RAG를 사용해서 gpt4 처럼 웹 접근 결과를 기반으로 응답을 내는 것이 가능한가요? 2. 도큐먼트 리트리버로 응답을 생성하는 경우 도큐먼트의 내용이 아닌 경우 일반 모델을 사용하는 방법이 있을까요?

@@iopp6090 네 두가지 케이스 모두 가능합니다. 1번은 웹검샛 도구를 붙이면 되고요! 2번도 구현 가능합니다~

제가 테스트 해본 환경이 mac 이라 단순 비교가 어렵겠지만 12G충분히 돌아갈 것 같습니다!

네 사내에서 동작 가능하구요 프록시도 설정 가능합니다~ 보안은 모델 자체의 문제보다는 연결시 보안 설정만 잘 해주시면 문제 없을 것 같습니다^^

우선 윈도우에서 CUDA 설정이 되어 있으셔야 model_kwargs = {"device": "cuda"} 이걸 사용하실 수 있어요. 구글에 "Windows CUDA 설치" 키워드로 검색하셔서 설치 먼저 해보십쇼!!

답변 감사드립니다 맥은 다른 설정 없이 가능했는데 윈도우믄 별도로 설치가 필요하군요. 설치 진행해보겠습니다.

VRAM을 더 큰 GPU를 사용할 수 있고요 정말 사용자가 많다면 더 많은 장비가 필요할 수 있어요. 클라우드 서비스를 이용하면 손쉽게 확장할 수 있을 것 같습니다! 그런데 돈은 많이 들죠 ㅜ

poppler 윈도우 설치 가이드 아래 링크 한 번 참고해 보세요!! blog.naver.com/kiddwannabe/222464734713

소스코드에 바로 업데이트 해놨습니다^^

Expected response header Content-Type to contain 'text/event-stream', got 'application/json' 변경하신 코드로 해보니 이런 메시지가... 뜨네요ㅠㅠ

아마 도메인끝에 llm 안 붙혀서 그런 것 아닐까요? llm붙여보세요~

@@박현호-d3d 방금 소스코드에 주석 상세히 붙여서 코드 업데이트 해놨으니 참고해 보세요~

@@teddynote 늦은시간까지 답변주셔서 감사합니다 ☺️

앗 저도 이거에 막혀서 이것저것 찾아보는 중인 ㅠ_ㅠ CUDA 설정 server.py에 필요한거 같은데 어디다 해야할지 모르겠네요;;

cuda 설정이 잘 되어 있는지 확인해 보시겠어요?

앗 이것저것 하다가 해결되었네요. 1. CUDA재설치(설치내용 자세히 보니 1개만 설치완료되고 나머진 전부 실패였음;;;) 2. 내장그래픽카드 바이오스 상에서 사용 안함 그나저나 특이하게 CMD상에서 llama3:70B는 cpu로 동작하네요. 작은모델은 GPU로 동작하는데;;;

@@netan81 70B 어떤 양자화 모델을 사용하였는지는 모르겠지만 vram 메모리가 GPU 1장으로는 감당하기 어려운 사이즈라면 못 올릴껍니다 ㅜ

api로 연동하시면 랭체인으로 모델만 하이퍼클로바로 간단하게 교체 가능합니다 :) GPT대신 하이퍼 클로바를 사용하는 개념이에요. anythingLLM으로는 어려울 수 있습니다. 클로바가 연동이 안되어 있기 때문에요~

@@teddynote 오, 답변 감사드림니다ㅡ 테디님, 그러면 혹시 랭체인으로는 하이퍼클로바 모델로RAG를 생성해 볼수 있을까요?

@@user-jangsahara 예 맞습니다. GPT4 대신 하이퍼클로바로 바꾸기만 하면 RAG 가능합니다. 같은 원리로 anthropic 의 클로드 모델, 미스트랄, 라마 등 수백가지 모델을 교체하여 테스트도 가능합니다~

답변에 참조 받을 수 있어요. 프롬프트에 답변에 참조를 포함해 달라는 요청을 하게 되면 답변 문자열에 참조가 포함되어서 나오기도 하구요. key 값으로 받고자 한다면, json output parser 를 사용하는 방법도 있습니다. 위키독스에 json output parser 로 검색해서 튜토리얼 참고하시면 좋을 것 같아요~!

감사합니다. 일단 따로 쿼리 날려서 검색해서 찾아 내었습니다. 알려주신 부분도 해보겠습니다.

ChatGPT를 파인튜닝 하는 것은 권장드리지는 않고 있어요. 이유는 우리가 생각하는 것처럼 결과가 나오지 않고 비용이 비싼 것도 단점이고요. 베이스 모델도 3.5 기반입니다. 비용 절감만 생각하시면 파인 튜닝 말고 그냥 GPT api 사용하시는게 낫구요. 사용량이 많아지면 그 때는 호스팅 비용이 더 싸게 먹힐 수 있습니다

코랩에사는 구동하기 어렵기 때문에 PC에서 해보세요!

ollama 가 구동 중이어야 하는데 어떤 이유에선지 실행중이 아니라는 메시지 같아요. 먼저 ollama serve 로 구동시켜 놓고 새로운 터미널에서 ollama run 명령어 실행해 보세요!

​@@teddynote ollama serve 구동 후에 ollama run을 실행해봤더니 ollama serve를 구동했던 터미널에 아래와 같은 오류 메시지가 뜹니다..ㅠㅠ ggml_backend_cuda_buffer_type_alloc_buffer: allocating 384.00 MiB on device 0: cudaMalloc failed: out of memory llama_kv_cache_init: failed to allocate buffer for kv cache llama_new_context_with_model: llama_kv_cache_init() failed for self-attention cache llama_init_from_gpt_params: error: failed to create context with model 'C:\Users\Commeci\.ollama\models\blobs\sha256-2ede7a0e79157cecbdd6f6890d6a463e73d8b05040330bfd2fce53bb39b47e28' {"function":"load_model","level":"ERR","line":410,"model":"C:\\Users\\Commeci\\.ollama\\models\\blobs\\sha256-2ede7a0e79157cecbdd6f6890d6a463e73d8b05040330bfd2fce53bb39b47e28","msg":"unable to load model","tid":"19392","timestamp":1714406828} time=2024-04-30T01:07:08.795+09:00 level=ERROR source=routes.go:120 msg="error loading llama server" error="llama runner process no longer running: 1 error:failed to create context with model 'C:\\Users\\Commeci\\.ollama\\models\\blobs\\sha256-2ede7a0e79157cecbdd6f6890d6a463e73d8b05040330bfd2fce53bb39b47e28'" 구글링 해봐도 해결법이 나오지 않네요..ㅜㅜ

@@이꼼시 메모리가 부족하다는 에러인 것 같아요. 이미 GPU 가 다른 프로세스에서 사용하고 있어서 가용할 수 있는 메모리가 작아서 에러났을 수 있습니다~

@@teddynote 와아..ㅠㅠㅠㅠㅠ 진짜진짜 감사합니다!!!!!!!! 덕분에 해결했습니다!!!!!!! 늦은 시간까지 도와주셔서 감사합니다 ㅠㅠㅠㅠㅠ 항상 많은 도움 받고 있어요!ㅠㅠ

네 인트나넷 같은 폐쇄망도 langserve 가능합니다~

TEMPERATURE를 없애니까 해결되었습니다

옙 좋습니다 제가 temerature 빼고 업데이트 해놓을께요^^

@@user-bj9lt7fg8c 계속 안되서 댓글 보고 해결 했습니다!!! ㅠㅠ

GPU 인스턴스 종류에 따라서 다를 것 같아요. 비용은 종량제로 발생하기 때문에 지속적인 비용은 발생합니다 ㅜ

@@teddynote 다른 open llm 사용해도 비용부담은 클수밖에 없겠네요..!

저도 이부분은 찾아봐야 하는데요. 베이스 모델인 SOLAR 가 입출력 4096개 였던 것으로 기억합니다. 따라서, 아마도 4096개일 것 같습니다. 이건 저도 정확하지 않으니 한 번 테스트해 봐야지 정확히 알 수 있을 것 같아요! 여기 llm.extractum.io/model/upstage%2FSOLAR-10.7B-Instruct-v1.0,5KwUWNTl8dKlCxQ8QeQtzZ 에서 SOLAR 모델의 스펙은 확인해 보실 수 있어요~

@@teddynote❤

작성하신 코드도 남겨 주실 수 있을까요~?

성능이 여러 부분을 포함하고 있지만 GPT4는 입력으로 받는 컨텍스트 길이가 128K로 eeve 의 4K대비 크기 때문에 RAG를 하실 때는 입력의 길이가 길면 좋으므로 GPT4가 좋다고 할 수 있습니다.

양자화 모델이라서 가능합니다!

아쉽지만 모바일 대응이 아직은 조금 부족한 것 같아요 수정은 가능한데요 아마 css 쪽을 직접 코드로 수정해야 할 것 같습니다 ㅜ 흑

@@teddynote 바쁘신데 댓글 감사해요. 임베더를 무료로 여러가지 돌려보는데 segmetation falut 가 나는데, OpenAI를 안 써서 그런 건지 궁금합니다. +, .cahe/files 안에는 잘 보이는데, FAISS 저장소에 잘 들어갔는지는 어떻게 확인하는지 궁금하네요. 초보라서.. ㅠ

@@JihaoXu FAISS 저장소에 잘 들어 갔는지는 일단 DB INDEX 를 저장한 다음에 생성된 INDEX 파일을 보고 유추할 수 있어요~ 근데 DB 파일이 index 와 pkl 로 되어 있어 우리가 그냥 열어보는 것은 어렵고요~ 어차피 임베딩된 숫자 표현으로 들어가있기 때문에 열어봐도 해석이 어려워요 결국 잘 들어갔는가는 retriever 가져와서 검색어를 날려서 DB 에서 조회가 잘 되는지로 확인해 보는것이 가장 간편합니다~

양자화 모델이기 때문에 양자화 수준에 따라 약간의 성능 차이가 발생할 수 있습니다~

네 가능합니다!

너무 설명이 잘되어있어서 rag전까지는 성공을 하였습니다. 그 rag를 하려면 임베딩을 openai로 한다고 하고 다른걸로 할수도 있다고 하셨는데 오픈소스로 되어있는것이 뭐가 있을까요?

@@Withipad 허깅페이스에 bge-m3 임베딩이 있습니다~ 한글 처리 능력도 우수한 편입니다

@@teddynoteㅠㅡㅠ 감사드립니드

한가지만 마지막으로 질문드리려고 합니다.. 그 오프라인 환경에서는 절대 진행할수없는 프로젝트인가요?? Server.py를 오프라인에서 실행시켰더니, 에러가 뜨더라구요 랭체인 모듈에서 온라인으로 가져오는게 있는것 같던데용..

1. Modelfile 은 별도 확장자가 없습니다 그냥 확장자 없이 Modelfile 이라고 만드시면 됩니다~ 2. Modelfile 안에 내용을 입력해 주셔야 합니다 내용은 github.com/teddylee777/langserve_ollama/blob/main/ollama-modelfile/EEVE-Korean-Instruct-10.8B-v1.0/Modelfile 링크의 파일을 보시고 입력하시면 되는데요. 맨 위의 FROM 다음에 나오는 파일의 경로만 본인이 저장한 경로로 변경해 주시면 됩니다!

@@teddynote 감사합니다. modelfile 을 확장자 없이 만든다는 말을 이해못했었는데, 메모장이 아니라 툴 이용해서 만드니까 되네요!

주소가 /xionic/playground 로 되어 있으면 Chat 모드, /prompt/playground 로 되어 있으면 LLM 모드인 듯 하네요.

제가 윈도우가 없어서요 ㅜㅜ

윈도우라고 딱히 다른 점은 없을 것 같아요^^

가능해요. 아래의 코드를 참고 해 주세요 from langchain_core.runnables import RunnableLambda embedder = HuggingFaceEmbeddings(...) runnable_embedder = RunnableLambda(afunc=embedder.aembed_documents) add_routes(app, runnable_embedder) 깃헙 이슈에 올라온 내용도 같이 참고하시면 좋아요 github.com/langchain-ai/langserve/discussions/383

정말 감사합니다ㅠ 제한된 환경이라 api 방식 밖에 사용 못했는데 덕분에 여러가지 로컬모델도 시도해볼수 있겠네요!!😊

llama cpp 로 실행하셨나요?

@@teddynote 아뇨 처음엔 ollama pull로 땡겨오다가 저 에러가 뜨길래 영상 방식대로 GGUF에서 가져왔는데 똑같은 상황입니다. CUDA 버전문제일까요? 참고로 12.2 버전입니다.

@@JeongminYoo-rc5bl CUDA 버전 문제일 수 있어요. 지원하는 CUDA 버전 한 번 확인해 보시고 지원하는 버전으로 한 번 설치해 보시겠어요?

감사합니다👍

혹시 CUDA 설정이 되어 있으실까요~? 안되어 있는 경우 느릴 수 있어요 (CPU 사용)

@@teddynote 어떻게 하면 cuda를 사용하는지 간단하게 알려주실 수 있으신가요

@@두뇌트레이닝-o8g cuda 를 이용하기 위해서는 설치 과정이 필요한데요! 블로그에 검색해 보시면 관련 자료가 많이 나옵니다. GPU 버전에 맞는 CUDA를 설치하시면 GPU가 정상적으로 작동합니다. 예시 링크 공유 드릴께요~ velog.io/@sxngwxx/%EC%9C%88%EB%8F%84%EC%9A%B0Windows-CUDA-cuDNN-%EC%84%A4%EC%B9%98

제 눈을 의심했습니다! 존경하는 교수님께서 댓글 달아주시니 영광입니다. 교수님의 모두를 위한 딥러닝 듣고 많이 배웠습니다. 감사합니다🙏🙏

오 이 댓글은 정말 귀하네요

😭

네 방금 말씀해 주셔서 해봤는데~ 꽤나 잘 동작합니다! 아이디어 주셔서 감사합니다. 그리고 브라이언님 덕분에 옵시디언 입문해서 너무나 잘 활용하고 있습니다~ 앞으로도 꿀팁 얻으러 자주 가겠습니다~^^

맞습니다 cuda는 설치되어야 gpu 잡아서 동작합니다!

LM Studio 가 로컬에서 다운로드 받아서 구동하는 프로그램이구요! Anything LLM 은 RAG 단계별 모듈 선택하여 구동할 수 있는 프로그램 입니다!

@@teddynote 감사합니다!!

모델은 보통 둘 중 하나를 택1 하여 선택하여 진행하는 것아 일반적입니다. 보통은 둘 다 테스트 해보고 더 나은 모델은 택 1 합니다만, LLM 라우팅이라는 방식도 있습니다. 코드에 관련한 내용은 llama 가 한국어 질문은 eeve 가 답변할 수 있도록 할 수 있어요~

감사합니다 ㅠ 앞으로 도움이 되는 콘테츠 열심히 제작하겠습니다!

프롬프트 템플릿은 혹시 수정 없이 그대로 사용하셨을까요? 아이면 수정을 하셨을까요? 만약 수정하셨다면 작성하신 템플릿을 공유해 주시겠어요~?

@@teddynote ollama create EEVE-Korean-10.8B -f EEVE-Korean-Instruct-10.8B-v1.0-GGUF/Modelfile 이렇게 그대로 사용하였습니다!

@@teddynote 알려주신 프롬프트 템플릿 수정 없이 했습니다!

없으면 일단 ~/.cache/~ 경로로 간 후에 심링크를 거는군용

True로 설정하면 파일 크기에 관계없이 심볼릭 링크가 생성됩니다. False로 설정하면 파일이 캐시에서 복제되거나(이미 존재하는 경우) 허브에서 다운로드되어 캐시되지 않습니다!

오타가 있어서요~ temperature 0 으로 설정하시면 됩니다~

@@teddynote temperature 0 으로 넣어도 같은 에러가 뜨네요. 지우니까 해결은 되는데 이유를 아무리 검색해도 안 나와서 의견 여쭙고 싶습니다

@@휑-d8k temperature 템플릿에 옵션에서 빠져서 그럴 수도 있어요 빼고 하셔도 나중에 지정 가능하기 때문에 빼고 진행하시면 됩니다~

축하드립니다!!👍

아이쿠 이렇게 큰 금액을...😭 감사합니다. 맛있는 거 사먹겠습니다😍

네~ ollama는 llm이 아니고 llm을 구동하는 프로그램 입니다. EEVE가 llm입니다~

@@teddynote 아~~감사합니다

👍👍 감사합니다~

어떤 프로젝트인지 간략하게 말씀해 주실 수 있으시다면 teddylee777@gmail.com 이쪽으로 보내주시면 감사드리겠습니다🙏🙏

@@teddynote 적절한 시점에 연락드려 보겠습니다.

혹시 chatprompttemplate 도 올려주실 수있나요?

참고로 디스코드 채널에 질문 남기시면 더 빨리 답변 받으실 수 있어요^^

@@teddynote prompt = ChatPromptTemplate.from_messages( [ ( "system", """You are an expert in perfumes. Use the following pieces of retrieved context to answer the question. If you don't know the answer, just say you don't know: {context} """, ), # 대화 기록을 변수로 사용, history 가 MessageHistory 의 key 가 됨 MessagesPlaceholder(variable_name="history"), ("human", "{question}"), # 사용자 입력을 변수로 사용 ] ) 위와 같습니다.

@@Enosh6079 chain = ( { "context": itemgetter("question") | retriever | format_docs, "history": itemgetter("history"), "question": itemgetter("question")), } | prompt | llm ) 로 바꿔주시고 from operator import itemgetter 상단에 추가해 주시고요. 실행해 보세요~^^

@@teddynote 디스코드 채널이 어딘지 알려주세요~

임베더를 어떤 임베더를 사용하느냐에 따라서 성능 차이가 있을 수 있습니다. 따라서, 직접 변경해 보시면서 테스트 해보시는 것이 중요한 과정 중에 하나라고 볼 수 있습니다. 공개된 무료 임베더 중에서는 BGE-M3 임베딩 괜찮은 것 같습니다!

@@teddynote 감사합니다. 말씀해주신 임베더를 포함해서 다양하게 시도해보겠습니다^^

​​​@@teddynote말씀해주신 bge-m3 로 계속 임베딩 해서 레그 구성 중입니다. 임베딩의 정확도 문제는 잘 안느껴지는데 매번 질문 하나 입력할 때 마다 답변을 생성 중입니다라는 문구가 나타나기 전까지 5초 가량 로드를 계속 합니다. 마치 매번 질문 할 때마다 임베딩 모델을 로드하는 느낌이 드는데 뭐가 문제일까요? 임베딩을 cpu와 cuda로 바꿔 봐도 같은 속도가 걸립니다. ㅠㅜ gpu는 3090을 사용합니다.

아무래도 open ai 처럼 임베더와 추론 모델이 같이 있는 시스템이 아니라서 일까요?

@@SeunggeunBaeck-ou4qf 질문도 임베딩을 해야하기 때문에 질문에 대한 임베딩 시간도 고려해야 합니다! gpu 사용률 체크해 보시면서 진짜 gpu를 활용한 추론 하고 있는지도 한 번 체크해 주세요^^

일반 번역 수준은 훌륭합니다. 저는 나름 만족하면서 사용하고 있어요!

네 저도 감사합니다 🙏

apache 2.0 라이센스를 따릅니다. 상업용 사용이 가능하나 제약이 있으니 사전에 확인해 보세요^^

에이전트 사용하면 한글 답변에 대하여 좀 품질이 떨어지는 건 사실 인것 같습니다. 8B에서는 확실히 그렇구요 70B 사용하니깐 확실히 좋습니다!