🤗

Подписаться 20 тыс.

Просмотров 9 тыс.

50% 1

🌐 LM Studio 다운로드
lmstudio.ai/
💻 로컬모델 서빙(LangServe) 영상
• 🔥성능이 놀라워요🔥 무료로 한국어🇰🇷 파...
🤖 디스코드 채널
/ discord
📘 랭체인 튜토리얼 무료 전자책(wikidocs)
wikidocs.net/book/14314
✅ 랭체인 한국어 튜토리얼 코드저장소(GitHub)
github.com/teddylee777/langch...
⭐️ 강의 홍보 ⭐️
LangChain + ChatGPT + Streamlit 강의(VOD 강의)
아래에 사전 등록을 하시면 강의 오픈 후 알림을 발송해 드릴 예정이며, 할인 쿠폰도 같이 제공해 드립니다.
📍 LangChain + ChatGPT + Streamlit 강의 사전알림 신청 🙏🙏
링크: forms.gle/buoXoiey7YHrVXVq9
#lmstudio #langchain
---
📘 랭체인 한국어 튜토리얼(무료 전자책): wikidocs.net/book/14314
📝 테디노트(깃헙 블로그) : teddylee777.github.io
💻 GitHub 소스코드 저장소: github.com/teddylee777
🍿 LLM 프로젝트: llm.teddynote.com

Опубликовано:

25 апр 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 75

@user-ji4mi1gi3z Месяц назад

고급정보 감사합니다.

@teddynote Месяц назад

아이고오...... 이런 큰돈을🥹 감사합니다 맛난거 사먹겠습니다🫡 더 고급 정보가 뭐 있나 더 뒤적여 봐야 겠네요😊 앞으로도 열심히 업로드 하겠습니다~🙏

@juliokim766 Месяц назад

이번에도 좋은 소개 감사합니다~:)

@teddynote Месяц назад

시청 감사해욧!!!🙏🙏

@wonpaper Месяц назад

너무 좋은 영상 입니다. 저두 꼭 써보겠습니다. ㅎ 감사해요 선생님 ^^

@teddynote Месяц назад

항상 시청해 주셔서 감사드립니다👍

@ot7141 Месяц назад

너무 좋은 영상 감사합니다!!!

@teddynote Месяц назад

감사감사합니다🙏🙏

@user-oh5or5by2r Месяц назад

왜이렇게 부지런하세요 테디님😂

@teddynote Месяц назад

열심히 콘텐츠 공장 돌리고 있습니다🔥🔥

@user-cp2st6fx6v Месяц назад

감사합니다 너무 좋은 영상입니다

@teddynote Месяц назад

도움이 되셨으면 좋겠습니다 감사해요!🫡

@holyboundary 23 дня назад

감동적인 영상입니다.

@teddynote 23 дня назад

감사합니다😭😭

@drivekim Месяц назад

좋은 강좌 감사합니다.

@teddynote Месяц назад

감사합니닷!🙌🙌

@user-pv8jk4vt6t 18 дней назад

영상 감사합니다 !😸

@teddynote 18 дней назад

감사합니다^^

@user-ws4lh5dr3n 27 дней назад

좋은 영상 감사합니다!!

@teddynote 27 дней назад

감사합니다🫡🫡

@no-jv9eb 10 дней назад

와 영상 너무 좋은데요.!

@teddynote 9 дней назад

감사합니다🙏🙏

@brain.trinity Месяц назад

어제 보니까 버미님께서 파인튜닝 해놓은 것을 gguf파일을 만들어놓으신 것을 미리 봤었는데 이 영상을 위한 것이었군요!

@teddynote Месяц назад

큰 그림이었습니다! 딱 알아보시네요 ㅎㅎ 감사합니다!!

@teddynote Месяц назад

옵시디언(Obsidian) 활용법은 댓글 남겨주신 이분 영상 좋습니다! 참고하십쇼🫡

@hyungsungshim5714 Месяц назад

감사합니닷!!

@teddynote Месяц назад

감사합니다~!!!🙏

@user-is8vt8rc2g Месяц назад

감사합니다.

@teddynote Месяц назад

감사합니다🙏

@chuuny Месяц назад

사실 아직은 뭔 얘기인지 모르겠지만 찜해놓고 알 수 있는 그 날이 오면 다시 볼려구요

@teddynote Месяц назад

좋습니다~ 찬찬히 가시죠~ ㅎㅎ👍

@Euni2345 Месяц назад

영어 모델은 gpt-4-all도 쓰기 편하더라구요 ㅎㅎ gguf 모델 저도 애용하고 있는데, 아직 원인은 몰겠지만 답변이 중간에 끊기는 문제가 있네요 😂

@teddynote Месяц назад

그렇군요! gpt4all 도 써봐야겠네요~ 정보 감사합니다~ 간혹 gguf 중에서도 변환이 잘못된 파일은 오류도 있더라구요~

@user-eu4zt3rd3k Месяц назад

허깅페이스에 올려주신 llama3 ko 버전 템플릿 구성 시스템 prev suffix user Human: suffix Assistant: stop string , temp는 0으로 세팅했는데, 대화 끝에 가 계속 나오고 엉뚱한 대답이 나오는데 template 가 잘못됐을까요??

@teddynote Месяц назад

허깅페이스에 Ollama Template 도 공유 해놨어요. 공유한 Template 으로 한 번 적용해 보세요~!

@user-eu4zt3rd3k Месяц назад

@@teddynote FROM Llama-3-Open-Ko-8B-Q8_0.gguf TEMPLATE """{{- if .System }} {{ .System }} {{- end }} Human: {{ .Prompt }} Assistant: """ SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.""" PARAMETER temperature 0 PARAMETER num_predict 3000 PARAMETER num_ctx 4096 PARAMETER stop PARAMETER stop 이거 맞나요?

@user-mr3dz2wh1u Месяц назад

안녕하세요. 좋은 강좌 감사합니다. 공유해주신 Llama-3-Open-Ko-8B-Instruct-preview-gguf 모델과 Llama-3-Open-Ko-8B-gguf 둘다 적용해봤지만,,, LLM에서 내 벹는 답변이 전부 이상하게 반응하는 것 같습니다. 프롬프트 템플릿도 알려주신 방법과 허깅페이스에 기재된 내용 모두 다 적용해서 각각 테스트 해봐도 잘 되다가 어떤 순간부터 이상한 답변을 하거나 아예 응답을 못하는 현상 또는 답변해주겠다고 하고서는 그 다음 답변이 나오지 않는 현상등이 발생하고 있습니다. 어떤 모델을 써야 정확히 테스트 해볼 수 있을 까요?

@teddynote Месяц назад

음 간혹 불안정한 대답을 하는 경우는 있을 수도 있습니다. 최근에 Instruct-Preview 모델은 Open-Ko-8B 모델이랑 템플릿과 stop token 을 좀 다르게 설정해야 되더라고요. 조정하니깐 확실히 나아졌습니다.

@rogitun Месяц назад

안녕하세요. 좋은 강의 감사합니다! 저는 윈도우에서 eeve q5로 ollma를 통해 테스트를 해봤는데 이게 답변이 너무 느리더라구요. cuda랑 cudnn도 설치된 상태인데도 불구하고 너무 느립니다.. 자원 사용도 모니터링 해보면 CPU만 겁나 쓰고 GPU는 쓰지를 않고 있구요. GPU는 1660super 모델을 사용하고 있는데 GPU를 사용하기엔 GPU 성능이 너무 부족해서 그런걸까요? 맥북 m1 pro 모델이 있긴 한데 이걸 쓰면 좀 나을지 혹은 cuda 세팅을 별도로 해야하는게 있는지 도움을 얻고 싶습니다 ㅠ

@teddynote Месяц назад

아마 1660모델은 딥러닝 모델을 돌리기 위한 cudnn을 지원하지 않는 것으로 봤던 것 같아요 nvidia 홈페이지에서 cuda 지원 gpu로 한 번 확인해 보시는 것이 정확할 것 같습니다!

@rogitun Месяц назад

@@teddynote 확인해보니 없네요 ㅠ 답변 감사합니다..! 맥으로 돌려야겠네요

@sdfasdfsdfds Месяц назад

로컬AI는 잘 다듬으면 업무자동화 편하게 할거같은데 쉽지않네요 ㅠ 질문이 있는데 Llama-3-Open-Ko-8B-Instruct-preview-Q8_0.gguf로 해보고 있는 중에 질문을 하면 답변을 계속 반복하면서 말합니다. 이것도 프롬프트로 막을 수 있나요? don't repeat yourself. 라고 적어도 말을 안듣네요 ㅋㅋㅋ ㅠ

@teddynote Месяц назад

맞아요 저도 테스트 해봤더니 아직 instruct preview 모델은 원치 않는 답변이 나오드라구요 제가 템플릿 설정 잘못 했을 수도 있구요. 지금은 open ko 모델로 먼저 테스트 해보시고요~ instrcut 모델은 추후 안정화된 버전 나오면 다시 테스트 해보고 공유 드리겠습니다!!

@Lawrence23617 Месяц назад

라마3 70b 모델 gguf 한글 파인튜닝 버전도 혹시 업로드 해주실 수 있으실까요? 그리고 혹시 지금은 LM - Studio에서 라마3 70b 모델을 더이상 다운로드 할 수 없는 건가요? 다운로드 매뉴에서 못찾겠네요 ㅜ

@teddynote Месяц назад

만들 수 있는데 돌릴 수 있는 자원을 가진 분들이 많이 안계실것 같아서 업로드는 안했거든요 ㅠ Q2 수준으로 양자화를 빡시게 해야 겨우 돌려볼 수 있는 수준인데... 출력도 많이 느리더라고요 ㅜ 시간되면 업로드 해서 공유해 보겠습니다. 공유하면 게시글에 공지사항 올릴께요!

@user-mr3dz2wh1u Месяц назад

한가지 또 추가로 질문이 있습니다. 모델마다 템플릿을 달리 적용해야 한다고 하셨는데.. 모델에 따라 템플릿을 적용하는건 어떻게 알고 적용해야 하는걸까요? 미리 감사드립니다.

@teddynote Месяц назад

보통 저작자가 공개하기도 하고 제일 중요한 것은 저작자가 데이터를 학습할 때 사용한 Format 입니다. 이는 학습 데이터셋을 통해서 보통 확인하는 편이구요. stop token 은 special_tokens_map.json 에 보통은 잘 정의되어 있어요.

@user-mr3dz2wh1u 29 дней назад

@@teddynote 자세한 답변 정말 감사합니다. 도움이 되었습니다.

@jin-uo8tl Месяц назад

instruct-preview모델과 그냥 없는 모델의 차이점이 뭔가요??

@teddynote Месяц назад

instruct preview 모델은 beomi님 이 공개한 repository 의 내용에 의하면 chat vector 의 아이디어가 추가 되었다고 하더라고요! 저도 아직 자세한 차이점 까지는 모르겠어요 추후에 정식 모델이 공개되거나 관련하여 자세한 내용이 나오면 추가로 공유 드릴께요!

@atmoskr 20 дней назад

오늘 보여주신 피씨(또는 서버) 에 사용되는 사양(CPU 와 그래픽카드가 뭘까요?

@teddynote 20 дней назад

맥북M3 Max 기종입니다 애플 MPS GPU를 사용하였습니다^^

@terevipd Месяц назад

좋은 정보 고맙습니다. 그런데... Llama-3-Open-Ko-8B와 llama-3-8b-it-ko-chang, EEVE-Korean-Instruct-10.8B-v1.0 모델들 각각의 차이는 뭘까요? 제가 아무 것도 모르는 초보라서요...^^;

@teddynote Месяц назад

ko 나 Korean 이 붙어 있으면 일단 한국어를 잘하는 모델로 튜닝되었다고 쉽게 생각하시면 됩니다. 그런데 다양한 모델이 있는 이유는 각각의 모델마다 학습한 데이터셋의 차이, 학습 방법, 베이스가 되는 모델의 차이에 따라 이름을 다르게 붙입니다. 자동차로 비유를 들자면, "쏘렌토", "싼타페", "제네시스 SUV" 가 있습니다. 모두 비슷한 체급의 자동차이지만 분명 차이가 있죠. 나열된 모델도 비슷한 개념입니다~^^

@terevipd Месяц назад

@@teddynote 아... 그렇군요! 친절한 답변 감사합니다!!! 그럼... 저 3가지 모델 중에서는 어느 게 가장 높은 체급이려나요? ^^; 제 노트북에서 왠만한 모델은 다 돌아간다고 나오길래 llama 모델 중 가장 좋은 성능의 대용량 모델을 받았으면 하는데 도통 모르겠어서요. ^^;;;

@blidkagaa Месяц назад

질문이 있습니다. os를 구동할때 마다 lm studio를 켜고 모델을 올리고 서버를 구동해야하는 것 같은데요.. 혹시 컴퓨터를 켜자마자 바로 사용할 수 있는 방법이 있을까요?

@teddynote Месяц назад

제가 LM studio 는 가능한지 모르겠습니다만 서버에 바로 구동이 목적이시라면 올라마로 모델 파일 만드신 후 start up 에서 스크립트로 올라마 실행하면 될 것 같습니다!

@blidkagaa Месяц назад

@@teddynote 유튜브에 링크가 담긴 댓글을 달리면 삭제가 되는 것 같으네요?.. 댓글 올렸는데 삭제가 두번이나.. github issue로 올렸는데 다음 버전에 해당 기능이 추가된다는 답변을 받았습니다. github issue를 링크로 올렸는데.. 댓글이 자동 삭제되는 것 같아서.. 다시한번 링크 없이 댓글 달아봅니다. 감사합니다.

@teddynote Месяц назад

@@blidkagaa 링크가 달리면 자동으로 삭제되는 경우가 있더라고요 예전에도 이렇게 말씀해 주신 분이 계셨던 것 같아요! 디스코드 채널(link.teddynote.com/discord) 에서 질문 주셔도 좋습니다~ issue 도 확인해 볼께요!

@JeongJaeWoo Месяц назад

이게...GPTs action도 사용 가능한건가요?

@teddynote Месяц назад

GPTs action 은 사용 불가입니다 ㅜ

@JeongJaeWoo Месяц назад

@@teddynote 음...그럼 action관 같은 중간처리 과정 만들기는 어려울까요?

@teddynote Месяц назад

@@JeongJaeWoo 세부 로직 처리하는건 langgraph 와 agent 로 처리 가능합니다~^^

@Yanggyungsuneg Месяц назад

preset 설정을 강의 따라가면서 변경했는데. 질문에 대한 답변 끝에 이 항상 붙네요. 이유가 뭘까요?

@teddynote Месяц назад

stop 토큰에 아마 빼먹고 를 추가해 주지 않으셨를 것 같아요~

@Yanggyungsuneg Месяц назад

@@teddynote 모델을 eeve가 아닌 llama3 모델을 선택해서 그랬네요. eeve 선택하니 제대로 나오네요

@user-eu4zt3rd3k Месяц назад

@@teddynote 해줬는데도 나오는 이유가 뭘까요? 테디님 llama3 kor 버전입니다.

@teddynote Месяц назад

@@user-eu4zt3rd3k llama3 는 형식이 달라요. 모델마다 템플릿과 stop token 이 다르기 때문에 각 모델에 맞는 템플릿과 stop token 을 적용해야 올바르게 동작합니다. 참고로, 템플릿과 stop token 도 공유해 놓았어요~

@user-lx6ql7rl6h Месяц назад

테디님~! LM 스튜디오에서 모델을 Load 했는데 아래와 같은 에러가 발생해요. 원인이 성능이 부족해서 일까요? "(Exit code: 0). Some model operation failed. Try a different model and/or config." { "memory": { "ram_capacity": "15.84 GB", "ram_unused": "8.40 GB" }, "gpu": { "type": "NvidiaCuda", "vram_recommended_capacity": "8.00 GB", "vram_unused": "6.97 GB" }, "os": { "platform": "win32", "version": "10.0.22631", "supports_avx2": true }, "app": { "version": "0.2.21", "downloadsDir": "C:\\Users\\Chris\\.cache\\lm-studio\\models\\" }, "model": {} }

@user-lx6ql7rl6h Месяц назад

테디님 그래픽카드 드라이버 업데이트하고 해결되었습니다^^;;

@teddynote Месяц назад

네 다행이네요!!! 👍👍👍