#llama3 

감사합니다 ☺️

와~~~~우 반갑습니다😊 좋은 회사 다니시나봐요😉 시청해 주셔서 감사합니다🙏🙏

요즘 너무 빨리빨리 나와서 영상 만들기 힘듭니다😭😭😭😭😭

감사합니다🙏🙏

감사합니다~🫡🫰🙏

8GB 가 4060 의 VRAM 용량을 의미하고요 하드드라이브 디스크 와는 따로 입니다. 정리하자면 Ollama 모델을 사용하여 추론할 때는 하드드라이브 디스크 공간을 사용하는 것이 아닌 GPU VRAM 메모리인 8GB 를 풀로 사용하여 추론하고 있다고 볼 수 있습니다. 얼마만큼의 VRAM 공간이 필요하느냐는 같은 8B 모델이더라도 양자화 수준에 따라 다를 수 있어요. Q4 냐 Q5냐 Q8이냐에 따라 다를 수 있습니다 아래에 공식에 넣고 계산하시면 필요한 VRAM 메모리가 나와요! www.substratus.ai/blog/calculating-gpu-memory-for-llm

LM Studio 가 ChatGPT 인터페이스 비슷하게 잘 해주는 것 같습니다! ㅎㅎ

저는 맥북프로를 사용하고 있어요~ CPU로는 어렵고요 NVidia 계열의 GPU를 권장합니다! 30xx 시리즈를 추천드려요~

늦지 않게 들고 왔습니다~!

감사합니다!! 🙌🙌🙌

아이쿠~ 가입 감사합니다~ 🙌🙌🙌

올라마에 모든 모델이 업로드 되어 있는 것은 아니에요. 예를 들어 한국어 파인튜닝된 모델은 등록이 안되어 있죠. 올라마에는 등록이 안되어 있지만 허깅페이스 모델을 사용하고 싶을때 gguf 가져오셔서 로드하시면 됩니다~

트렌드에 올라 타야죠🤤

올라마 좋죠! 로컬 모델 한 전 다운 받아 돌려보세요 ㅎ

한국어 파인 튜닝 안된 날것의 모델은 "한국어로 시를 쓰는" 답변에 대한 품질이 떨어질 수 있습니다. 그래서 한국어 파인 튜닝된 모델로 테스트 해보시는 것을 권장 드립니다. 시간이 오래 걸리는 문제는 모델 사이즈가 큰 것도 문제지만 인프라와 관련이 있습니다. 시간의 문제와 품질의 문제는 별개로 놓고 답변 시간을 줄이려면 더 많은 GPU 자원을, 품질은 한국어 파인튜닝된 모델로 테스트해보시는 것을 추천 드립니다.

RAG 에 적요하는 모델의 입력으로 들어가는 context length 가 길어야 효과적입니다. context length 가 어느정도 되는 모델을 한 번 써보세요~^^

@@teddynote 감사합니다. 다시 해보겠습니다.

늘 응원해 주셔서 감사합니다!!

네 삭제하셔도 됩니다~

모델 파일을 올라마 저장소에 따로 저장하게 됩니다(숨김폴더 내)

@@teddynote 감사합니다. ^^

오우 빠르시네요 ㅎㅎ 저도 궁금한게 있는데요. 옵시디언 copilot 에 올라마 붙여서 사용하고 있는데요. vaultQA 답변 품질이 좀 아쉬운데 혹시 코드로 문서 검색하는 로직을 수정하는 것도 가능한가요?

@@teddynote 흠... 그건 플러그인 main.js 파일을 수정해야할 듯 한데요

@@brain.trinity 플러그인의 main.js 파일을 수정할 수 있나 보군요~ 감사합니다. 수정해서 커스텀해서 사용해 봐야겠네요! 답변 감사합니다!

다시 해보니까 들어가지네요

오늘 일시적 오류가 있었다고 하더라구요 ㅜ

🙏🙏🙏

🙌🙌🙌

넵! Apple M3 Max칩(16코어 CPU, 40코어 GPU, 16코어 Neural Engine) 64GB 통합 메모리 2TB SSD 저장 장치

GPU 사용할 때 엔비디아 계열 GPU 만 사용 가능합니다! 그리고 엔비디아 계열 GPU 가 있다면 CUDA 가 설치 되어 있어야 하구요! CUDA 설치가 복잡하긴 한데 구글 검색 해보시면 CUDA 설치 가이드 있는데요 한 번 따라해 보시고 잘 안되면 댓글 남겨주세요^^

저는 GPU에서 잘 동작 합니다. RTX4090 8GB 먹네요. OLLAMA가 이제는 AMD GPU에서도 지원이 된다고 하는것 같구요. +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.171.04 Driver Version: 535.171.04 CUDA Version: 12.2 | |-----------------------------------------+----------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA GeForce RTX 4090 Off | 00000000:01:00.0 Off | Off | | 0% 42C P8 28W / 450W | 8901MiB / 24564MiB | 0% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================| | 0 N/A N/A 1278 G /usr/lib/xorg/Xorg 56MiB | | 0 N/A N/A 1616 G /usr/bin/gnome-shell 12MiB | | 0 N/A N/A 81097 C ...unners/cuda_v11/ollama_llama_server 8816MiB | +---------------------------------------------------------------------------------------+ (base) gpt@SeoulTech4090:~$

감사합니다^^

🙏✌️👌👋🙌

음~ 제가 사용한 llama3는 텍스트만 합니다~ 이미지 생성 모델이 따로 있는지는 모르겠어요~

양자화 모델은 A100으로도 돌릴 수 있다고 하더라구요~^^ 양자화 아닌 모델은 저도 돌려볼 생각조차 안해서 잘 모르겠습니다 ㅎㅎ

4비트 양자화까지 내리면 4090 2GPU로 가능할겁니다

오우 충분히 가능합니다~^^ 번역은 이제 그렇게 어려운 task 가 아닌게 되었습니다!

@@teddynote 올려주신 올라마 파일같은 경우에는 이미 올라와 있는 정보들을 정리한 파일인가요? 아니면 직접 만드신건가요??

@@user-bf8nq3xt7t 업로드 되어 있는 파일을 내려받아 로드하였습니다. 직접 만드는 것도 가능해요!

예 맞습니다 로컬 환경입니다~

파운데이션 모델은 기틀이 되는 모델이고 방대한 데이터셋을 학습한 모델입니다. 파운데이션 모델은 사용자가 원하는 용도나 목적에 맞게 비로소 미세 조정되거나, 문맥 내 학습 등과 같은 과정을 거치게 됩니다. Llama3 8B 로 추론했습니다. GPT4 가 성능이 좋은 것은 사실입니다. 그래서 비싼 과금을 받을 수도 있는 것이고요. 만약 성능이 좋지 못하면 굳이 비싼 돈을 내면서 사용할 이유가 없겠죠. 성능 외에도 호스팅하지 않고 API 방식으로 언제 어디서나 손쉽게 호출할 수 있다는 장점도 있습니다.

@@teddynote 답변감사합니다.

M1 이상이면 가능합니다!

양자화 모델은 Q4~ Q5 정도면 무난하게 돌아갑니다!

감사합니다😉

윈도우도 됩니다~^^

​@@teddynote Modelfile: The system cannot find the file specified. 뭐가 잘못됬는지 모르겠네요.

질문을 어떻게 하느냐에 따라 답변이 제대로 안나올 수도 있습니다. 그리고 또 중요한 것은 Template 입니다. 이 두가지가 보통은 중요한데, 그럼에도 양자화 모델은 제대로 안나올 수도 있습니다. 간혹 제대로 안나온다면 그건 모델의 문제일 수 있고요 매번 제대로 안나오면 템플릿 설정을 보시는 것이 좋습니다. GPU 와는 무관합니다

@@teddynote 선생님이 올려주신 걸 그대로 따라했어요 질문도 똑같이 했어요 그런데도 결과가 다르게 나와서 당황스럽군요

ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-bANQk--Maxs.html 이 영상을 참고해 주세요~ EEVE 모델 대신 Llama3 모델을 검색하여 다운로드 받아서 진행하시면 됩니다~

아쉽게도 그건 ❌ 안됩니다😭

@@teddynote 궁금해서 그러는데, 왜 안되는건가요? Llama3가 기능을 제공하지 않는건가요? 아니면 7B 모델에서는 안되는 건가요?

@@mingyukang6592 80B 모델에서는 될 수 있도록 외장 라이브러리를 설치하여 진행할 수 있다고 합니다. 저희가 활용하는 8B에서는 아직 지원을 안하는 것 같아요. 추후에는 지원할 수도 있어보입니다~

제가 잘못된 정보를 드린 것 같아. 정정 댓글 남깁니다.. 저도 궁금하여 찾아보니 8B 모델도 Agent 를 만든 사례가 있습니다. openai_functions 로 래핑하여 호출 하더라고요~ 관련 영상 링크도 같이 첨부해 놓겠습니다. 혼란을 드려 죄송합니다. ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-p5O-_AiKD_Q.html

네 가능할 것 같은데요~ 혹시 Q8 이 안될 것 같으면 Q5나 Q4 모델로 선택하시면 충분히 가능할 것 같아요~

@@teddynote 답변 감사합니다 내일 한번 도전해봐야겠네요 ㅎㅎ

@@teddynote 라마3와 랭체인을 이용한 프로덕트를 만들수도 있을거 같은데 테디노트님께서 랭체인 위키독스를 제공해주시더라고요. openai기준으로 만드신거같은데 라마3도 비슷하게 적용할 수 있을까요?

@@sdfasdfsdfds 기 작성된 코드에 llm 부분만 변경하면 손쉽게 적용 가능합니다~

Error: pull model manifest: file does not exist 에러가 뜨는데 어떻게 해야될까요??

어떤 부분이 안되세요?

​@@teddynote 처음하니 많이 어렵네요 ^^ 여기 영상의 11분까지는 처음부터 다시 하라는데로 해서 되었습니다 12분에 나오는 example 폴더의 올라마테스트 파일을 메모장으로 열었는데요 12:00분 이후에 하시는 것들을 할수가 없더라구요 제 그래픽카드가 rx5700xt인데 ai용 그래픽카드로 엔비디아 vs 라데온 중에 어떤거 추천하시나요??

@@user-cf9zi2gp2s AI 용 그래픽카드는 선택의 여지가 없습니다 ㅜ NVidia 계열 그래픽 카드 외에는 동작하지 않는다고 생각하시면 됩니다. 따라서 구매를 하신다면 무조건 NVidia 계열의 그래픽을 구매하셔야 합니다. RTX 30xx, VRAM 크면 클수록 좋습니다. 돈 더 여유되시면 A100 이라는 옵션도 있어요!

@@teddynote 컴퓨터 조립과 게임만 할줄 아는데 최근에 ai쪽에 관심이 생기더라구요 그래픽카드는 엔비디아로 알아봐야겠습니다 알려주셔서 감사합니다