🔥 

항상 좋은 영상 만들어주셔서 많은 도움 받고 있습니다 테디님 ㅎㅎ 저를 비롯하여 다른 구독자 분들을 위하여 Timestamp 생성해보았으니 참고하세요:) ⏰ Timestamp 00:00 파인튜닝 소개 00:07 오늘의 예제: 문서 기반 질의응답 모델 01:00 파인튜닝 프로세스 설명 01:25 문서 기반 질의응답 모델 생성 과정 02:00 데이터셋의 중요성 03:00 QA Pair 데이터셋 저장 방식: 로컬 & 허깅페이스 허브 03:35 모델 튜닝: 베이스 모델 + LoRA/QLoRA 어댑터 04:44 파인튜닝 완료된 모델 저장 & 변환 05:00 실제 파인튜닝된 모델 예시: TeddyNote 05:55 데이터셋 생성 코드 설명 07:17 JSONL 형식으로 데이터셋 저장 07:30 허깅페이스 데이터셋 라이브러리 활용 07:46 데이터셋 업로드 준비 08:20 토큰 발급 08:50 파인튜닝 코드 설명 09:20 언슬로스(Unsloth) 소개 10:10 베이스 모델 선택: 라마 3 Open Ko 8B 11:09 파인튜닝 실행 12:14 추론 실행 13:00 모델 저장 13:50 허깅페이스 허브에 업로드 14:00 GGUF 파일 형식 변환 15:20 LM Studio에서 모델 활용 16:00 테스트 질문 16:40 파인튜닝 실습 요약 17:00 파인튜닝 주의사항 17:30 마무리

좋은 내용 공유해 주셔서 감사합니다.

소중한 지식 공유 감사합니다

강의 잘 들었습니다. 감사합니다.

감사합니다 ^^

LoRA 막연히 부담스러운 작업일거라 생각했는데.. 와. 너무 좋은 강의 였습니다~

한달동안 gguf 변환때문에 해맸는데.. 너무 감사합니다!!❤❤

감사합니다.

aya를 ollama에 올려 보려고 구했던 gguf가 ollama에 올릴때 계속 오류가 나서 사용을 못해보고있었는데, 이 방법으로 직접 변경해봐야겠네요~~^^ 항상 감사합니다~:)

소중한 강의 감사 합니다. 이번 강의는 gpu vram이 얼마나 필요 하나요?

테디노트님 항상 좋은 강의 감사합니다. 테디노트님 따라서 gguf 변환까지 잘 따라해보았습니다. 변환된 모델을 gguf로 ollama 에 올리려니까 template을 어떻게 해야 할지 모르겠더라구요. (llama3 공식 template으로 하니 잘 안되더라구요!) 혹시 gguf 변환된 파일을 ollama 에 올릴 때 template을 어떻게 하면 좋을지 아시는 분 계실까요?

좋은 영상 감사합니다! 그런데 혹시 torch를 사용하시는 이유가 있으실까요? 초보적인 질문인 것 같긴 한데 다른 파인튜닝 영상들도 대부분 torch를 사용하는 것 같아서 질문드립니다.

안녕하세요! 영상을 보면서 궁금한 부분이 있어서 질문드립니다. 11:34 에서 instruction, output은 매핑은 하지만 input에 값을 넣을 경우에는 어떤 방식으로 진행해야 하나요? alphacaprompt에는 instruction, response 이렇게만 있는데 Context를 추가하는 방법으로 진행하나요..?

맥에서 cuda가 아니더라도 mps로 pytorch 가 되던데 뭔가 파인튜닝에서 mps로 할려하면호환성문제인지 에러코드가 우수수 뜨던데 혹시 방법이 없나요? m4도 나오고 통합메모리라 32gb 모델쓰면 그래픽에서도 좋은성능 나올거같아서 휴대용 중에선 괜찮다 생각해서 맥으로 준비하고 있습니다

가지고 있는 문서에서 질문과 답변을 생성해 파인튜닝을 진행해 보려고 하는데 가지고 있는 문서의 언어 비율이 영어 70% 한국어 30%일 때라면 한국어로 파인튜닝된 모델을 사용하는 게 맞을까요?

안녕하세요 해당 영상보면서 파인튜닝 공부중인데 질문이있어서 댓글 남깁니다. 원하는 데이터셋을 기반으로 베이스 모델과 병합하여 파인튜닝 모델을 생성하게 되면, 답변이 학습시킨 데이터에 많이 치우친 대답을 하게됩니다. 기존 베이스 모델로 테스트 해봤을때 정상적으로 하던 답변도 파인튜닝 후에는 제가 학습시킨 데이터와 관련된 대답만 하게됩니다.. 제가 기대했던 파인튜닝 결과물은 기존 베이스 모델이 가지고있던 데이터 + 일부 내가 학습시킨 데이터 인데, 제가 잘못이해하고 있었던건지 영상속 방법으로는 제가 학습시킨 데이터에 치우친 결과물만 낼 수 있는건지 .. 아니면 제가 파인튜닝을 잘못한건지.... 답변이 가능할까요...

테디노트 영상들을 로컬로 실행하려면 어느정도 사양이 되어야 하나요?

경록님 좋은 강의 감사합니다. 항상 잘 보고 있습니다 :) 혹시 하나 질문해도 될까요? GPT가 파인튜닝할때, 내부적으로 다음 토큰을 예측하면서 학습을 한다고 알고 있습니다. 그렇다면 사용하신 알파카 프롬프트에서 ###Instruction 부분의 가장 첫 토큰부터 차례대로 예측하며 학습을 하는 것인가요? 아니면 ### Instruction 까지는 한꺼번에 input으로 넣고, ### Response 부분의 첫 토큰부터 차례대로 예측하며 학습을 하는 것일까요? 만약 후자라면, 사용하신 베이스 모델(ex. Llama 3)이 어디까지가 Instruction이고, 어디서부터가 Response인지 알아야 된다고 생각합니다. 즉, 각 베이스 모델에 맞는 특정한 프롬프트가 존재하는 것인가요? 감사합니다.

안녕하세요! 항상 양질의 지식 감사합니다. 제가 flash-attn 설치에 애를 먹고 있는데 혹시 window 로컬에서 해당 개발 환경을 구축해보신 경험이 있으신가요?

안녕하세요 해당 모델을 ollama 에 올리기 위해서 사용해야할 Modelfile 은 어떤걸 참고하면 될까요?

16:07 부분에서 지금까지 학습및 베이스모델이 전부 라마3인데 프리셋을 알파카로 해야하는 이유가 무엇인가요?? 설명도 알파카로 사용하셔야 한다고 하시는데,.

안녕하세요 지나가는 그냥 직장인입니다. 제가 비슷한 생각으로 Gpts를 만들고 회사 보고규정, 보고서샘플, 매뉴얼 등을 pdf로 업로드시키고 업로드된 파일에 근거해서 답변하라고 했는데 할루지네이션도 많고 보고양식에 맞지않게 대답할때도많고 출처를 물어보니 엉뚱한페이지를 대답하는경우도 있더라구요 그래서 포기하고있었는데 이 방식은 저같이 비개발자도 접근이가능할까요?

Colab에서 파인튜닝 중에 모델 훈련하기 > SFTTrainer 사용 구간에서 아래에러가 발생하는데 원인과 해결방법 알 수 있을까요..ㅠㅠ -> NotImplementedError: Cannot copy out of meta tensor; no data! Please use torch.nn.Module.to_empty() instead of torch.nn.Module.to() when moving module from meta to a different device.

RAG랑 파인 튜닝 중에 각각 어떤 상황에서 쓰는게 더 좋은 방향일까욤?

다른 건 다 잘 되는데 (merge 한 후에 다시 로딩, gguf 파일 저장 후 ollma에서 사용 등은 잘됩니다.) , Lora adaptor 만 저장한 후에 다시 로딩하여 실행할 때 여러가지 문제가 생기는데 혹시 동작하는 코드를 공유해 줄 수 있을까요? 사용한 코드는 우선 저장은 로컬에 다음과 같이 하였구요. adaptor_model_path = "llama-3-8b-lora" peft_model.save_pretrained(adaptor_model_path) 이후에 다시 두가지 방식으로 로딩을 했습니다. 두 가지다 문제를 발생합니다. from peft import PeftConfig, PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer if True: base_model = AutoModelForCausalLM.from_pretrained(base_model_name) # not working when generated peft_model = PeftModel.from_pretrained(base_model, adaptor_model_path) else: from peft import AutoPeftModelForCausalLM peft_model = AutoPeftModelForCausalLM.from_pretrained(adaptor_model_path, load_in_4bit=True) # 4bit needed for GPU VRAM 그리고 나서 제공한 코드를 함수화 하여 테스트 합니다. test(alpaca_prompt, peft_model, tokenizer)그 이 두 가지 경우 모두 다음 에러가 발생하고 auto-gptq 는 0.4.2 로 업데이트 했구요 결과는 마찬가지 입니다. File "/home/gpt/anaconda3/envs/text2sql/lib/python3.11/site-packages/unsloth/models/llama.py", line 309, in LlamaAttention_fast_forward Q, K, V = self.apply_qkv(self, hidden_states) ^^^^^^^^^^^^^^ File "/home/gpt/anaconda3/envs/text2sql/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1695, in __getattr__ raise AttributeError(f"'{type(self).__name__}' object has no attribute '{name}'") AttributeError: 'LlamaSdpaAttention' object has no attribute 'apply_qkv' ''' 좀 특이한 점은 첫번째 방법의 경우 base_model을 이전에 로딩했던 것을 그대로 사용하면 동작을 하는데. 이게건 사실상 사용할 수없는 시나리오기 때문에 의미가 없구요. 동일하게 다시 로딩을 해봐도 문제가 발생하는 것을 보면 peft_model = FastLanguageModel.get_peft_model 를 하면서 모델에 base model 자체에/에도 변화를 주는 것으로 보이는데. 이건 소스코드를 봐야 알 것 같네요.

QA데이터를 만드는 과정에서 문서를 불러오는 부분은 어디에 있는건가요?? 그리고 elements가 어디에 정의돼있는지 모르겠어요 ㅠ

안녕하세요 테디님 테디님 유튜브 영상 잘 보고 있습니다. 다름이 아니라 테디님 github에서 파인튜닝 하는 코드로 개인 커스텀 데이터셋을 파인튜닝했는데 결 학습시킨 데이터로 결과가 나오진 않는데...혹시 파인튜닝을 여러번 해야하는 걸까요?

데이터셋 생성시 instruction, input, output구조로 생성하시는데 input이 비어있네요 input의 역할은 뭘까요?

안녕하세요 영상보며 따라하고 있는데 ImportError Traceback (most recent call last) Cell In[11], line 1 ----> 1 from unsloth import FastLanguageModel 부분에서 계속 에러가 발생합니다 unsloth 설치가 안되는거 같은데 cuda: 12.1 python: 3.9.0 torch: 2.2.0+cu121 사용 환경에서 unsloth를 어떻게 설치해야 하나요?

EEVE 대신 범이님꺼 쓰신 이유가 있으실까용?

A few comments in following the code. 1. an error with mismatch of peft version and unsloth, please give us the versions for the packages. ( I manually sloved the issues. No module named 'peft.tuners.lora.layer'; 'peft.tuners.lora' is not a package) (my system uses unsloth 2.0 and peft 0.5.0) 2. model name should be full path (model_name = "unsloth/llama-3-8b-bnb-4bit", not model_name="llama-3-8b-bnb-4bit")

많은 도움을 받고 있습니다. 좋은 영상 감사합니다. 올려주신 소스 코드 실행 중 에러가 발생하는데 해결책에 조언을 구합니다. 파인튜닝 코드 실행 중 trainer_stats = trainer.train() 에서 나는 에러입니다. Unsloth: Untrained tokens found, but embed_tokens & lm_head not trainable, causing NaNs. 실행환경은 Colab pro. GPU는 L4 할당받아 실행해 보았습니다. 도움 부탁 드립니다.