LoRAの作り方(2023年11月版)【Stable Diffusion 初心者】 

ありがとうございます｡そして画質と学習時間を追い込むところに沼がありそうな予感ですね...｡

ありがとうございます！ かなり短縮してるので他の方のLoRA動画も見ていただくと一層理解が上がるかもです｡

ありがとうございます｡しかし家のパソコンでこういう学習とかができるってのがやっぱり驚きです｡

ありがとうございます！ 便利なツールを提供してくれるひとがいてホント感謝です｡よいLoRAがたくさん出てくるといいですね！

何やらお役に立てて嬉しいです✨これからも自分がハマったところは動画に入れていきます！

ありがとうございます｡よいLoRAが出るといいですね～

ありがとうございます✨

ありがとうございます✨ LoRA学習ができたら*.safetensorsというファイルが生成されます｡ このファイルを､ \webui\models\Lora においてforgeを起動し､プロンプトの中に みたいに書いて使えます(1はウェイトです)｡ モデルの区分があって､SD1.5にはSD1.5用のLoRAが､SDXLにはSDXL用のLoRAが必要です｡ これでいけそうですかね...

@@dartois_tv 迅速な回答、ありがとうございます。 まだ、そこまで到達していなくて、世々を楽しんでいます。個人的にはforgeの方が使い勝手がよくて好きですw いま、ウェイトを試して、何がどれぐらい変わるか、色入れやっていますw

上手くいったときは嬉しいですよね,良かったです✨

エレがビビるとお姉ちゃんは大胆になるときがありますねー

いましがた新規でgitから落としてやってみましたが､いけちゃいますね...｡ バージョンは｢python: 3.10.9  •  torch: 2.3.1+cpu  •  gradio: 4.28.3  •  commit: ce3d1933｣(torchがCPU動作になってますが💦)です｡ なんでしょうね...

@@dartois_tv さんへ ご返信ありがとうございます。 言っていることがよく分かりません。これは｢python: 3.10.9  •  torch: 2.3.1+cpu  •  gradio: 4.28.3  •  commit: ce3d1933｣どうやってやるんですか?

@@青井亮太 Dataset Tag Editorの画面の一番下に小さい字で出てます｡ ここに､左からPythonのバージョン､Torch(機械学習ライブラリ)のバージョン､Gradio(GUI)のバージョン､Gitのコミット番号(の一部)...が出ています｡

詳細はまだわかってませんが､確かに画像だけ表示されない(枠だけ出る)現象を確認できました｡これは､どういう条件でこうなるのか... もっと調べないとですね...💦

なぜ画像へのアクセス制限がかかるのかは不明ですが...参照する画像へのアクセス権を指定すると表示されるようになりました｡ 具体的には､ Settingタブへ移って､Path whitelist to show images in gallery (for local use). Split paths by comma and space (, )の下のテキストボックスに､許可するドライブ名を書きます｡ Dドライブ全部を許可するなら｢D:\｣です｡Save Settingsを押して保存､dataset tag editorを再起動すればOKです｡

この学習で最初に絵を出したときは､びっくりしました😲 ただ手とか表情とかは､いっつもコレが出てくるのでいろんな表情とか横顔とかはある程度必要みたいです｡

LoRA作成おめでとうございます！無限沼に踏み入れてしまいましたね｡ 焼き加減の調整は...ほんと沼ですねー｡自分もまだつかめていないので日々テストしてます...｡

ありがとうございます､40時間！！コレは良いLoRAが出そうですねー｡

標準で付いているのはTextual Inversionを学習する機能で､自分の解釈でいくと...これはテキストエンコーダーでプロンプトからそれに合う画像を紐づけるルートを強引に変更する差分を学習するんだと思います｡なので元のCheckpointが持っていない絵は出ない気がします｡ LoRAは実際にU-Netの各階層で絵を生成する絵の差分を学習して適用できるので､オリジナルの絵を適用するのに向いている...じゃないかと思います！ なんかこのあたりはちょっと難しいですね💦

なんでしょうね💧 学習に使っているcheckpointのロードに失敗している､checkpointとLoRAの種類が違っている(SD1.5とSDXLなど)､学習に使っているフォルダパスに全角文字がある...いろいろ可能性はありそうですね｡

ご指摘ありがとうございます｡Windows環境でこれが出ることは普通にありそうです...(自分の環境がたまたま出てなかったかも)｡ コミュニティの投稿でbitsandbytesの0.35.0を入れる方法を載せました｡こちらを試してみてください！ www.youtube.com/@dartois_tv/community

@@dartois_tv 早急に解決策をありがとうございます！ 問題なく進むことができました！ Windows環境のせいで少し止まってしまいましたが、動画内の説明などは完璧で止まることなく最後まで進めました…！ ありがとうございます😭

@@user-wk3wb2mi8e うまくいって良かったです✨

ありがとうございます｡ 正しい手順は...Edit Caption od Selected Imagesに切り替えてから画像を選択､でしたね｡動画では｢動画を選択する｣のが抜けてました💦 これでキーワードは出ますでしょうか...

​@@dartois_tv こちらこそありがとうございます!! 無事lora作成することができました♪ めちゃくちゃ丁寧な動画で本当に助かりました!!

Import error: cannot import name ‘set_documentation_group’ from ‘gradio_client.documentation` と出てるのでこれが原因かもしれません、、

www.reddit.com/r/StableDiffusion/comments/1akriw5/error_in_kohya_ss_script/ ここにgradio関連で同じようなエラーの方がいるようです｡ ｢pipでgradioのバージョンを0.8.1にする｣ようですがこれで直るかはわかりません...｡ kohya_ss\venv フォルダでコマンドプロンプトを開いて､ scripts\activate で(venv)を有効にして､ pip install gradio_client==0.8.1 です｡

@@dartois_tv 返信ありがとうございます！ちょっと難しかったので最初からやり直したら解決しました！ありがどうございます🙇

@@Shinomuu222 何はともあれ直りましたね､良かったです✨

@@dartois_tv 初めまして。こんにちは。 私も同じくgui.batが開いて一瞬で消えてしまい、そこから次に進めません。 「で(venv)を有効にして､」というのは具体的にどうすれば有効になるかお教えいただけませんでしょうか？

Python3.10.9とKohya's GUI v23.0.15を入れてみました｡ ガッツリUIが変わってますねー､解説動画泣かせ～💦 Pretrained model name or path が元モデルを指定するUIの名前になっています｡ フォルダアイコンを押すとモデルがあるフォルダを指定できて､その後このリストの中からモデルを選ぶという方式です(わかりにくい操作になった...💦) その他も微妙に変わっていて...動画を見ながらだと迷うかもですね｡

@@dartois_tv ありがとうございます! やっぱりバージョンが変わって変更されてるんですね… 他の箇所は動画の項目があったのですが、トレーニングがうまく始まりません…

@@nonno5009 まだあまり詳しくいじってませんが､エラーも丁寧に出るようになっていた気がします｡ 止まってるときはコマンドプロンプトに出ているメッセージを見れば何かわかるかもです｡

今やってみましたがPythonを3.10.9に上げると通ると思います｡ Stable Diffusion AUTOMATIC1111 WebUIは3.10.9で動作しているので､Pythonを上げてからKohya's GUIをセットアップすると良いかなと思います｡ また1で初期セットアップしたあと自動でパラメータ設定に行かなくなっているので､5. (Optional) Manually configure Accelerateで設定に進む必要があります｡

返信ありがとうございます。最新のバージョンに入れてしてますが、エラーが出ていてkohyaのインストールが出来ないみたいな感じです。

左下ウインドウズアイコン押下､検索ボックスにcmdと入れてEneterで､コマンドプロンプトが出ます｡ここで､ python -V を実行するとバージョン名が出ます(Vは大文字)｡ これが3.10.9であればシステムに入っているPythonは3.10.9です｡ Stable Diffusionを実行したときの､コマンドプロンプトの2行目にもバージョンが出ます｡ これが3.10.9であればStable Diffusion AUTOMATIC1111 WebUIのvenvも大丈夫です｡ さて､この状態でKohya's GUIをインストールすればいけると思うのですが､エラーには何と出ていますか(Pythonのエラーは最後に出たものから見ていきます｡最後のエラーが他のエラーを引き起こしています｡)

お世話になっております。時間取れたので設定しなおしたりしたら、やっとできました。lolaの作成もできました。それで順調に行っていましたが、lolaを作成していると作成したsafetensorsの容量が毎回2082668KBになり、うまく作成ができなくなりました。　dataset-tag-editor-standaloneの画像のタグ付けはできますが、画像は表示されず何かおかしいのかなと思ったりしています。

@@JAGUAR-xt4zg safetensorsのファイルサイズは､Parametersの中のNetwork Rank (Dimension)とNetwork Alphaで決まると思います(たぶん...)｡ 128と64でやって､SDで72.1MB､SDXLで870MBぐらいです｡

jsonが出る前には､コマンドプロンプトで生成画面(進捗バーが何本も伸びてstepのカウントがされる)は出ていますか...? 出ていれば生成はされているので保存に失敗していそうです｡保存先指定のパスやファイル名が正しいか確認してください｡ 生成が動いていなければ...いろいろ原因がありそうです｡

新しいほうの動画で ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-aBtemSqRH6M.html でツールに画像を表示させるためのパスの設定の操作を紹介しています｡ これで画像が表示されるか確認お願いします！ (それでも見えないときですが...たぶん画像は[x]のままでもキャプション付けはできます｡絵が見えないので何ともですが...)

@@dartois_tv バージョンの違いがあり、完璧にインストールできたわけではありませんが、やり直したらできました。ありがとうございます

@@jmaster1335 とりあえず進めて良かったです✨ この画像が出ない原因､実はまだ全貌を掴めてないのです💦

うーん､これは...何でしょうね... とりあえずパスに日本語文字やスペースを入れてロードしてみましたがロードできますね｡ jpeg画像だとどうなりますか? また､ロードがうまくいかないとき､コマンドプロンプトに何かエラーのようは表示はありませんか...?

いけますよー｡ 学習させる画像が実写だったら実写系のLoRAになります｡ 学習時に使うcheckpointは､BracingEvoMixなど実写系モデルを使って下さい｡ ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-2If_SXXBRgM.html こっちの動画では､実写系LoRAを作っています｡

V23のUI...これ結構変わっちゃってますね｡ かつレイアウトもなんかバグったみたいに崩れてるので💦バージョンまた上がるんじゃないかと様子を見てたりします...｡ タイミングみて作ってみます｡

Stable Diffusionが動かせていれば大丈夫じゃないかと思います｡ 少ないVRAMで動かすとメインメモリ側を使い始めますが､ここで格っ段に速度が落ちます💦 そしてメインメモリも足りなくなったらたぶんエラーで止まります💦💦

@@dartois_tv お返事ありがとうございます。 スペックが足りず、Google colaboratoryで起動するところまでは漕ぎ着けました。 ありがとうございます。

自分のイメージだと...Reference=弱､IP-Adapter=中､LoRA=強なのですが､元絵をブッ壊さず学習した絵が良く出るLoRAを作る加減が難しい印象です｡でもCIVITAIにはよく学習されたLoRAもありますねー

どうもこれが出ることが普通にあるようです｡ 少し前のコミュニティの投稿でbitsandbytesの0.35.0を入れる方法を載せています｡こちらを試してみてください！ www.youtube.com/@dartois_tv/community (特定の投稿へのリンクが作れない...💦)

@@dartois_tv 返信ありがとうございます。 無事作動しました！！ 丁寧な解説誠にありがとうございました！😊

コンソールの文字の中に Total steps: 100 Train batch size: 1 Gradient accumulation steps: 1 Epoch: 20 Regulatization factor: 1 max_train_steps (100 / 1 / 1 * 20 * 1) = 2000 こういった部分があるんじゃないかと思います｡ ここで何かの数字が高くなっていませんか...? (100枚の画像×20エポックで2000ステップの表示↑)

@@dartois_tv Folder : 87 images found Folder : 7569 steps （↑フォルダー名省略） そのままTotal stepsは7569になっています Epochは7です どうしてこんなにstepsが多くなっているのでしょうか💦

@@dartois_tv すみません、私の勘違いでフォルダの名前に大きい数字を書いてしまっていました(-_-;) 素早いレスポンスありがとうございました。 動画繰り返し見させていただいています。 わかりやすい動画をありがとうございます。助かっています。

何はともあれ直って良かったです✨

何かが起こってますね... install.batをテキストエディタで開いて1行目の@echo offをREM @echo offとして､最後の行pip install -r requirements.txtのさらに下に@pauseを追記して保存､そしてinstall.bat実行するとエラーが見えるかもです...｡

うまくいきました！ありがとうごいます

子フォルダを指定せずに親フォルダを指定しているとLoading Completed: 0 images foundとなったりしますが...そこは大丈夫でしょうか...? あとは､全角文字､機種依存文字やスペースなどがパスやファイル名に含まれていても読み込みに失敗するかもしれません｡

⁠​⁠@@dartois_tvさんと同じファイル名にしたので文字関係ではないと思います。ファイルもちゃんと子ファイルの名前になってます...

なんとか開けるようにはなりました！！ が、次はgui.batがコマンド画面になった瞬間閉じてしまいます...

これは...状況的にいろいろありすぎてわからないですね... gui.batを直接開くのではなく､setup.batを実行してメニューを表示､6を選択して起動しても同じ症状になるでしょうか...

@@dartois_tv No module named torchって表示されて進めないです

いつもありがとうございます｡ 状況をちゃんと理解できていないかもですが｢ポーズを変える｣は2回に分けて､①別ポーズの絵を新規で作る(ポーズと衣装重視)→②インペイントで顔だけ指定してIP-Adapterで顔を移植...というのはどうでしょうか...

@@dartois_tv アドバイスありがとうございます！、試してみます✌

ありがとうございます✨ 公式見ると...Pythonは3.10.11､CUDAは11.8となってるので､今のKohya's GUIだとこれを推奨していると思います｡

@@dartois_tv みたいですね。readmeだと6のままだったのでｗ stablediffusion は6なので統一したいですｗわざわざ返信ありがとうございますm(_ _)m

setup.batの初期インストールが成功しているとして､試しに､エクスプローラでkohya_ssフォルダを開いて､パス欄にcmdと入力してEnterしてコマンドプロンプトを起動､venv\scripts\activateと入力してEnter(venvモードになる)､python .\setup\setup_windows.py入力してEnterとするとどうなるでしょうか(手動でメニューを起動するということです)｡

おねいちゃん、ありがとう。こんなエラーが出たよ。 Fatal Python error: init_import_site: Failed to import the site module Python runtime state: initialized Traceback (most recent call last): File "C:\Users\bzl20\AppData\Local\Programs\Python\Python310\lib\site.py", line 617, in main() File "C:\Users\bzl20\AppData\Local\Programs\Python\Python310\lib\site.py", line 600, in main known_paths = venv(known_paths) File "C:\Users\bzl20\AppData\Local\Programs\Python\Python310\lib\site.py", line 532, in venv addsitepackages(known_paths, [sys.prefix]) File "C:\Users\bzl20\AppData\Local\Programs\Python\Python310\lib\site.py", line 387, in addsitepackages addsitedir(sitedir, known_paths) File "C:\Users\bzl20\AppData\Local\Programs\Python\Python310\lib\site.py", line 226, in addsitedir addpackage(sitedir, name, known_paths) File "C:\Users\bzl20\AppData\Local\Programs\Python\Python310\lib\site.py", line 179, in addpackage for n, line in enumerate(f): UnicodeDecodeError: 'cp932' codec can't decode byte 0x88 in position 16: illegal multibyte sequence

超初心者向けのStable Diffusionの使い方という記事で、Pythonの推奨バージョンは3.10.9とのことでしたが、古いのかな。新しいとAutomatic1111が動かないかもとそこに書いてあったのですが。

@@Fallout-hr1rx わからないですね｡ エラーでクリティカルなのは｢UnicodeDecodeError: 'cp932' codec can't decode｣ここみたいですね｡cp932ってのはたぶんShift_JIS系の文字コードなので｢文字読めません: 'Shift_JIS'の日本語文字は読めん｣って言ってるようです｡ でも本当にsite.pyに日本語文字が使われているとも思えないし...何か別のところに原因ありそうですね｡ インストールされているパスに日本語文字とか全角記号がある...? ちなみに自分のPythonのバージョンは3.10.6ですが特に問題はありません｡

@@dartois_tv さん。ご返信ありがとうございます。私のようなど素人は、偶然いいものが出来ればいいということで満足します。別の動画でラーメンを食べさせられないというのがありましたが、バイクにも乗せられないし、CAさんは古臭い制服で登場するし、ナースは必ず赤十字の古臭い帽子をかぶってるし、自分が思ったものを作ろうとすると途端にできなくなりますね。ただ数年後はどうなっているか分かりませんが。動画も簡単に出来そうですね。

これは困りましたね...コンソールに何かエラーとか出てないですかね...｡

@@dartois_tv PyTorch の所が cpu　になっているんですけど関係ありますか？

​@@まっつ-z8f ​Stable Diffusion AUTOMATIC1111 WebUIはGPUで動く環境ですよね｡ dataset tageditorが動かない原因かどうかはわかりませんがCPUで動作しているのは何とかしないとですね｡ CUDAとPyTorchがあやしいように思います｡ github.com/toshiaki1729/dataset-tag-editor-standalone?tab=readme-ov-file#trouble-shooting ここにいちおうトラブルシューティングがありますが...💦

@@dartois_tv CUDAとPyTorchを入れなおしたら今度setupが開かなくなりましたw

@@まっつ-z8f 上手くいきませんね｡どうにもこうにも進まなくなったらvenvフォルダを削除してから再セットアップというのもありですね｡リセットされて良いのですがいろいろもう一度やり直しです💦