[改訂]LoRAの作り方(2024年6月版) Stable Diffusion 

ありがとうございます✨ 次はFLUX.1のLoRAですかね...💧

ありがとうございます｡ Kohya's GUIがあまりに変わってしまっていて混乱を招かないよう作り直してみました✨

上手くできて良かったです✨ LoRA使えるようになるとまた面白くなりますねー

ありがとうございます✨

おめでとうございます✨ 1回通ちゃえば...あとは調整ですね(この調整がまた沼なのですが💧)

情報ありがとうございます✨ たしかに...自分の環境でも 0.111.0 で動かしていました｡ fastapi 0.111.0 fastapi-cli 0.0.4

解決しました。@lime9222さん、@dartois_tvさんありがとうございました！

ざす子さんありがとうございます✨ もっとラクちんに生きていたいのに､なかなかそうはいかない...💦

AI系のツールはPythonむき出しのツールが多くファイルパスの問題は気を付けてても出ますね｡ エラー処理も書かれていないものが多いので､ガチのPythonエラーで終わってしまう💧

なんでしょうね... 127.0.0.1:7860 への接続ができていない場合はそれが原因かと思います｡ 他のツール(Stable Diffusionなど127.0.0.1:7860を使うツール)は表示できて使えていますか? loadボタンが出てるということは127.0.0.1:7860へアクセスできてるってことですよね...💧

@@dartois_tv 自分も同じエラーが出てしまいます。　 DドライブがないのでファイルはCドライブに入れてますがそれが原因でしょうか？

症状と原因が同じかはわかりませんが... Cドライブに入れるときは､デスクトップとかドキュメントとか､Windowsが用意しているフォルダだとうまくいかないかもです｡ Cドライブ直下にtoolフォルダを作って､その中にツールを置いてみてはどうでしょう｡

ときどきこの報告があります｡ エラー的には print_color というパッケージが無いってことなので､print_color をインストールすると直るかもです｡ Pythonパッケージのインストールですが､dataset-tageditor､khoya_ssの該当エラーが出ているほうで､venvを有効にしてからpipでインストールします｡ 該当するほうのvenvフォルダをエクスプローラで開き､cmdでコマンドプロンプトを起動､ scripts\activate でvenvを有効にしてから､ pip install print_color でインストールできます｡ ただ､なぜ print_color が無いのかは原因が不明です💧 もしかしたら正しく初期セットアップできていない(print_color以外が無い可能性もある)かもなので､セットアップをやり直したほうがいいかもしれません｡

コマンドプロンプトに何のエラーが出ているか...を見ると原因が分かりそうですが､最近よくあるパターンは2つです｡ ・[WinError 126]で動作しない → PyTorchを2.3.1へ下げる ・fastapiのバージョンが高すぎる → fastapiのバージョンを0.112.4へ下げる この2つは↑説明欄に手順も書いています｡ まずは何のエラーが出ているかを見るとよいと思います！

状況が分からないですが､順番に見ていきましょう｡ まずエラーのTracebackを見てください｡ コマンドプロンプトのエラーメッセージにTracebackという項があると思います｡その下にはインデントされたFileという行があって､それが終わったところにインデントしていないエラーがあります｡ これが実際に停止を引き起こしたエラーです｡ 左側がエラーのタイプ､コロンを挟んでその詳細が出ています｡

なぜでしょうね💧 とりあえず動作しているパッケージバージョンを晒してみます✨ aiofiles 23.2.1 altair 5.3.0 annotated-types 0.7.0 anyio 4.4.0 attrs 23.2.0 certifi 2024.6.2 charset-normalizer 3.3.2 click 8.1.7 colorama 0.4.6 coloredlogs 15.0.1 contourpy 1.2.1 cycler 0.12.1 dnspython 2.6.1 email_validator 2.1.1 exceptiongroup 1.2.1 fastapi 0.111.0 fastapi-cli 0.0.4 ffmpy 0.3.2 filelock 3.14.0 flatbuffers 24.3.25 fonttools 4.53.0 fsspec 2024.6.0 gradio 4.28.3 gradio_client 0.16.0 h11 0.14.0 httpcore 1.0.5 httptools 0.6.1 httpx 0.27.0 huggingface-hub 0.23.3 humanfriendly 10.0 idna 3.7 importlib_resources 6.4.0 intel-openmp 2021.4.0 Jinja2 3.1.4 jsonschema 4.22.0 jsonschema-specifications 2023.12.1 kiwisolver 1.4.5 markdown-it-py 3.0.0 MarkupSafe 2.1.5 matplotlib 3.9.0 mdurl 0.1.2 mkl 2021.4.0 mpmath 1.3.0 networkx 3.3 numpy 1.26.4 onnxruntime 1.18.0 orjson 3.10.3 packaging 24.0 pandas 2.2.2 pillow 10.3.0 pip 24.0 print-color 0.4.6 protobuf 5.27.1 pydantic 2.7.3 pydantic_core 2.18.4 pydub 0.25.1 Pygments 2.18.0 pyparsing 3.1.2 pyreadline3 3.4.1 python-dateutil 2.9.0.post0 python-dotenv 1.0.1 python-multipart 0.0.9 pytz 2024.1 PyYAML 6.0.1 referencing 0.35.1 regex 2024.5.15 requests 2.32.3 rich 13.7.1 rpds-py 0.18.1 ruff 0.4.8 safetensors 0.4.3 semantic-version 2.10.0 setuptools 65.5.0 shellingham 1.5.4 six 1.16.0 sniffio 1.3.1 starlette 0.37.2 sympy 1.12.1 tbb 2021.12.0 timm 1.0.3 tokenizers 0.19.1 tomlkit 0.12.0 toolz 0.12.1 torch 2.3.1+cu118 torchaudio 2.3.1+cu118 torchvision 0.18.1 tqdm 4.66.4 transformers 4.41.2 typer 0.12.3 typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0 urllib3 2.2.1 uvicorn 0.30.1 watchfiles 0.22.0 websockets 11.0.3

だぶんですが､...学習モデルの最初は｢教師あり学習｣をやるのでここは専門家とそれなりの機材が要るんじゃないかと思います(=基盤モデル学習)｡ なので､それでもなるべく最初の最初から作りたいのであればStability社が用意しているv1-5-pruned-emaonly.ckptを元にファインチューニングをする､というのが根本に近いところからの生成になると思います｡ でもそれだったらもう画質の高い誰かのマージ済みCheckpointからファインチューニングするのが速いように思います｡ また､イメージに近いCheckpointを見つけて､LoRAのような小さなモデルを作ってマージさせるほうがさらに速いと思います｡ 見当違いだったらごめんなさい💧

ありがとうございます✨ SDXLの場合(その他SD1.5と違う場合)も手順は同じような感じになります｡必要であればVRAM消費が大きくなるのを回避するためパラメータをいじる感じです｡ ru-vid.comUgkxR8-QeJx-0bxf42Fmlq5xzHv7LBR49Yd- 衣装だけ変えるLoRAを作るってことですかね...｡ これはコピー機LoRAと差分学習でできると言われてますね｡ 上手くいくかは...わかりませんね💧

@@dartois_tv いえ、衣装込みで作ったキャラLoRA＋プロンプト(例：レオタードを着たキャラにナース服のプロンプトを追加）で作成したらレオタード状のナース服を着たキャラになったりプロンプトが全く反映されなかったりするが、他の人のLoRAではちゃんと反映されるので、LoRA作成時の設定に問題があるのかなと。

たしかにガッツリ分離している(そこだけ効く)LoRAはありますよね(SD1.5でも)｡これはどうやってやってるんでしょうね...｡ kohya_ssとキャプションだけでできるのか､block(階層)ごとに何か編集しているのか...調べないとちょっとわからないですね💧

エラーは個人環境ごとに任意のものが出るので何とも言えませんが... ModuleNotFoundError: No module named xxxxx 系であればxxxxxをvenvにpipでインストールすると直る可能性があります｡ コマンドプロンプトにどういうエラーメッセージが出ていますか?

英語のメッセージ送るとRU-vid側から消されてしまいます…

エラーの出る動画撮ったので見て頂けると助かります。

@@汚にぎり素材-f8i 困りましたね💧 もしPythonのエラーだったら､エラーの本文は最後に出てると思います(1文だけ)｡ その上に出てるのは､エラーによって処理できなかった処理がズラ―っと出てるだけです｡エラー本文だけでもわかりそうですか?

メッセージは自分の投稿した動画に出てくるのが全部でそれ以外にはないんです。

そうなんです､色々古くなっていってます💦 UIとかやり方が変わっちゃって💦

読み込んだ画像が[x]になっている現象ですかね... 状態がわからないので推測ですが､ interrogateができていて右側にキーワードが出ていれば､表示だけがおかしくて機能はしていると思います(そのままキャプション付けを続行できますが､ちょっと勘がいります)｡gradioの表示の問題かもしれません｡ interrogateができていない(キーワードが出てない)のであれば､ロードができていないので厄介です｡こちらは､パスに含まれる文字(全角文字など)が原因かもしれません｡

@@dartois_tv ご回答ありがとうございました。 別の方法で試してみます

これがどこで出たのかがわかりませんが... エラー的には print_color というパッケージが無いってことなので､print_color をインストールすると直るかもです｡ Pythonパッケージのインストールですが､dataset-tageditor､khoya_ssの該当エラーが出ているほうで､venvを有効にしてからpipでインストールします｡ 該当するほうのvenvフォルダをエクスプローラで開き､cmdでコマンドプロンプトを起動､ scripts\activate でvenvを有効にしてから､ pip install print_color でインストールできます｡ ただ､なぜ print_color が無いのかは原因が不明です｡ もしかしたら正しく初期セットアップできていない(print_color以外が無い可能性もある)かもなので､セットアップをやり直したほうがいいかもしれません｡

詳しく教えていただきありがとうございます！早速確認してみます！

正則化画像が見つかりませんでした､は正則画像なしでトレーニングしているのでとくに間違ったメッセージではないと思います｡ 要求したアドレスのコンテキストが無効です､こっちは何か不具合が起こってますね💦

cmd開いてpip install gradioと入力すれば簡単にインストールできました、同じ症状の方のために書いておきます

gradioが無い...けどインストール行けたようですね✨ Python本体側にも入れられますがvenvのほうにインストールしたほうがよいかもです｡ venv\scripts\activate でvenvを有効にしてからpip installするとvenv側にインストールされます✨

@@dartois_tv ありがとうございます！試してみます

同じところで積んでいます・・・。 一応@ham_o5509さんのアドバイスの通り「D:\tool\dataset-tag-editor-standalone」のフォルダをcmdで開いてpip install gradioもやってみました。 自身は以下の文面が表示されます。 raise err OSError: [WinError 126] 指定されたモジュールが見つかりません。 Error loading "D:\tool\dataset-tag-editor-standalone\venv\lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies. ご教示いただけますと幸いです。

@@jamfumiya 返信が遅くてアレですが... WinError 126の対処としてPytorchのバージョンを下げる方法を説明欄に乗せてあります✨ もしかしたらコレかもしれません｡

実際にエラーを再現できてないので何ともですが...💧 ASGI系のエラーだとPythonパッケージ､gradioかhttpxのバージョンの問題かもしれません｡ ただ特定のPythonパッケージのバージョンを下げる...というのがすでに難しいかもしれません💧 各ツールごとに任意のPythonパッケージがインストールされていて､だいたいvenvというフォルダに入ってます｡ venvフォルダを削除してセットアップをやり直す(setup.bat)か､venvを有効にしてからpipで別バージョンを再インストールすると修復できます｡ Pythonパッケージのコトを知らないと難しいかもしれません💧

@@dartois_tv お返事ありがとうございます。色々と試してみましたが、やはり同じエラーが出ました。一度環境をリセットして最初から挑戦してみます。

​@@ジョン-k9s めも 一旦\dataset-tag-editor-standalone>cmd → venv\scripts\activate で pip list開いてgradio が4.44.0だったら、そのまま「pip install gradio==4.43.0」で一個したのバージョン指定してインストール。 pip listを開いて「gradio 4.43.0」と表示出来てたらダウングレード成功。 後は普通にlaunch_user.batを開けばGUIが使えます。 僕の場合、この時期にこれで起動したので同じ症状の人は治るはず。タイピングミスしてたらすみません；

@@Yuse1ch おかげさまで解決できました 以下、後続の為の具体的な手順です。 1.コマンドプロンプトを開く: cd \dataset-tag-editor-standalone。 2.仮想環境を有効化: venv\scripts\activate。 3.pip listを実行して、gradioのバージョンが4.44.0であることを確認。 4.バージョンをダウングレード: pip install gradio==4.43.0を実行。 5.再度pip listを実行して、gradio 4.43.0が表示されていれば成功。

SDXL(Pony系もそう)のLoRAを作るときはsdxlにチェックを入れてsdxl用で回す必要があります｡ ru-vid.comUgkxR8-QeJx-0bxf42Fmlq5xzHv7LBR49Yd- 詳細はこちらに書きましたが､いまのところSDXL用の学習をするにはVRAMが10GB～要りそうです...💧

@@dartois_tv ご回答ありがとうございます。ちょっと試してみますね。わかりやすい動画をいつもありがとうございます。

そうですね､基本的にAI系のツールって... ①ツールのコアの部分をgitからダウンロードする ②venv(Pythonのコピー)を構築する ③requirements.txtに従ってPythonのモジュールをダウンロードする みたいな流れになるので､大きくバージョン上がったときは｢入れ直す｣感じになります｡ このとき､別のフォルダに入れると古い環境も新しい環境も両立できるので､SSDに余裕あれば両方動くようにするといいと思います｡

@@dartois_tv ご丁寧にありがとうございます。 あまり知識がないもので、、、 参考にさせて頂きます(o'ᆺ'o)

AUTOMATIC1111 WebUIの最新版v1.10.1+Python 3.10.9で試してみましたが､問題なく動作しているようです｡ Pythonのバージョン番号の3つ目の数字はマイクロバージョンといいまして｢バグフィックスがあるとバージョンが上がる｣とされています｡なので3.10.6と3.10.9は機能的には同じ...ということです｡ マイナーバージョンのアップデートは､そのままPython3.10.xを入れると今入っているものと置き換わります｡ www.python.org/downloads/release/python-3109/ のページの下の方にリンクがあります｡

パスを通してもやっぱり画像が[×]になる現象ですよね💧 これどういう条件でなるのかわからないんですが､たぶん[×]のままでもタグ付けは完了できます(絵が多いとどれがどれかわからなくなる💦)｡

@@dartois_tv ありがとうございます！

下記で私は解決しました。 「設定」タブで一時画像を保存するフォルダを設定します。「一時ファイルを保存するディレクトリ」にパスを入力し、「一時ファイルを強制的に使用する…」をチェックします

@@銭形-o5n ありがとうございます！試させていただきます！

たぶん､以前にインストールしたVisualC++パッケージが見つかってもう一回入れる､みたいになってると思います｡うまくインストールできないときは､一度そのパッケージをアンインストールしてから､もう一度インストールしてみてください｡

@@dartois_tv ありがとうございます。無事にインストールできました😊

コマンドプロンプト側で何かエラーメッセージは出ていませんか? 上手く行かないときは､だいたいエラーメッセージが出るはずです｡ あと予測ですが､1番上のタブがLoRA以外になってませんか? Pretrained model name or pathは､実在するチェックポイントを指定できていますか...? Image folder (containing training images subfolders)は､親フォルダのほうを指定していますか...? このあたりですかねー

@@dartois_tv RuntimeError(f"NaN detected in latents:学習データ用ファイルパス と出ていました。使用してる画像の問題でしょうか。

まず､気になる点は3つあります｡ NaN detected in latents:学習データ用ファイルパス 通常このエラーはlatents:の後に実ファイルのパスが出ると思うので｢学習データ用ファイルパス｣という文字が出ているとすれば､画像ファイルの場所指定が間違っていそうに見えます｡ もう1つは､学習に使っているcheckpointのサイズ(sd1.5ならsd1.5､sd2.1ならsd2.1､sdxlならsdxl)が学習に合ってないのかもしれません｡ また､.png､.jpg､.jpeg､.webp､.bmp以外の画像も読み込めないので確認してください｡ 画像やcheckpointが正しく読み込めているなら､ Parameters→Advcanced→Additional parametersに --no_half_vae を追記してfp16のVAEを利用しないで学習すると改善するかもしれません｡ (VRAMの利用量がたぶん増えるのでそっちで問題出ると厄介です💧)

@@dartois_tv 色々ありがとうございます。ChatGptにエラー内容と使用している画像を読み込ませて聞いたところ、原因がわかりました。パスなどの間違いはなく”Mixed precision Whether or not to use mixed precision training.”の設定を”no”にしたところ動きました！素人すぎて見様見真似でやっていたのですが、私の環境ではこの設定でないと動かないみたいです。ありがとうございました！

ちょっと深く調べないとわからないですが､ gradio httpx この2つのパッケージのバージョンで問題が出ている人が多いようです｡ gradioのバージョンを下げていく...は何か変わるかもですが､下げたら下げたでまた問題が出るかもです...💧

回答有り難うございます。 この問題、解決できました。 やっぱりgradioのバージョンが悪さしてたようです。 結論から言うと、4.43.0をインストールしたらいけました。 現在最新版をインストールすると4.44.0が入るのですが、サイトのバージョンヒストリーを覗くと4.42.0が最新になっています。ただ、4.42.0を入れても動きません。4.43.0じゃないと動かないみたいです。 バージョンを1つづつ下げてやってみるのが大事ですね。 ひとまず他の問題も出てないので安心しました。

おー､よかったです😊 4.43.0はもはや運ですね💧

↑動画の説明欄に｢PyTorchのバージョンを下げる方法｣を追記しました｡ Windows環境でPyTorch2.4をインストールするとPythonからimoprt(呼び出す)できなくてWInError 126が出ている場合は､バージョンを下げることで動作する可能性があります｡ このあたりどうですかね...

@@dartois_tv ありがとうございました！ 無事、起動に成功しました！ これから遊んで見ます、本当にありがとうございました！

エラーの感じからするとWindows環境に依存するエラーのようです｡ いまから書くことは少し難しいかもしれません💧 (1)エラーが示す上記パスにfbgemm.dllが無い場合は､venvにあるPyTorchをアンインストールして再インストールすると修正されるかもです｡ (2)fbgemm.dllがちゃんとある場合は､Visual C++再頒布パッケージをインストールすると修正されるかもです｡ Visual C++再頒布パッケージ learn.microsoft.com/ja-jp/cpp/windows/latest-supported-vc-redist?view=msvc-170 は､Windows上でinsightfaceとかを動かすのにも必要になってくるのでAI関連のツールを使う場合は入れておいたほうがいいです｡ 64bit版のWindowsを使っている場合は最新のX64版を入れます｡

@@dartois_tv fbgmm.dllはありました。visual C++もインストールしました。 動画と違うところがあるとすれば、Visual C++をセットアップ完了したときに、再起動する必要がありますの文章が出ずに、閉じるボタンしか表示されないですが関係あるでしょうか？

@@忘れ咲き VC++再頒布パッケージはたいてい再起動来ると思いますが...更新対象のファイルがシステムで使用中でなければそのまま終わるかもしれませんね...

僕の場合は「libomp140.x86_64.dll 」というファイルをダウンロードし、system32フォルダに配置することで解決しました。コメントにURLを貼ることができないのですが、ファイル名で検索するといろいろな説明が出てくると思います。

別件で調べものをしていて↑のエラーが出る条件がひとつ見つかりました｡ ｢PyTorch2.4.0を使おうとすると単にimportに失敗する｣というもの｡これはpython→import torchで失敗するので2.4.0は何かの条件でWinodwsで動作しないのかもです...｡ PyTorch 2.3.1だと動作するので､PyTorchのバージョンを下げると改善するかもしれません｡ 2.3.1+cu118や2.3.1+cu121はimportできます｡

最新のrequirements.txtはこんな感じなので､ github.com/toshiaki1729/dataset-tag-editor-standalone/blob/main/requirements.txt もう一度､全部をgitから落としてきたほうがよいかもです｡

@@dartois_tv gradioのバージョンを最新にしたらいけました！ありがとうございました。

gradioのバージョンを最新 これもよくあるヤツですよね...下げないといけないときもある💧

@@dartois_tv流動的でむつかしいですね。いつも大変助かっています。

One Trainer！これ気になって触ってるんですが､なんかconcept(学習元画像指定)がおかしくないですかね...｡フォルダの中の全部が使われてない気がする｡ conceptの挙動のナゾが解けたら動画にしてみようと思います✨

@@dartois_tv ありがとうございます！ Stablity Matrixで導入は簡単だったのですが、細かい挙動まではよくわかりませんでした お時間があったらよろしくお願いします

torchとCUDAとcuDNNのバージョンが関係していると思います｡動作中の環境を調べるには以下の手順があります｡ちょっとややこしいです！ ①kohya_gui.pyが起動するときのログ 4行目に｢Torch 2.2.1+cu118｣のように+cu付きのバージョンが出ているかを見ます｡ ②PC全体のCUDA環境 コマンドプロンプトからnvcc -Vを実行するとCUDA ToolKitのバージョンが､nvidia-smiを実行するとドライバのCUDA対応バージョンが出ます｡ ③venvのtorch環境の詳細情報 kohya_ssフォルダで､venv\scripts\activateでvenvを有効にして､python -m torch.utils.collect_envを実行するとkohya_ss実行時のtorchの環境の情報が出ます｡ 動作させるtorchのCUDAバージョン

@@dartois_tv ありがとうございます。おっしゃる通り勝手にtorchがアプデされて相性問題が原因みたいでした。SDXLの設定も不安なので相性調べてみます。

pythonって複数バージョンをインストール(3.12.0があっても3.10.9を入れる)して､venv作るときに｢どのpythonから作るか｣を指定できる！...って記事が多いですが､実際にはバージョン指定するとエラーになって個別のvenvが作れないですね...なぜじゃ｡ そもそもツール毎にvenvを手動で作るってのが普通は難しい作業ですね💦

@@dartois_tv 複数バージョン入れるのもヤなので、ちょっとtraintrainで挑戦中デス……