Windows版でもmocapアプリがあってこちらならWEBカメラ対応していたと思います！ ただし負荷とかも結構かかるようですね・・・

検証ありがとうございます♪ ちなみに動画でご紹介したフォークの作者さんが、win向けにexeプログラムバージョンを提供して下さっていて、 今のところこちらが1番FPSが稼げそうです。 ただしwindowsによってウィルス誤検知？がある模様ですのでご利用はご自身の判断でよろしくお願いします。

わ〜検証報告ありがとうございます😊 すごい！やっぱりPyTorchによる最適化は凄まじいんですね。 40fps↑とかなら、この用途でならLCMよりこちらかな、と思ってたりします。4090欲しくなりました…w ちなみに最新情報ですが、なんと 3の開発者が4を発表しています！ レンダリング最適化による画質アップと蒸留周りにも動きがあるようで、もう60も視野かもしれませんね！

ご視聴ありがとうございます😊 背景込みの画像でも、リアルタイムに生成出来る技術が今、 とんでもないスピードで実現出来つつありますね！ fpsがどんどんあがればボーンや今回のような顔検出が不要になるはずなんですが、 今のまま(推論効率を上げるだけ)では、やはりこれらのデータが必要なのは変わらないです。 恐らく来月くらいには、 リアルタイム生成技術とmediapipe,mocap 周りの技術が混ざったものが出てきて、 全てが終わる未来を予想しています！ Vでもアニメ生成でも、誰でもハイクオリティで簡単に出来るようになりますね❤ ※あ、表情が硬いのは元絵の影響と、所長の体調のせいかもしれません🤔

ご視聴ありがとうございます。 今現在の最新版で試してみましたが、 インストールと画像生成は問題無く行えますのでソフト側の問題ではなさそうですね。 下記の点に注意してもう一度ランチャーを入れなおして試してみてください。 ・インストール先のフォルダパスは、あまり深くしない。ユーザーフォルダ以下とかをつかわず、 ドライブ直下にStabilityMatrixなどを生成していストール。 ・ポータブルモードでインストール。 これでもダメなら、ログに何か手掛かりになるようなエラーが出てないか、などをご確認ください。 ※以前のバージョンでclipがインストールされない、とかありましたので、そのあたりかもしれません。

@@diffusion-lab 容量を気にして外付けハードディスクに入れてました、それだとダメでしたか？

ご視聴ありがとうございますっ これ恐らくTemporalKitとSDの相性がとても悪くなっている模様ですね・・・ こちらと同様エラーだと下記手順で解決しそうなのですが、 動作しない場合は、ちょっとハマりそうですね・・・ ru-vid.comUgkx2L2fEbxRw_R06jDNHngBBQm0Byxi0UiO どうしてもダメなら拡張機能の削除だけ行っておきましょう。

ご視聴ありがとうございますっ こちらはtalking-heads-anime という、一枚絵に無理やりブレンドシェイプっぽいものを擬似的に追加できるツールです。 過去動画に解説があります。 このソフトだけではまだ動きが荒いので、RIFEというフレーム補完出来るソフトも組み合わせてたりします。 生成した絵を簡単にVRMとかに出来ちゃえばLive2Dとかで普通にやれるのですが、まだまだ難しいようですね。。 ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-vQkKhyf2QcA.htmlsi=VkQ42inXDsfrrq0E

@@diffusion-lab こんなに早く返信していただきありがとうございます♪しかも詳しく解説してくださいましたことに感銘を受けています。 是非参考にさせていただきます。 わたしもチャンネルを持ってまして、視聴してくださってる方にご挨拶をしたくて、探していました。 ありがとうございます😊

[English Translation] The xformers and gradio circumference have been upgraded, and there seems to be some trouble with dependencies. AI Art JAPAN is considering how to deal with it. Thank you very much. The following workaround will allow you to start and generate the file for the time being. Some behavior seems to be wrong (when you press the download button, it makes you download a htm file), but you can use it for the time being. 1. resolve inconsistency between xformers version and pytorch Start a command prompt, CD to diffBIR installation folder, venv\Scripts\activate to move to the virtual environment. pip uninstall torch torchvision torchaudio remove pytorch once pip install torch torchvision torchaudio --extra-index-url download.pytorch.org/whl/cu121 Replace with pytorch specified by xformers. 2. upgrade to the latest version of gradio pip install --upgrade gradio 3. deal with source related errors (3 are displayed, and deal with not starting due to errors) Backup "gradio_diffbir.py" under the installation folder and edit it. Line 148: edit the following line input_image = gr.Image(source="upload", type="pil") Change to the following Image(type="pil") Line 149: Change run_button = gr.Button(label="Run") Change to the following run_button = gr.Button(value="Run") Line 168: Change result_gallery = gr.Gallery(label="Output", show_label="False", elem_id="gallery").style(grid=2, height="auto") to the following result_gallery = gr.Gallery(label="Output", show_label=False, elem_id="gallery") It seems that an inconsistency has occurred due to an upgrade of gradio, which controls the UI, and it starts and works for the time being. However, when I press the download button for the generated image, It downloads an image.htm file instead of a png file, Until the problem is completely resolved, right-click on the generated file, save it, and use it.

動画のご視聴、いつもありがとうございますっ こちらは内部的にDIFFBIRがちょこちょこバージョンアップされているらしく、 いつもの依存関係によるエラー、ですね。 DIFFBIRをインストールしたフォルダにCD、venv環境に移行した後、 下記のコマンドでgradioを更新してみてください。きっとエラーは解消できます。 pip install gradio==3.24.0

丁寧な対応有難う御座います、無事起動成功致しました。3060　12Gの環境ですが512×512の画像で数分経っても処理が終わりませんやはりなにかエラーでしょうか？ 重ねての質問で恐縮ですがそんなに時間が掛かるものでしょうか？

おっと、こちらはGitHub でも同様のエラーになっているみたいですね。。 github.com/XPixelGroup/DiffBIR/issues/77 少し公式の回答？等を待ってみるしかなさそうです。 夜時間を見つけてまた試してみますね。

​@@捨吉-z2k こちら、環境が更新された影響で色々と不具合が発生しているようです。 ひとまず下記の対応で起動して動作するまではこぎつけられるので、 試されてみてください。 ①xformersバージョンとpytorchの不整合解消 コマンドプロンプトを起動、 diffBIRのインストールフォルダにCDし、 venv\Scripts\activateで仮想環境に移行。 pip uninstall torch torchvision torchaudio ※一度pytorch削除 pip install torch torchvision torchaudio --extra-index-url download.pytorch.org/whl/cu121 ※xformersが指定するpytorchに入れ替え ②gradio最新版へのアップグレード pip install --upgrade gradio ③source関連エラー対処(3つ表示され、エラーで起動しない対処) インストールフォルダ配下「gradio_diffbir.py」をバックアップし、編集 148行目: input_image = gr.Image(source="upload", type="pil") を下記に変更 input_image = gr.Image(type="pil") 149行目: run_button = gr.Button(label="Run") を下記に変更 run_button = gr.Button(value="Run") 168行目: result_gallery = gr.Gallery(label="Output", show_label=False, elem_id="gallery").style(grid=2, height="auto") を下記に変更 result_gallery = gr.Gallery(label="Output", show_label=False, elem_id="gallery") UIを制御するgradioのバージョンアップによる不整合が発生している模様で、ひとまず起動・動作はします。 が、生成した画像のダウンロードボタンを押すと、 pngファイルではなく、image.htmファイルをダウンロードしてきますので、 完全解決までは、生成されたファイルを右クリックして、保存して利用しましょう。

本当に丁寧かつ詳細な解説有難う御座います。 今どうしても必要という訳でもないのでもう少し安定してから一からやり直したいと思います。 せっかく解説して頂いたのに申し訳ないのですがStable Diffusionとか他の部分に影響が出そうでちょっと怖いです。

Thanks for watching my video. Unfortunately, since ControlNet is not available at this time, I cannot specify detailed layouts, etc. We have to try our best with LoRA, which has strong layout and composition enforcement, or with text prompts. This is the reason why TensorRT is not very popular. TensorRT is a function for people who have a specific LoRA they want to use and want to generate a large number of images while allowing for a certain amount of random elements.

get it, thx for your reply.

ご視聴ありがとうございます😊 controlnet対応に期待したいです…w

お返事遅れましてｽﾐﾏｾﾝ。 ご視聴ありがとうございます。 StabilityMatrixに関しては、ですが、 インストールしたwebUIの環境は、ベースが3.10.xにもかかわらず、3.11となっていました。 恐らくメインパスには影響の無い、閉ざされた環境で構築してくれるはずですので、 混在してしまうー！みたいな事は無いのでは、と予想しています。 とはいえ、Dockerのお取り扱いが出来るのであれば、おっしゃる通り完全独立した環境が構築出来るのでこの上ないのですが、 どうも画像生成系？でブログや動画を上げられている方々はDocker環境ではない為、 情報収集精度的にあまり期待が出来ない、、みたいな状況かと思っています。。

Sorry for the late reply. Perhaps you are in a Windows environment. The official installation procedure assumes Linux, and the triton package cannot be installed on Windows. The "wheel" package is provided, though, Unfortunately, this one gives the following error in a conda python 3.9 environment. ERROR: triton-2.0.0-cp310-cp310-win_amd64.whl is not a supported wheel on this platform. The environment in which we have been able to confirm the operation is We have confirmed that it works with python 3.10, not conda. It seems that python 3.11 does not work either, so if you want it to work, you will have to build your environment with pinpoint accuracy. I guess I will have to coexist with python 3.10 being careful not to disrupt the existing conda environment... This is deprecated as it is quite difficult.

ご視聴ありがとうございますっ こちらは恐らくPyTorchが正常にインストール、構成されていないエラーのようですね。。 python3.10環境を想定、 最初の手順からvenv環境を作り直して、 pip install torch torchvision torchaudio --index-url download.pytorch.org/whl/cu118 で正常にインストールが終わればうまくいきそうなのですが、どうでしょうか？ また、nvidiaのGPU環境が必須となり、新しめのグラフィックドライバも必要です。 これでもNGの場合には、cuda toolkitのインストール、構成も必要かもしれません。

とてもありがとう

最後のコマンド 'python gradio_diffbir.py --ckpt ./general_full_v1.ckpt --config configs/model/cldm.yaml --reload_swinir --swinir_ckpt ./general_swinir_v1.ckpt --device cuda' を実行すると、エラーが発生しました。問題の原因を確認していただけますか？動画の最後で 4 つのモデルをダウンロードしましたが、私は 2 つの一般モデルのみをダウンロードしました。このコマンドはおそらく一般モデルのみを起動するもののようです。@@diffusion-lab

所長です。ご視聴ありがとうございます。 画像生成に限らず、そちらの方面の専門家がこれらの技術向上に一役買っているのは否めませんけどね・・・ｗ 行きつくところまで行くと、逆に生成物が「おもちゃ」みたいになると思いますので、 どこかで卒業してその先にも進んでみましょう？ ※海外勢には負けたくないものです・・・

頑張ってください

ご視聴ありがとうございますっ MAC版はビルド保留中との事です・・・残念ですが、動きはある模様ですので 開発に期待ですね！ github.com/LykosAI/StabilityMatrix/issues/45

@@diffusion-lab ありがとうございます！待ってます。

コメントありがとうございますっ この手の発音問題？は、当時の学者サイドや識者がどちらに偏っていたか、 または今現在どちらに偏るか、に依存いますので、正解は無さそうですね・・・ ※各種翻訳機能もその情報を元に設計や設計変更されたりします 本音は、内容がお伝えできればどちらでも良いのかな、なんて思ってたりしています。 技術の進化は本当に早いですね・・・4月くらいの情報なのにすでに数十年前？ みたいな感覚に陥ったりします。 毎日とても驚かされる話題がどんどん生まれていますので、検証動画が追いつきません・・・ｗ

貴重なご意見ありがとうございます。 一人でも多くの人に分かり易い動画作りを心掛けていきたいと思っています。 ※出来ましたらどの工程のどの部分が・・・みたいな建設的な情報を頂ければ次回の動画で生かしていきたいと思います。 よろしくお願いいたします。

ご視聴ありがとうございますっ gradio自体をダークモードで起動、という手順は分からないのですが、 ※無いかもしれません 当環境ではWindows11側でダークモードを採用しています。 該当アプリだけではなく全てがダークになっちゃいますが、それでもよろしければ 設定→個人用設定→色→モードを選ぶ、よりダークを選択なさって下さい。

@@diffusion-lab ご回答ありがとうございます あれこれ触っていたらブラウザの設定で解決しました お手数おかけしました ありがとうございました

これは画期的ですねー!!そうきゅうな❤情報共有どうもありがとうございます！

@user-nx2te8zq9s @Cutieplus ご視聴ありがとうございます！ 本スレ？のほうでもうまく行かない報告上がっていますね・・ どのようなエラーでしょうか？ ERROR: triton-2.0.0-cp310-cp310-win_amd64.whl is not a supported wheel on this platform. これとかでしょうかね・・ ひとまず、メイン端末はWindows11Home (base)python 3.10.6 サブ端末は Windows10Home (base)python 3.10.6 という環境で、本動画の手順でインストールは完了します。 特にサブ機はほぼ真っ白な状態で確認していますので、 これ以外に必要なパッケージ類は無いとおもいます。 環境構築手順は間違えずに行ってください。 特にpipの更新とかも影響があるかもしれません。 正常にインストールが行えると、下記が出力されます。 -- Collecting triton==2.0.0 Downloading huggingface.co/r4ziel/xformers_pre_built/resolve/main/triton-2.0.0-cp310-cp310-win_amd64.whl (12.6 MB) ---------------------------------------- 12.6/12.6 MB 65.6 MB/s eta 0:00:00 Collecting cmake (from triton==2.0.0) Obtaining dependency information for cmake from files.pythonhosted.org/packages/e0/67/3cc8ccb0cebac463033e1f8588328de32f8f85cfd9d3150c05b57b827893/cmake-3.27.4.1-py2.py3-none-win_amd64.whl.metadata Downloading cmake-3.27.4.1-py2.py3-none-win_amd64.whl.metadata (6.8 kB) Requirement already satisfied: filelock in e:\0917\diffbir\venv\lib\site-packages (from triton==2.0.0) (3.12.4) Requirement already satisfied: torch in e:\0917\diffbir\venv\lib\site-packages (from triton==2.0.0) (2.0.1+cu118) Requirement already satisfied: typing-extensions in e:\0917\diffbir\venv\lib\site-packages (from torch->triton==2.0.0) (4.7.1) Requirement already satisfied: sympy in e:\0917\diffbir\venv\lib\site-packages (from torch->triton==2.0.0) (1.12) Requirement already satisfied: networkx in e:\0917\diffbir\venv\lib\site-packages (from torch->triton==2.0.0) (3.1) Requirement already satisfied: jinja2 in e:\0917\diffbir\venv\lib\site-packages (from torch->triton==2.0.0) (3.1.2) Requirement already satisfied: MarkupSafe>=2.0 in e:\0917\diffbir\venv\lib\site-packages (from jinja2->torch->triton==2.0.0) (2.1.3) Requirement already satisfied: mpmath>=0.19 in e:\0917\diffbir\venv\lib\site-packages (from sympy->torch->triton==2.0.0) (1.3.0) Downloading cmake-3.27.4.1-py2.py3-none-win_amd64.whl (34.6 MB) ---------------------------------------- 34.6/34.6 MB 50.4 MB/s eta 0:00:00 Installing collected packages: cmake, triton Successfully installed cmake-3.27.4.1 triton-2.0.0 -- 端末のpythonバージョンを下記コマンドで確認してみてください。 python -V こちらが3.11.xとかになっているとNG、という報告があります。 バージョン不一致等が原因の場合は、 pythonのバージョンを3.10.6に合わせる、とかが必要かもしれませんが、異なるバージョンのpython環境をインストールするには少し手間がかかりすぎる為、 ベース環境のpython入れ直し、なども必要になるかもしれません。

@@diffusion-lab お疲れ様です、丁寧な返信有難う御座います。今帰宅後にもう1回tritonの所だけこの間のまま実行してみた所、何故か今度は上手くインストール出来ました・・・謎です

上手くいったようで何よりです。ご視聴ありがとうございますっ この手の情報は構築されている環境によって少し違ったりしますので、 投稿者と同じ状況にならない場合があるのですよね・・・

@@diffusion-lab ちなみに複数画像を一斉に指定したサイズに大きくする方法はあったりしますか？200枚以上の画像を大きくしたりするので。

@@吉峰聡 はい可能ですよ。Extrasタブの中に「Batch from Directory」というタブがありまして、 この中の Input directoryに、たくさん画像が入ったフォルダを指定。 output directoryに、出力したいフォルダパスを入力。 後は同じようにサイズを指定してGenerateを押すと、全ての画像が指定サイズに拡大できます。

@@diffusion-lab ご教示ありがとうございます！やってみます！

@@diffusion-lab 「指定されたパスが見つかりません」になりました。Input directoryに「file:///C:/stable-diffusion-webui/outputs/txt2img-images/2023-09-08/%E6%8E%...」と入れてみました。お手数ですが、たくさん画像が入ったフォルダを指定の方法についてもご教示いただけましたら助かります。