Stable Diffusion AnimateDiff+PromptTravel movement is now under your control!

Подписаться 23 тыс.

Просмотров 17 тыс.

50% 1

This is a video of how to use Stable Diffusion AnimateDiff+PromptTravel in the web UI. Due to hardware problems, the analysis is a bit lacking, but we will solve this part and make additional videos~.
Please excuse the disappointing part, but it seems to be a very attractive feature that we can immediately video whether we are doing real or semi-real.
(We can extend the video without limiting the time.)
[Animatediff]
github.com/con...
[Model, where to get motion Lora]
huggingface.co...
[Model used in the video].
Hanimix -Thanks to creator Akaraib Hanitaka
[Video source] Arrow
--------------------------------------------------
[Video Source Support]
RU-vid channel "freeticon" : / @freeticon
--------------------------------------------------

Хобби

Опубликовано:

24 окт 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 96

@ai_opener Год назад

스테이블디퓨전 AnimateDiff+PromptTravel 이 웹UI에서도 사용할 수 있게 되어 몇 가지 살펴본 영상입니다. 하드웨어 문제로 분석이 다소 좀 부족한 감이 있는데 이 부분은 해결을 해서 추가 영상 제작하려고 합니다~ 아쉬운 부분은 양해해주세요! 변환이 잘 안되시는 분은 settigs에 가셔서 Animatediff 옵션의 최적화 버튼에 체크하시면 좀더 수월하실 겁니다. 그래픽카드를 좀 쉬게 하면 안되던 것도 좀 되는 것보니까... 그래픽카드의 성능이 많이 필요한 거 같습니다^^ 영상에서는 Adetailer가 안된다고 하던데 , 실제로 해보니 됩니다^^ 이점 수정합니다. 그래도 우리가 실사든 반실사든 바로 영상화할 수 있다는게 참 매력적인 기능인 것 같습니다. (영상 시간구애없이 더 늘릴 수 있고요)

@easyaitech Год назад

잘 봤습니다! 전 rtx 4070 쓰는데.. 어우 이거 글카 전에 쓰던거에 비하면 팬소음 정말 적은 편인데..컴터랑 같이 이륙하줄.. ㅎㅎ 뭐가 잘못된건지 진짜 고사양이 필요한건지.. 이게 보는거 보다 앉아서 기다리는 시간이 꽤 되실텐데.. 고생하셨어요! ^^

@ai_opener Год назад

이륙 ㅋㅋ 4070이시구나 괜찮을텐데 그럼요 ㅠㅠ 안되겠어여 comfyUI로 해야할 듯 ,, 저도 영상에서 나온만큼은 되는데 안되는 부분은 조금 버겁더라구요~ ^^ 감사합니다

@music_ggggg Год назад

쓰엥님 지인~~~~~짜 감사합니데이 캬.. 무료로 이런 맛있는 정보? 오프너 폼 미쳤다잉~

@ai_opener Год назад

지인~~~짜 힘나는 댓글 감사합니다~ 더 잘 설명하시는 분들도 많아서 감사합니다^^

@meywu Год назад

잘 봤습니다. 후원 링크를 잘 보이는 곳에 적극적으로 표시해 주세요. 이정도로 유용한 최신 정보에는 당당하게 요구하셔도 된다고 생각합니다.

@ai_opener Год назад

앗 후원 링크가 뭐죠?? 아 커피 한 컵 그런 거 말씀 하신 거군요! 의도를 몰랐습니다^^ 좋게 봐주셔서 감사합니다. 전에는 조금 올리긴 했는데 요즘은 안올리게 되더라구요^^

@user-ae5pa Год назад

안그래도 요즘 많이 연구중이였는데 영상 잘 참고하겠습니다! 영상 감사합니다

@ai_opener Год назад

크리지슈님 연구 중이셨다면 저도 좀 알려주세요^^ 그래픽카드가 이거 하느라 맛이 가버린 것 같아요 ㅋㅋ그렇게 많이도 안했는데... 더 해보고 싶은 것을 해보지 못하는 상황입니다~

@user-ae5pa Год назад

@@ai_opener 셋팅- animatediff 에서 Optimize attention layers with sdp 로 체크 한 후에 재붙하니 다시 정상적으로 작동했지만 그래도 함 두고 바야겠어요 ㅋㅋ

@ai_opener Год назад

@user-ae5pa 와우 팁 감사합니다~^^

@nikenike9567 Год назад

좋은정보 늘 감사합니다.

@ai_opener Год назад

항상 니케님 덕분입니다^^

@파커찰리 11 месяцев назад

안녕하세요 오프너님! 항상 감사히 영상 잘 보고있습니다! 궁금한게 있어서 댓글 남깁니다! 혹시 지금 Animatediff 가 템프럴킷 상위호환 정도로 알고있으면 될까요?

@ai_opener 11 месяцев назад

네 좀더 다양하게 활용할 수 있다고 보면 될 거 같아오 템포럴킷은 사용도 어렵고 웹유아이 최신버전과도 잘 안되는거 같아요~

@파커찰리 11 месяцев назад

@@ai_opener 아 역시 그렇군요.. 안그래도 템프럴킷 영상 올려주신거 보고 열심히 따라해봤는데 앱신스 노가다는 정말 힘들어서 대체제가 없을까 했는데 이제 이 영상보고 열심히 따라가보겠습니다!! 항상 감사하고 응원합니다!

@Ai_Mina Год назад

안녕하세요 이미지생성 시작하면 RuntimeError: Expected weight to be a vector of size equal to the number of channels in input, but got weight of shape [1280] and input of shape [48, 2560, 8, 8] 메세지가 뜨네요 뭐가 문제인지 알려주세요 ㅠ.ㅠ

@ai_opener Год назад

이거 같은 경우 컴퓨터 사용메모리를 스테이블 디퓨전에 집중하도록 하고, 한번 재부팅 해주시는 것도 방법입니다. 보면 뽑는 사이즈가 버거울 경우 저런거 같습니다.

@chinhwa5997 2 месяца назад

3060 oc 12gb사용중인데 체크포인트를 SDXL로 사용하면 작동이 되고 SD1.5를 사용하면 오류가 납니다. 그리고 사용시 VRAM은 11기가를 넘게 사용하네요. 하니믹스와는 호환이 잘 되나요? 아니면 제 경우가 독특한 경우인가요? 저도 많은 체크포인트를 사용한건 아닙니다만 로라와도 호환이 잘 안되서 실용성이 떨어지는 느낌이 듭니다. 혹시 팁이 있을까요?

@ai_opener 2 месяца назад

글로만 봐서는 어떨지 잘 모르겠어용 호환이 잘 안되는 경우도 있고,, 지금은 더 좋은 툴들이 있으니 사실 이거는 조금 구식이라고 생각이 들어요^^ 최근 기술들을 눈여겨 보시면 좋을 것 같습니다!!! Ai가 그때는 좋았는데 지금보면 구식이 되고 그렇습니다.ㅠㅠ

@ko.m.j8700 6 месяцев назад

안녕하세요. 영상 잘 보고 있습니다. 예전 영상이지만 도움을 주실 수 있으실까요? IMGtoIMg에서 사진과 영상을 넣고 모션을 따라하게 하고 싶은데, RuntimeError: The size of tensor a (60) must match the size of tensor b (32) at non-singleton dimension 1 이와 같은 오류가 뜨는데 이유를 모르겠습니다ㅜ

@ko.m.j8700 6 месяцев назад

참고로 영상을 안 넣고 돌리면 잘 돌아갑니다!

@ai_opener 6 месяцев назад

네 안녕하세요 ~ 사이즈가 맞지 않는 이유이기도 하구요 하시려는 섹션에서 오류들이 생기는거 같은데 저도 요즘은 webuI를 사용하지 않아 오류 해결이 어려운 편입니다 ㅠㅠ

@SMBZ__ 11 месяцев назад

오프너님 정성스런 영상 감사합니다... 근데 hanimix 다운받으려고하는데 공유가 종료된건지... 혹시 공유가 가능하실지 아니면 다운받으신 링크 공유해주실수 있을까요...?? 부탁드립니다 ~~

@ai_opener 11 месяцев назад

네 잠깐잠깐 공유해주시기 때문에...제가 공유해드리고 싶어도 제작자분 의도상 2차공유는 그럴거 같아요. 방법만 알려드릴께요. 구글에 hanimix 입력하시면 아카라이브 사이트가 뜨는데 거기서 종종 공유를 하세요 그때 받으시면 좋을 것 같아요..이거 외에도 거기서 많은 체포 공유 해주시기 때문에 유용할 것 같습니다~

@oncelife7499 6 месяцев назад

늘 강의 영상들 감사히 보면서 배우고 있습니다 이번 영상대로 다 따라했다고 생각하는데 실행을 클릭을 하면 이런 에러메시지가 뜹니다 이리 저리 검색을 해봐도 무엇을 놓친 건지 헤메다 문의 드립니다ㅠ 버전은 1.8을 사용하고 있습니다 도움 부탁 드립니다~ TypeError: 'NoneType' object is not iterable

@ai_opener 6 месяцев назад

1.8은 아직 animatediff가 안되는거 같아요 업그레이드 하면 호환이 이렇게 문제가 됩니다~~

@Monahuns Год назад

벌서 테스트가 끝나셨나보군요!

@ai_opener Год назад

아 네 다 완료 못했어요^^ 컴에서 안되는게 있어서 그건 추가로 제작해보려고 합니다^^

@siriusgameland Год назад

안녕하세요. AI 잠깐 관심 놓는동안 정말 엄청나게 많은게 생겼네요 ㅎㅎ.. 혹시 AI 일러스트를 그리고 해당 그림이 움직이거나 구도를 바꾸거나 하는 방식으로 가사 자막을 단 4분짜리 노래 커버 영상을 만드려고 하는데 해당 기능에 가장 효과적인 AI 추천 좀 받을 수 있을까요?

@ai_opener Год назад

네 계속 발전하고 있어요^^ decoherence 검색하셔서 해보시는 것도 좋아요.. 노래 영상하는데 이게 유용하지 않을까 합니다

@siriusgameland Год назад

@@ai_opener감사합니다!! 찾아보겠습니다

@놔라도지 Год назад

와... 미쳤다..

@ai_opener Год назад

미친 기능이죠?^^

@AILucifer-zf2jy Год назад

AnimateDiff 감사히 잘 보았습니다~ 전에도 오프너님 영상보고해보았는데 잘 않되드라구요 요번에는 처음시작후 1번생성하면 그후론 먹통이고.. 아무래도 GPU사양을 많이타서 그런건지.. 재부팅하면 또 한번만 되구요 ㅎㅎ;; 감사히 잘보고 갑니다~

@ai_opener Год назад

제가 열흘전에 그랬습니다. 그러더니 이제 조금 잘 되는 것 같아 영상 담으려 했는데 ,,,, 완연히 잘 안되는 거 보니 그래픽카드 문제가 발생했어요 ㅠㅠ 루시퍼님 감사해요!!

@ai_opener Год назад

루시퍼님 말씀하신 증상이 다시 또 생겼네요^^ 여러번 생성이 잘 되었었는데 ,, 지금은 1번 생성하고 먹통현상.. setting 환경에서 최적화 옵션을 해도 그러는 거 같습니다~

@cz1310 Год назад

허억 놀랍다!

@ai_opener Год назад

개발자들 대단해요^^

@jhahn8702 Год назад

멋진 기능이네요. AnimateDiff 새로 설치하여 하여 보았습니다. 그런데 저는 생성하면 50%정도에서 다른 영상이 하나 더 만들어져서 최종적으로 두개의 영상이 나오는 군요. 여러가지 다른 checkpoint를 사용하여 보아도 마찬가지 입니다. 전체 설정에서 특별히 손 댈 부분도 없는 것 같고... 모든 세팅은 설명하신 대로(프롬프트까지) 하여 보았는데(512X512,배치수 1,배치크기1, AnimateDiff설정도 동일하게 등등) 마찬가지네요. 만들어지는 두 개의 영상에서 부분적으로움직임은 나타납니다(움직임도 둘로 나누어 지는 듯 하네요). 문제는 두 개의 다른 그림이 만들어진다는 것이지요. 혹시 원인이 무엇일지 도움을 주실 수 있으신지요? 해결 할 수 없으면 SD 전체를 지우고 다시 설치해야 할 것 같은데 그간 설치해 놓은 것들이 많아서 얽힌 부분이 어디일지 참 고민되네요.

@ai_opener Год назад

미세 설정을 달리 하신게 아니라면 고민이 되셨을 거 같습니다. 저도 어느 부분에서는 생성이 안되다가 멈추는 경우도 있습니다. 지금 현재 하드웨어쪽인 그래픽카드 문제가 발생하긴 했는데요... 알게 모르게 프롬프트가 오른쪽 상단 (style 부분)에 띄워져 있는 경우도 있습니다. 보이는 프롬프트 창에는 글자가 안보여도 그게 띄워져 있다면 그게 섞여 들어가긴 하더라구요. 그 문제가 아니라면, 깔끔하게 지우고 하는 것도 방법이긴 합니다. 프리셋 부분 저장한 게 없다면 파일들 그런거 백업하고 다시 해보시는걸 추천드려요~ 저도 한번은 그렇게 해야할 것 같기도 합니다.

@jhahn8702 Год назад

설정과 확장기능 등 여러가지를 손 대어 보다가 VAE를 "자동"으로 바꾸었더니 두 개의 영상이 만들어지던 증상은 없어졌습니다. 그 후 다시 vae-ft-mse-840000-ema-pruned.ckpt으로 바꾸어 보았는데 이번에도 제대로 되었습니다. 전에 sdxl_vae를 쓰다가 바꾸어서 그랬던 것인지, ㅠ.ㅠ.ㅠ. 하여간 재 설치를 안 하여도 되니 다행이네요. 그리고 설명에서 사용하셨던 hanimix_v14 체크포인트는 CivitAI에서 찾을 수가 없네요. 혹시 다른 곳에 소스가 있는지요?

@jhahn8702 Год назад

감사합니다.

@ai_opener Год назад

@@jhahn8702 아 다행입니다. 이런 팁도 많은 도움이 됩니다. 전혀 원인이라고 생각못했던^^ 저 체크포인트는 아카라이브의 하니타카님이 제작하신건데 가끔 배포를 하세요~ 그래서 공식적으로 나와있진 않습니다 ㅠㅠ 검색하시면 종종 배포하시니까 구할 수 있을꺼에요~

@윤이나라-h4g 10 месяцев назад

감사합니다.

@ai_opener 10 месяцев назад

윤이나라님 슈퍼Thanks 감사합니다^^ 내년에는 좋은 일 많이 생기시길 바랄게요!!^^

@석이에AI이야기 Год назад

원본영상소스를 넣어서 동작을 따라하게하는 부분이 좀 좋은것 같은데 제가 좀 해보니까 좀 긴 원본영상소스를 넣으면 넘버 업 프레임이나 FPS가 자동으로 잘 설정이 안되고 에러가 나더라구요. 4초 정도에 짧은 영상이 아니고 좀 긴 영상이라 그런지? 아니면 제 컴이 좀 사양이 부족해서 그런지 모르겠네요?

@ai_opener Год назад

맞아요 그부분이 된다면 기존의 애니메이션 방법과 차별성이 있을꺼에요~ 다 보여드리면 좋았는데 제 그래픽카드가 고장 난 걸 알아버려서 시연하는데 어려움이 있었습니다 ..조금 손 좀 보고 해봐야겠어요 ㅠㅠ 사양 탓도 많이 있지만 긴 영상 그럴 수 있을 것 같습니다. 그래서 자동 설정도 안되나봐요 ㅠㅠ

@ai_opener Год назад

석이에님 세팅에 가서 animatediff 최적화 옵션에 체크를 하시면 조금 도움이 될 수 있습니다~ 에러가 좀 줄긴 하더라구요. 하지만 계속 체크중인데 이것도 완벽하지는 않습니다

@석이에AI이야기 Год назад

감사합니다. 제 컴에 스테이블 디퓨전 설치한 부분도 뭔가 잘못되어 있는것 같기도해서 다시 제 설치해서 말씀하신대로 셋팅에서 최적화 한뒤 한번 더 해봐야 겠네요 ㅋㅋ 근데 제가 쓰는 컴사양이 RTX3050 Ti 이라서 브이램이 아마 8기가 정도밖에 안되 좀 버벅거릴수도 있겠네요 정 안되면 코랩에서 한번 더 해 보려고 생각중 입니다.

@정글에서살아남기-m7l 8 месяцев назад

안녕하세요! 영상 잘 봤습니다. 그런데 유사한 스펙으로 animatediff를 실행시켰는데 메모리 부족으로 돌아가지 않네요..동일한 모델, 512*512 사이즈입니다. os가 윈도우이신 것 같은데 저는 mac이라 차이는 있겠지만요..혹시 사용하는 기기 메모리 스펙을 알 수 있을까요? 참고로 제 오류 메세지는 다음과 같습니다 ㅠㅠ: "RuntimeError: MPS backend out of memory (MPS allocated: 10.10 GB, other allocations: 8.15 GB, max allowed: 18.13 GB). Tried to allocate 1.25 GB on private pool. Use PYTORCH_MPS_HIGH_WATERMARK_RATIO=0.0 to disable upper limit for memory allocations (may cause system failure)."

@ai_opener 8 месяцев назад

맥은 저도 알기가 어렵습니다 ㅠㅠ 저는 12vram 사용하고 있어요~

@m.flute-healingmusics7790 Год назад

{{{squats}}},{{masterpiece}},best quality,1girl,beautiful girl,cinematic lighting, 0 : stands up 8 : bend knees 16 stands up 그리고 컨트럴넷에 여성 이미지 한장 띄우고 했는데, 만들어지는것은 알아볼 수 없는 이상한 픽셀들만 가득채우는 군요. 해상도를 960*540 으로 해서 그런 것은 아닐거고.. FPS 8 프레임 24 나머지는 모두 기본값인데.. 왜 이러는지 모르겠군요. 이럴 경우 스테이블 디퓨전을 다시 껐다 켜볼까요?

@ai_opener Год назад

그래픽 카드 과부하 걸릴때 그러기도 하고 잘 안되는 체크 포인트 모델도 있습니다 잠시 쉬었다 하셔도 방법입니다~

@m.flute-healingmusics7790 Год назад

@@ai_opener 과부하가 원인이겠군요.. 역시... 다시 해보겠습니다.

@greatmeerkat 10 месяцев назад

질문이 있습니다. 스테이블디퓨전을 설치했는데 위 영상 처럼 스타일 저장버튼이나 화투패 버튼이 안보입니다. 어떻게해야 보이는 건가요?

@ai_opener 10 месяцев назад

안보이는게 정상이에요 보이는건 예전 버전입니다^^

@greatmeerkat 10 месяцев назад

@@ai_opener 답변감사합니다. AnimateDiff 설치하고 webui실행하니 Error loading script: animate.py Traceback (most recent call last): File "C:\sd\stable-diffusion-webui\modules\scripts.py", line 382, in load_scripts script_module = script_loading.load_module(scriptfile.path) File "C:\sd\stable-diffusion-webui\modules\script_loading.py", line 10, in load_module module_spec.loader.exec_module(module) File "", line 883, in exec_module File "", line 241, in _call_with_frames_removed File "C:\sd\stable-diffusion-webui\extensions\AnimateDiff\scripts\animate.py", line 9, in import diffusers ModuleNotFoundError: No module named 'diffusers' 라는 에러가 출력 됩니다. 어떻게 해결해야 할까요? T-T

@좋아눈이 Год назад

감사합니다

@ai_opener Год назад

네 감사합니다 ~즐거운 주말 되세요~

@jeemin7519 Год назад

대박!

@ai_opener Год назад

대박이죠? 감사합니다^^

@AI-ONOFF Год назад

1.6 이상 버전에서만 사용 가능한거죠 ? ㅠㅠ 에러 생길까봐 업데이트를 못하고 있어요

@ai_opener Год назад

네 맞습니다. 요즘은 안정화가 많이 되서 업글하셔도 좋을 것 같습니다~

@짱구애미-t6o 11 месяцев назад

2d체로도 가능한가요? 이미지2이미지를 활용해서요

@ai_opener 11 месяцев назад

저같은 경우는 이미지 2 이미지는 잘 안된거 같아요 ..2d도 되는 체크포인트가 있고 안되는게 있고 그런거 같습니다. ㅠㅠ

@짱구애미-t6o 11 месяцев назад

@@ai_opener아..... 그렇군요 ㅠㅠ 답변 감사드립니다 :)

@lululun8673 Год назад

4초짜리 영상뽑으면 2초씩 나누어서 2개가 만들어지는데 하나로 4초로 어떻게 만들 수 있을까요..ㅜㅜ Closed loop 눌러도 똑같네요

@ai_opener Год назад

1개가 만들어지거나 아예 안만들어지거나 둘 중에 하나일텐데 파일이 2개가 생긴다는 건가요>?

@lululun8673 Год назад

@@ai_opener 파일은 하나인데 2초짜리 별개 영상으로 2개가 붙어있어요

@ai_opener Год назад

@@lululun8673 뭔가 중간에 급변하게 나타나는거 같은데,, 그래픽카드 쪽에서 문제일거 같은 생각이 듭니다~ 설정이야 크게 바꾸지 않는이상. 재부팅하고 댓글에 남긴 것처럼 최적화 세팅해서 해보시면 좋겠습니다

@Warrior19754 Год назад

로컬 그래픽 카드가 어느 정도 되야 합니까? 정말 궁금합니다

@ai_opener Год назад

저는 rtx 3080 vram 12인데 잘 되다가 어떤부분에서는 안되기도 하네요 ,,, ㅜㅜ 해결점을 찾아야합니다~

@Warrior19754 Год назад

@@ai_opener 감사합니다 적어도 3080이상은 되야 하는군요 ㅠㅠ

@moviecartoonworld4459 Год назад

지금은 1.6부터 사용가능 한것 아닌가요?

@ai_opener Год назад

맞습니다. 대부분 신기능은 최근 버젼에 맞춰서 나오지 예전 버젼으로 맞추지 않거든요~ 그래서 업데이트 해야 다 사용가능하다 생각하시면 편합니다. 이전 버전에 안된다고 저를 탓하시는 분도 계신데..저는 죄가 없어유~ 개발자분이 갓인지라 ㅎㅎ

@moviecartoonworld4459 Год назад

항상 잘배우고 있고 감사한 마음뿐입니다… 스승님이라 생각합니다!!

@ai_opener Год назад

@@moviecartoonworld4459 알아요^^ 그냥 농담으로 한거에요~~~ 신기능할때는 조심하셔야 해요 기존 확장 프로그램 호환 문제도 가끔 있어서 조심하긴 해야 해요^^

@moviecartoonworld4459 Год назад

@@ai_opener 조언감사합니다!!! 행복한 하루 보내세요!

@ai_opener Год назад

@@moviecartoonworld4459 네 좋은 하루 보내셔요~~~

@user-yb9ne8te1n Год назад

영상 감사합니다. 저는 16프레임마다 이미지가 끊겨서 나오네요 ㅠㅠ

@ai_opener Год назад

네 보통 영상같은 세팅을 하면 그렇게 끊기는 이미지는 나오지 않을텐데요 ㅠㅠ,, 그래픽카드 영향이 있기도 합니다...

@puggyk4220 Год назад

롱테이크 가능 할까요?? 1분 이상 , 시점 이동

@ai_opener Год назад

그래픽카드 성능이 따라주면 가능합니다~ 저는 일단 너무 뜨거워져서 시도는 못하고 있어요 ㅎㅎ

@puggyk4220 Год назад

@@ai_opener 4090/ 64gb 입니다

@ai_opener Год назад

@@puggyk4220 아유..그럼 충분하쥬~~ 롱테이크 가능!

@puggyk4220 Год назад

@@ai_opener 여러 object간의 상호접촉 예제 있을까요? 격투기 매치

@ai_opener Год назад

@@puggyk4220 상호접촉이 있다면 이건 정말 좀 복잡한 이야기가 됩니다 ..조금 더 보완기술이 있어야 될것 같아요

@JJCAFE_RAinly 9 месяцев назад

fps만 더 부드러워지면 대박이겠는뎅

@ai_opener 9 месяцев назад

네^^ 그렇겠죠~

@pwknai Год назад

와우 이건 또 뭔가요??? 저렇게 얼굴각도를 막 바꾼사면 자유포즈로 이미지 뽑기가 가능하겠군요.

@ai_opener Год назад

네 맞습니다. 나온 기능을 여러 조합해서 다양한 결과물들을 만들 수 있어요~