Stable Diffusion 3: ComfyUI Tutorial und Vergleich: Ultra vs Medium 

Aufgrund der Lizenz hält sich das Interesse in Grenzen. Ich werde bei SDXL weiterbasteln.

Sehr gelungener Vergleich! Top, dass du gleich den Output nebeneinander gelegt hast und die Prompts so gezeigt hast. 😊

Das ging fix, danke für das schnelle Update und den Vergleich

Hey Morpheus - mein Tip ist Krita mit Krita-AI-diffusion Plugin. Du hast gleich ein Bildbearbeitungsprogramm (ein sehr gutes) am start. Das Plugin tut nix anderes als Dir in deinem Krita Pluginfolder eine komplete ComfyUI struktur zu installieren. Kann ich nur empfehlen.

Sollte man pip install -r requirements.txt nicht besser innerhalb vom venv installiert werden? Vor allem, wenn man div. andere Python Programme installiert hat, macht das Sinn. ;-)

Woah! Wenn ich den Newsletter nicht schon abonniert hätte, dann jetzt. :) Im LMStudio scheint es das noch nicht zu geben. Hab ja MacOS. ^^ Würde gerne mal was mit Bildern ausprobieren. ^^

jetzt fertig geschaut. cooles vodeos :)

Oh mein Gott ich liebe alles daran! Seitdem SD1.5 released wurde verging nahezu kein Tag an dem ich nicht in meiner AUTOMATIC1111/stable-diffusion-webui BIlder generiert habe und immer und immer besser wurde. Jetzt zu sehen das wir endlich ohne zusätzliche LoRA/spezielle Modelle Texte erstellen und zusätzlich höhere Auflösungen und Kontexte verwenden dürfen ist einfach wunderbar!

Der Song für den Newsletter ist geil

Okay, jetzt will ich mir deinen Newsletter immer mit suno vorlesen lassen, als Somg

Danke

Toll🎉

Danke fürs Tut, Tip ist raus.

Im linken Unterwasserbild gibt es einen Schildkrötenfisch und der alte Tischler hat im Ultramodel eine missgestaltete Hand. 😊 Das ist aber auch das, was ich bei SD3med gesehen habe. Die KI hat nach wie vor Probleme mit Körperteilen und, und das sollte bei SD3 eigentlich besser geworden sein, Text wird leider immer noch nicht korrekt dargestellt.

Mal eine Frage. Nutze oft "Civitai" für Beispielbilder und die entsprechenen Prompts. Dabei sehe ich immer wieder die Befehle "score_2,score_3,score_4 "usw.oder "Score_3_up" in den Prompts. Was bedeuten diese Befehle?

Bitte vull version mit mudkviedeo ❤❤❤❤ vom newslettersong ❤❤❤😂

Wäre cool, wenn du das Transkript anschalten würdest.

Mich errinnern die Bilder bei 31:55 an den/die Film(-Reihe) "Tron".. kann mich aber auch täuschen.

Was war doch erst gestern wo SDXL rauskam was zur hölle

28:33 Die Schildkröte hat 3 Arme/Flossen vorne. Da würde ich das Medium Modell ohne Schildkröte bevorzugen.

ich habe comfyui aktualisiert, aber habe noch die alte ansicht. Muss ich das wirklich neu installieren?

Sollte man es lieber über die ryzen 5 3600 CPU laufen lassen oder die RX 590 GPU? Bzw. Anhand welcher Daten findet man es heraus?

@Morpheus Also ich hab jeden Schritt ausgeführt wie im Video. Ich starte die run_nvidia_gpu bat, lasse alles wie es ist (zum testen) und klicke nur auf "Queue Prompt". Raus kommt aber nur ein schwarzes Bild, also keine Details, nix, nur schwarz. Ich nutze eine RTX 3070. Is zwar nich die stärkste Karte, aber bei den letzten SD Modellen hat das Teil dann i.wann wenigstens mal etwas ausgespuckt. Meine CPU is ne Ryzen 7 3700x und ich nutze Win 10. Vllt. ne Idee warum das bei mir nich hinhaut?

Hat jemand einen Tipp wie ich einen (Bild-) Charakter erstelle? Problem: Bislang finde ich nur Prompts und Anleitungen, um ein einzelnes Bild zu erstellen. Aber wenn ich eine Figur haben will (wie Batman, Rotkäppchen oder ein Schlumpf) dann brauche ich einen Charakter und der soll dann in verschiedenen Bildern agieren. Mal knien, mal lächeln, mal was anderes anhaben, mal einen Baum hochklettern oder einen Gegner k.o. hauen. Wie definiere ich sowas? Für einen Link oder Hint wäre ich dankbar.

SD3 läuft jetzt auch bei mir, leider langsamer als SD-XL (beides mittels CPU). Ich hab ComfyUI im venv von Automatic1111, da tats ein einfaches git clone, es fehlt zwar was, das hat aber nichts mit Bildgenerierung zu tun. Den Pfad zu den Modellen einer A1111 Installation kann ma so übergeben: "--extra-model-paths-config extra_model_paths.yaml", in der yaml-Datei angepasst. Sonst hätte ich das mit Verknüpfungen gemacht. Nach paar Tests finde ich manche SD-XL basierte Modelle insgesamt besser.

Womit hast du den Newsletter Song erzeugt?

Warte lieber, bis es A1111 einbaut (falls überhaupt). Nix gegen Comfy, aber ich hab das inzwischen satt, es immer wieder neu zu installieren, weil sich wieder mal die Erweiterungen nicht vertragen.

Ah, der Technik Mois hat ein neues Video hochgeladen :)

würde mir ein kurzgefasstes windows only video für nvidia gpu´s wünschen.

Also ich habe ComfyUI unter Linux mit einer AMD Radeon am laufen. Ich finde es aber sehr eingeschränkt im Vergleich zu anderen UIs.

was haltet ihr von Autogen Studio? noch hab ich dazu kein deutsches tutorial gefunden, taugt das was?

Welcher Browser ist das ?

Es ist schon verständlich, dass eine Firma wie Stability AI sich ja auch irgendwie monetarisieren muss. Es hilft am Ende niemanden (der Bock auf KI Bildgenerierung hat) wenn die pleite gehen. Und solange man das Modell dann zumindest über eine API ansprechen kann, diese mit genug Eingriffsmöglichkeiten implementiert wird und man über den eigenen Code nicht mehr machen kann als einen Prompt abzuschicken, sind immer noch Tools wie Automatic1111 und ComfyUI möglich. Vor allem Sachen wie ControlNet sind mir da wichtig und mich würde interessieren ob sowas dann noch mit der API möglich ist. Für ControlNet braucht man ja auch separate Modelle. Da ist die Frage ob die from scratch oder mit SD als Basis trainiert wurden und ob man bei Nutzung der API noch selbst trainierte Modelle mit nutzen kann die auf Basis von SD 3 Medium trainiert wurden. Dann ist noch die Frage ob man zwischen den Sample Steps noch eingreifen kann oder ob man nur nen Request mit dem Prompt und ein paar anderen Einstellungen abschickt, danach alles, ohne Eingriffsmöglichkeiten auf Stability AIs Servern läuft und man nur noch das fertige Ergebnis zurück kriegt. Diese Kontrolle ist am Ende finde ich einer der wichtigsten Aspekte die Stable Diffusion so mächtig machen. Denn sobald das möglich ist kann man auch verschiedene Plugins wie ControlNet nutzen welche einem die Kontrolle zurück geben die man verliert wenn man einfach nur einen Prompt eintippt und der Rest die KI macht. Das ist am Ende der Unterschied der wirklich KI Bildgenerierung zu KI Kunst macht. So wie der Unterschied wenn ich mit meinem Smartphone random irgendein langweiliges Objekt fotografiere oder ich mir eine vernünftige Kamera nehme, das Motiv inszeniere alles richtig ausleuchte und Fotografie wirklich zur Kunst wird. Ich finde Fotografie ist da wirklich der beste Vergleich weil es in beiden Fällen so ist, dass die tatsächliche Umsetzung des Bildes von der Technik übernommen wird, während man selbst nur die äußeren Rahmenbedingungen kontrolliert und man es auch mit oder komplett ohne künstlerischem Anspruch tun kann.

Hi, ich finde das Ultramodel wesentlich besser. Ich hätte fast keines der Medium Bilder genommen.

Wie kommts das du Vivaldi nutzt?

dc link geht nicht :(

Nicht böse gemeint, aber ich sehe 0 unterschied zu mein Standard Stable Diffusion von automatic1111 genau so kaputte Finger und der Rest, also die quali Grafik ect. komplett gleich... wenn ich revAnimated oder dremshaper benutze exakt die gleichen Ergebnisse... ich bin da jetzt nicht begeistert.

Wenn das large das 8b ist (Medium = 2b), dann wohl ja. Aktuell soll das medium angeblich bessere bilder liefern, weshalb die das rausgehauen haben und das andere model noch am optimieren sind.... 🤔

Cedric, das Lizenzmodell, das für dich gilt, verlangt, dass du monatlich Kohle an StabilityAI zahlst, weil du Content Creator bist. Machst du das nicht, musst du alles löschen, wo das benutzt wurde. Auch im Nachhinein.

Jetzt hast du ja gar keine Texte mehr gezeigt :( schade das hätte ich noch interessant gefunden.

Aktuell nicht 🙂

Wossi86 ist doch der bessere Kanal.