Mistral, LLaMa & Co. - Use free AI giants locally 

Hey Morpheus Echt geile Webseite! sehr nice!

🏆

Die Seite ist echt hübsch geworden. Leider sind mir ein paar Dinge aufgefallen, die die Nutzung etwas negativ beeinflussen: - Titel lädt schnell, aber die Seite laggt beim initialisieren (vermutlich wegen dem threejs Ding) und ist unbenutzbar (hängt) und Buttons sind nicht anklickbar für ein paar Sekunden - Das threejs Ding sollte vielleicht (wenn möglich) nicht mit der Maus-Folge-Animation abbrechen, wenn man einen Button oder Text hovert (wirkt kaputt) - Haufenweise Warnings in der Konsole - paar Abstände wirken zu klein ("Zur Bootstrap Academy" Button Padding links und rechts und Abstand im Footer nach "Contact") - Fehlende Übersetzungen im Footer? - Bootstrap und jQuery? (Naja, ist dir überlassen xD)

dem möchte ich mich anschließen

Habe das auch. Sieht aus wie ChatGPT und man kann den Text auf Fullscreen setzen, was ich bei ChatGPT nicht gefunden habe. Achso und mit Bildern kann der auch umgehen (einfach hochladen im Chat).

Englische "Billions" genauer gesagt.

@@lars7898 Es gibt keine deutschen "Billions" genauer gesagt. Milliarden oder Billionen oder Billiarden auf gut Deutsch gesagt.

@@herrspitz6964 Ich glaube es ist schon klar geworden, dass das B im Namen für eine englische Bezeichnung steht.

Das war nur ein Versprecher, später im Video hat er es dann eh richtig gesagt.

@@lars7898 Mir gehen Klugscheißer die auch noch falsch korrigieren auf den Sack.

Achso ROCm läuft nur auf Linux, hab ich vergessen.

@@tedzards509 Es geht ihm dabei darum, dass die meisten Modelle mit CUDA beschleunigt werden, was Nvidia GPUs vorbehalten ist.

@@Tri-Technology die meisten Modelle von huggingface werden nit pytorch ausgeführt. Pytorch hat eine Beschleunigung für sowohl ROCm, als auch CUDA. Die modelle selber sind für nichts beschleunigt.

@@tedzards509 ist das vom Format abhängig (z.b. GGUF) oder steht bei jedem Modell ob das mit pytorch, Tensorflow oder Kerras läuft?

Mit Apples M Chips ist es schwierig, da die meisten Modelle CUDA zur Beschleunigung nutzen und das nur mit Nvidia GPUs möglich ist und zudem die M-Chips auf ARM-Architektur basieren. Da müsstest du Mal konkret in Apple Foren schauen oder selbst versuchen, ob du die Modelle zum laufen bringen kannst.

@@Tri-TechnologyDas ist nur bedingt richtig. Für Apple Silicon ist das GGUF Format wie gemacht. Apple hat tatsächlich den Vorteil, dass es über 'Unified-RAM' (geteilten Memory zw- CPU&GPU) verfügt und etwas schneller läuft als auf herkömmlichen CPUs. Ist natürlich trotzdem kein Vergleich zur Geschwindigkeit von NVIDIA-GPUs. Mit

Agenten erstellen: ja Jobs: großes Thema, hab ich ein paar Mal angerissen, aber momentan laufen die qualitativ noch nicht alleine Werden aber noch mehr Videos dazu kommen

Ich mir auch, ich versuche immer das gerade momentan wichtigste zu machen. Wenn du Vorschläge hast, schreib mir gerne

@@TheMorpheusTutorials Auf dem Tutorial-Kanal fehlen für meinen Geschmack Videos zu gewissen trendigen Frameworks (gerade in der Werbeentwicklung). Man könnte mit sowas wie Svelte(-Kit) oder NextJS starten und dabei auch erklären, was die grundsätzlich anders machen und welche Probleme sie z.B. gegenüber React lösen. Für meinen Geschmack muss man keine gesamte Playliste machen, ein längeres Video (≈1-2 Stunden) reicht und ist übersichtlicher, eine Playliste schreckt eher ab. Zwar hat der Kanal sehr ausführliche Playlisten zu diverse Themen, was mir dabei aber etwas fehlt sind Videos, die gerade für Einsteiger die Konzepte hinter "dem großen ganzen" verständlich machen und einordnen. Damit meine ich sowas wie den Weg von Daten, die man irgendwo in einem Formular eingibt (Frontend) mit einem Protokoll über ein Netzwerk zum Backend in die Datenbank und umgekehrt. Dabei dann auch immer darauf hinweisen, was es zu beachten gibt, dass alles möglichst sicher wird. Das würde dann viele Themen von Netzwerk, Frontend-Entwicklung, APIs und Datenbanken verbinden. Auch so trendige Themen wie "Wie optimiere ich meine Entwicklungsumgebung" oder einen Vergleich von Code Editoren und IDEs könnte ich mir vorstellen. Bei sehr viel Freizeit und Motivation würde die eine oder andere in die Jahre gekommene Playliste eine Überarbeitung vertragen oder könnte einfach durch ein längeres, ausführliches Video ergänzt werden, das für den durchschnittlichen Hobby-Zuschauer ausreicht und wer mehr braucht kann in die Playliste. Ich stelle sie mir in der Art wie die vom englischen Kanal "Programming with Mosh" vor, nur hat der A nicht zu allen Themen was und ist B auf Englisch (was für die meinen jedoch kein Problem sein dürfte). Bezüglich des Hauptkanals gefallen mir immer die Vergleichsvideos (Passwort-Manager, Browser, Clouds) ganz gut, aber auch die exposed-Videos, wo man irgendeinen Anbieter oder eine Technik runter macht (Opera, Fax) und zeigt wie es besser geht. Könnte man ja auch zu E-Mails machen. Bei den Vergleichen könnte man nach iOS gegen Android unter dem Gesichtspunkt der Sicherheit selbiges am Desktop machen. Ich persönlich liebe auch die Videos, wo man "Big Tech" runter macht, könnte man aus gegebenem Anlass ja bei Apple und deren Verhalten machen (DMA). Was ich auch sehr vermisse sind die IT-Trends, kann man ja vielleicht auch seltener, etwa zum Monatsende bringen, wenn sie sonst zu aufwändig sind. Was ich noch auf keinen RU-vid Kanal gesehen habe sind außerdem Videos dazu, wie ein IT-Nerd seinen Fernseher privatspäreschonend und werbefrei betreibt, dabei aber nicht auf Maus und Tastatur angewiesen ist und darüber hinaus eine Integration mit dem Heimnetz (Netzwerkspeicher, Medienserver) herstellt. Das ganze Thema Homelab inklusive von verglichen wie AdGuard Home gegen PiHole oder Plex gegen Emby gegen Jellyfin könnte man auch machen. Des weiteren könnte man Dienste wie Paperless NGX oder Photoprism vorstellen und einrichten. Ich hoffe mal der Text war nicht zu lang, allgemein sollten das einfach Anregungen sein, in welche Richtung es gehen könnte, Hauptsache keine KI mehr 😅

@@TheMorpheusTutorials Was mir gerade noch eingefallen ist: Videos, die Krankenkassen, Versicherungen, Energieanbieter, online bezahlen und online ausweisen unter der Lupe des IT Security (und Privacy) Profis kritisch beäugen und vergleichen, gerade bei Krankenkassen aufgrund der momentanen Digitalisierung (E-Rezept, elektronische Patientenakte) vielleicht interessant.

​@@IPnatorSowohl Playlists als auch lange Videos haben ihre Berechtigung. Für Anfänger ist wahrscheinlich eine Playlist besser, da sie dann einfach ein Video mehrmals anschauen können. Wie funktioniert das bei einem langen Video? Wenn es gklut organisiert ist, kann ich zwar zum gewünschte Kapitel springen, aber wie schaue ich mir nur ein Kapitel an?

@@Hofer2304 RU-vid hat seit einigen Jahren diese Timestamps, mit denen kann man ein längeres Video in Kapitel aufteilen und so für Struktur sorgen. Innerhalb des Videos kann man dann auch ein einzelnes Kapitel wiederholt anschauen. Ich glaube aber, als Anfänger wiederholt man eher die letzten 10-30 Sekunden, anstatt das gesamte Kapitel, mache ich jedenfalls so.

Klappe zu und weiterschauen 😂🤓

das hat mich auch kurz so verwirrt hahaha

Nein, leider nicht. Egal welche "KI" du nutzen möchtest, AMD steht weit hinten. Du kannst ja mal nach ROCm googlen. Das ist AMDs Antwort auf die schlechte nutzbarkeit der AMD karten. Wie und ob dir das weiter hilft kann ich leider nicht sagen.

Bildgeneratoren: stable diffusion, hab ich auch ein paar Videos zu

Rtx 3090

ich glaub du hast nen andren Filter drin^^ Ich hatte nur die Text Modell ;)

Kommt auch drauf an, wie flott das sein soll. Ich lasse 70B Modelle (5_K_M quantisiert, GGUF) ohne Grafikkarte laufen, aber bei 64 GB RAM. Da geht es zwar in den Bereich Sekunden pro Token statt Tokens pro Sekunde, aber ich verwende auch nur eine energiesparsame Notebook-CPU.

Es gibt keinen erweiterbaren VRAM bei Grafikkarten. Shared Memory ist zum Teil reservierter RAM für deine Integrierte Grafikeinheit deiner CPU (iGPU), wenn du denn sowas hast. Außertdem gibt es ja schon Lösungen, die auch auf der CPU laufen und eben deinen RAM statt GRafikkarte und deren VRAM nutzen, nur bocklangsam. Ich denke dass auch beides genutzt werden kann, wenn der VRAM nicht ausreicht aber ich weiß nicht inwiefern sich das überhaupt lohnt bzw. wie sehr das ganze über die CPU dann ausgebremst wird. Und resizable bar ist eine Option im Bios die du im besten Fall sowieso immer aktiv hast.

Ich denke auch dass aktuell kein guter Zeitpunkt ist. Der Gerüchteküche zufolge fährt Nvidia die Produktion der 40er Serie inzwischen runter um beim Launch der 50er nicht auf Lagerbeständen sitzen zu bleiben. Ich denke aktuell lohnt es sich definitiv auf die 50er zu warten. Sei es nur um die 40er günstiger zu erwerben:)

Ich meine, dass wurde in einem der ersten Videos von Morpheus zu LLMs und ChatGpt mal angesprochen. Genaue Zahlen wird man allerdings wohl nur bei der jeweiligen Entwicklungsfirma finden.

Was heisst ui?

@@karlaschmidtke7727 User Interface oder deutsch Benutzeroberfläche

Deswegen sollte man (sofern möglich) immer die Safetensor-Varianten der Modelle nutzen und 'trust-remote-code' auf false lassen.

Kann man schon, einen guten Prompt vorausgesetzt. Die Ausgabe kann aber Fehler enthalten. Da gab es so einen US-Anwalt, der ChatGPT arbeiten lassen hat, und dann existierten die referenzierten Fälle gar nicht... (GG reicht da im Allgemeinen nicht als Kontext)

@@Ph34rNoB33r Und wenn man GG plus alle Abhängigkeiten übergibt?

@@Foreversun33 Das wird eine Menge Material. Und eine Menge Interpretation, die sich auch mit der Zeit ändern kann. Muss man dann alles noch überprüfen. Wenn ich irgendwo eine Beschwerdemail schreiben will ist das wahrscheinlich okay. Für einen Vertrag oder die Verteidigung vor Gericht eher nicht. Es kann unterstützen, aber keine Rechtsabteilung ersetzen, und das sehe ich vorerst auch nicht kommen.

Wenn man eine Richtung bekommt, und mit der anschließend zu einer Fachkraft, eventuell mit einer Zusammenfassung, wie die KI "geschlossen" hat, wäre doch schon mal was, als Annäherung.

@@Ph34rNoB33r Danke für deine Einschätzung.

Das ist ja der Vorteil an OpenSource, man kann ich den Quelltext schauen und nachvollziehen was da gemacht wird.

@@firef4rtakasven453 Das schon aber meistens schaut man sich ja nur das an, was einen interessiert, weil man für den Rest gar keine Zeit hat.

Ja, am Kit in Karlsruhe

Ja hab's probiert, war leider komplett broken und nicht ausführbar

warum sollte es denn crashen? high demand

Die Börsenkurse steigen nicht wegen den verschiedenen Modellen, sondern wegen der enormen Nachfrage nach der Hardware, auf der diese Modelle laufen. Siehe Nvidia.

@@herr-a5460 Mein Kommentar bezog sich auf den aktuellen KI Hype an der Börse und da es Über 69 000 Modelle gibt die man auch noch kostenlos bekommt ergibt es keinen Sinn wenn die Unternehmen dann keinerlei Gewinne erzielen weil man es kostenlos bekommt. Erinnert alles somit an die Dotcom Blase als das Internet auf den Markt kam.

@@herr-a5460 Falsch, Börsenkurse steigen weil mehr Aktien gekauft als verkauft werden, nicht mehr und nicht weniger. Oder wie erklärst du dir den hype um GME letztes Jahr?!

Also eher KI-Hardware. ansonsten steigen eigentlich nur Microsoft und Meta halbwegs. Die "KI-Player" Amazon und Alphabet haben nichtmal ihr 2021hoch überwunden. Und Adobe kann vom KI-hype auch nicht profitieren

Hey. Soweit ich weiß gibt es die doch. Weiß natürlich nicht ob das der Anwendungsfall ist den du gern hättest aber KI die Krebs mitlerweile oft zuverlässiger erkennt als Fachärzte. KI für die Forschung bei neuen Medikamenten. KI zur berechnung vom Proteinfaltung für diverse Anwendungszwecke. Aufjedenfall ein spannender Bereich.

​@@gorgep1242 Mich würde dieser Bereich sehr interessieren. Besonders cool wäre wenn es auch davon open-source gibt, damit jeder mit forschen und mit machen kann. Vielleicht erklärt uns Morpheus demnächst wie man KI-Modelle trainiert oder feintunt

Okay, dann erzähl mal. Mein das ernst :)

Es sollen ja auch newcomer angesprochen werden.