Kleine Korrektur: es sind nicht Milliarden Neuronen, sondern Milliarden Parameter. Jedes Neuron hat ja sehr viele Gewichte, dazu kommen noch die Gewichte der Attention Layer.
nunja... hier wird ganz viel halbwissen vermittelt. bspw ist ggml das bereits fertig errechnete sprachmodell in der jeweiligen ausprägung. gpt4all hat derzeit nicht die aktualisierte llama.cpp um ein llama2-70b sprachmodell zu laden. auf die jeweilige quantirisierung und was K_S oder K_M angeht auch nicht. schade eigentlich, das hier nur so oberflächlich an dem thema "drüber gerutscht" wird.
Hammer Tutorial und sehr verständlich erklärt 😄👍 ... habe allerdings das gefühl, dass man mit der unzenierten version pandoras box geöffnet hat. Wenn man die richtigen fragen stelöt bekommt man informationen, die nicht umbedingt jedem in die Hände fallen sollte 😅
"The best offering in the game Dead by Daylight would be a character with a unique personality, such as a ghost or an angel. The best offering in the game Dead by Daylight would also depend on the player's preferences and playstyle." (13b)
nunja... hier wird ganz viel halbwissen vermittelt. bspw ist ggml das bereits fertig errechnete sprachmodell in der jeweiligen ausprägung. gpt4all hat derzeit nicht die aktualisierte llama.cpp um ein llama2-70b sprachmodell zu laden. schade eigentlich, das hier nur so oberflächlich an dem thema "drüber gerutscht" wird.
Zumindest nicht so einfach wie Bild KIs alles was ich dazu gesehen habe schaut noch ziemlich kompliziert aus. Ich glaube das schwerste wird die Aufarbeitung der Trainingsdaten sein. Basiert halt alles auf Frage und Antwort. Wüsste nicht wie ich da z.b Wissen aus ein Fachbuch Tranieren könnte.
@@sovielsand du könntest gerne Videos dazu machen oder Blogbeiträge, ich würde mich über mehr Tiefgang freuen. falls zu aufwändig hier im Kommentarbereich gerne
@@Silberschweifer : ich bin kein content creator wie morpheus. aber die nummer und das video war halt verflucht _niederschwellig_ / diffus / abseits vom thema.... im grunde genommen ist der gesamte fachliche content hier seit wochen unter aller *hütte*, weil es nur um klicks geht. wenn es schön und reich macht? bitte sehr! es gibt halt keinen echten mehrwert.
Was ist dieses "TheBloke/KafkaLM-70B-German-V0.1-AWQ" Gibt es Erklärungen für all die Modele? Da sind so viele Modelle dabei und kein Mensch weiß, wozu die gut sind?
Gibt auch ein LLama 2 das auf ein paar deutsche Datensätze verfeinert wurde. Funktioniert nur noch nicht so gut. Fantasiert bei mir nur ständig und wechselt ins Englische.
Danke für das Tutorial ich habe, aber noch ein paar Probleme damit. Llama2 70B GGML funktioniert bei mir nicht mit GPT4All und die 7B braucht einfach fast eine Minute um zu antworten. Was für ein paar Usecases wie zum Beispiel eine realistische NPC-Dialoge Mod, Contraproduktiv ist. Kann mir vielleicht jemand in den Kommentaren helfen, wie ich das Problem lössen kann.
Grafikkarte weiß ich nicht, beim Ram Verbrauch per CPU siehts so aus mit dem llama-2-70b.ggmlv3.q5_0.bin Modell: llama_model_load_internal: mem required = 45827,21 MB (+ 160,00 MB per state) Ist aber von der Quantisierungsmethode abhängig, auf den Modellseiten stehen oft so Tabellen.
Mit GPT4All reicht ein Laptop ohne Grafikkarte mit einer 4-Kern CPU und 8 GB RAM für 7B oder 16 GB RAM für 23B, wenn du nicht allzu viel Geschwindigkeit erwartest.
@@supportend Wieviel RAM brauchst du zum ausführen? Glaube die Geduld habe ich nicht. 😀 Und wüsste auch nicht was ich fragen sollte was mir das 13b oder demnächst das 32b Modell nicht auch beantworten kann.
Hi, danke für das Video. Ich habe eine Bitte. Ich würde das Video gerne einer Bekannten empfehlen, aber sie kann kein Deutsch. Kannst Du das automatische Erzeugen des Tra nsskripts und das automatische Übersetzen ins Englische einstellen. Dann kann sie sich das Video mit englischen Untertiteln ansehen. Das wäre super. Danke schon mal. PS: was (oder wer) ist TheBloke?
@@TheMorpheusTutorials Danke, kein Stress, ich erreich sie eh erst heute Abend. Und wg. Whisper: Ich dachte, das macht RU-vid selbst, aber vielleicht ist Whisper besser.
Eine Stunde für 17 Minuten Audio sind aber flott. Mit dem größten Modell brauchts bei mir ca. 16 mal solange wie das Original, läuft allerdings per CPU. Vielleicht deshalb.
Nein dafür gibt es z.B. für Sprache Whisper, ein audio zu text model. Für deinen anwendungszweck müsste man das finetunen oder vielleicht gibt es bereits ähnliche modelle
Vielen Dank. llama-2-13b-chat.ggmlv3.q4_K_M.bin ist interessant, schreibt auch auf Deutsch. Nachtrag: Sehr spannend, der Test mit einer kleinen Geschichte und Fragen dazu läuft interessant ab. :-) Wäre mal interessant zu wissen/sehen, wie man einen Fehler korrigieren kann. Also, wie das bei diesem Sprachmodell funkioniert und man die "Inteligenz" trainiert. Vielen Dank.
Q4_K_M ist eine viel bessere Wahl als Q2_K wie im Video! Wenn nicht sogar die beste, da es wohl den besten Ausgleich zwischen Qualität und Größe hergibt. Unter Q4_x sollte man eigentlich gar nicht gehen.
@@realtuxi Ich hatte das "einfach so" ausgewählt. Heute sieht es anscheinend anders aus, LLAMA 2 kann sich kaum an das "Gespräch" von gestern "erinnern". Mich würde mal interessieren, wie ein LLM z.B. Namen und Orte "erkennt". Kann mir das Anhang einer "Statistik" nicht so wirklich vorstellen. Sind jedenfalls heute nur fehlerhafte Antworten. GPT4All hat seit heute die Version 2.4.14. Bleibt spannend!
@@aketo8082 Ja, moeglicherweise ist bei der neuen Version etwas im Zusammenhang mit LLaMA 2 kaputt gegangen. Danke fuer den ganz inoffiziellen Report.
