Danke für das Video! Das mit den Preisen ist schon recht heftig. Aber mir kam der Gedanke, dass OpenAI mit den Finegetunten (es lebe Denglisch) Modellen schon gewissen Aufwand betreiben muss. Das Modell muss ja praktisch gehostet werden, da es ja weiterhin bei OpenAI läuft (man kann es ja nicht einfach herunterladen... das wäre allerdings fein ;) ). D.h. irgendwo läuft dann eine Instanz, die Kosten verursacht. Aber ob das die Preise so rechtfertigt, kann ich natürlich nicht sagen
Das ist das nette bei lokaler AI: Mit selbst geschriebenem sampling Code (oder grammar bei llama.cpp) kann man das Modell ohne Finetuning etc. auf ein bestimmtes Ausgabeformat (wie z.B. JSON) steuern oder sogar die Ausgabe waerend der Generation steuern.
könntest du mal ein fine tuning video mit PEFT und OpenSource Modellen machen ? Insbesondere würde mich auch mal das Thema Computation Power vs. ModelParameter Size & Fine Tuning interessieren. Die Frage ob man für custom Use Cases sogar lokal fine tunen kann oder mittels"relative kleiner" Cloud Infra das umsetzen kann fänd ich auch sehr interessant.
Man kann jetzt bei GTP3.5 auch custom instructions vorgeben, die für jeden neuen Chat im Hintergrund übernommen werden. 1500 Zeichen hat man dafür kostenlos zur Verfügung. Das macht das teure Finetuning noch weniger interessant.
es sind insgesamt sogar 3000 Zeichen. jeweils 1500 für "What would you like ChatGPT to know about you to provide better responses?" und "How would you like ChatGPT to respond?"
Hast du schonmal versucht, OpenAIs function calling zu verwenden, um JSON Strukturen vorzugeben? Das soll ganz gut klappen heißt es in englischsprachigen Tutorials.
Ich habe bei meinen API Zugriffen (wenn ich JSON als output haben will) einen anderen start drinnen. In den Messages habe ich als erstes die System role, wo ich dem LLM die Rolle gebe. Dann setze ich als User ein Beispiel, was er hätte schreiben können. Dann ein assistant promt mit der gewünschten Ausgabe inklusive alle json Felder, die er nutzen soll. Zum Schluss kommt die user message. Zack und ich habe grundsätzlich ein Json output wie ich das haben will 😊
Wie sieht das ganze dann mit Copilot aus, wobei Microsoft ja bald ähnliches anbieten wird. Laut Microsoft soll ein auf den firmeninternen Daten finegetuntes Modell keine Copyright-Verstöße mehr machen. Bin mir da unsicher, aber gespannt was die Zukunft bringen wird.
"Fine-Tuning Daten durch Moderations-API" ?!? - wie krass. Wie doof könnte jemand sein, das zu verwenden? Du weißt auch nicht, was ein KI-Modell aus deinen Daten lernen kann: die Daten bleiben alle da draußen und die nächsten KI-Generationen können da potenziell viel mehr rausziehen.
@@Toebaay ich mein bei den Preisen ist hosten bestimmt die bessere Lösung und man muss ja nicht hosten wenn man für ein paar hundert Euro ne Grafikkarte kauft