GPT-3.5: API Guide & Warum FINETUNING so NICHT OKAY ist 

Es wäre mal interessant durchzurechnen, ab wann es sich lohnt ein "eigenes" fein-getuntes LLM im eigenen "Rechenzentrum" laufen zu lassen.

Es fühlt sich immer noch so an, als wäre ChatGPT gestern erst rausgekommen. Gutes Tutorial, vielen Dank :)

Was hat es für einen Vorteil, den System-Prompt auf so viele einzelne aufzuteilen?

Interessantes Video, thumbs up.

Danke für das Video! Das mit den Preisen ist schon recht heftig. Aber mir kam der Gedanke, dass OpenAI mit den Finegetunten (es lebe Denglisch) Modellen schon gewissen Aufwand betreiben muss. Das Modell muss ja praktisch gehostet werden, da es ja weiterhin bei OpenAI läuft (man kann es ja nicht einfach herunterladen... das wäre allerdings fein ;) ). D.h. irgendwo läuft dann eine Instanz, die Kosten verursacht. Aber ob das die Preise so rechtfertigt, kann ich natürlich nicht sagen

Das ist das nette bei lokaler AI: Mit selbst geschriebenem sampling Code (oder grammar bei llama.cpp) kann man das Modell ohne Finetuning etc. auf ein bestimmtes Ausgabeformat (wie z.B. JSON) steuern oder sogar die Ausgabe waerend der Generation steuern.

könntest du mal ein fine tuning video mit PEFT und OpenSource Modellen machen ? Insbesondere würde mich auch mal das Thema Computation Power vs. ModelParameter Size & Fine Tuning interessieren. Die Frage ob man für custom Use Cases sogar lokal fine tunen kann oder mittels"relative kleiner" Cloud Infra das umsetzen kann fänd ich auch sehr interessant.

Man kann jetzt bei GTP3.5 auch custom instructions vorgeben, die für jeden neuen Chat im Hintergrund übernommen werden. 1500 Zeichen hat man dafür kostenlos zur Verfügung. Das macht das teure Finetuning noch weniger interessant.

Hast du schonmal versucht, OpenAIs function calling zu verwenden, um JSON Strukturen vorzugeben? Das soll ganz gut klappen heißt es in englischsprachigen Tutorials.

Die Moderation api ist free übrigens. Von open ai. Also man kann selbst beim generieren über openai moderation api überprüfen, ob die Texte ok sind.

Ich habe bei meinen API Zugriffen (wenn ich JSON als output haben will) einen anderen start drinnen. In den Messages habe ich als erstes die System role, wo ich dem LLM die Rolle gebe. Dann setze ich als User ein Beispiel, was er hätte schreiben können. Dann ein assistant promt mit der gewünschten Ausgabe inklusive alle json Felder, die er nutzen soll. Zum Schluss kommt die user message. Zack und ich habe grundsätzlich ein Json output wie ich das haben will 😊

Würden Unternehmen nicht eher den Azure OpenAI Service verwenden?

6:20. Hast du da etwa geschnitten, du Schummler...😂

Mal wieder ein neues Feature von ClosedAI.

Wie sieht das ganze dann mit Copilot aus, wobei Microsoft ja bald ähnliches anbieten wird. Laut Microsoft soll ein auf den firmeninternen Daten finegetuntes Modell keine Copyright-Verstöße mehr machen. Bin mir da unsicher, aber gespannt was die Zukunft bringen wird.

"Fine-Tuning Daten durch Moderations-API" ?!? - wie krass. Wie doof könnte jemand sein, das zu verwenden? Du weißt auch nicht, was ein KI-Modell aus deinen Daten lernen kann: die Daten bleiben alle da draußen und die nächsten KI-Generationen können da potenziell viel mehr rausziehen.

Wieso nutzt man dann nicht einfach lama 2 um die Probleme zu umgehen

Hab gelesen das GPT 4 jetzt in Bing integriert werden soll. Da stellt sich ja dann die Frage nach dem Bezahlmodell.🤔

Ich hätte gerne ein vollständig auf Astro trainierten Copilot, der mir auch die Files erstellen kann.

bitte Bitte BITTE B1TT3 keine AutoMagie! Lasst die Kids nicht mit den Daten spielen........ Nein...Doch....Oh weiahhhh