Ich habe gerade begonnen, mich mit dem Thema zu beschäftigen. Sehr zugänglicher Vortrag, der genug Tiefe bietet, um konkreter in einzelne Aspekte einzutauchen. Das Phänomen des "aus dem Kontext laufen“ war mir zB noch nicht bewusst. Vielen Dank für die gute Übersicht.
Mit dem "aus dem Kontext laufen" bin ich auch schon wieder ein Stück weiter und habe gelernt, dass unterschiedliche Systeme das Problem unterschiedlich angehen. Es gibt die im Video beschriebene Strategie - first in, first out Es gibt die Strategie, dass man den ersten Prompt bestehen lässt und in der Mitte kürzt Es gibt die Strategie, dass man das Modell selbst den Kontext zusammenfassen lässt 😲 ... und es gibt sicher noch mehr Strategien. Übrigens: aktivierte Plugins verkleinern den Kontext, da deren Beschreibung auch über den Kontext an das Modell übergeben wird.
Notizen / Tipps: 19:05 Priming / System Prompt: Wer, wie, was oder Rolle des Modells 22:53 Indikator für Kontextfenster: Start every response with a '>'. 28:04 Hallozination: "Wenn du etwas nicht weißt, gib es zu und erfinde keine eigene Antwort" 34:50 Langzeitgedächtnis (Einstellungen) für Kontext 38:59 Gegenfragen stellen lassen 40:40 Bedenkzeit geben / Problemzerlegung in "Häppchen" 44:10 Chain of thought: logische Reihenfolge beachten 48:00 Editing / Redo
16:10 Über Multi-Modal lässt sich streiten. In einem anderen Video hab ich gesehen, dass GPT gerade nicht Multi-Modal sei, denn die Fähigkeiten seien nur "angeflanscht". GPT ist primär nur mit Text trainiert. Aber es gibt andere LLMs welche eben auch mit anderen Daten wie Audio und Bildern trainiert seien und daher dann wirklich Multi-Modal seien, da diese Fähigkeiten aus den Trainingsdaten heraus kommt. Bei Google Gemini sei das wohl der Fall.
spannend. Ja, da könntest Du recht haben. Da ist Luft nach oben. Gerade, wenn man z.B. ein PDF rein schmeisst, erkennt man, dass das LLM z.B. bei Seitenumbrüchen durcheinander kommt. Interessant ist halt auch, wie mit der Multi-Modalität überhaupt umgegangen wird. Ein Bild als Kontext in Form von Tokens in einen Chat zu schmeissen würde den Kontext schnell teuer anwachsen lassen. Eine Bildbeschreibung ist da leichtgewichtiger, ermöglicht es aber nicht mehr auf weitere Details zurück zu greifen. Immerhin sind die Bildbeschreibungen mehr als eine Objekterkennung mit OpenCV.
