Danke für das Video, weil es doch mehr Schritte braucht als bei GPT4all oder PInokio Edit: Ja das mit den PDFs ist ein problem. er soll ja nicht nur nachschlagen. Das LLM sollte wenn dann auch davon lernen. Das wäre besser.
Von KI kann ich nichts erkenne. Habe eine kleine Textdatei erstellt mit einigen meiner persönlichen Informationen (Familie). Viele Fragen zu den Familienmitgliedern wird falsch beantworter und erst, wenn ich 4x die Rückmeldung geben: "Die Antwort ist falsch." kommt häufig die korrekte Antwort. Von KI ist das weit entfernt. Habe schon mit den Einstellungswerten rumgespielt, aber keine Besserung feststellen können. Schade, mit solcher "KI" kann man nicht arbeiten, da man alle Anworten hinterfragen muss. Die Online KI-Assistenten, ich nutze zur Zeit noch "PI" habe ich einmal mit den Daten gefüttert (vor 2 Monate) und der kann jede frage zu den Familienmitgliedern korrekt beantworten. So muss es sein. Keine plötzlichen Fantasienamen, Meine Schwester ist plötzlich meine Tochter oder meine Pflegetochter ist plötzlich die Tochter meiner Schwester usw. Dass hat mit KI nichts zu tun. Augenwischerrei. Da fehlt wohl noch mindestens 1 Jahre Entwicklungsarbeit. Auch das Modell von GPT4All macht die gleichen Fehler mit lokalen Dokumenten. Wenn ich den Text in LLama3 Chat direkt einkippe, macht diese KI auch keine Fehler bei der Beantwortung von Fragen zu den Familenangehörigen, aber ich möcht gerne gespeicherte Bücher, Notizen etc. per KI abrufen/auswerten können. Schade dass es so offline noch nicht klappt.
Es klappt bei den Cloud Tools auch im teuren Businessbereich auch nicht besser. Ich sehe erst mal das Problem bei der Geschwindigkeit. Normale Rechner sind momentan dafür kaum geeignet. Handys auch nicht. Apple zeigt aber dass es geht und zwar mit einem deutlich weniger Strom verbrauchenden Prozessor. Da werden nun alle schnell nachziehen. Das sehe ich als Voraussetzungen für den Massenmarkt und dann auch für bessere Software. 1-2 Jahre noch, dann ist das alles erledigt. Klar könnte man auch in der teuren Cloud entwickeln aber wer will das schon. Also noch ein bissl Geduld. Tipp: Wenn du statt ollama LMStudio verwendest, dann kannst du besser sehen was dort ankommt als Suchtreffer.
