Gemma3 / Mistral / Llama
System:
Windows 11 Pro
Intel i5-11500T
64GB RAM
RTX 2060 mit 6GB RAM
Ich benutze Docker für die Container von NGX und AI.
Mit Ollama habe ich die KI über die Powershell installiert.
LLaMa
LLaMa hat mein System in den größeren Versionen sehr stark ausgebremst. Erst in der Version 3.1 konnte ich wieder am Rechner arbeiten.
Weiter getestet habe ich LLaMa dann nicht mehr, weil ich unbedingt Gemma3 testen wollte.
GEMMA3:
Ich habe Gemma3 über Ollama in Paperless AI eingebunden bekommen.
Dabei habe ich die Version "gemma3:1b-it-fp16" verwendet, weil selbst die 4b mein Sytsem super langsam gemacht hat.
Ich hatte dann versucht, die Dokumente aus dem NGX mit der AI klassifizieren zu lassen.
Ich habe dazu den Prompt mit ChatGPT4.o ununterbrochen ergänzt.
Dabei hat Gemma3 dann jedoch fast vollständig einzelne Anweisungen ignoriert.
Vorhandene Tags wurden falsch zugeordnet, obwohl nicht einmal das Stichwort im Dokument erschienen ist.
Weiterhin wurden völlig überflüssige Tags erstellt.
ChatGPT hatte im Prompt eine Beispielausgabe für das Ergebnis mit fiktiven Personalien erstellt.
Aus diesen Personalien hat Gemma3 dann Tags erstellt und Korrspondenten, die niemals in irgendeinem anderen Dokument erschienen sind.
Ich hatte 5 "Testdokumente". Es sind monatlich wiederkehrende Papiere und die sind mir deshalb sehr wichtig.
ChatGPT hat den Prompt in den verschiedensten Varianten ausprobiert und umgeschrieben.
Es hat absolut nichts geholfen, selbst wenn dort stand, dass genau solch Tags nicht erstellt werden sollen, hat Gemma 3 es gemacht, weil Gemma3 es vorher auch immer so gemacht hat.
Gemma3 ist dickköpfig und haluzinierend.
Ich habe ChatGPT gefragt, welches KI-Modell für diesen Einsatzzweck möglicherweise am besten geeignet wäre.
Mistral:
Am Ende kamen wir auf Mistral (hier in der Version "mistral:instruct").
Diese Version ist schon ziemlich CPU-hungrig. Beim Starten und bei der Bedienung war die CPU-Last oft auf 100%.
Beim Berechnen greift die KI dann natürlich auf GPU zurück.
Ergebnis im Paperless AI:
Unterschied wie Tag und Nacht!
Die Tags wurden in den paar Dokumenten super erstellt und zugewiesen. Es wurde sich auch streng an den Prompt gehalten.
Mein Prompt ist mittlerweile drei Seiten lang.
Dazu mehr in dem anderen Thread zu passenden Prompts.
Ein Dokument wurde leider nicht "bearbeitet". Dies hatte ich zum Testen diverse Male hochgeladen und später wieder gelöscht.
Möglicherweise hängen die Hash-Werte zu dem Dokument noch irgendwo und es wird daher als bereits bekannt abgestempelt.
Ich muss mal alles zurücksetzen und neu testen.
Das ist mein bisheriger Stand.
Mistral ist aktuell meine Wahl und ich teste die KI weiter.
Vielleicht liefern andere Modelle ebenfalls gute Ergebnisse, sind aber nicht so leistungshungrig oder noch hungriger.
