Ich beschäftige mich gerade mit dem Thema Paperless AI.
Die Installation von Ollama war ja nicht weiter wild.
Aber dann kommt die Qual der Wahl.
Welche KI?
Deepseek, Llama, Gemma,...
Grundsätzlich tendiere ich zu Gemma3, weil sie als Single-GPU-KI im Vergleich zu den anderen die beste Leistung erbringen soll.
Aber welche Version dann?
"1b", "4b",....,"27b"?
Ich hatte die 27b testweise installiert, aber das hat mir das System direkt eingefroren bzw. es lief alles extrem langsam.
Dafür sind vermutlich doch extrem hohe Anforderungen an die Hardware und mein RAM ist durch die ganzen Anwendungen und Docker wohl schon sehr ausgelastet.
Ich kaufe die Tage mal mehr RAM, aber welche KI sollte es dennoch mindestens sein?
Kann "1b" auch Deutsch? In Powershell kann man nur auf Englisch kommunizieren.
Oder dann doch lieber eine andere KI?
Es soll aber LOKAL sein!!!
