Hallo zusammen,
Nutze Nextcloud seit eh und jeh. Wollte nun meine cloud abschließend anpassen. Nextcloud Assistant mit LocalAI oder Mistral.
Es funktioniert gerade Ollama sehr langsam oder garnicht. Hab extra ein Mini Modell genutzt aber es dauert minuten bis eine Antwort kommt.
Dann habe ich es probiert mit einer Developer API von Mistral. Gleiches Spiel.
Ich denke nicht das mein Server zu langsam ist.
-
Bei welchen Anbieter? Was für ein Server?
Hetzner Rootserver; Intel(R) Core™ i9-9900K CPU @ 3.60GHz, 128 GB RAM
-
Betriebssystem: Debian 13
-
Nextcloud Version: 31.07
-
PHP Version: 8.4
-
Welche Datenbank? MariaDB
-
Nginx 1.26.3 11.8.3
-
Bare metal
Installation -
Auslastung 47 GB von 128 GB RAM
-
Load Average ~3,4
Hat jemand ideen wie man die Reaktionen schneller hinbekommt seitens Ollama oder Mistral?
Gruß
Lars