Upload Performance

Hallo,

habe Nextcloud aufgesetzt und habe aktuell noch Probleme mit der Upload Performance. Möchte größere Datenmengen von einem anderen Server auf die Nextcloud umziehen. Über den Browser dauert eine 1,3GB große Datei in etwa 2,5min, über WebDAV 1,5min. Sind es mehrere kleine Dateien verschlechtert sich die Performance noch weiter. Am Netzwerk liegt es sicher nicht. Ich vermute, dass es an der MySQL Datenbank liegt, da das “letzte Prozent” beim Upload immer so lange dauert, als könne die Transaktion nicht abgeschlossen werden. Nextcloud läuft in einem LXC Container auf einem Proxmox Host auf einer SSD und hat genügend Arbeitsspeicher. Hat hierzu schonmal jemand Erfahrung gemacht und kann mir einen Tipp geben, woran es liegen könnte?

Danke und viele Grüße!

Der Overhead beim Transfer einer grossen Daten durch DB sollte vernachlässigbar sein (bei kleineren kann das anders sein). Ich würde erst mal mit den grossen Files anfangen - rechnerisch ergibt sich aus 1,3GB und 2:30 Min eine Transferrate von knapp 70 MBit/s, selbst wenn wir davon ausgehen dass der Transfer 2 Min dauert und die restlichen 30 sec für die Verarbeitung drauf gehen macht das immer noch 86MBit/s und bei 1:30 über WebDAV 115MBit/s - das ist in etwa Fast Ethernet - aus diesen Daten würde ich den Flaschenhals erst mal im Netzwerk suchen - kontrolliere bitte ob du irgendwo eine Limitation hast - gewollt oder nicht. Wenn die grossen Dateien schnell genug laufen kann man bei den kleinen weiter suchen und Datenbank, Webserver usw analysieren.

Es gibt ein Paar Apps die die Sync Performance beeinflussen:

  • Collabora CODE app
  • External Storage app
    schaue ob diese aktiv sind und deaktiviere sie testweise.

Das Thema wird immer wieder behandelt schaue dir entsprechende Threads hier im Forum an zB:

Hallo,

danke für die Rückmeldung! Habe mir das Ganze heute nochmal genauer angesehen.
Netzwerk kann ich meiner Meinung nach ausschließen. Hier das Ergebnis:
Habe Browser und WebDAV gegenübergestellt. Das Eingerahmte stellt die Gesamtdauer dar, d.h. also dass die Übertragung bei dem gelben Balken zwar noch nicht abgeschlossen ist, aber kein Netzwerktraffic mehr vorhanden ist…


Beim WebDAV bleibt es hier bei 99% stehen…
WebDAV_Rate

Die Apps die du genannt hast sind nicht installiert.
Woran könnte es noch liegen?

Viele Grüße

Die Transferrate im 2. Screenshot ist aber enorm - 400MB/s entspricht 3,2 Gbit/s hast du 2,5 GBit/s LAN bei einem Gigabit Netz wäre das zu viel… und müsste heissen dass man 1GB Datei in 2-3 Sekunden übertragen ist… passt irgendwie nciht dazu dass die 2 Versuche wohl 5 Min gedauert haben und Netzwerklast 1-1,5 Minuten besteht.

Im Netzwerk Diagramm sehen die Kästchen für Gesamtdauer in etwa gleich aus - würde heissen die Dauer des Vorgangs hängt fast nur von der Datenmenge ab. bei WebDAV wird wohl schneller transferiert, die Nachbearbeitung fällt in Relation länger aus. und Netzwerk Transfer ist in beiden Fällen kürzer als die Gesamtdauer… Kannst du prüfen ob die Zeit proportional mit der Datenmenge variiert?

Wenn das stimmt und das Problem nicht im Netzwerk ist muss man weiter in der Kette und CPU/RAM/Disk checken…

Wie sieht es eigentlich aus wenn man Dateien von der Nextcloud runterlädt? Ist der Speed konstant, gibt’s auch Bedenkzeiten vor/nach dem effektiven Datentransfer? Wie lange dauert ein Kopiervorgang innerhalb der Nextcloud (Browser eine grössere Datei innerhalb der Nextcloud kopieren)?

Danke für die Rückmeldung. Also:
Hier mal der Graph für eine 3,6GB Datei. Die “Nachbearbeitungszeit” ist in etwa dieselbe.

Die hohe Datenrate kommt daher, dass wir eine 10GBit Serververbindung über Glasfaser haben.

Beim Download gibt es nichts Auffälliges. Keine Vor- oder Nachbearbeitungszeit. Die Downloadgeschwindigkeit ist angemessen.

Auch beim Kopieren innerhalb der Nextcloud fällt mir nichts auf. Die 1,3GB Datei dauert 15s.

RAM und CPU habe ich nochmals erhöht und dann getestet. Merke aber keinen Unterschied…

LG