Frage zur bessten/schnellsten Dateisync. Methode

Hallo,

ich habe aktuelle (20.0.5) Installation auf debian als virtuelle Maschine auf einem Hyper-V.
Es sollen Verzeichnisse im LAN auf der NextCloud quasi spiegelt werden.
Leider unter dem “Root-Verz.” in Anzahl ca. 3-4 tausend mit je 1-20 GB
Einbindung Netzlaufwerk ist wohl nicht zu empfehlen da sehr langsam.

Ich mache nun auf einer kleinen Win10 Maschine den Client drauf, kopiere (Dateiendungen schon mal gefiltert) das "Root-Verz. die Maschine und lasse den Client syncronisieren.

Ist das der besste Weg für einen schnellen Dateizugriff von außen auf ein LAN (Windows-Server Laufwerks-Freigabe)?

Gruß
Olaf

Wenn du reine Synronisation von Dateien ohne Metadaten, Sharing über links und weitere Nextcloud Funktionen anstrebst ist Nextcloud ganz sicher nicht die schnellste Lösung. Ich weiss nicht warum du ein File Share “sehr langsam” nennst - meiner Erfahrung nach ist es schnell… aber bietet nicht den Komfort eine Papierkorb, Versionierung usw… der Komfort kostet Geschwindigkeit. es gibt dutzende gute ausgereifte Sync Tools zB rsync, duplicati. die meisten Tools haben spezifische Vor- und Nachteile. Je nach Art und Anzahl der Sync Partner würde ich nicht nur Geschwindigkeit betrachten sondern auch Umgang mit Konflikten, Kopierfehlern usw… es ist enorm aufwendig ine inem grossen Datenbestand falsch gelöschte bzw. richtig gelöschte aber wieder synchronisierte Dateien aufzuspüren - uU wartet man lieber etwas länger auf den Sync…

Danke für die Antwort.
Ich nehme an, dass bei Einbindung eines Netzwerklaufwerkes, insbesondere eine Windowsfreigabe, diese von Nextclaud nicht indiziert wird weil nicht in der Datenbank, oder?

Als erstes musst du verstehen, dass du mit Nextcloud und damit im Prinzip mit WebDAV nie die Performance und Vorteile von Cifs (Windows-Laufwerk) erreichen wirst. Solltest du Nextcloud als Ersatz für Netzwerklaufwerke anstreben, so stell dich schon mal auf viel Frust ein.

Also ich verwende als externen Speicher nicht eine Windows-Freigabe, sondern ein lokales Linux-Dateisystem (local) auf dem selben Linux-Server. Dieses wurde indiziert. Ich kann somit über die Nextcloud-Suche alles finden. Aber eigentlich brauche ich das nicht.

Die Dateien kannst du im übrigen am schnellsten z. B. per rsync, sftp, ftp usw. in die Nextcloud-Ordnerstruktur (data/user/files) kopieren und dann lässt du einfach ein Rescan von occ drüber laufen. Das wird weit schneller als Client, WebDAV oder webbasiertes Hochladen sein. Die Daten, die durch als externen Speicher einbindest, musst du natürlich gar nicht hochladen.

Danke devnull.
Meine intension bei meiner Frage war nicht etwas gegenüber zu stellen. Mir ist schon klar das man, will man externe Daten in z.B. einem Gruppenordner bereitstellen, dass man nie die Performance erreicht wie mit einer driekten Freigabe.

Ich wollte nur wissen, wenn ich externe Daten in Nextcloud bereitstellen will, dann ist der sync über einen Client wohl die beste Methode um möglichst performant beim Aufrufen dieser Dateien über externe Clients zu sein. Kann man der Aussage zustimmen?

Ja. Ich denke auch, dass der Client die effektivste Möglichkeit ist Daten zwischen Client und Server bzw. umgekehrt zu kopieren. Wenn man nun aber die Daten in der Nextcloud (evtl. inkl. externen Speicher wie Cifs/SMB) frei gibt, hat der Empfänger oft gar kein Nextcloud geschweige denn einen Nextcloud Client. Und wenn er Nextcloud hat nutzt er wohl lieber Federation, um die Daten per Server-Server-WebDAV ohne Umweg über den Client direkt von der Quell-Nextcloud auf seine Ziel-Nextcloud zu kopieren.

Ich spezifiziere das Anwendungsziel: Die Nextcloud bzw. die Gruppenordner werden genutzt um in erster Linie etwas zu suchen und nachzuschauen. Die User haben kein Recht etwas in die Gruppenordner zu schreiben, ändern oder etwas zu löschen. Downloaden werden die User die Daten nur in Einzelfällen.

Leider bin ich vorerst gezwungen das/ein (Jahres) Verzeichnis bereitzustellen.
Im Verz. 2020 sind 1900 Unterverzeichnisse. Diese im Client an zu zeigen dauert 15 sek.
Und das jedes mal bei erneutem Aufruf.
Glücklicher weise ist die Suche rattenschnell. Quasi instant. Damit können die User gut arbeiten.
Später wird die große Anzahl der Verz. durch eine weitere Struktur aufgeteilt.

Ich denke auch das es professionellere Möglichkeiten/Programme gibt mit denen man Dokumente nach außen bereitstellen kann. Z.B. ein DMS. Oder auch von mir aus ein Terminalserver mit entsprechender Anwendung.

Aber ich mag keine Systemvielfalt. Und mit Nextcloud kann ich auch einige andere Anwendungen erschlagen. Weg von Whatsapp, weg von google Fotos und weg von dropbox, wetransfer und Co.

Der Anwendungsfall scheint mir sinnvoll und gut. Auch wenn ich die Suche externer Strukturen eigentlich nicht verwende bin ich auch überrascht, wie gut die funktioniert.

Du kannst die Freigabe von Dateien direkt aus dem externen Verzeichnis erlauben oder auch verbieten. Unter Umständen ist es sinnvoll es zu verbieten (ist glaub ich Default). Wenn es dann doch jemand an Dritte teilen will, muss er/sie die Daten erst mal in die eigene Nextcloud-Ordnerstruktur kopieren und dann freigeben. Das verhindert aber, dass man versehentlich ganze Ordnerstrukturen an Dritte frei gibt. auch hast du so eine feste Trennung von internen und potentiell externen Daten.