Lokale Dateien mit Strato Hidrive Synchronisieren

  • Anbieter? Was f├╝r ein Server?
    Lokal

  • Auf welcher Hardware?
    Raspberry PI 4B mit 4GB

  • Nextcloud Version
    19.0.3.1

  • Welche Datenbank?
    MySql

  • Netzwerk Aufgliederung:
    Router > Switch > PI

Hallo,

habe nun erfolgreich den Raspberry mit Nextcloud zum laufen gebracht.

An dem PI h├Ąngt eine ext. HDD die auch erkannt wird und funktioniert.

Meine konkrete Fragestellung:
Ich bin Fotograph und speichere meine Fotos (verschl├╝├čelt mit Boxcryptor) als drittes Backup auf Strato HiDrive.

Der manuelle (direkte) Upload von vielen Fotos in die Cloud dauert ewig [PC --> Cloud].

Daher suche ich jetzt eine M├Âglichkeit, wie ich Nextcloud mit der angeschlossenen HDD dazu bringen kann, alle Dateien die sich auf der Festplatte befinden in die Cloud zu hiefen (optional mit einer Uploadbegrenzung).
[also PC --> PI --> Strato HiDrive]

Da der PI im Netzwerk mit 1GB angeschlossen ist, geht das syncronisieren vom lokalen PC recht fix. F├╝r den Up- und Download kann er sich ruhig Zeit lassen und mir nicht die komplette Bandbreite belegen.

Die Dateien sollten gespiegelt sein, ├Ąhnlich einem Raid 1.

Was und wie mu├č ich in Nextcloud einstellen?

Vielen Dank bereits jetzt schonmal!

Ich kenne Strato HiDrive nicht. Aber auf der Seite https://www.strato.de/cloud-speicher steht, dass dir die folgenden Protokolle zur Verf├╝gung stehen.
FTP, SFTP, WebDAV, SMB/CIFS, rsync, SCP und Git.
(sinnvoll ist nur irgendwas mit SSH oder ├╝ber SSH)

Wenn dir die Verschl├╝sselung der Daten nicht wichtig w├Ąre, k├Ânntest du einfach die Datenbank dumpen und Daten und gedumpte Datenbank regelm├Ą├čig inkrementell z. B. per ÔÇťrsync ├╝ber sshÔÇŁ zu Strato hochladen. Lese https://docs.nextcloud.com/server/19/admin_manual/maintenance/backup.html
Wenn du deinen Pi als Basis deiner Daten w├Ąhlen willst, macht es nat├╝rlich keinen Sinn mehr vom PC die Daten per Boxcryptor zu Strato hochzuladen. Deine erste Kopie (unverschl├╝sselt) w├Ąre der PC, die zweite Kopie (unverschl├╝sselt) w├Ąre dein Pi und die dritte Kopie (verschl├╝sselt) w├Ąre Strato.

Und die Frage an alle anderen:
Wie am besten die Daten clientseitig verschl├╝sseln und mit den obigen Protokollen per Script zu Strato hochladen? Jemand eine Idee? Die Idee muss man dann eben kurz in ein Script packen und das Script regelm├Ą├čig laufen lassen (CRON). Es sollte die Daten inkrementell hochladen. Dann l├Ąuft es auch jeweils nur wenige Sekunden bis Minuten pro Stunde oder Tag.

Kleine Internetsuche:
https://community.hetzner.com/tutorials/tartarus-backup
http://duplicity.nongnu.org
https://rclone.org

Danke f├╝r die schnelle Antwort.

Verschl├╝sselter ├ťbertragungsweg ben├Âtigt es eigentlich nicht, da die Daten bereits verschl├╝sselt auf allen Backups abgelegt werden.
Ja, alle meine lokalen Backups sind bereits verschl├╝sselt.
Ich habe mich damals f├╝r diesen Workflow entschieden, da ich h├Ąufig eine tragbare Festplatte mitf├╝hre um auch unterwegs meine Fotos zu bearbeiten. Sollte die Festplatte mal gestohlen werden oder ich sie verlege brauche ich mir um die Datensicherheit keine Sorgen machen.

Ok das stimmt. Aber die Synchronisierung funktioniert nur ordentlich mit ss, rsync bzw. ÔÇťrsync ├╝ber sshÔÇŁ. Evtl. w├Ąre noch git eine Option.

Du willst doch vom Pi hochladen. Oder ist dort auch schon das Backup irgendwie verschl├╝sselt? Was nutzt du dort f├╝r ein Verschl├╝sselungsprogramm?

Nur wenn du diese Festplatte synchronisieren willst, musst du sie jedes Mal irgendwo anschlie├čen und es manuell starten. Wilst du das?

Ich benutze ausschlie├člich Boxcryptor.

Ja. Da auf der mobilen Festplatte nicht alle Daten enthalten sind, sondern nur das aktuelle Projekt.

Das erw├Ąhnen der ext. Festplatte hat den Thread nur verkompliziert und hat an sich nichts mit meinem urspr├╝nglichen Problem zu tun, sorry.

Wenn ich das also richtig erkannt habe, bittet Nextcloud an sich keine ÔÇťfertigeÔÇŁ L├Âsung meines Problems und ich muss dies irgendwo in den Tiefen des Linux-System l├Âsen, oder?
M├Âchte anmerken, da├č ich leider kein Linux-Guru bin, aber bereit bin mir auch neues anzueignen (wenn es kein IT-Studium voraussetzt :grinning:)

Ich bin die Links von Deinem ersten Beitrag mal durchgegangen. rsync w├╝rde doch die M├Âglichkeiten bieten, oder? Erstellt Nextcloud eine Dateiindexsystem? Also kann ich direkt die PI-Festplatte mit Strato HiDrive syncronisieren, ohne das Nextcloud meckert?

Wenn du sowieso Boxcryptor-verschl├╝sselte Daten zu HiDrive hochl├Ądst, brauchst du doch eigentlich die Daten des Pi gar nicht mehr dort hochladen. Vielleicht eben kurz die Nextcloud-Installation selbst (ohne data-dir) und die gedumpte Datenbank. Das kannst du aber z. B. leicht verschl├╝sseln und dann hochladen.

https://docs.nextcloud.com/server/19/admin_manual/maintenance/backup.html
https://docs.nextcloud.com/server/19/admin_manual/maintenance/restore.html

https://www.tecmint.com/encrypt-decrypt-files-tar-openssl-linux
https://askubuntu.com/questions/928275/7z-command-line-with-highest-encryption-aes-256-encrypting-the-filenames
https://almnet.de/privacy-handbuch/privacy-handbuch-html/handbuch_39c.htm

Die eigentlichen Nextcloud-Daten (salopp gesagt das Betriebssystem) nicht, die zu speichernden Dateien jedoch schon.

Mein urspr├╝nglicher Wunschgedanke war, da├č ich z.B. 500GB (bereits verschl├╝sselte) Fotos in meinem lokalen Netzwerk auf den PI lade (das geht recht fix dank 1GB-Netzwerk) und der PI dann diese Dateien auf HiDrive hochl├Ądt (am besten mit einer Bandbreitenbegrenzung).
Wie lange der PI daf├╝r braucht ist mir eigentlich egal.

Aktuell lade ich die (verschl├╝sselten) Fotos ├╝ber ein WEBDAV-Netzwerklaufwerk von meinem Hauptrechner direkt auf Strato, da├č dauert ewig und ich mu├č den PC teiweilse 30 Stunden oder mehr anlassen. (so ein Fotoshooting kann schonmal 15-30 GB gro├č sein, mit Videocuts das doppelte). Das dauert mir ehrlich gesagt zu lange und ich mag den gro├čen Rechner deshalb nicht so lange anlassen.

einfach einen rclone.org copy job starten. z.b. per sftp https://rclone.org/sftp/ es gibt auch einen --bwlimit parameter.

wenn du das per cron job machst, der job dann aber mehr 24h l├Ąuft, musst du in dem cronjob sicherstellen, dass rclone nicht zweimal gstartet wird.

Leider ist WebDAV eine ziemlich schlechte Wahl. Wahrscheinlich w├Ąr es von deinen Desktop (wahrscheinlich Windows) mit z. B. https://rclone.org unter Verwendung von SFTP schon weit schneller als irgendwas mit WebDAV. Nutzt du dann noch https://rclone.org auf dem Pi (ok dann die Linux-Version) dann kann dein Pi langsam, l├Ąnger und mit weniger Strom vor sich hinarbeiten. Durch inkrementelle Uplads sollten nat├╝rlich immer nur ├änderungen hochgeladen werden.