(Schnelle) Backup-Varianten?

oakoneric · April 10, 2021, 9:18am

Hallo zusammen,

ich bin noch neu hier, deswegen verzeiht, wenn ich euch zu wenig Informationen gebe.

Ich habe mir einem YouTube-Tutorial folgend den Traum einer eigenen Nextcloud verwirklicht.^^
Kurz zusammengefasst: der apache2 Server und die Nextcloud laufen auf einem Raspberry Pi 4 Modell B; 4 GB, ARM-Cortex-A72 4 x, 1,50 GHz, 4 GB RAM. Das Datenverzeichnis liegt auf einer externen Festplatte, die knapp 500GB fasst und mit USB3.0 am Pi hängt. Die Nextcloud habe ich auch auf läuft sehr flüssig und einwandfrei - da hab ich keine Sorgen.

Allerdings möchte ich gern ein BackUp von der ganzen Sache haben. Auch dazu bin ich dem Video des obigen Tutorials gefolgt. Allerdings wollte ich das Backup auf einer weiteren externen Festplatte ablegen, damit ich im Falle eines Festplatten-Crashes die Daten noch habe. Dazu hatte ich die zweite Festplatte genauso vorbereitet (ext4 formatiert, gemountet, fstab bearbeitet), allerdings habe ich dann durch einen YouTube Kommentar erfahren, dass die zweite Festplatte nicht auf dem gleichen Level gemountet sein sollte, wie die erste Datenplatte (weil der Server da durcheinander kommt?). Also nochmal alles neu aufgesetzt, zweite Festplatte diesmal ein Level darunter gemountet (d.h. erste Festplatte in /media/festplatte und die zweite Festplatte in /media/festplatte/backup). Anschließend habe ich dieses Skript (das untere) verwendet - www und Datenbank Part funktionierten auch problemlos und schnell. Nur beim Datenverzeichnis passierten immer merkwürdige Dinge: manchmal funktionierte alles problemlos, manchmal wurden alle Festplatten entfernt (und nicht einmal als Geräte sichtbar), manchmal gab es Speicherfehler in der zweiten externen Festplatte. Auch eine andere zweite Festplatte brachte ähnliches Verhalten, also habe ich es einfach gelassen.

Nächste Option: Ich will auf meine Fritz.NAS sichern. Also diese Fritz.NAS im Pi gemountet, mit folgendem fstab-Eintrag:
//192.168..../fritz.nas/NextcloudBackUp /media/festplatte/backup cifs defaults,nounix,credentials=/home/.smbcredentials,uid=1000,gid=1000,noserverino 0 0

Ich habe auch mal probiert eine relativ große Video-Datei von ungefähr 1GB zu kopieren: in beide Richtungen hat das um die 15 Sekunden gedauert. Die Festplatte an der FritzBox ist auch über USB3.0 verbunden, also schon plausibel, dass es schnell gehen sollte.

Dann habe ich die Pfade in dem verwendeten BackUp Skript so verändert, dass es passt und von diesem Skript erstmal nur den www und Datenbank Part laufen lassen. Das funktioniert offensichtlich auch, aber seeeeehr langsam. Vor allem der www Part braucht Stunden um fertig zu werden, auch bei zweiten und dritten Durchlauf, wo rsync ja eigentlich nicht mehr viel zu tun haben sollte. Woran könnte das liegen? Nextcloud läuft problemlos, manuell ist die Datenübertragung auch fix, aber beim Backup will es einfach nicht.

Habt ihr Ideen, wie ich meine Nextcloud ordentlich absichern kann? Externe Festplatte am Pi scheint nicht zu funktionieren, und auf der NAS sichern ist absurd langsam, dass es mir unmöglich erscheint, da auch iwann die Daten zu sichern.
Vielleicht findet ihr ja auch Fehler in meinem Setup oder andere Verbesserungsvorschläge. Ich bin für jede Hilfe dankbar.

Hier noch ein paar Daten zum Setup:
Nextcloud 21.0.1
Apache/2.4.38
PHP 7.3.27-1
10.3.27-MariaDB-0+deb10u1
Raspbian GNU/Linux 10 (buster)
Kernel 5.10.17-v7l+

Reiner_Nippes · April 10, 2021, 10:52am

man nimmt restic und nicht rsync. dann hast du gleich mehrere generationen deiner dateien und kannst ggf. mal eine, zwei, drei wochen zurück. restic ist so schlau zu merken, welche dateien sich ändern und speichert dann immer nur das delta.

a) braucht man davon eigentlich nur eine handvoll ordner. und zwar

/config/
/data/
/custom_apps/
/themes/

alles andere ist ja im download drin.

b) sind das viele kleine dateien, die alle gelesen und verglichen werden wollen.

hdd oder ssd?

hardware defekt?

nö. eigentlich nicht. das hängt auch noch davon ab, welche hardware intern in der f-box verbaut ist. und - imho - ist die nicht auf file server durchsatz optimiert.

aber: wenn du dein backup nachts machst, dürfte doch egal sein, wie lange das dauert. oder?

p.s.: wenn da wirklich wichtige sachen draufliegen: restic backup in die cloud. restic verschlüsselt die daten gleich. d.h. der cloud provider kann damit nix anfangen.

oakoneric · April 10, 2021, 3:54pm

Vielen Dank für deine Antwort.

Ich hatte rsync in dem besagten Video und auch ein paar weitere Male gesehen, deswegen bin ich davon ausgegangen, dass es schon dafür passen sollte. Ich werde mir restic mit ansehen.

Also hälst du das Tempo für realistisch? Bei der externen Festplatte (wo der www-Part ja durchlief), hat das ein paar Sekunden bis einer Minute gebraucht, deswegen wundert mich es so, dass es hier mit der NAS wirklich Stunden dauerte.

es sind alles HDD’s, die ich hier habe. Der Pi und die Nextcloud sollten u.a. dafür dienen, die Festplatten zu benutzen (neben dem ich-bastle-mir-selbst-etwas-Effekt). Es geht mir auch nie darum, dass alles super schnell laufen soll. Aber es sollte laufen und bei der aktuellen Zeit, die das Backup braucht, läuft es für mich nicht, weil es einfach unpraktisch ist.

kann ich eigentlich ausschließen - die Festplatten sind allesamt so einwandfrei zu verwenden, mache keine Probleme, aber bei besagtem Backup fängt iwas an zu spinnen. Aber naja, hab die Variante aus Frust eigtl schon fast abgewählt

prinzipiell ja, aber wenn er für jeden Schritt so massig Zeit braucht, wird es unpraktikabel. Ich habe heute auch noch mal versucht das Datenverzeichnis mit rsync zu sichern und es hat wieder mehrere Stunden gebraucht. Wenn sich das also alles so aufaddiert, reicht auch die Nacht iwann nicht mehr

ich wollte eigtl mit der eigenen Cloud weg von iwelchen Cloud-Anbietern… hättest du einen vertrauenswürdigen parat?

Reiner_Nippes · April 10, 2021, 5:06pm

bei der verwendung von restic brauchst du dem cloud anbieter nicht vertrauen. die dateien werden dort verschlüsselt abgelegt. ohne schlüssel sieht man dort nur rauschen.

hetzner bietet storage boxen an, die sich per sftp direkt mit restic ansprechen lassen. ansonsten einfach mal tante google nach “preiswertem s3 storage” fragen. wenn restic nicht direkt draufzugreifen kann, muss man noch rclone zwischen schalten.

mal ein htop, atop, iotop gestartet und geschaut, was während des rsync lauf’s so auf deinem pi passiert?

z.b.: 5 Tools for Monitoring Disk Activity in Linux - OpsDash

lines · April 10, 2021, 5:50pm

Hallo auch,

in Bezug auf die mangelnde Geschwindigkeit könnte es auch an der Fritzbox liegen:
Die Fritzboxen sind gut, aber nicht, wenn es um eine NAS Funktionalität geht (weil: zu langsam).
=> Hast du die Möglichkeit, dass alles auf einem richtigen NAS zu testen?