Backup Probleme

Hallo,

ich habe vermutlich Probleme mit meinen Nextcloud backup. Ich mache meine Backups von meinen Proxmos Server zu Hause auf einen Hetzner Storage. Ich habe aber die Vermutung, dass das Vollständige Backup nicht ausgeführt wird, sondern nur die Teilwiederherstellungspunkte. Ich habe gestern Abend manuell ein vollständiges Backup angestoßen, jedoch heute Morgen kein Feedback dazu gesehen.

Meine Feedbackliste sieht so aus:

Fehler: smb::uxxxxxx@uxxxxxx.your-storagebox.de//backup// - (cannot confirm integrity)
Gesundheit: smb::uxxxxxx@uxxxxxx.your-storagebox.de//backup// - ( Nicht fertiggestellt )

Diese Liste besteht aber nur aus den Teilwiederherstellungspunkten.

Die Verbindung zu meiner externen storage steht aber. Ich kann unter Dateien auch reinschauen und es passiert auch dort was.

Was läuft da falsch?

Niemand eine Idee?

push

Jetzt hängt der teilweise Widerherstellungspunkt dauerhaft fest “in 19 Stunden”

Eine Idee habe ich nicht. Aber warum verwendest du als Protokoll smb und nicht z. B. sshfs oder noch besser rsync über ssh, …? smb über Internet halte ich nicht für eine gute Idee.

Vielleicht besser so:
rsync -avz -e 'ssh -p23' /local_directory <username>@<username>.your-storagebox.de:/remote_directory

Für automatische Backups musst du natürlich den SSH-Key austauschen.

Weil die Backups auf ein Hetzner storage gehen und damit zwangsläufig über das Internet.

Ich verstehe deine Antwort nicht. Aber unabhängig von der evtl. unsicheren Übertragung über das Internet halte ich das Protokoll smb für eine eher schlechte Wahl. Ob es jedoch dein Problem verursacht, weiß ich natürlich nicht.

Ich meinte das ich mein storage für backups bei Hetzner gemietet habe.

Ich habe jetzt eine Verbindung per ftp eingerichtet und smb gelöscht. Mal sehen ob das klappt.

Nutze die Nextcloud Backup und die Storage Box nicht, habe aber beide schon (unabhängig voneinander) getestet, und möchte daher noch ein paar generelle Gedanken zum Thema beisteuern:

FTP (ohne S am Ende) ist unverschlüsselt, d.h. sowohl die Daten, wie auch das Passwort werden unverschlüsselt übertragen. Die sichersten Varianten wären SFTP/SCP oder Rsync/Borg, die SSH verwenden, welches eine verschlüsselte Verbindung aufbaut und das du mit SSH Keys absichern kannst, so dass gar keine Passwörter verwendet werden, die eventuell abgefangen oder gebruteforced werden könnten.

https://docs.hetzner.com/robot/storage-box/access/access-sftp-scp

https://docs.hetzner.com/robot/storage-box/access/access-ssh-rsync-borg

Zu deinem eigentlichen Problem:

Mein Eindruck ist, dass das Backup-Tool von Nextcloud nicht das Nonplusultra in Sachen Effizienz und Performance bei Backup-Tools darstellt, was in Kombination mit Protokollen wie SMB oder SSH, und ggf. langsamer Upload-Bandbreite zu den Problemen in deinem Eingangspost führen könnte.

Ich würde daher empfehlen, die Backups zunächst lokal zu speichern, entweder in einem separaten Ordner direkt auf dem Nextcloud-Server oder auf einem lokalen NAS und von dort periodisch per Rsync oder Borg auf die Storage-Box zu übertragen.

2 Likes

Sorry, ich meinte auch SFTP :slight_smile:

Aber grundsätzlich habe ich auch das Gefühl, dass diese Nextcloud backup funktion nicht das beste ist. Allgemein stehe ich nextcloud immer kritischer Gegenüber. Allein der Installationsprozess war ja schon der reinste Wahnsinn.

Ich fange an, so langsam Richtung TrueNas zu tendieren oder es zumindest einfach mal zu testen.

Naja, kommt darauf an welche Installationsart du gewählt hast, aber z.B. die Installation von Nextcloud-AIO würde ich jetzt nicht als “Wahnsinn” bezeichnen: GitHub - nextcloud/all-in-one: 📦 The official Nextcloud installation method. Provides easy deployment and maintenance with most features included in this one Nextcloud instance.

EDIT:
Btw. AIO bietet eine Backuplösung, die auf Borg basiert, der ich, ohne sie selbst getestet zu haben, einfach mal unterstellen würde, dass sie deutlich robuster ist als die Backup App aus dem Store. :wink:

Schau mal Backup und Restore. Das ist der richtige oder aus meiner Sicht mindestens bessere Ansatz. Die Anleitung fordert ein Backup der Nextcloud-Installation, Nextcloud-Konfiguration, Nextcloud-Daten und Datenbank-Dump. Das ist alles unabhängig von irgendeiner Nextcloud-App. Natürlich im Maintenance-Mode.

Nextcloud bietet einige Dinge an, die über normale Linux-Tools weitaus besser sind. Da zälen auch Backup/Restore zu. Wie gut oder schlecht Backup bei z. B. AIO ist, weiß ich aber nicht.

1 Like

basiert auf Borg, siehe mein “edit” in meinem vorherigen Post.

1 Like

Ich hatte die Installation von Apfelcast aus Youtube befolgt.
Mein Nextcloud läuft auf einen Proxmoxx Server

Versuch mal das Backup irgendie lokal auf einer Partition wo du Platz hast durchzuführen. Wenn das läuft liegt es wohl eher an der LAN-Strecke ins Internet.

Ja die Installationsanleitungen von Apfelcast… :wink:

Ernsthaft, ich würde die jetzt nicht per se als schlecht bezeichnen, aber halt als sehr minimalistisch, sprich viele Optimierungen werden halt nicht gemacht / erwähnt. Das hat aber imho nur wenig oder gar nichts mit deinen Backup Problemen zu tun.

Ich denke, diese Probleme entstehen wirklich aus einer Kombination von nicht sehr robuster und performanter Backup App und Netzwekprotokollen wie SMB, die nie designt wurden, um über “high latency” Verbindungen wie das Internet verwendet zu werden. Kann also gut sein, dass es mit SFTP besser läuft, wobei das natürlich auch kein Performancewunder ist.

Aber, wenn du frisch starten kannst, versuche doch mal AIO. Da bekommst du ein bereits sehr gut optimiertes Komplettpaket, und mit Borg eine robuste Backuplösung.

Da du Proxmox nutzt, möchte ich noch zwei weitere Möglichkeiten, Backups zu erstellen in den Raum werfen:

Die ganze VM backupen mit dem integrierten Backup Tool von Proxmox VE

Vorteile:

  • einfach, simpel und bereits integriert in Proxmox
  • Die ganze VM kann mit einem Klick wiederhergestellt werden, was auch nützlich ist, wenn du etwas auf dem System verk**** :wink:

Nachteile:

  • Nicht inkrementell, bedeutet es wird immer die ganze VM gesichert, was viel Speicherplatz benötigt, wenn du meherere Backups vorhalten willst.
  • nur lokale Backups (mit Vorteil auf einem separaten NAS), ausser die VM ist klein genug und/oder du hast genug Upload speed, dass du das Backup in nützlicher Frist auf die Storage Box bringst. :wink:

Die ganze VM auf einen Proxmox Backup Server backupen:

Vorteile:

  • inkrementell, bedeutet nur änderungen der VM werden gesichert, sprich ist schnell und speicherplatzschonend.
  • Möglichkeit einzelne Files zu restoren via Proxmox WebUI

Nachteile:

  • Braucht einen Proxmox Backup Server, der mit Vorteil auf dedizierter HW mit lokalem Storage läuft, also nix mit Storage Box, wenn dir deine Daten lieb sind.
1 Like

Ja das stimmt, wenn man seine 1Mio Schritte pinibels gefolgt ist, dann klappte das auch alles :slight_smile:

Ich schaue erstmal wie SFTP heute Nacht durchläuft. Aus Zeitgründen bekomme ich da heute erstmal nicht mehr hingebastelt. Mein Internetanschluss ist eigentlich wirklich sehr gut aber upload ist in Deutschland ja traditionell gering.

Der Vorteil bei Proxmox ist ja, ich kann ja die AIO Variante parallel installieren und mir mal ansehen. Auch was TrueNas angeht.

Bzgl. Proxmoxx backups. Tatsächlich werden alle Vms und Container von Proxmoxx gesichert. Aber ich will halt sehr gerne meine ganzen Dateien nochmal gerne seperat sichern. Sicher ist sicher.

1 Like

Dazu habe ich nochmal eine Frage. Wenn ich die Proxmox Backup Funktion nutze, wird da eigentlich nur die VM an sich gesichert oder auch alle Daten wie meine Bilder, Dokumente etc., welche ja auf einer anderen Festplatte liegen?
Hintergrund ist der, ich überdenke gerade meine ganze Hardware/Backup Möglichkeiten. Mein Proxmoxx läuft auf so einen kleinen mini PC mit NT100 Chip. Dort ist eine kleine 256GB SSD eingebaut, welche nur für Proxmoxx selbst und seine VM`s und Container gedacht ist. Darin ist noch eine 1TB SSD verbaut, wo die Daten abgelegt sind bzw. mit den Daten gearbeitet werden kann. Nun plane ich zusätzlich mir einen QNAP TS-133 1BAY zu kaufen, da diese auch sehr stromsparend sind. Darauf soll dann Proxmoxx Backupserver laufen. Die eine HDD im QnAP soll dann nochmal mit meinen Hetzner Storage gespiegelt werden, um meine Daten auch vor Feuer und Wasser zu sichern.

Ich weiß, einige schwören darauf, 2 oder mehr HDDs im NAS zu verwenden. Aber als reine Privatperson finde ich das übertrieben. Wenn man eine kleine Firma hat oder Youtube als Hobby hat und dadurch vieeel mehr Daten bewegt werden, dann sehe ich auch ein, dass min. 2 HDDs oder mehr sinnvoll wären.

Nur die VM.

Naja, ich sag mal so, dadurch, dass die Daten dann auf einer SSD im Proxmox Server, auf einem separaten NAS und in der Storage Box gespeichert sind, also an drei Orten, schliesst du einen Totalverlust weitestgehend aus, denn es ist sehr unwahrscheinlich, dass die SSD im Proxmox Server und die HDD im NAS gleichzeitig kaputt gehen und Hetzner dann am selben Tag auch noch die Daten in der Storage Box verliert.

Was aber immer unterschätzt wird, ist die Verfügbarkeit, und genau dafür macht man RAID, um die Verfügbarkeit weiter zu gewährleisten, wenn eine Disk ausfällt, und irgendwann wird eine Disk ausfallen, das ist so sicher wie das Amen in der Kirche.

Wenn man alle seine privaten Termine, Kontakte, Notizen, Einkaufslisten, was auch immer, auf einem selbstgehosteten System speichert, merkt man erst, wie abhängig man von diesem System ist, wenn es plötzlich mal für ein paar Tage ausfällt. Man verliert dann zwar nicht direkt Geld wie eine Firma, aber es kann schon sehr nervig werden und auch die Akzeptanz der selbstgehosteten Lösung bei den Familienmitgliedern massiv schmälern :wink:

Nehmen wir mal an, die SSD mit den VMs oder die mit den Daten geht kaputt. Dann musst du erst mal eine bestellen, das dauert 1-2 Tage, dann evtl. Proxmox neu aufsetzen, alles neu konfigurieren und die Backups zurückspielen, das dauert wieder einen Tag oder länger, man muss ja auch noch arbeiten usw., hat also nicht den ganzen Tag Zeit, den Server neu aufzusetzen. Zudem passieren solche Dinge normalerweise immer im dümmsten Moment :wink:

Am wichtigsten wäre es also wohl ein RAID im Proxmox Server zu haben. Im Backup NAS ist ein RAID etwas weniger wichtig, wenn du die Daten auch noch “offsite” in der Storage Box gespeichert hast. Allerdings dauert ein Restore aus der Storage Box warscheinlich länger als ein Restore vom lokalen NAS, und die Daten auf der Storage Box sind warscheinlich auch nicht ganz so aktuell wie die auf dem NAS

Am Ende des Tages musst du dir halt überlegen, was es für dich im Alltag wirklich bedeutet, wenn so eine Disk ausfällt, und nochmal, irgendwann wird eine ausfallen!

ok, dann macht ein Proxmoxx Backup server überhaupt kein Sinn, wenn nicht einmal die Daten in der VM gesichert werden.

Das mag vielleicht alles sein. Aber dann ist es nicht mehr wirtschaftlich und ich kann mir bei Hetzner auch ein Storage Share mieten wo Nextcloud läuft oder gleich bei OneDrive und Google bleiben.

Wenn die Daten in der VM gespeichert sind werden sie gesichert. Du hast aber geschrieben, das die Daten auf einer separten 1TB SSD liegen.