Synchronisationsfehler nach Nextcloud-Update – File Provider Fehler -2010

[Henndi]

Hallo,

ich habe ein gravierendes Synchronisationsproblem mit dem Nextcloud Desktop Client unter macOS.

Das Problem trat nach einem Update des Nextcloud Desktop Clients auf. Vor diesem Update hat die Synchronisation problemlos funktioniert. Inzwischen habe ich auf Nextcloud Desktop Client 34.0.1 aktualisiert. Das Problem besteht auch unter 34.0.1 weiterhin.

Zum Zeitpunkt des Updates war die Synchronisation noch aktiv und ich hatte die „classic sync folders“ eingerichtet. Darin hatte ich zahlreiche lokale Ordner individuell bestimmten Ordnern innerhalb von Nextcloud zugeordnet. Diese Konfiguration funktionierte vor dem Update problemlos.

Seit dem Auftreten des Problems ist die Synchronisation deaktiviert. Es gibt derzeit unterschiedliche Zustände bei den Dateien:

• Einige Dateien befinden sich sowohl lokal auf dem Rechner als auch auf dem Nextcloud-Server.
• Einige Dateien befinden sich lokal auf dem Rechner, wurden jedoch von Nextcloud aus ihrem ursprünglichen Nextcloud-Synchronisations-Ordner in zusätzliche lokale Ordner verschoben. Diese Dateien befinden sich auch nicht mehr auf dem Nextcloud-Server.

Das eigentliche Problem besteht darin, dass diese Dateien dadurch offenbar aus der normalen Nextcloud-Synchronisationsstruktur herausgefallen sind und derzeit nur noch in diesen zusätzlichen lokalen Ordnern vorhanden sind.

Besonders betroffen sind große Projektdateien, unter anderem:

• Final Cut Pro Library (.fcpbundle), ca. 1,3 GB
• Camtasia-Projekt (.cmproj), ca. 2,2 GB

Die anschließende Prüfung mit Apples „fileproviderctl“ zeigt, dass das Problem keineswegs nur einzelne Dateien betrifft: Von 29.274 geprüften Dateien wurden 170 Fehler beim Abgleich von Dateisystem und FSSnapshot, 49 Fehler beim Abgleich von FSSnapshot und FPSnapshot sowie 21 Fehler in der Reconciliation Table festgestellt.

Bei der Final Cut Pro Library zeigt fileproviderctl evaluate unter anderem:

isDownloaded = 1
isUploading = 1
isUploaded = 0
isExcludedFromSync = 1

und:

uploadingError = NSFileProviderErrorDomain Code=-2010

Bei der Camtasia-Datei tritt derselbe Fehler auf.

Anschließend habe ich den gesamten Nextcloud File-Provider-Bereich mit dem macOS-Diagnosewerkzeug geprüft:

fileproviderctl check -a “/Users/myname/Library/CloudStorage/Nextcloud-nx12345.your-storageshare.de-Company/Computer-Cloud” -v -P

Das Ergebnis:

FPCK for DHComputer-Cloud:
disk ↔ FSSnapshot failed on 170/29274 files.
FSSnapshot ↔ FPSnapshot failed on 49/29274 files.
ReconciliationTable checks failed on 21/29274 files.

Außerdem werden zahlreiche Fehler wie

item_throttled_side_a
different_document_size
is_empty_file
is_empty_dir_with_extension

gemeldet.

Die Prüfung endet mit:

FPCK failed completing: Error Domain=FPCKDomain Code=65

Das Problem betrifft damit offenbar nicht nur eine einzelne Datei, sondern den Zustand des macOS File Providers bzw. der Synchronisation insgesamt.

Ich möchte auf meinem Produktivsystem keine weiteren Reparaturversuche durchführen, solange nicht geklärt ist, was diese Fehler bedeuten und wie eine sichere Reparatur möglich ist. Auf dem System befinden sich wichtige Final-Cut-Pro- und andere Projektdateien.

Zusätzlich gibt es beim Start bzw. bei der Einrichtung des Nextcloud Desktop Clients eine Auswahl, wie die Dateien synchronisiert werden sollen. Bisher habe ich dort jeweils „Ich entscheide mich später“ ausgewählt.

Auch hier weiß ich nicht, ob diese bisher nicht getroffene Entscheidung mit dem aktuellen Problem zusammenhängt oder ob ich diese Auswahl jetzt treffen muss.

Meine Fragen:

1. Ist dieses Verhalten mit NSFileProviderErrorDomain Code -2010 bei der aktuellen Nextcloud Desktop Version unter macOS bekannt?

2. Was verursacht den Zustand isUploading = 1 bei gleichzeitig isUploaded = 0 und isExcludedFromSync = 1?

3. Gibt es einen bekannten sicheren Reparaturweg für die festgestellten File-Provider-Inkonsistenzen?

4. Kann ich den File-Provider-Zustand reparieren, ohne lokale Dateien oder deren Synchronisationsstatus zu gefährden?

5. Kann die bisher bei der Einrichtung gewählte Option „Ich entscheide mich später“ die aktuelle Situation beeinflussen?

6. Muss ich diese Auswahl jetzt treffen, und wenn ja, welche Option sollte ich bei meinem bestehenden Setup wählen, ohne meine lokalen Dateien oder den bestehenden Synchronisationszustand zu gefährden?

7. Welche Diagnoseinformationen benötigen Sie von mir, um die Ursache weiter einzugrenzen?

Vielen Dank.

[iva.horn]

Hi, @Henndi!

Es ist leider eine komplizierte Angelegenheit. Pakete und Bundles können alles mögliche enthalten. Meistens hat es für die meisten Leute funktioniert, weil zum Beispiel keine symbolischen Links enthalten waren. Damit ist aber zu rechnen, vor allem bei Apps. Nextcloud unterstützt die Synchronisierung davon jedoch nicht, aus Sicherheitsgründen. Das macht die Synchronisation solcher Objekte alles andere als trivial und es ist nicht möglich sie “wie sie sind” zu synchronisieren. Bisher war das ein übersehener Ausnahmefall. Die vorläufige Exkursion dieser Datentypen verbessert die Kommunikation, weil ein klares „Sorry, geht derzeit nicht“ besser ist als ein unausgesprochenes „Meistens klappt es mit Glück“.

Bitte nimm dieses GitHub Issue zur Kenntnis: Apple Bundle and Package Support · Issue #9827 · nextcloud/desktop · GitHub

Zudem diesen Pull Request, der den Support erstmal eingestellt hat: Exclude Bundles and Packages from Synchronization by i2h3 · Pull Request #9971 · nextcloud/desktop · GitHub

Liebe Grüße, Iva

[Henndi]

Hallo Iva,

vielen Dank für deine Antwort und die beiden Hinweise auf GitHub.

Das Thema mit den Apple Bundles könnte tatsächlich mit meinem Problem zusammenhängen. Allerdings gibt es bei meinem Fall einige Punkte, die ich noch nicht verstehe und bei denen ich deine Einschätzung brauche.

Die betreffende Final-Cut-Pro-Mediathek hat vor dem Update problemlos funktioniert. Sie war Bestandteil meines normalen Workflows und enthielt die Projekte für zahlreiche aktuelle YouTube-Videos. Die Projekte wiederum verweisen auf Mediendateien, die in unterschiedlichen Ordnern liegen. Diese Struktur hat vor dem Update funktioniert.

Erst nach dem Update trat das Problem auf.

Danach wurde diese Mediathek aus ihrem bisherigen „classic sync folder“ in einen zusätzlichen lokalen Ordner verschoben. Auf dem Nextcloud-Server ist sie seitdem ebenfalls nicht mehr vorhanden. Das Entscheidende ist aber: Die Mediathek ist auch in diesem zusätzlichen lokalen Ordner nicht mehr als funktionierende Final-Cut-Mediathek verwendbar. Ich kann sie dort nicht mehr wie vorher öffnen.

Für mich sieht es deshalb so aus, als sei der bisherige Synchronisationszustand dieser Datei durch den Fehler tatsächlich zerstört worden: Die Datei wurde lokal aus ihrer bisherigen Struktur herausgenommen und gleichzeitig ist sie auf dem Server nicht mehr vorhanden.

Parallel sind andere Final-Cut-Mediatheken, die sich ebenfalls in meinem ursprünglich synchronisierten Ordner befinden, nicht auf diese Weise verschoben worden. Deshalb ist für mich noch unklar, warum nur bestimmte Bundles betroffen sind.

Bei der betroffenen Final-Cut-Mediathek zeigt fileproviderctl unter anderem:

isDownloaded = 1

isUploading = 1

isUploaded = 0

isExcludedFromSync = 1

sowie:

uploadingError = NSFileProviderErrorDomain Code=-2010

Meine wichtigste Frage ist deshalb:

Kann das von dir beschriebene Problem mit Apple Bundles dazu führen, dass ein bereits vorher vollständig funktionierendes und synchronisiertes Bundle durch ein Update aus seinem bisherigen „classic sync folder“ herausgenommen bzw. lokal verschoben wird und anschließend auch auf dem Nextcloud-Server nicht mehr vorhanden ist?

Und falls ja: Was passiert in diesem Fall mit dem bereits vorher synchronisierten Bundle? Gibt es einen sicheren Weg, die noch vorhandenen Daten wieder in einen funktionsfähigen Zustand zu bringen und die Mediathek wieder auf dem Server bereitzustellen, ohne die darin enthaltenen Projekte und Verknüpfungen zu beschädigen?

Ein weiterer Punkt ist für mich wichtig: Beim Start bzw. bei der Einrichtung des Nextcloud Desktop Clients bekomme ich weiterhin diese Auswahl bzw. Fehlermeldung (siehe Attachment):

„Keep classic sync folders“

„Decide later“

„Keep File Provider“

Ich habe bisher jedes Mal „Decide later“ gewählt.

Mein ursprüngliches Setup bestand aus zahlreichen individuell eingerichteten „classic sync folders“. Diese haben vor dem Update problemlos funktioniert. Gleichzeitig scheint der File Provider inzwischen genau bei den betroffenen Dateien eine Rolle zu spielen.

Welche dieser beiden Varianten sollte ich bei meinem bestehenden Setup verwenden? Insbesondere möchte ich wissen, ob „Keep classic sync folders“ die für mich richtige Option ist und ob diese Auswahl Auswirkungen auf die bereits betroffenen Dateien oder deren Wiederherstellung haben kann.

Zusätzlich habe ich mit Apples fileproviderctl den gesamten betroffenen Bereich geprüft. Von 29.274 geprüften Dateien wurden festgestellt:

• 170 Fehler beim Abgleich von Dateisystem und FSSnapshot

• 49 Fehler beim Abgleich von FSSnapshot und FPSnapshot

• 21 Fehler in der Reconciliation Table

Die Prüfung endet mit:

FPCK failed completing: Error Domain=FPCKDomain Code=65

Kann dieser allgemeine File-Provider-Fehlerzustand mit dem Bundle-Problem zusammenhängen, oder handelt es sich dabei wahrscheinlich um ein davon unabhängiges Problem?

Für mich ist insbesondere wichtig zu verstehen, was beim Update mit den bereits vorhandenen Bundles passiert ist. Vor dem Update funktionierte mein bestehendes Setup. Danach wurden einzelne Bundles aus ihrer bisherigen Struktur herausgenommen und sind teilweise weder dort lokal noch auf dem Server in einem funktionsfähigen Zustand vorhanden.

Ich möchte deshalb momentan keine weiteren Änderungen oder Reparaturversuche durchführen, bevor klar ist, welcher Synchronisationsmechanismus für mein bestehendes Setup verwendet werden sollte und wie die bereits betroffenen Dateien sicher behandelt werden können. Aktuell arbeite ich deswegen mit FinalCutPro in einem Ordner der nicht synchronisiert und somit nicht auf dem Server gesichert wird.

Vielen Dank für deine Hilfe.

Viele Grüße

Dirk

[bb77]

Ich möchte hier einfach noch hinzufügen, dass jegliche Art von Cloud Speicher, der via eines Sync Clinets bewirtschaftet wird, kein Backup darstellt. Nie!

Auf die Idee, dass du den Client als Backup Ersatz nutzen könntest, kam ich weil du von “dem Rechner” (Einzahl) sprichst, falls dem nicht so ist, ignoriere das bitte

Meine Lösung wäre hier, ausser du benötigst Nextcloud unbedingt, um deine Final Cut Pro Projekte auf anderen Rechnern, die sich ebenfalls mit deiner Nextcloud synchronisieren, verfügbar zu machen, zerstörte Dateien aus einem Backup wiederherzustellen (das du hoffentlich hast), und dann diese Ordner/Files vom Sync auszuschliessen. Ist ja nicht so, dass du irgendwas mit diesen Projekten machen könntest auf deiner Nextcloud.

Oder, falls du sie unbedingt synchronisieren musst, gehe auf eine frühere Vesrion des Clients zurück und nutze nur den klassischen Sync (keine Virtual Files/File Provider).

@iva.horn Nach allem was ich hier im Forum lese, hat die macOS Version des 34er Clinets knapp den Status “experimentell” verdient. Verstehe wirklich nicht was das Ding im “stable” Channel verloren hat.

[iva.horn]

@Henndi Es tut mir Leid, dass ich in dieser Form nur im Vorbeilaufen ein paar Details fallen lassen und andere aufschnappen kann. Ich kann dieses Fall in dieser Form nicht dediziert bearbeiten (abgesehen davon, dass ich gerade im Urlaub bin), aber die zur Verfügung gestellten Information im Rahmen der regulären Entwicklungsarbeit einfließen lassen und durchaus nutzen. Das sind wertvolle Hinweise für Testfälle und Reproduktionsszenarien.

@bb77

Verstehe wirklich nicht was das Ding im “stable” Channel verloren hat.

Für diese Fragestellung ist es meines Erachtens zu spät. Das Ausrollen des File Provider Features wurde vor meiner Zeit entschieden. Ich bin vor circa einem Jahr zum Team gestoßen um das Feature als dedizierte Spezialistin für Apple File Provider beschleunigt voranzubringen. Die seitdem erreichten Verbesserungen sind meines Erachtens auch deutlich zu spüren. Dennoch: Meiner Meinung und vorherigen Facherfahrung nach ist das Feature noch nicht da, wo ich es auch nach meinen persönlichen Ansprüchen gerne hätte. Aber es ist halt draußen und wir müssen mit den Ressourcen arbeiten, die wir haben. Aktuell ist es unrealistisch jedes Testszenario abzudecken und Fehler wie diese vorab zu entdecken, parallel zum Tagesgeschäft. Aber ich arbeite auch an automatisierten Ende-zu-Ende Tests für das ganze File Provider zu Server Szenario in diversen Konfigurationen.

Falls es sich auf andere Dinge im macOS Client bezieht: Bitte nimm zur Kenntnis dass ich vielleicht am präsentesten und kommunikativsten im Forum und vor allem im Kontext von macOS bin, das heißt aber nicht, dass ich alleine verantwortlich für die Plattform oder in allem involviert oder damit einverstanden bin, was da passiert.

[Henndi]

Hallo Iva,

vielen Dank, dass du dir trotz deines Urlaubs die Zeit genommen hast, mir zu antworten. Ich habe Verständnis dafür, dass du den Fall in deiner aktuellen Situation nicht dezidiert bearbeiten kannst. Deine Hinweise sind für mich trotzdem sehr hilfreich.

Was mir jetzt noch fehlt, ist eine konkrete Empfehlung für das weitere Vorgehen. Ich möchte auf keinen Fall durch weitere Reparaturversuche zusätzliche Dateien gefährden.

Soll ich die bestehende Nextcloud-Konfiguration komplett entfernen und die Synchronisation anschließend neu aufbauen? Falls ja: Wie gehe ich dabei sicher vor, ohne lokale Dateien oder Dateien auf dem Server zu verlieren oder zu überschreiben?

Und welche der drei Optionen „Keep classic sync folders“, „Decide later“ oder „Keep File Provider“ sollte ich bei meinem bisherigen Setup mit den individuell eingerichteten „classic sync folders“ wählen?

Falls du selbst im Urlaub keine Zeit dafür hast, wäre es sehr hilfreich, wenn jemand aus dem Desktop-Client-Team diese Fragen beantworten könnte.

Vielen Dank noch einmal für deine Hilfe und schöne Grüße
Dirk

[adelaar]

@Henndi

Ich möchte auf keinen Fall durch weitere Reparaturversuche zusätzliche Dateien gefährden.

Soll ich die bestehende Nextcloud-Konfiguration komplett entfernen und die Synchronisation anschließend neu aufbauen? Falls ja: Wie gehe ich dabei sicher vor, ohne lokale Dateien oder Dateien auf dem Server zu verlieren oder zu überschreiben?

Vorweg angemerkt:

Ich nutze weder MacOS noch WIndows, sondern Linux aber ganz unabhängig vom Betriebssystem gilt immer:

• erstelle zuvor Backups sowohl der lokal auf dem Client-PC gespeicherten Dateien, wie auch der auf dem Server gespeicherten Dateien.
• es ist m.E. in deiner Situation unerlässlich beides (Client und Server) zu sichern, denn so wie ich dein Problem verstehe, besteht die Möglichkeit, dass bestimme Files nur noch auf dem Server oder nur noch auf dem Client-System vorhanden sind.
• nur wenn du also beides vorab sicherst, kannst du im Anschluss aus den Backups Dateien wiederherstellen, die nach der Neukonfiguration fehlen könnten

[Henndi]

Danke für deine Hinweise. Das Backup-Thema ist bei mir bereits abgedeckt: Ich habe sowohl ein Backup des Nextcloud-Servers bei Hetzner als auch ein lokales Time-Machine-Backup meines MacBook Pro.

Das eigentliche Problem ist momentan die fehlerhafte Synchronisation. Deshalb möchte ich vor einer Wiederherstellung zunächst klären, wie wir den aktuellen Zustand sicher beenden und die Synchronisation anschließend wieder zuverlässig aufbauen können. Sonst besteht tatsächlich die Gefahr, dass eine wiederhergestellte Datei durch den aktuellen Fehler erneut verändert oder gelöscht wird und ich langsam den Überblick verliere welche Datei aktuell und korrekt oder falsch bzw. beschädigt ist. Denn insgesamt reden wir über 30TB Speichervolumen und entsprechend viele Dateien.

Nur für das Synchronisationsproblem suche ich hier noch nach einer konkreten Vorgehensweise.

[Henndi]

Ich habe inzwischen auch noch einmal mit dem Hetzner-Support geschrieben und alle Daten auf allen System aus den Backups wieder hergestellt. Die Serverseite ist damit abgesichert und die klassische Synchronisierung funktioniert aktuell wieder.

Eine einzige Frage ist für mich deshalb noch offen: Ich möchte die bestehende klassische Synchronisierung unbedingt beibehalten und lediglich die neue File-Provider-Integration deaktivieren.

Kann ich dafür im Client „Keep classic sync folders“ auswählen, ohne dass dabei bereits lokal vorhandene Dateien gelöscht oder verschoben werden?

Falls ja: Werden dabei auch alle aktuell lokal vorhandenen Dateien sicher erhalten?

Vielen Dank!

[arzhost]

This is a very detailed issue, and I can understand why you want to be careful with the existing files. The File Provider errors and the behavior of the classic sync folders sound especially concerning for large project files.

It’s good that you have both local and server backups. Before changing the sync setup, I would also wait for confirmation from the Nextcloud team about “Keep classic sync folders” and whether it can be selected safely without moving or deleting existing local files.

Hopefully someone from the desktop team can provide a clear procedure for keeping the classic sync setup while disabling File Provider.

[bb77]

Okay, ja, das war vielleicht etwas harsch. Sorry dafür. Ich möchte auch gar nicht deine Kompetenz oder die des Teams infrage stellen. Das kann ich auch gar nicht, weil mir die entsprechende Expertise dafür fehlt. Ich bin am Ende nur ein User und nicht einmal macOS-User.

Meine Aussagen zum macOS-Client basieren ausschließlich auf den Threads hier und den Issues, die ich auf GitHub gesehen habe. Und nein, mir geht es dabei auch nicht um das neue UI-Design oder kleine Fehler, sondern ausschließlich um die eigentliche Synchronisationsfunktionalität. Schaut man sich Threads wie diesen hier an, scheint mir da durchaus noch etwas Verbesserungspotenzial vorhanden zu sein. Wenn ich dann in anderen Threads oder auf GitHub sehe, dass Leute auf Version 33.0.7 zurückgehen und die Probleme danach offenbar verschwunden sind, kommt bei mir natürlich der Verdacht auf, dass die neue Version vielleicht ein wenig zu früh veröffentlicht wurde.

@iva.horn

Bitte nimm zur Kenntnis dass ich vielleicht am präsentesten und kommunikativsten im Forum und vor allem im Kontext von macOS bin

Und dafür möchte ich dir ausdrücklich danken. Ich bin mir ziemlich sicher, dass das auch viele andere hier zu schätzen wissen. Dass jemand aus dem Team bereit ist, sich hier offen an den Diskussionen zu beteiligen und Fragen zu beantworten, ist definitiv eine gute Sache.

@iva.horn

das heißt aber nicht, dass ich alleine verantwortlich für die Plattform oder in allem involviert oder damit einverstanden bin, was da passiert.

Ja, du hast den Spruch einfach abgekriegt, weil du halt da warst. Meine Kritik ist keinesfalls persönlich gemeint. Im Gegenteil: Ich finde es, wie gesagt, gut, dass du dich hier beteiligst, Dinge erklärst und einen Einblick in das gibst, was hinter den Kulissen passiert. Also sorry nochmal.

[Henndi]

Ich konnte das Problem inzwischen lösen.

Die entscheidende Lösung war ein Downgrade des Nextcloud Desktop Clients von 34.0.1 auf 33.0.7.

Dabei gab es allerdings zunächst ein Problem: Als ich das Installationspaket für 33.0.7 ausgeführt hatte wurde die Version 34.0.1 nicht deinstalliert und 33.0.7 installiert.

Die vorhandene Nextcloud-App muss also erst in den Papierkorb verschoben werden. Das führt nach meinem Wissen und der Dokumentation nicht dazu, dass die Systemdateien gelöscht werden, so dass alle Einstellungen zu den Synchronisationen usw. erhalten geblieben sind.

Jetzt werde ich erst einmal in Ruhe abwarten bis alle Bugs aus der 34.xxx Version verschwunden sind.