Large number of data/Problems with Nextant - Große Anzahl von Dateien verwalten/Probleme mit Nextant

Good Morning.

My system:
Win10Pro (Workstation)
Nextcloud 12.0.0.29
Installed on a NAS server Openmediavault 3.0.81
Nextcloud runs on a MYSQL database and under NGINX
PHP 5.6
Debian Jessie
REDIS installed
RAID5 with 5.4 TB hard disk space
16 GB RAM

I have two problems

A) Search function
I have Nextcloud Nextant installed and activated. —> Works.
I also tried to install Tesseract ----> Does not work (well).
I have activated Nextant "Index remote locations"
I have my 2nd partition on the NAS “local” via Nextcloud integrated (green dot).
I also installed SMBCLIENT.

Unfortunately NEXTANT does not index the “remote location”. I do not really know why?

B) Match the remote location to Nextcloud.
I can not access all areas of the “remote memory” through Nextcloud. In this one directory there are about 140,000 Word documents. I get no error message when logging in to the browser and the following error message appears in the Windows app:

A timeout of the Nexwerk connection has occurred. Errot transferring https: // … /remote.php/dav/files/admin / … / … - serverrelied: Gateway Time-out

Can it be that Nextcloud can actually syncronize or manage only a limited file number, or I have to make special settings if necessary.

I would be delighted to receive a short reply.

Christian

Auf Deutsch

Guten Morgen.

Mein System:
Win10Pro (Arbeitsstation)
Nextcloud 12.0.0.29
installiert auf einem NAS Server Openmediavault 3.0.81
Nextcloud läuft auf einer MYSQL Datenbank und unter NGINX
PHP 5.6
Debian Jessie
REDIS installiert
RAID5 mit 5,4 TB Festplattenkapazität
16 GB RAM

Ich habe zwei Probleme

a) Suchfunktion
Ich habe bei Nextcloud Nextant installiert und aktiviert. —> Funktioniert.
Ich habe ebenfalls versucht Tesseract zu installieren ----> Funktioniert (wohl) nicht.
Ich habe bei Nextant aktiviert "Indexiere entfernte Speicherorte"
Ich habe meine 2. Partition auf dem NAS “Lokal” über Nextcloud eingebunden (grüner Punkt).
Ich habe ebenfalls SMBCLIENT installiert.

Leider indexiert NEXTANT jedoch nicht den “entfernten Speicherort”. Ich weiss nicht wirklich warum?

b) Abgleich des entfernten Speicherortes auf Nextcloud.
Ich kann über Nextcloud nicht auf alle Bereiche des eingebundenen “entfernten Speichers” zugreifen. In diesem einen Verzeichnis befinden sich circa 140.000 Worddokumente. Ich erhalte an meinem Arbeitsplatz bei Anmeldung im Browser keine Fehlermeldung und in der Windows App folgende Fehlermeldung:

Eine Zeitüberschreitung der Nexwerkverbindung ist aufgetreten. Errot transferring https://… /remote.php/dav/files/admin/…/… - server replied: Gateway Time-out

Kann es sein, dass Nextcloud tatsächlich nur eine eingeschränkte Dateianzahl syncronisieren bzw. verwalten kann oder muss ich gegebenenfalls spezielle Einstellungen vornehmen.

Über eine kurze Rückantwort würde ich mich sehr freuen.

Christian

Has no one a solution. ???

Christian

Somebody can help me ?

Hallo, sehr gute Beschreibung. Ich würde mal ein Issue auf GitHub aufmachen. Denke der Großteil der User nutzt kein Nextant, wie ich.

Hallo rakekniven.

Vielen Dank für Deine Antwort. Für den ersten teil meiner Frage, der sich insoweit auf Nextant werde ich ein Issue auf Github aufmachen.

Der zweite Teil meiner Frage bezieht sich jedoch ausschließlich auf Nextcloud. Ich bekomme leider bei der Syncronisierung des eingebundenen Speichers die obige Fehlermeldung. Ich frage mich daher, ob Nextcloud nur eine eingeschränkte Anzahl von Dateien einbinden kann. Anders kann ich mir die Fehlermeldung nicht erklären. Vielleicht gibt es ja Stellschrauben - die ich nicht kenne - die ich einstellen muss, damit es funktioniert.

Über eine kurze Rückantwort würde ich mich sehr freuen.

Christian

Hallo Christian,

wegen Deiner zweiten Frage.
Mir ist kein Limit an Dateien/Ordnern für Nextcloud bekannt.
Ein Timeout deutet eher auf Probleme mit der Last hin.
Kannst Du mal Ordner mit 1000, 5000, 10000, 25.000, 50.000, 100.000 Dateien erstellen und schauen was passiert?

Technisch gesehen muss NextCloud die ganzen Dateien des entfernten Speichers lesen, indexieren, den Inhalt aufbereiten und übertragen. Hier kann es bei längeren Vorgängen/Skriptläufen zu Timeouts kommen. Wenn die Anbindung schnell ist, sprich das Dateisystem schnell gelesen werden kann, so sollte das weniger ein Problem sein.

Nur eine Idee.

Gruß

1 Like

Hi @Django43

I’m not sure about this one, but could it be that Nextcloud “opens” these files to provide them via it’s web GUI? In that case the “open files” limit could become relevant. But there should probably be an error message somewhere stating that too many files are open.

I have no other idea unfortunately.

Regarding Nextant: I also don’t use it and no nothing about it, to help you. Sorry.