Nextcloud 23 die Performance eine Katastrophe!

mueller · March 17, 2022, 8:42am

Nach dem Update auf Nextcloud 23 ist die Performace nun mehr als schlecht. Unter 22 hatten wir auch ab und zu peeks aber jetzt warten wir nur noch.
php-fpm und mysql/mariadb Prozesse liegen oft bei 100 % oder höher. Mariadb tillt vor allem bei external_storage mounts und bei der mail app.

grafik

Die Daten meines Servers:
Centos 7x64
Prozessor: Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz (12 cores)
Speicher: 125.73 GB

Swappen trotz genügend zugewiesnem Speicher!
grafik

Apache im http2 modus:
Server version: Apache/2.4.43 (codeit)
Server built: Apr 25 2020 01:28:33
Server’s Module Magic Number: 20120211:92
Server loaded: APR 1.7.0, APR-UTIL 1.6.1
Compiled using: APR 1.7.0, APR-UTIL 1.6.1
Architecture: 64-bit
Server MPM: event
threaded: yes (fixed thread count)
forked: yes (variable process count)

PHP /php-fpm 7.3.12
Arbeitsspeucher-Grenzwert 16 GB
Max Upload 10 GB

redis.x86_64 3.2.12-2.el7
mariadb 4.10.12
Datenbank Größe 2,5GB

Unsere php.config Sektion caching:
‘memcache.local’ => ‘\OC\Memcache\APCu’,
‘filelocking.enabled’ => ‘true’,
‘memcache.locking’ => ‘\OC\Memcache\Redis’,
‘memcache.distributed’ => ‘\OC\Memcache\Redis’,
‘redis’ =>
array (
‘host’ => ‘localhost’,
‘port’ => 6379,
‘timeout’ => 0.0,
),
Wir können hier keinen redis-socket einsetzen weil auf dem gleichen Host onlyoffice documentserver läuft.

redis.conf:
bind 127.0.0.1
port 6379
tcp-keepalive 300

php-fpm.conf:
include=/etc/php-fpm.d/*.conf
pid = /run/php-fpm/php-fpm.pid
error_log = /var/log/php-fpm/error.log
emergency_restart_threshold = 10
emergency_restart_interval = 1m
process_control_timeout = 10

php-fpm → www.conf:
[www]
user = apache
group = apache
listen = 127.0.0.1:9000
pm = dynamic
pm.max_children = 296
pm.start_servers = 147
pm.min_spare_servers = 98
pm.max_spare_servers = 197
pm.max_requests = 1000
request_terminate_timeout = 3600

10-opcache.ini:
zend_extension=opcache
opcache.enable=1
opcache.enable_cli=1
opcache.memory_consumption=256
opcache.interned_strings_buffer=16
opcache.max_accelerated_files=10000
opcache.revalidate_freq=1
opcache.max_file_size=0
opcache.file_cache_only=0
opcache.huge_code_pages=0

30-pdo_mysql.ini:
; Enable pdo_mysql extension module
extension=pdo_mysql

mariadb–> server.cnf:
[server]

skip-name-resolve = 1
innodb_buffer_pool_size = 6000M
#innodb_buffer_pool_size = 1024M
innodb_buffer_pool_instances = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 32M
innodb_max_dirty_pages_pct = 90
query_cache_type = 1
query_cache_limit = 2M
query_cache_min_res_unit = 2k
query_cache_size = 64M
tmp_table_size= 64M
max_heap_table_size= 64M
slow-query-log = 1
bind-address = 127.0.0.1
slow_query_log_file = /var/log/mysql/mysql.log
key_buffer_size = 128M

lc_messages_dir = /usr/share/mysql
lc_messages = en_US
log_slow_verbosity = query_plan
log_warnings = 2
long_query_time = 1
max_allowed_packet = 16M
max_binlog_size = 100M
max_connections = 200
myisam_recover_options = BACKUP
myisam_sort_buffer_size = 512M
read_buffer_size = 2M
read_rnd_buffer_size = 1M
skip-external-locking
sort_buffer_size = 4M
table_open_cache = 400
thread_cache_size = 128
tmp_table_size = 64M
wait_timeout = 600

[mysqld]
character-set-server = utf8mb4
collation-server = utf8mb4_general_ci
transaction_isolation = READ-COMMITTED
binlog_format = ROW
innodb_large_prefix=on
innodb_file_format=barracuda
innodb_file_per_table=1
innodb_open_files = 400
innodb_io_capacity = 4000
innodb_flush_method = O_DIRECT
concurrent_insert = 2
connect_timeout = 5
expire_logs_days = 2

[client]
default-character-set = utf8mb4

[galera]

[embedded]

[mariadb]

[mariadb-10.4]
[mysqldump]
max_allowed_packet = 16M
quick
quote-names
[isamchk]
key_buffer = 16M

In den LOG-dateien von php-fpm nur das übliche:
[17-Mar-2022 09:30:37] NOTICE: [pool www] child 13848 started
[17-Mar-2022 09:30:55] NOTICE: [pool www] child 8375 exited with code 0 after 163727.286687 seconds from start

Nextloud/mariadb log finde ich auch keinen Anhaltspunkt?
redis auch nur das übliche:
1877:M 17 Mar 09:29:51.929 * Background saving terminated with success
1877:M 17 Mar 09:34:52.029 * 10 changes in 300 seconds. Saving…
1877:M 17 Mar 09:34:52.031 * Background saving started by pid 16768
16768:C 17 Mar 09:34:52.807 * DB saved on disk
16768:C 17 Mar 09:34:52.809 * RDB: 3 MB of memory used by copy-on-write
1877:M 17 Mar 09:34:52.832 * Background saving terminated with success
1877:M 17 Mar 09:39:53.063 * 10 changes in 300 seconds. Saving…
1877:M 17 Mar 09:39:53.065 * Background saving started by pid 20041
20041:C 17 Mar 09:39:53.887 * DB saved on disk
20041:C 17 Mar 09:39:53.889 * RDB: 4 MB of memory used by copy-on-write
1877:M 17 Mar 09:39:53.967 * Background saving terminated with success

Kann mir jemand weiterhelfen?

rtznprmpftl · March 17, 2022, 9:12am

Dass swap verwendet wird hat nichts mit nextcloud zu tun, sondern wie linux seinen speicher verwaltet. Wenn man nicht möchte dass swap verwendet wird aktiviert man ihn einfach nicht.

Dass einzelne Kerne voll ausgelastet sind muss ja nichts schlechtes sein dafür hat man die Kerne ja (Und die meisten aktionen in php & mysql sind nunmal single-threaded, daher springt nunmal ein kern auf 100%, dass ist normal ).

Du hast auch noch nicht erwähnt wie sich die schlechte Performance zeigt, also ob die Seite langsam/nicht lädt o.ä. Wenn man dass wüsste könnte man dort beim optimieren helfen.

devnull · March 17, 2022, 10:21am

Ich würde mal sagen, dass MariaDB das Problem ist.
Laut Top sind es 12,9g VIRT und 7,2g RES.
Eine Idee habe ich leider nicht.
Vielleicht hat jemand ein paar Tipps in die Richtung.

tflidd · March 17, 2022, 10:40am

Zur Optimierung gibt es ein paar Seiten. Evtl. helfen mehr Pool Instances:
https://www.saotn.org/mysql-innodb-performance-improvement/

Und es gibt auch so Analyse-Scripts, die die aktuelle Nutzung mit der Konfiguration vergleichen und Vorschläge machen: mysqltuner.pl, tuning-primer.sh

Wenn das mit dem Update zusammenhängt, evtl. braucht die neue Version mehr Indizes in der Datenbank (gibt eine Warnung im Admin-Interface). Oder über die Slow-Queries etc. schauen, wo das verursacht wird, kann auch ein Bug sein.

mueller · March 17, 2022, 11:41am

Na wie sich das zeigt: Man wartet 30 Sekunden oder mehr bis sich die Seite aufbaut. Schon allein wenn man auf den Datei Aktenreiter zugreift,
grafik
Top während der Ladezeit. Immer wieder hohe Ladezeiten auch REDIS

devnull · March 17, 2022, 11:50am

Dann schmeiß doch Redis erst mal raus. Wie viele Tausend Benutzer und verschiedene Systeme hast du, dass sich Redis wirklich lohnt? Starte auch mal deine MariaDB neu und poste evtl. Fehler und den Speicherverbrauch. Vielleicht kann man die MariaDB auch neu strukturieren lassen. Leider kenne ich mich damit gar nicht aus.

rtznprmpftl · March 17, 2022, 1:23pm

Dass redis bei dir dabei auffällt ist echt interressant, da es bei dir nur für das file-locking und dem distributed cache verwendet wird. Und das sollte eigendlich recht schnell gehen.

Als beispiel:

auf meiner instanz (25 user, 997610 Dateien ) benutzt redis 10MB, was selbst bei deiner recht alten CPU sehr schnell verarbeitet sein sollte.

127.0.0.1:6379> info memory
# Memory
used_memory:2313928
used_memory_human:2.21M
used_memory_rss:11288576
used_memory_rss_human:10.77M
used_memory_peak:2960176
used_memory_peak_human:2.82M
used_memory_peak_perc:78.17%
used_memory_overhead:1131944
used_memory_startup:809880
used_memory_dataset:1181984
used_memory_dataset_perc:78.59%

Redis deaktivieren würde ich nicht empfehlen, dann würde das file-locking über die db geregelt werden, und dass ist langsamer. (außerdem hast du ja genügend arbeitsspeicher dafür).

Kannst du mal im Hintergrund iostat -x 1 mitlaufen lassen, die seite neuladen und den output davon posten?

mueller · March 17, 2022, 1:45pm

grafik

rtznprmpftl · March 18, 2022, 8:32am

ich hatte so nen gefühl dass einiges deiner cpu last durch den io zustande kommt, dass sieht aber nicht so aus.

Selbst mit der recht alten CPU und Software auf dem Server solltes es (nach meinem bauchgefühl) nicht 30 Sekunden zum laden brauchen.

Aber ohne handfeste Daten kann man da jetzt schlecht irgendwas empfehlen.
Und bevor man anfängt jetzt performance probleme mit mariadb 4.10.12 auf einem centos 7 zu debuggen wäre die frage ob man dass ganze nicht auf einen modernen stack umzieht und sich dass ganze dann nochmal anschaut da dort nicht nur die performance meist besser ist sondern auch die debugging/profiling möglichkeiten

devnull · March 18, 2022, 8:38am

@mueller
Hast du mal die MariaDB neu gestartet? Gibt es dort irgendwelche Auffälligkeiten? Vielleicht kennt jemand Analysetools für MariaDB, um ineffektive Datenstrukturen zu erkennen.

Ich könnte mir vorstellen, dass die Nextcloud z. B. aufgrund eines Konfigurationsfehlers Tausende oder Millionen von Einträge unnötig in der Datenbank speichert. Kennt vielleicht jemand einen Befehl, wo man die MariaDB nach Einträgen sortiert nach Menge ausgeben kann? Das könnte vielleicht interessant sein.

mueller · March 22, 2022, 1:24pm

Ja, Mariadb neugestartet usw…
Ich habe mittlerweile festgestellt, dass in der Datenbank die Benutzer gedoppelt eingetragen sind. Einmal erscheinen sie verschlüsselt mit einem langen Hashcode und dann noch im Klartext. Also gehe ich davon aus das die Datenbank das problem ist. Nur wie bekomme ich die wieder sauber?
Beispiel:
drwxr-xr-x 3 apache apache 27 17. Okt 2019 F9E17592-C4EE-403B-AF00-0CE33E4F9435

drwxr-xr-x 7 apache apache 118 20. Jul 2021 mueller

Hat jemand eine Idee?

rtznprmpftl · March 22, 2022, 10:19pm

du erwähnst die datenbank, zeigst aber ein dir listing des data verzeichniss.

user verzeichnisse mit einer UUID werden z.b. erstellt wenn man LDAP als authentifizierungsbackend verwendet.

Die tabelle oc_mounts sollte hier helfen können.

Generell würde ich dir raten beim debuggen von performance problemen nicht zu vermuten sondern feste daten zu benutzen. Also z.b. mal den aufruf zu profilen (xdebug mit valgrind ist da recht praktisch auf der php seite, das slowquerylog von mysql für die datenbank seite) und darauf basierend schlüsse zu ziehen.

devnull · March 23, 2022, 6:08am

@mueller
Ich bin auch kein Datenbankexperte. Aber eine Datenbank ist nicht das, was du darstellt. Du zeigst irgendwelche Verzeichnisse. Du kannst erst mal das lesen, um zu verstehen, was eine MariaDB-Datenbank ungefähr ist. Und dann können wir zurück zu der Frage kommen, warum sie so viel Speicher braucht. Dafür musst du Lösungen finden, wie du an mehr Details der Datenbank kommst.

mueller · March 23, 2022, 6:27am

Also, definitiv ist das nicht die Datenbank… aber so stellt sich das im Dateiverzeichnis dar. Zunächst mein User-Verzeichnis in “Klartext” und dasselbe in einem Hashcode… Ich werde wohl neu installieren…

devnull · March 23, 2022, 6:32am

Deine Datenbank braucht 12,9 GB RAM (erster Eintrag top). Da kann doch irgendwas nicht in Ordnung sein. Daher könntest du versuchen dich in Richtung MariaDB weiterzubilden. Du kannst natürlich auch den Windows-Weg gehen: plattmachen, neu installieren und nichts lernen.

mueller · March 23, 2022, 6:34am

Das sag ich doch die Datenbank ist durch irgendetwas beschädigt oder arbeitet nicht richtig…

devnull · March 23, 2022, 6:35am

Ok. Dann beschäftige dich einfach mit dem Dump (Backup) von Datenbanken, lösch die Datenbank und führe ein Restore durch. Es kann aber sein, dass selbst der Dump dann fehlerhaft ist. Das wäre schlecht. Es gibt auch Befehle zur Neustrukturierung von Datenbanken, Ermittlung der größten Strukuren usw. Leider kenne ich mich damit wenig aus. Ich müsste mich damit auch erst beschäftigen. Aber ich denke es gibt genug Anleitungen im Internet zur Optimierung von MariaDB. Vielleicht müllt dir auch irgendwas die Datenbank voll wie z. B. Nextcloud-Aktivitäten usw.

mueller · March 23, 2022, 6:38am

Habe ich bereits gemacht. Einen Dump erstellt. Auf einem anderen Server importiert. Das gleiche Problem. Die Performance ist einfach unterirdisch und auch hier frisst die Datenbank zu viel Speicher…

devnull · March 23, 2022, 6:41am

Hast du mal versucht die Datenbank nach Einträge zu sortieren. Ich habe z. B. das gefunden. Die wirkliche Ursache ist wahrscheinlich eher ein Fehler in deiner Nextcloud als in der Datenbank.

mueller · March 23, 2022, 7:38am

Im Moment lasse ich einen check und ein optimize laufen.
Ich schaue mir den Link an. Vielen Dank

note : Table does not support optimize, doing recreate + analyze instead
status : OK
nextcloud.oc_mail_attachments
note : Table does not support optimize, doing recreate + analyze instead
status : OK
nextcloud.oc_mail_classifiers
note : Table does not support optimize, doing recreate + analyze instead
status : OK
nextcloud.oc_mail_coll_addresses
note : Table does not support optimize, doing recreate + analyze instead
status : OK
nextcloud.oc_mail_mailboxes
note : Table does not support optimize, doing recreate + analyze instead
status : OK
nextcloud.oc_mail_message_tags
note : Table does not support optimize, doing recreate + analyze instead
status : OK
nextcloud.oc_mail_messages
note : Table does not support optimize, doing recreate + analyze instead
status : OK
nextcloud.oc_mail_provisionings
note : Table does not support optimize, doing recreate + analyze instead