Hilfegesuch | Nextcloud für die ganze Familie wie muss dimensioniert werden

hallo liebe Community

Ich habe vor nach einer Test Nextcloud auf einen ThinkPad X230 das ganze jetzt auszuweiten, und eigens dafür Hardware anzuschaffen. Die Hardware soll für 50 Personen dimensioniert sein.

zudem soll dort Jeder User 2 TB Speicher bekommen
Talk soll drauf laufen,
Collabora online ebenfalls
etliche Sicherheitsplugins
und eine Serverseitige Verschlüsselung.

Die Anbindung an die Cloud wird mit Windows mit der Nextcloud App und per Browser
IOS / Android mit Nextcloud und Talk realisiert.

Ich habe gestern auf der Test Nextcloud einen Download gestartet über meine Musik Sammlung und von den 79 GB Musik konnten nur ca. 53GB gedownloaded werden da dann der swap und Ram voll waren. wie muss ich den RAM dimensionieren wenn auf einmal 2 TB gedownloadet werden sollen, oder soll ich in dem Fall lieber mit einer eigene Platte und die nur für swap reservieren.

Die Anbindung von extern wird ab Ende des Jahres per GPON mit 1000/1000 Mbits realisiert (Vorher soll der Server nicht der Öffentlichkeit zugänglich gemacht werden). Gibt es da noch Optimierungen, die man durchführen kann.

LG
Techiesgeek

Nutzt du externen Speicher, wofür die serverseitige Verschlüsselung konzipiert war?

Ordentlich RAM ist für solche Anwendungen hilft immer, von den Caches speziell in der Datenbank kann man viel optimieren und die Änderungen sind spürbar. Zu deinem aktuellen Setup hast du jetzt nicht viel geschrieben, daher wissen wir nicht, was du alles schon optimiert hast.

Ich würde überlegen, wie du mit einem nicht zu teuren Setup anfangen kannst, dass sich später erweitern lässt. Mit so vielen Personen, Collabora und Talk kommt auch auf die Nutzung an. Sind da 5 Power-User und der Rest nur ab und zu, oder 20 Power-User. In der Regel sychronisiert man einmal sehr viel, später sind es relativ wenige Änderungen (wenn das jemand beruflich nutzt, kann es schon mehr werden).

2 Likes

Das Test Setup ist ein X230 mit 8 GB Ram 4 GB Swap System auf SSD Daten per /daten auf einer 500 GB Platte ohne raid nur Single, Intel I 5-3320M mit 2.4 Ghz HT.
Nextcloud wurde nach C.Rieger eingerichtet mit PHP8, nginx, Ubuntu 20.04 obwohl ich da überlege direkt auf Debian Buster zu setzten. obtimiert habe ich daren jetzt nicht wirklich was, da es bis dato immer ohne engpässe oder Störungen lief lokal wie auch extern.

nein externe Speicher nutze ich nicht, zumindest bis jetzt noch nicht geplant nur bei 100 2TB Festplatten bin ich am überlegen eine Storage Server mit hinzustellen.

Poweruser werden wohl um die 30 Personen täglich sein von denen es 20 Beruflich nutzen! die auch schon eine Nextcloud nutzen, haben jetzt vor eine Zentrale Server stelle zu erstellen. und da bei mir bald GPON liegt kam der Standort bei mir in Frage.

einen eigenen Coturnserver und Signalingserver wird es wohl bald auch dazu stoßen aber das ist ein anderes kapitel.

was versteht denn die Nextcloud unter ordentlich RAM 32, 64, 128, 256 oder sogar 512 bis 1024 GB RAM
ah und eh ich es vergesse bei der CPU ist nextcloud ein system das eine höhrer CPU Taktung oder mehr Core’s bevorzugt.

LG

Für diese Nutzung würde ich mir nichts zu Hause hinstellen sonder bei Netcup oder der Hetzner Serverbörse was mit richtig Bums suchen

Ausgeschlossen, Die ganze Familie will, das alles in der Familie bleibt also soll nichts outgesourct werden. bei uns stellt sich auch nicht die Frage des Preises! sondern der Datenhoheit und da kommt nun mal auch kein Anbieter in frage ob der nun seine Server in Deutschland oder in Schweden hat ist dabei irrelevant. und nein der Server wird dann nicht bei mir zuhause stehen sondern in einen Bunker (und nein, ich bin kein Prepper).

LG

Die Ausstattung mit CPU, RAM und Disk is schwer im Voraus vorherzusagen - ich würde nicht von Beginn an versuchen den End-Ausbau vorherzusagen. Ich denke wenn du einen Server mit 32/64GB RAM und 8-12 Server CPU Kernen nimmst wird er “gut genug” laufen. Gerade am Anfang dürfte die Auslastung höher sein als später… eventuell kannst du mit 5-10 Usern starten und das System beobachten. Bei einem “richtigen” Server kannst du sehr einfach RAM nachrüsten und das dürfte auch der Faktor sein wo das System am meisten profitiert.

Ich würde bei solchen Benutzerzahlen ordentlich Gehirnschmalz in Verfügbarkeit investieren. Ich bin generell ein Fan von RAID - es ist heutzutage eher selten dass eine Disk kaputt geht… passiert das aber trotzdem kann man mit Raid (ZFS mirror usw) den Stress sparen die Daten in kürzester Zeit aus einem Backup zu holen und wieder verfügbar machen. aus der gleichen Überlegung ein vernünfiges Backup Scenario - vor allem im Hinblick auf wichtigste use-cases: 1. Benutzer löscht versehentlich Daten und 2. das System fällt komplett aus (zB Hardware Fehler, Crypto-Trojaner). RAID hat auch den Vorteil dass man es erweitern kann - bei RAID 5/6. oder auch ZFS - ich finde ZFS sehr spannend: zB mit Snapshots kann man die erste Stufe der Backup Strategie sehr einfach umsetzten - und dabei ist es sehr einfach zu erweitern/anpassen. ZFS soll aber bei vielen Zugriffen nicht besonders performant sein (wobei es dafür SSD Cache und so gibt).

Ich finde 2TB pro User recht viel - überlege ob es Massnahmen gibt die Datenmenge zu reduzieren. Im Privaten Umfeld sind die grössten Daten wohl nicht Benutzer-bezogen: Fotos, Video, Musiksammlung kann man wohl problemlos mit mehreren Benutzern teilen… der individuelle Rest wird normalerweise in Bereich von wenigen GB sein… und aus Sicht des Systembetreibers kann das bereits einen grossen Unterschied bedeuten - 100TB Voll-Backup dauert über 1GBit/s Netz bereits ca. 10 Tage. Man wird sicher nicht dauerhaft alle Daten sichern sondern mit Delta sync, und Deduplizierung arbeiten (restic, borg backup) - man muss aber die Möglichkeiten und Grenzen kennen (Voll-Restore nach Crypto Trojaner Angriff). Nicht zu vernachlässigen - die Daten müssen mindestens 3-4 fach redundant gesichert werden… ob das 10TB oder 80TB sind macht einen riesigen Unterschied in der Dauer und Kosten… und man sollte ab und an den Restore testen - d.h. es braucht nochmal den gleichen Platz und Dauer (zumindest von Zeit zu Zeit).

Bei deiner Datenmenge würde ich ein oder sogar 2 NAS/weitere Server verwenden, nicht als Bestandteil des regulären Systems sondern rein als Backup um die Daten (DB nicht vergessen) regelmässig aus dem Server zu “saugen” (das ist wichtig damit potentielle Angreifer keinen Zugriff auf die Backups haben).

Ich finde es ist sinnvol mit Virtualisierung zu arbeiten. Ich selbst nutze Docker, “normale” VMs sind aber auch gut - man kann bei Bedarf sehr einfach auf bessere Hardware migrieren (zB Teile des Systems wie Collabora auslagern und damit besser skalieren, Hardware länger nutzen), der wichtigste Vorteil ist aber dass man parallel ein Testsystem haben kann und damit zB Updates, neue Funktionen, Einstellungen gefahrlos austesten kann, ohne alle produktiven User zu stören…

Ich würde Optimierungen erst anwenden wenn man wirklich ein Problem sieht - wenn man falsche Parameter optimiert kann es schnell zum Nachteil werden. Und ich würde mit wenig Funktionen starten und dann nachrüsten - dann kennt man das System besser und kann besser abschätzen welche Ressourcen man braucht…

2 Likes

Du brauchst dann noch

  • Hardware Firewall
    -Loadbalancing
    -Backupsystem für die 100TB Daten etc
1 Like

Denk auch an ein Backup. Gute Ideen gibt es auf Youtube vom Youtuber “Apfelcast”.

2 TB je Benutzer? Vielleicht lohnt sich Ceph.

1 Like

So jetzt melde ich mich auch mal wieder zu Wort!
Danke erstmal an @tflidd @hokaido @wwe und @devnull für die Hilfe.

Nach etlichen Konferenzen und telefonaten, haben sich alle auf folgene Hardware geeinigt,

das Grundsystem wird ein AMD System
CPU: EPYC 7371 16 Core, 32 HT bei 3.1Ghz (Überlege HT zu deaktivieren)
RAM: 128 GB ECC DDR4-2666
2 SSD/NVME im Raid als System
12 TB Storage im Raid (4x6 TB)

Als OS wurde Proxmox auserkoren auf den dann die einzelnen Systeme dann als Container laufen sollen.

Mit den HDD’s sind wir runtergegangen, da ein Anderes Familien Mitglied einen eigenen Storage Server aufsetzten wird auf dem dann die Bilder, Musik und Videos gespeichert werden.

ist nicht unsere erster Server der da unten im Bunker seine Arbeit Verrichtet als HW FireWall habe wir neu den Sophos XGS 6500 mit Xstream Protection.

und was ist loadbalacing? Sorry für die Frage softwaretechnisch übernimmt mein Bruder das Ruder da der Serveradmin und entwickler ist. ich bin immer nur für das rudimentäre und für die Zusammenstellung der System zuständig. denn ich habe nur Netzwerk Technik gelernt.

Jop schon dran gedacht es wird über proxmos ein backup server angeboten dies werden wir 2 mal aufsetzten, dann werden alle daten noch alle 24 Std noch lokal auf einfachen Nas Systemen Gespiegelt und dieses wiederum wird von einen weiteren NAS gespiegelt, und das letzte Nas wird dann händisch einmal die Woche noch auf HDD Manuel gespeichert! So die Planung bis jetzt.

LG
Techiesgeek

Proxmox VE in Verbindung mit Proxmox Backup Server wäre auch mein Vorschlag gewesen, wenn du mir nicht zuvorgekommen wärst. :ok_hand: :+1:

Klingt nach einem netten “kleinen” Projekt, was du da in Planung hast :slight_smile:

Ich wünsche viel Erfolg!

1 Like

Danke, werde ich haben, zumal noch ein paar Herausforderungen auf mich zukommen, zumal soll der Server, silent werden jedoch in ein Rack passen! Sprich also, ich besorgt mir einen gebrauchten Server mit der entsprechenden CPU nimm ein be quiet Dark Rock und Noctua Lüfter und baue diese in den Server ein. Von einen Kumpel bekomm ich die Netzteile umgerüstet damit diese auch leise sind. und muss nur noch ins Deckel blech passent für den Dark rock noch ausgestanzt werden, und damit der flow nicht drunter leidet muss das loch hinterher versiegelt werden, mit einer klappe aus Presschaum und Panzertape, nicht grade schön erfüllt aber seinen zweck.