Gemeinsam stark

von Thomas Joos

Dateiserver spielen eine zentrale Rolle in Unternehmen. Um diese unter Windows Server hochverfügbar bereitzustellen, bieten sich Cluster an. Der Dateiserver steht in diesem Fall als Clusterressource zur Verfügung. Fällt ein Knoten im Cluster aus, können andere Knoten die Ressource übernehmen und bereitstellen. Die Freigaben bleiben in diesem Fall aktiv, da sie Bestandteil der virtuellen Clusterressource sind. Wie Sie einen solchen hochverfügbaren Windows-Dateiserver bereitstellen, zeigt dieser Workshop.

In Windows Server 2019 und 2022 sind Cluster der ideale Weg für einen hochverfügbaren Dateiserver. Einige der in diesem Beitrag vorgestellten Möglichkeiten funktionieren auch unter Windows Server 2012 R2 und 2016. Getestet haben wir die Installation auf Servern mit Windows Server 2019 und 2022.

Natürlich spielen in Sachen Hochverfügbarkeit auch die Datenträger eine Rolle. Zum Einsatz kommen hier entweder gemeinsamer Speicher im Cluster oder Storage Spaces Direct (S2D). Eine Art der Hochverfügbarkeit kann das Distributed File System (DFS) in Windows-Netzwerken bieten. Dabei handelt es sich aber generell um keine Technologie für Hochverfügbarkeit. DFS ermöglicht dafür die Replikation von Freigaben auf mehrere Server im Netzwerk, auch ohne Cluster. Grundsätzlich ist es auch möglich, Dateiserver zu Clustern und parallel auf DFS zu setzen.

Ob das sinnvoll ist, muss jeder Administrator selbst entscheiden, denn die Komplexität steigt dadurch deutlich. DFS-Replikation ist allerdings mit einem Scale-Out-File-Server (SOFS) mit Windows Server nicht umsetzbar.

Cluster auch in kleinen Netzwerken

Auch kleine Cluster mit nur zwei Knoten können einen Cluster für S2D und hochverfügbare Dateiserver zur Verfügung stellen. Das heißt, hochverfügbare Dateiserver bieten sich auch für kleine und mittlere Unternehmen an. Mit Storage Spaces Direct lassen sich nicht nur herkömmliche Datenträger zusammenfassen, sondern Sie können verschiedene Speichertechnologien miteinander bündeln, um so mehr Speicherplatz mit höherer Geschwindigkeit zu erhalten. In Storage Spaces Direct lassen sich NVMe-Speicher mit herkömmlichen SSD und HDD mischen. Windows Server 2019 teilt die Daten dazu ideal auf.

Setzen Sie parallel noch einen Scale-Out-File-Server als Clusterdienst ein, können Sie Freigaben auf S2D speichern, innerhalb des SOFS verwalten und im Netzwerk hochverfügbar zur Verfügung stellen. Storage-Replica kann wiederum die Daten von Storage Spaces Direct replizieren, zum Beispiel zu anderen Rechenzentren und zu anderen Clustern. Diese Vorgehensweise nutzen vor allem größere Unternehmen. Die Speicherreplikation stellt eine Erweiterung der Hochverfügbarkeit für Dateiserver und für Storage Spaces Direct dar.

Scale-Out-File-Server und Storage Spaces Direct

S2D ermöglicht in Windows Server, lokale Datenträger von Clusterknoten im Cluster als gemeinsamen Datenspeicher für einen Dateiserver, aber auch für andere Einsatzgebiete zu verwenden. Dazu fasst Windows Server die physischen Festplatten zu einem virtuellen Speicherpool zusammen. Auf Basis dieses übergreifenden Speicherpools erstellen Sie virtuelle Festplatten und nutzen diese zur Datenspeicherung im Cluster.

Im Cluster können Sie einen Scale-Out-File-Server als Clusterdienst integrieren, natürlich auch parallel mit anderen Diensten. Ein SOFS stellt die Freigaben im Netzwerk zur Verfügung, genauso wie ein alleinstehender Dateiserver, der nicht im Cluster bereitsteht. Die Freigaben sind auf den virtuellen Festplatten (Storage Spaces) gespeichert, die wiederum in den Storage Pools lagern. Ein SOFS lässt sich aber auch ohne S2D einsetzen. In diesem Fall kommen klassische Speicher für den Cluster-Storage zum Einsatz, zum Beispiel ein SAN.

Auf allen Servern, die Mitglied des Clusters für Storage Spaces Direct sein sollen, müssen Sie die Serverrolle Dateiserver und die Clusterfeatures installieren. Am einfachsten geht das in der PowerShell:

Sobald der Cluster aufgebaut ist, können Sie Storage Spaces Direct in der PowerShell mit Enable-ClusterStorageSpacesDirect aktivieren. S2D sind vor dem Ausfall eines Hosts geschützt. Bei entsprechender Anzahl Cluster-Knoten können auch mehrere hiervon ausfallen.

Windows Server 2019 wie auch 2022 arbeitet dazu mit "Fault Domains". Dabei handelt es sich um eine Gruppe von Cluster-Knoten, die sich einen Single-Point-Of-Failure teilen. Eine Fault Domain kann ein einzelner Knoten sein, Knoten in einem gemeinsamen Rack/Gehäuse, aber auch alle Knoten in einem Rechenzentrum. Die Verwaltung der Fault Domains nehmen Sie mit den Get-, Set-, New- und Remove-Cmdlets des Befehls "ClusterFaultDomain" vor. Um sich zum Beispiel Informationen zu bereits erstellten Fault Domains anzeigen zu lassen, verwenden Sie

Sie können also auch mit verschiedenen Typen arbeiten. Um eigene Fault Domains zu erstellen, stehen zum Beispiel folgende Befehle zur Verfügung:

Sie können Fault Domains auch miteinander verknüpfen oder anderen Fault Domains unterordnen:

Der umfassende Aufbau von Storage Spaces Direct sprengt den Umfang dieses Beitrags. IT-Administrator hat sich damit schon an verschiedenen Stellen beschäftigt. Wir konzentrieren uns in den nächsten Abschnitten vor allem auf den Aufbau eines hochverfügbaren Dateiservers.

Scale-Out-File-Server im Cluster nutzen

Über den Assistenten zum Erstellen neuer Cluster-Rollen können Sie in Windows Server 2019/2022 einen neuen Scale-Out-File-Server im Cluster erstellen. Das funktioniert mit Storage Spaces Direct, aber auch mit anderen hochverfügbaren Storage-Technologien, die an die Server angebunden sind. Sobald im Cluster ein SOFS zur Verfügung steht, lassen sich Freigaben zur Verfügung stellen. Dazu müssen Sie keine VM im Cluster erstellen, sondern die Freigaben sind direkt an den Scale-Out-File-Server angebunden.

Sie ergänzen über den Assistenten zum Hinzufügen von neuen Cluster-Ressourcen die Ressource "Dateiserver". Danach startet ein Assistent, der Sie bei der Einrichtung unterstützt. Damit das funktioniert, muss die Dateiserver-Rolle auf allen Knoten installiert sein.

Der "virtuelle" Dateiserver kann auf den gemeinsamen Datenspeicher des Clusters zugreifen, und damit auch auf die S2D-Speicher, wenn Sie auf Storage Spaces Direct setzen. Beim Erstellen des Dateiservers steht zur Auswahl, ob Sie einen herkömmlichen Dateiserver erstellen möchten (Dateiserver zur allgemeinen Verwendung) oder einen Scale-Out-File-Server (Dateiserver mit horizontaler Skalierung für Anwendungsdaten).

Die Freigaben des SOFS sind im Failovercluster-Manager integriert. Der Dateiserver für die allgemeine Verwendung ist seit mehreren Windows-Server-Versionen das Standardwerkzeug, wenn ein Dateiserver im Cluster zum Einsatz kommt. Auf einem Knoten sind die Freigaben aktiv.

Der sperrige Begriff "Dateiserver mit horizontaler Skalierung für Anwendungsdaten" bedeutet auf Windows-Clustern die Einrichtung eines SOFS. Die Technik ist seit Windows Server 2012 verfügbar. Alle Dateifreigaben sind beim Einsatz eines SOFS auf allen Knoten im Cluster gleichzeitig online. Fügen Sie neue Knoten hinzu, stellt der Cluster die Freigaben auch auf den neuen Dateiservern bereit. Die Ordner sind in einem solchen Szenario auf mehreren Knoten gleichzeitig freigegeben, was die Hochverfügbarkeit natürlich deutlich erhöht. Der Einsatz ist daher auch zum Speichern von Daten der Anwendungsserver geeignet, zum Beispiel für VM-Konfigurationsdateien oder SQL-Datenbanken.

Das ist ein großer Unterschied zum klassischen Dateiserver, bei dem die Freigaben nur auf einem Knoten online sind. Die Dateifreigaben sind dadurch horizontal skalierbar. Es ist problemlos möglich, weitere Server zum Cluster hinzuzufügen und dadurch auch den SOFS horizontal zu skalieren. Auf den neuen Knoten sind die Freigaben ebenfalls sofort einsatzbereit.

Im Rahmen der Erstellung eines neuen Dateiservers im Clustermanager legen Sie auch einen Namen für den Server fest. Die Anwender greifen über den Namen, den Sie hier angeben, auf die Freigaben des Dateiservers im Cluster zu, genauso wie bei alleinstehenden Dateiservern. Das Erstellen eines SOFS ist schnell abgeschlossen. Über das Kontextmenü des SOFS im Cluster-Manager können Sie weitere Ressourcen hinzufügen, zum Beispiel eine eigene IP-Adresse. Die IP-Adresse konfigurieren Sie in den Eigenschaften der Ressource.

Sobald der Cluster zur Verfügung steht, können Sie über das Kontextmenü neue Dateifreigaben erstellen. Hier stehen SMB und NFS zur Verfügung. Neben herkömmlichen SMB-Freigaben lassen sich auch Freigaben für Anwendungen wie Hyper-V oder SQL-Server einrichten. Als Speicherort für die Daten steht das CSV zur Verfügung. Es gibt aber auch die Möglichkeit, Speicherorte im Netzwerk zu verwenden. Beim Anlegen der Freigabe geben Sie ferner den Namen der Freigabe und eine Beschreibung ein. Im Rahmen der Erstellung können Sie dann verschiedene Anpassungen vornehmen, wie das Verschlüsseln der Daten. Auch die Berechtigungen der Freigabe steuern Sie im Failover-Cluster-Manager. Danach steht die Freigabe als Ressource für den SOFS zur Verfügung.

SMB-Version beachten

Im Cluster kann der SOFS die aktiven Zugriffe auf alle Cluster-Knoten verteilen. Das wirkt sich natürlich deutlich auf die Leistung aus. Dadurch ist es zusätzlich möglich, mit SMB 3.x ein transparentes Failover durchzuführen. Sind auf einem Knoten Wartungsarbeiten notwendig, leitet der Cluster die Zugriffe des Knotens auf andere Knoten um. Die Anwender bemerken davon nichts. Windows-Server und Windows-Clients mit Windows 10 nutzen dazu das transparente Failover in SMB 3.x.

Die Version 3 des SMB-Protokolls ist ein wesentlicher Bestandteil beim sicheren und schnellen Zugriff von Clients. Dazu muss Windows Server 2016, besser Windows Server 2019 oder künftig 2022 zum Einsatz kommen. Auf den Clients ist Windows 10 notwendig. Damit die aktuelle SMB-Version Verwendung findet, müssen die beteiligten Computer natürlich auf dem neusten Stand sein.

Seit SMB 3.1.1 in Windows Server 2016 nutzt Windows die Verschlüsselung AES-128-GCM (Galois/Counter Mode). Der Vorgänger SMB 3.0.2 in Windows Server 2012 R2 und Windows 8.1 hat hier auf AES-128-CCM (Counter with CBC-MAC) gesetzt. Laut Microsoft kommt AES-128-GCM besser mit aktuellen Prozessoren von Intel und AMD zurecht. Dieser Sachverhalt kann die Zugriffe per SMB deutlich beschleunigen, vor allem zwischen Servern, wenn zum Beispiel Storage Spaces Direct zum Einsatz kommen sollen. Microsoft nennt eine mögliche Leistungssteigerung von 100 Prozent beim Kopieren von großen Dateien über das Netzwerk. Das spielt auf SOFS natürlich eine wichtige Rolle.

Seit SMB 3.0.2 beherrscht das Protokoll auch SMB-Multichannel. Die Technik fasst die Bandbreite von verschiedenen Netzwerkadaptern zusammen und erlaubt parallele SMB-Zugriffe auf eine Freigabe. Das erhöht die Stabilität und Leistung, vor allem auf Clustern mit mehreren Netzwerkadaptern. SMB-Multichannel beschleunigt den Datenverkehr und sichert ihn auch gegen Ausfall eines einzelnen SMB-Kanals ab. Der Vorteil liegt darin, dass Serverdienste Daten auch auf Servern speichern können, nicht nur auf der eigenen Festplatte. Die Technik bietet neben Leistungssteigerung auch Netzwerkfehlertoleranz durch die Kompensierung des Ausfalls eines Netzwerkpfads. Microsoft empfiehlt dazu entweder die Installation eines 10-GBit-Adapters oder mindestens den Einsatz von zwei 1-GBit-Adaptern.

SMB Direct ist ebenfalls zwischen Servern mit Windows Server 2016, 2019 und 2022 aktiv. Damit diese Funktion nutzbar ist, müssen die verbauten Adapter die RDMA-Funktion (Remote Direct Memory Access) unterstützen. Dadurch können Server Daten aus dem Hauptspeicher eines Systems über das Netzwerk auf einen anderen Server übertragen, der aktuell Kapazitäten frei hat. So lassen sich überlastete Server beschleunigen. Damit dies funktioniert, muss das Netzwerk extrem schnell sein und die Adapter die Funktion nutzen können. Dies sind Adapter der Typen iWARP, Infiniband und RDAM over Converged Ethernet (RoCE). Von dieser Technik profitieren hauptsächlich Hyper-V, SQL-Server und Cluster mit Windows Server.

Zusätzlich ermöglicht SMB seit Version 3.1.1 (Windows Server 2016) beim Einsatz auf geclusterten Dateiservern einen besseren Failover zwischen Cluster-Knoten. Dabei berücksichtigt Windows Server die SMB-Sitzungen der Benutzer und Server und behält diese auch bei, wenn Sie virtuelle Dateiserver zwischen Cluster-Knoten verschieben oder in einem SOFS ein Knoten ausfällt. SMB-Scale-Out verwendet derweil Cluster Shared Volumes (CSV) für den parallelen Zugriff auf Dateien über alle Knoten in einem Cluster. Das erhöht die Leistung und die Skalierbarkeit von Serverdiensten, da alle Knoten beteiligt sind. Die Technologie arbeitet parallel zu Funktionen wie Transparent Failover und Multichannel.

Festplatten replizieren mit Storage Replica

Mit der Speicherreplikation (Storage Replica), die Microsoft mit Windows Server 2016 eingeführt hat, lassen sich ganze Festplatten blockbasiert zwischen Servern replizieren – auch zwischen verschiedenen Rechenzentren und der Cloud. Storage-Replica ist der Replikation von DFS (Distributed File System) überlegen. S2D und Storage Replica arbeiten zusammen. Die Technologie steht auch in der Standard-Edition von Windows Server 2019 zur Verfügung, kann aber nur ein Ziel und einen Datenträger replizieren. Die Datacenter-Editionen von Windows Server 2016 und 2019 sind in dieser Hinsicht nicht eingeschränkt.

Die Speicherreplikation bietet vor allem drei verschiedene Einsatzszenarien. Im ersten Szenario können Sie wichtige Datenträger schnell und einfach auf andere Server (von Server A auf Server B), auch in anderen Rechenzentren, replizieren. Dadurch erhalten Sie eine Absicherung Ihrer Daten, vor allem im Katastrophenfall. Das zweite wichtige Einsatzgebiet ist das Replizieren von Daten in einem Geo-Cluster, auch Stretched Cluster genannt (Cluster-Knoten 1 auf Cluster-Knoten 2). Ein Einsatzgebiet kann zum Beispiel die Replikation von virtuellen Servern und deren Konfigurationsdaten sowie virtueller Festplatten zwischen verschiedenen Rechenzentren sein. Dabei sind die Clusterknoten auf verschiedene Rechenzentren verteilt.

Die beiden Szenarien lassen sich auch zu einem gemeinsamen Einsatzszenario verbinden. In diesem replizieren Sie die Daten eines Clusters zu einem anderen Cluster in einem anderen Data Center (Knoten 1 in Cluster 1 zu Knoten 1 in Cluster 2). Dabei sind die Cluster selbst aber nicht auf verschiedene Rechenzentren aufgeteilt, sondern Bestandteil eines einzelnen Rechenzentrums (Cluster 1 in RZ A und Cluster 2 in RZ B). Die Daten werden also nicht innerhalb eines Clusters repliziert, sondern zwischen verschiedenen Clustern. Die Cluster selbst sind dann natürlich idealerweise in verschiedenen Rechenzentren verteilt. Die Replikation können Sie synchron und asynchron konfigurieren. Die Replikation erfolgt über das SMB-Protokoll mit Windows Server 2019. Dabei kann das Protokoll auf die ganze Bandbreite zurückgreifen, welche durch die Adapter zur Verfügung gestellt wird.

Bitlocker-Laufwerke lassen sich replizieren ebenso wie Datenträger, auf denen die Datendeduplizierung aktiviert ist. Auch Multichannel und Multipath unterstützt das System, was vor allem für die Replikation in Clustern beim Einsatz von SOFS eine wichtige Rolle spielt. Die Daten lassen sich während der Übertragung zwischen Quell- und Ziel-Server verschlüsseln und signieren. Möchten Sie Failover-Szenarien umsetzen, können Sie auch nur einzelne Laufwerke verwenden, Sie müssen das Failover nicht für alle replizierten Laufwerke eines Servers auf einmal starten. Sie können zum Beispiel zwei Cluster in physisch getrennten Data Centern betreiben und den gemeinsamen Speicher der Cluster replizieren lassen. Fällt ein Rechenzentrum aus, kann das andere sofort übernehmen.

Das Betriebssystem schreibt Blöcke auf den Quellserver (Schritt 1). Storage Replica erkennt das und speichert die Vorgänge in der Protokolldatei. Außerdem überträgt der Quellserver die Daten mit SMB sowie RDMA zum Zielserver (Schritt 2). Anschließend schreibt der Server im Zielstandort die Daten in sein Protokoll (Schritt 3). Danach bestätigt der Zielserver die erfolgreiche Replikation (Schritt 4), und der Quellserver meldet, dass er die Bestätigung empfangen hat (Schritt 5).

Um die Speicherreplikation zu nutzen, müssen Sie über den Server-Manager das Feature "Speicherreplikat" installieren. Die Installation erfolgt nicht über die Serverrollen, sondern als Serverfeature, genauso wie die Cluster-Funktion. In einem Cluster muss das Feature auf allen Knoten verfügbar sein, was sich ebenfalls über die PowerShell sicherstellen lässt. Sie speichern dazu die Namen der Server in die Variablen und installieren dann auf den Servern die notwendigen Features:

Sie können dabei SAS, JBODs, Fibre-Channel-SAN oder iSCSI-SANs nutzen. Für die Verwaltung der Storage-Replica-Funktion in der grafischen Oberfläche in einem Cluster verwenden Sie den Failovercluster-Manager. Über den Bereich "Speicher / Datenträger (Storage / Disks)" sehen Sie alle Datenträger, die an den Cluster angebunden sind. Über das Kontextmenü der Datenträger starten Sie den Assistenten für die Einrichtung von Storage Replica über "Replikation / Aktivieren".

Im Failovercluster-Manager nehmen Sie die Einstellungen im Assistenten vor. Nachdem Sie das Quelllaufwerk im Assistenten des Failovercluster-Managers ausgewählt haben, geben Sie im Assistenten das Ziellaufwerk für die Replikation an. Dabei wählen Sie auch ein Laufwerk für das Speichern der Logdateien aus, in der PowerShell durch die Option "-DestinationLogVolumeName".

Danach können Sie im Failovercluster-Manager noch angeben, ob die Zielfestplatte schon Daten der Quellfestplatte enthält. In diesem Fall muss der Server nur geänderte Daten übertragen, was Bandbreite spart. Vor allem bei der Replikation in Geo-Clustern kann es sinnvoll sein, die erste Replikation offline vorzunehmen und danach erst die Speicherreplikation einzurichten. Nun ist der Assistent abgeschlossen und beginnt mit der Replikation. Den Status finden Sie im Failovercluster-Manager. In der Oberfläche ist auch zu sehen, ob es sich bei diesem Datenträger um die Quelle, das Ziel oder den Datenträger für Logdateien handelt.

Zusammen bieten Storage Spaces Direct und Storage Replica die Möglichkeit, geografisch getrennte Cluster aufzubauen und deren Daten zu synchronisieren. Dabei kommt kein gemeinsamer Speicher im Cluster zum Einsatz, sondern die lokal angeschlossenen Datenträger im Cluster stellen den gemeinsamen Datenträger zur Verfügung. Sinnvolles Einsatzgebiet ist das Replizieren von Daten zwischen verschiedenen Clustern, die in unterschiedlichen Rechenzentren verteilt sind. Jeder Cluster nutzt dabei sein eigenes S2D-System.

Dateiserver und das Cluster Shared Volume

Für Dateiserver in einem Cluster spielt das Cluster Shared Volume eine wichtige Rolle. Hier speichern die geclusterten Fileserver ihre Freigaben. Speicherpools in Umgebungen mit Storage Spaces Direct lassen sich in Windows Server 2019 auch als freigegebenes Clustervolume (Cluster Shared Volume, CSV) in Clustern nutzen. Verwenden Sie externe Festplatten-Arrays, greift Windows Server auf SES (SCSI Enclosure Services) für die Verbindung zurück. Dies beugt zum Beispiel Ausfällen vor, indem Windows Server erkennt, wenn im externen Array Festplatten defekt sind.

Haben Sie ein Failover-Cluster in Windows Server 2019 erstellt und CSV aktiviert, legt das System automatisch eine Speicher-QoS-Ressource im Cluster an. Bevor Sie die Speicherrichtlinien konfigurieren, überprüfen Sie zunächst, ob die Ressource im Failovercluster-Manager vorhanden ist. Sie können sich Informationen dazu auch in der PowerShell anzeigen lassen. Dazu verwenden Sie das Cmdlet Get-ClusterResource -Name "Storage Qos Resource". Auf deutschen Servern nutzen Sie dazu die deutsche Bezeichnung, also: Get-ClusterResource -Name "Speicher-Qos-Ressource". Um CSV in einem Cluster zu aktivieren, starten Sie den Failovercluster-Manager. Klicken Sie dann mit der rechten Maustaste im Bereich "Speicher/Datenträger" auf den betreffenden Datenträger und wählen Sie "Zu freigegebenen Clustervolumes hinzufügen".

Windows legt auf der Betriebssystempartition im Ordner "ClusterStorage" Daten ab. Diese liegen aber nicht tatsächlich auf der Festplatte C: des Knotens, sondern auf dem gemeinsamen Datenträger, dessen Abruf auf den Ordner "C:\ClusterStorage" umgeleitet ist. Dieses Verzeichnis existiert auf allen Knoten im Cluster. Die Daten liegen im Speicherpool des Clusters.

Cluster in Windows Server 2019 beherrschen ferner Dynamic I/O. Fällt die Datenverbindung eines Knotens aus, kann der Cluster den Datenverkehr, der für die Kommunikation notwendig ist, automatisch über die Leitungen des zweiten Knotens routen, ohne dazu ein Failover durchführen zu müssen. Sie können einen Cluster so konfigurieren, dass die Clusterknoten den Netzwerkverkehr zwischen den Knoten und zu den CSV priorisieren.

Fazit

Bei der Installation eines hochverfügbaren Dateiservers unter Windows Server spielen Cluster die zentrale Rolle. Auch in kleinen Unternehmen ist es möglich, dadurch hochverfügbare Dateiserver als Scale-Out-File-Server zu erstellen. Die Umsetzung ist nicht sehr kompliziert und erspart den Betrieb eines eigenen Dateiservers samt Betriebssystem – es muss lediglich ein Cluster zum Einsatz kommen. Die Verwaltung der Freigaben findet ebenfalls über den Failovercluster-Manager statt und bald auch über das Windows Admin Center.

Hochverfügbare Windows-Dateiserver