SAN "Storage Area Network" V1.10 (c) Stor IT Back 2011

Einführung in Storage Area Network (SAN)

Storage Area Network Das Konzept SAN hebt die wichtigsten Nachteile von DAS-Systemen (Direct Attached Storage) auf. Alle Server, die in ein SAN integriert sind, können auf alle Storage-Systeme zugreifen. Damit ist sowohl die Konsolidierung der einzelnen Storage-Elemente, wie auch die gemeinsame Verwaltung und Nutzung von Festplattenspeicher für unterschiedliche Betriebssysteme möglich. Ein SAN besteht aus den Hostbusadaptern in den Servern, den Netzwerkkomponenten, wie Hub oder Switch und den Storage-Elementen. Die letztgenannten können sowohl Festplatteneinheiten, Raid-Systeme oder Tapelibraries sein. Von der Topologie ist ein SAN dem LAN sehr ähnlich. Das Übertragungsmedium kann entweder Fibre Channel, iSCSI oder FCoE sein.
Die Festplatten in dem RAID-System werden über einen RAID-Level verknüpft, unterteilt oder zusammengefasst und dann den Servern zur Verfügung gestellt. Ein Server erkennt diese virtuellen Festplatten wie eine interne Platte. Das Betriebssystem, Anwendungen und Programme benötigen also keine Änderungen, es muss nur ein passender Treiber für den Host-Bus-Adapter geladen werden. Damit können die Betriebssysteme auch aus dem SAN heraus booten. Dies bietet klare Vorteile, sollte einmal die Server-Hardware ausfallen. Nur sie muss getauscht werden, es kann sofort wieder ohne Neuinstallation gebootet werden, da sich das Betriebssystem auf dem SAN befindet.
Wichtig ist jetzt aber auch die Verfügbarkeit des SAN. Im Bereich Host-Bus-Adapter und Fibre Channel Switch kann die Verfügbarkeit sehr leicht durch einfache Verdopplung der Hardware erreicht werden. Der Treiber des Host-Bus-Adapters steuert dann diese unterschiedlichen Wege zum Storage-System (Multipathing). Der Einsatz von zwei FC-Switches und Dual-Port HBAs ist der Standard bei produktiven Umgebungen. Ein Storage-System ist in sich schon sehr redundant aufgebaut. Zwei Netzteile und redundante Lüfter sollten immer vorhanden sein. Zwei unabhängige RAID-Controller im System erhöhen die Verfügbarkeit zusätzlich. Beim Storage-System gibt es noch weitere Verfahren zur Steigerung der Verfügbarkeit. Die Systeme können entweder durch das Betriebssystem (Mirroring, RAID 1) oder durch die eigene Hardware (Replikation) gespiegelt werden. Damit lassen sich identische Daten an zwei unterschiedlichen Standorten vorhalten. Eine Vorsorge gegen den K-Fall.

Topologie - Loop und Fabric

Im Fibre Channel SAN gibt es zwei grundsätzlich verschiedene Topologien, die Loop und das Fabric. Bei einer Loop sind alle Geräte (Server, Festplatten und Bandlaufwerke) in einer Schleife angeordnet. Sendet ein Gerät Daten, so laufen diese durch alle Geräte bis zum Empfänger. Denkbar ist dieser Aufbau ohne jegliche Netzhardware, es werden einfach nur die Geräte untereinander zusammengeschaltet. In diesem Fall ist jedoch beim Ausfall eines Gerätes die Loop unterbrochen, eine Kommunikation ist nicht mehr möglich und wird deswegen auch nicht in der Praxis verwendet. Aus diesem Grund wird ein Hub eingesetzt. Er überwacht die einzelnen Geräte und beim Ausfall oder Ausschalten überbrückt der Hub die Verbindung, die anderen Geräte können sich weiter unterhalten. In dieser Schleife liegt aber auch der zweite Nachteil, alle angeschlossenen Geräte müssen sich die Bandbreite teilen. Bei normal ausgelasteten Servern sollte ab 5 Geräten von der Loop zum Fabric gewechselt werden. Aber warum dann einen Hub verwenden? Der Hub war bis 2003 die kostengünstigere Hardware für ein SAN, ein Switch war noch sehr teurer. Ab 2003 wurden die Switche kostengünstiger und haben bis 2005 die Hubs als externe Geräte komplett verdrängt.
Ein Hub wird zum Beispiel noch zur Ansteuerung von Fibre Channel Festplatten verwendet. Dort greift ja nur ein Controller auf alle Platten zu, die Performance ist also dort kein Nachteil.

Switched Fabric Im Fabric sind alle Geräte an einen Switch angeschlossen. Dieser schaltet dann in Echtzeit die jeweils benötigten Verbindungen zwischen Sender und Empfänger. Dies wird heute meist durch eine hochperformante Backplane erreicht, die genügend Performance für alle Anschlüsse bereitstellt. Diese Fabric-Topologie wird im Fibre Channel SAN nur noch verwendet.
Die Loop wird jedoch noch beim Anschluss von Festplatten verwendet. In der Backplane der Festplatteneinschübe ist der Hub integriert, damit sind die Festplatten Hot Plug austauschbar, die Loop wird nicht aufgetrennt.
Mehrere Switche können kaskadiert bzw. kombiniert werden. So lassen sich die Anzahl der Ports nahezu beliebig erweitern. Aber auch verteilte SANs an unterschiedlichen Standorten sind leicht realisierbar. So können einzelne Serverräume mit jeweils einem Switch (oder 2 Switche zur Steigerung der Verfügbarkeit) ausgestattet werden, die jeweils untereinander verbunden werden. Das Storage-System kann dann an jedem Standort untergebracht werden. Ein zweites System zur Spiegelung wird dann einfach in einem anderen Serverraum an den dortigen Switch angeschlossen. So lassen sich sehr einfach verteilte und hochredundante Systeme aufbauen.
Durch Monomode-Kabel sind auch Verbindungen über einige Kilometer realisierbar, bei spezieller Hardware bis zu 120 Kilometer. Natürlich kann bei einem verteilten SAN auch die Sicherungshardware an einem getrennten Standort untergebracht werden. Hierbei kann durch geschickte Wahl der Verteilung eine manuelle Auslagerung von Bändern umgangen werden. Bei einer Disk-to-Disk-Sicherung an den ersten Standort und eine Disk-to-Tape Replizierung an einen zweiten Standort, kann eine Auslagerung meist umgangen werden.

Fibre Channel

Ein SAN nutzt Fibre Channel als Übertragungsmedium. Diese Technologie ist seit 1994 ANSI-Standard. Dort sind die physikalischen Schnittstellen, sowie die einzelnen Schichten des Protokolls definiert. Die 1994 festgelegte Übertragungsrate liegt bei 100 MB/s, 1997 wurden Erweiterungen mit Übertragungsraten von 200 und 400 MB/s festgelegt. Geräte für den 200 MB/s-Standard sind seit 2001 auf dem Markt, 400 MB/s (4 Gbit/s) seit Mitte 2004. Die aktuelle Implementierung nutzt Übertragungsraten bis 800 MB/s zu den Endgeräten, die Übertragungsrate für Interconnect-Verbindungen (Switch-to-Switch) beträgt heute bis zu 20 GBit/s. Die nächste Stufe mit 16 Gbit/s zu den Endgeräten ist bereits verabschiedet. Die erste Hardware soll noch 2011 zu bekommen sein.
Fibre Channel ist ein serielles Übertragungsverfahren, das heißt es gibt nur eine Datenleitung pro Übertragungsrichtung (full duplex). Dies bietet einen großen Vorteil zu SCSI. Je höher die Übertragungsraten sind, desto anfälliger werden die Datensignale bei SCSI gegen zeitliche Laufunterschiede in den einzelnen Datenleitungen. Es entsteht bei hohen Raten ein Signalgemisch, welches immer schwerer zu trennen ist. Bei Fibre Channel können sich Signale nicht gegenseitig überholen (es gibt bei der seriellen Übertragung ja nur eine Leitung), sie kommen immer in der richtigen Reihenfolge beim Empfänger an.

Maximale Entfernungen im SAN

Die maximalen Entfernungen hängen vom Verbindungsmedium und der Transfergeschwindigkeit ab. Einige Hersteller bieten abweichende Lösungen an, hier werden spezielle Laser oder entsprechend angepasste Medien verwendet. Wichtig ist gerade bei 4 und 8 Gbit/s die Auswahl der passenden Faser. Mit OM3-Faser lässt sich die Entfernung mehr als verdoppelt. Die Faser ist zwar teurer, es kann aber noch Multi-Mode-Hardware eingesetzt werden. Gerade bei Host Bus Adaptern mit festen Optiken ein großer Vorteil.

Geschwindigkeit	Medium	maximale Entfernung
1 Gbit/s / 100 MB/s	Kupfer (DB9/HSSDC)	25 m
1 Gbit/s / 100 MB/s	LWL-Multi Mode (50/125 µm) OM2	550 m
1 Gbit/s / 100 MB/s	LWL-Multi Mode (62,5/125 µm) OM1	300 m
1 Gbit/s / 100 MB/s	LWL-Mono Mode (9/125 µm) OS1	10 km
2 Gbit/s / 200 MB/s	Kupfer (HSSDC)	16 m
2 Gbit/s / 200 MB/s	LWL-Multi Mode (50/125 µm) OM2	300 m
2 Gbit/s / 200 MB/s	LWL-Multi Mode (50/125 µm) OM3	500 m
2 Gbit/s / 200 MB/s	LWL-Multi Mode (62,5/125 µm) OM1	150 m
2 Gbit/s / 200 MB/s	LWL-Mono Mode (9/125 µm) OS1	2 km
4 Gbit/s / 400 MB/s	LWL-Multi Mode (50/125 µm) OM2	150 m
4 Gbit/s / 400 MB/s	LWL-Multi Mode (50/125 µm) OM3	380 m
4 Gbit/s / 400 MB/s	LWL-Multi Mode (62,5/125 µm) OM1	70 m
8 Gbit/s / 800 MB/s	LWL-Multi Mode (50/125 µm) OM2	50 m
8 Gbit/s / 800 MB/s	LWL-Multi Mode (50/125 µm) OM3	150 m
10 Gbit/s / 1000 MB/s	LWL-Multi Mode (50/125 µm)	80 m
10 Gbit/s / 1000 MB/s	LWL-Multi Mode (62,5/125 µm)	30 m

Abweichend von dieser Tabelle können durch den Einsatz von ELWL (Extend Long Wavelength GBICs) Entfernungen bis zu 80 Kilometer erreicht werden. Mit der Hilfe von Link Extendern wurden Strecken von über 120 Kilometer überbrückt. Dies ist in den meisten Fällen ausreichend für die Anbindung von "Ausweich-Rechenzentren" zur Desaster-Vorsorge.

Vorteile eines SAN

Der größte Vorteil eines SAN ist die direkte Erreichbarkeit aller ins SAN integrierten Komponenten untereinander. Dies heißt, jeder Server kann jedes Storage-System und jedes Tapelaufwerk ansprechen. Im Idealfalle wir in einem SAN wird nur noch ein Storage-System und eine Tapelibrary für alle unterschiedlichen Server und Betriebssysteme benötigt. Es werden Kosten eingespart, Plattenplatzreserven nur einmal zentral benötigt, der Raumbedarf im Rechenzentrum minimiert und die Übertragungsgeschwindigkeit gesteigert. Dies gilt speziell bei der Datensicherung beim LAN-free- und Serverless-Backup. Hierbei wird auch noch die Belastung des LANs verringert.
Im Storage Area Network sind Cluster-Anwendungen leicht zu implementieren, jeder Server kommt an jedes Filesystem, mit der passenden Software sind sogar konkurrierende Schreibzugriffe möglich. Durch die möglichen großen Entfernungen im SAN sind Spiegelungen auf entfernte Systeme problemlos möglich, selbst im K-Fall kann über das SAN weiterhin zugegriffen werden.
Für eine reibungslose Servervirtualisierung wird ein SAN benötigt, ohne den gemeinsamen Zugriff auf die Festplattenressourcen ist eine hochverfügbare Virtualisierung nicht möglich. Aber schon zwei physikalische Server für die Virtualisierung und ein synchron repliziertes Speichersystem erhöhen die Verfügbarkeit gegenüber klassischen Systemen enorm.

Hochverfügbarkeit im Storage Area Network

Wenn viele Server im SAN angeschlossen sind und alle ihre Festplatten von einem einzelnen zentralen Storage-Subsystem bekommen, kann der Ausfall des SAN oder des Storage-Systems zum Ausfall aller Server führen. Das muss natürlich soweit möglich verhindert werden. Dafür bietet das Storage-Netz einiges an Features. Das Grundlegende ist die Multipathing-Fähigkeit des Fibre Channel Protokolls. Durch geeignete Treiber auf den Server-Betriebssystemen können verschiedene Pfade vom Server zum Storage-System genutzt werden. Sollte einer dieser Pfade nicht verfügbar sein (zum Beispiel durch den Ausfall eines FC-Switches), so werden andere Wege genutzt. Die redundanten Pfade können auch zur Lastverteilung genutzt werden. Sind also alle Pfade aktiv, so können auch alle für eine maximale Performance und einen höchstmöglichen Durchsatz genutzt werden. Die Verteilung erfolgt zum Beispiel "lastabhängig" oder "Round Robin". Der grundlegende Aufbau eines SAN mit einem Switch muss also erweitert werden. redundantes SAN mit Replikation Neben dem einen Fibre Channel Switch wird ein zweiter benötigt, jeder Server benötigt entweder zwei FC HBAs oder einen HBA mit zwei Kanälen. Auch das Storage-System muss dann an beide Switche angebunden werden. Was wird jetzt damit erreicht? Der "Server 1" in unserem Beispiel kann das "Storage-System Master" über den Pfad "P1" und den Pfad "P2" erreichen. Wird jetzt vom Storage System eine virtuelle Platte freigegeben, so "sieht" sie der Server 1 auch doppelt, einmal über P1 und einmal über P2. Damit das Betriebssystem jetzt die eine Platte aber nicht doppelt nutzt (und damit die Daten zerstört) muss eine Treibersoftware installiert werden, die erkennt, dass es eigentlich nur eine Platte ist und auch nur eine Platte dem Betriebssystem zur Verfügung stellt. Diese Treibersoftware wird Multipathing-Software genannt, da sie verschiedene Pfade verwalten kann.
Die erste Aufgabe der Multipathing-Software ist also das Erkennen der Pfade und das Verwalten der virtuellen Festplatten. Die zweite Aufgabe ist die Überwachung der Pfade. Sollte einer der Wege zum Storage-System ausfallen, so muss auf den zweiten (oder nächsten) Pfad umgeschaltet werden. Und das passiert schneller, als der Timout des Betriebssystems zuschlägt. Auch die Anwendung auf der Festplatte (egal ob Betriebssystem oder Datenbank) sollte eine Umschaltung (bzw. den kurzfristigen Ausfall) nicht merken.
Durch diese Multipathing Software wird also der Ausfall eines HBAs (oder eines HBA-Kanals), eines Switches, eines RAID-Controller im Storage-System oder eines Kabels umgangen.

Damit wird die Gesamtverfügbarkeit des Storage Area Networks stark erhöht. Dieser Aufbau mit zwei FC-Switches und Dual Channel HBAs ist der Standard-Aufbau für produktive Umgebungen.

Was nicht abgefangen wird, ist der Ausfall des gesamten Servers und des Storage-Systems. Der Ausfall eines Servers kann durch einen Cluster geschützt werden, beim Storage-System übernimmt dies eine Replikation der Daten auf ein zweites System. In diesem Beispiel repliziert das Master Storage-System die Daten an den Slave. Diese Replikation kann synchron oder asynchron erfolgen. In vielen Fällen ist eine synchrone Replikation einfacher zu beherrschen und sicherer zu betreiben. Es wird jede Schreiboperation auf dem Master sofort an den Slave übertragen und erst dann das OK an den Server gemeldet. Master und Slave nutzen also zu jedem Zeitpunkt exakt die gleichen Daten. Fällt jetzt der Master aus, so muss zwar erst auf den Slave umgeschaltet werden (der dann zum Master wird), jedoch gehen keine Daten verloren. Das Neustart der Systeme kann innerhalb weniger Minuten erfolgen.

Welche SAN-Komponenten benötige ich?

Diese Frage muss von Fall zu Fall entschieden werden. Gerade die Auswahl der Basiskomponenten entscheidet über den Erfolg eines SAN-Projektes. Es ergeben sich unter anderem die folgenden Fragen:

Welche Server-Hardware lässt sich ins SAN integrieren?
Welche Betriebssysteme sind für die Komponenten zertifiziert?
Welche Anwendungen / Datenbanken sollen auf den Storage zugreifen?
Welche Storage-Systeme lassen sich ins SAN integrieren?
Sind Funktionen wie "dynamic multipathing" möglich?
Wie lässt sich das SAN für Hochverfügbarkeit aufrüsten?
Wie soll im SAN die Datensicherung durchgeführt werden?
Welche Möglichkeiten zur zentralen Administration sind vorhanden?

Dies sind nur einige wenige Fragen, die Sie sich vor einer Anschaffung stellen sollten. Ein SAN ist einer der komplexesten Anschaffungen in der EDV-Landschaft. Angebote für SAN-Lösungen finden Sie bei Stor IT Back , es kann aber in den meisten Fällen nur als Beispiel dienen.

Weiterhin bieten wir herstellerunabhängige Schulungen zum Thema "Storage Area Network" an. In der Basis-Schulung lernen Sie die Unterschiede zu DAS, NAS und iSCSI kennen, sowie die jeweiligen Einsatzgebiete. In der Praxis-Schulung bauen Sie ein komplettes SAN auf, lernen die Topologien kennen und sehen Vor- und Nachteile am "lebenden Objekt".

Sollten Sie Fragen zu diesem Thema haben, oder wünschen Sie Beratung, so wenden Sie sich an uns.