Storage Area Network (SAN) und Fibre Channel · Version 1.23 · © Stor IT Back 2026
Ein Storage Area Network (SAN) ist ein dediziertes Netzwerk, das Servern blockbasierten Speicher bereitstellt. In Unternehmen werden SANs vor allem mit Fibre Channel oder iSCSI umgesetzt. Ein Fibre-Channel-SAN besteht typischerweise aus Host-Bus-Adaptern, Fibre-Channel-Switches und den Frontend-Ports der Storage-Systeme.
Zoning begrenzt, welche Ports innerhalb der Fabric miteinander kommunizieren dürfen. LUN-Masking beziehungsweise LUN-Mapping legt zusätzlich fest, welche Speicherbereiche ein Host nutzen kann. Für hohe Verfügbarkeit werden üblicherweise zwei getrennte Fabrics, redundante Host- und Storage-Ports sowie Multipathing eingesetzt.
Im Unterschied zu einem Network Attached Storage stellt ein SAN Blockgeräte beziehungsweise LUNs bereit.
Ein NAS stellt dagegen Dateien und Freigaben über Dateiprotokolle zur Verfügung.
Das SAN-Konzept hebt also die wichtigsten
Nachteile von DAS-Systemen
(Direct Attached Storage) auf. Das Storage Area Network ist also ein spezielles Netzwerk für Speichersysteme.
Ein SAN besteht aus Host-Bus-Adaptern in den Servern, den Netzwerkkomponenten wie Fibre-Channel-Switches oder FC-Router und den Storage-Elementen. Die letztgenannten können beispielsweise Storage-Arrays, RAID-Systeme oder Tape-Libraries sein. Hinsichtlich der Topologie ähnelt ein SAN einem LAN. Das Übertragungsmedium kann entweder Fibre Channel, iSCSI oder FCoE sein.
Aus den physischen Datenträgern werden RAID-Gruppen oder Storage-Pools gebildet.
Daraus entstehen Volumes beziehungsweise logische Einheiten, die den Hosts über LUN-Zuordnungen bereitgestellt werden.
Eine Logical Unit (LUN) ist eine logisch bereitgestellte Speichereinheit; die LUN ist deren Nummer beziehungsweise Kennung, allerdings wir LUN auch häufig als Begriff
für das Volume oder virtuelle Festplatte genutzt.
Ein Server erkennt diese virtuellen Festplatten (LUNs) wie eine interne Platte. Das
Das Betriebssystem benötigt passende HBA-, Multipathing- und gegebenenfalls Hersteller-Treiber.
Anwendungen können den Speicher anschließend ohne Anpassungen wie ein lokales Blockgerät nutzen.
Damit können die Betriebssysteme auch aus dem Storage Area Network booten. Dies bietet
klare Vorteile, sollte einmal die Server-Hardware ausfallen. Bei geeigneter Konfiguration kann die ausgefallene Serverhardware ersetzt werden,
ohne das Betriebssystem neu zu installieren, da sich
das Betriebssystem auf dem Storage Area Network befindet.
Wichtig ist jetzt aber auch die Verfügbarkeit des Storage Area Network (SAN). Im Bereich Host-Bus-Adapter
und Fibre-Channel-Switch kann die Verfügbarkeit sehr leicht durch einfache
Verdopplung der Hardware erreicht werden. Der Treiber des Host-Bus-Adapters
steuert dann diese unterschiedlichen Wege zum Storage-System (Multipathing).
Der Einsatz von zwei Fibre-Channel-Switches und Dual-Port HBAs ist der Standard bei produktiven
Umgebungen.Für produktive SAN-Umgebungen sollte das Storage-System redundant ausgelegt sein,
beispielsweise mit zwei Controllern, Netzteilen, Lüftern und getrennten Frontend-Pfaden.
Beim Storage-System gibt es noch weitere Verfahren zur Steigerung der Verfügbarkeit.
Die Systeme können entweder durch das Betriebssystem (Mirroring, RAID 1)
oder durch die eigene Hardware (Replikation, synchron oder asynchron) gespiegelt werden. Damit lassen
sich identische Daten an zwei unterschiedlichen Standorten vorhalten. Dies ermöglicht eine Vorsorge für den Katastrophenfall.
Im Fibre Channel SAN gibt es drei grundsätzlich verschiedene Topologien, das Point-to-Point, den Arbitrated Loop
und Switched Fabric.
In einer Switched Fabric sind die Endgeräte an einen Fibre-Channel-Switches angeschlossen. Dieser schaltet dann in Echtzeit die jeweils
benötigten Verbindungen zwischen Sender und Empfänger. Dies wird heute meist
durch eine hochperformante Backplane erreicht, die genügend Performance
für alle Anschlüsse bereitstellt. In aktuellen Unternehmens-SANs wird überwiegend die Switched Fabric eingesetzt.
Point-to-Point ist ebenfalls möglich; der Arbitrated Loop gilt als veraltet.
Mehrere Switches können kaskadiert bzw. kombiniert werden. Fabrics lassen sich über Inter-Switch-Links erweitern.
Die Skalierung unterliegt jedoch technischen, lizenzbedingten und herstellerspezifischen Grenzen. Aber auch verteilte SANs an
unterschiedlichen Standorten sind leicht realisierbar. So können einzelne
Serverräume mit jeweils einem Switch (oder zwei Switches zur Steigerung der
Verfügbarkeit) ausgestattet werden, die jeweils untereinander verbunden
werden. Das Storage-System kann dann an jedem Standort untergebracht werden .
Ein zweites System zur Spiegelung wird dann einfach in einem anderen Serverraum
an den dortigen Switch angeschlossen. So lassen sich sehr einfach verteilte
und hochredundante Systeme aufbauen.
Die Platzierung an getrennten Standorten hängt von Optiken, Leitungsqualität, Latenz, Buffer Credits, Replikationsverfahren und der eingesetzten Extension-Technik ab.
Durch Singlemode-Glasfaser bzww. Monomode-Kabel sind auch Verbindungen über einige Kilometer realisierbar,
bei spezieller Hardware bis zu 120 Kilometer. Natürlich kann bei einem
verteilten Storage Area Network auch die Sicherungshardware an einem getrennten Standort untergebracht
werden. Eine Kopie auf Band an einem getrennten Standort kann die manuelle Medienauslagerung reduzieren.
Sie ersetzt jedoch nicht automatisch ein offline oder unveränderbar gespeichertes Backup.
Bei einer Disk-to-Disk-Sicherung an den ersten
Standort und eine Disk-to-Tape-Kopie an einen zweiten Standort, kann
eine Auslagerung meist umgangen werden.
Bei der Point-to-Point-Topologie werden genau zwei Fibre-Channel-Endgeräte direkt miteinander verbunden – ohne Switch. Beispielsweise verbindet ein Server mit HBA einen Storage-Port direkt mit einem Storage-System.
Eigenschaften und Vorteile:
Direkte Verbindung: Kommunikation ohne Fibre-Channel-Switch.
Geringe Komplexität: Einfache Einrichtung und übersichtliche Struktur.
Niedrige Latenz: Direkter Datenpfad zwischen zwei Endgeräten.
Geeignet für kleine Umgebungen: Sinnvoll bei wenigen Hosts oder für Spezialverbindungen.
Nachteile:
Kaum skalierbar: Für viele Hosts und Storage-Ports ungeeignet.
Eingeschränkte Redundanz: Ohne zusätzliche direkte Links entsteht ein Single Point of Failure.
Keine zentrale Fabric: Erweiterte SAN-Funktionen und flexible Zuordnung fehlen.
Einsatzszenarien:
Die Point-to-Point-Topologie eignet sich für kleine dedizierte Umgebungen, Testsysteme,
die direkte Anbindung an eine Tape-Library oder spezielle dedizierte Storage-Verbindungen.
Die Grenzen liegen meist bei 4 Servern, da viele Einstiegs-Storage-Systeme nur 4 Ports besitzen. Damit
kann die Anzahl von Servern direkt angeschlossen werden. Eine hohe Verfügbarkeit mit redundanten Anbindungen
ist möglich, aber es können nur 2 Pfade genutzt werden (im Fabric sind es 4).
Hinweis:
Produktive Enterprise-SANs verwenden in der Regel eine geswitchte Fabric, um höhere Skalierbarkeit, Flexibilität und Verfügbarkeit zu gewährleisten. Für viele
Mittelstandsunternehmen und KMUs ist die Point-to-Point-Anbindung für einen Proxmox-, Hyper-V- oder VMware-Cluster ausreichend. Damit können die Kosten für
die Fibre-Channel-Switches eingespart werden.
In einem Arbitrated Loop sind alle Geräte (Server, Festplatten und Bandlaufwerke) in einer Schleife angeordnet. Sendet ein Gerät Daten, so laufen diese durch alle Geräte bis zum Empfänger. Denkbar ist dieser Aufbau ohne jegliche Netzhardware, es werden einfach nur die Geräte untereinander zusammengeschaltet. In diesem Fall ist jedoch beim Ausfall eines Gerätes die Loop unterbrochen, eine Kommunikation ist nicht mehr möglich und wird deswegen auch nicht in der Praxis verwendet.
Aus diesem Grund wird ein Hub eingesetzt. Er überwacht die einzelnen Geräte und beim Ausfall
oder Ausschalten überbrückt der Hub die Verbindung, die übrigen Geräte können weiter kommunizieren.
In dieser Schleife liegt aber auch der zweite Nachteil,
alle angeschlossenen Geräte müssen sich die Bandbreite teilen.
Aber warum dann einen Hub verwenden? Der Hub war bis 2003 die kostengünstigere
Hardware für ein Storage Area Network, ein Fibre-Channel-Switch war noch deutlich teurer. Ab 2003 wurden die
Fibre-Channel-Switches kostengünstiger und haben in den frühen 2000er-Jahren die Hubs als externe Geräte
komplett verdrängt.
Die Loop mit einem Hub wurde zum Beispiel noch lange zur Ansteuerung von Fibre Channel Festplatten
verwendet. Dort greift ja nur ein Controller auf alle Platten zu, die Performance
ist also dort kein Nachteil. Aber seit den SAS- und SATA-Festplatten, wird auch dies nicht mehr eingesetzt.
Der größte Vorteil eines Storage Area Networks ist die direkte Erreichbarkeit aller ins SAN integrierten
Komponenten untereinander. Autorisierte Hosts können auf die ihnen zugewiesenen Blockgeräte beziehungsweise LUNs zugreifen.
Im einfachsten Fall wird in einem Storage Area Network nur
ein Storage-System und eine Tape-Library für alle unterschiedlichen Server und
Betriebssysteme benötigt. Es werden Kosten eingespart, Plattenplatzreserven nur einmal zentral
benötigt, der Raumbedarf im Rechenzentrum minimiert und die Übertragungsgeschwindigkeit
gesteigert. Dies gilt speziell bei der Datensicherung beim LAN-free- und
Serverless-Backup. Hierbei wird auch noch die Belastung
des LANs verringert.
Im Storage Area Network sind Cluster-Anwendungen leicht zu implementieren, jeder
Server kommt an jedes Blockdevice (die durch Zoning und LUN-Masking freigegebenen sind), mit der passenden Software sind sogar konkurrierende
Schreibzugriffe möglich. Gleichzeitige Schreibzugriffe mehrerer Hosts erfordern ein Cluster-Dateisystem,
einen verteilten Lock-Manager oder eine Anwendung mit geeigneter Clusterkoordination.
Durch die möglichen großen Entfernungen
im Fibre Channel oder iSCSI Storage Area Network sind Spiegelungen auf entfernte Systeme möglich, selbst
im Katastrophenfall (K-Fall) kann über das SAN weiterhin zugegriffen werden.
Für eine reibungslose Servervirtualisierung
(VMware, Hyper-V, Promxox) wird ein SAN benötigt (oder hyperkonvergente Systeme wie Ceph oder vSAN),
ohne den gemeinsamen Zugriff auf die Festplattenressourcen ist eine hochverfügbare
Virtualisierung nicht möglich, gerade HA im Fehlerfalle. Aber schon zwei physikalische Server für
die Virtualisierung und ein synchron repliziertes Speichersystem erhöhen
die Verfügbarkeit gegenüber klassischen Systemen enorm.
Wenn viele Server im Storage Area Network (SAN) angeschlossen sind und alle ihre Festplatten von einem einzelnen zentralen Storage-Subsystem bekommen, kann der Ausfall des SAN oder des Storage-Systems zum Ausfall aller Server führen. Das muss natürlich soweit möglich verhindert werden. Dafür bietet ein SAN verschiedene Mechanismen zur Redundanz und Pfadumschaltung. Das Grundlegende ist die Multipathing-Fähigkeit des Fibre Channel und iSCSI Protokolls. Durch geeignete Treiber auf den Server-Betriebssystemen können verschiedene Pfade vom Server zum Storage-System genutzt werden. Sollte einer dieser Pfade nicht verfügbar sein (zum Beispiel durch den Ausfall eines Fibre-Channel-Switches), so werden andere Wege genutzt. Die redundanten Pfade können auch zur Lastverteilung genutzt werden. Sind also alle Pfade aktiv, so können auch alle für eine maximale Performance und einen höchstmöglichen Durchsatz genutzt werden. Die Verteilung erfolgt zum Beispiel "lastabhängig" oder "Round Robin". Der grundlegende Aufbau eines SAN mit einem Switch muss also erweitert werden.
Neben dem einen Fibre-Channel-Switch wird ein zweiter benötigt, jeder Server
benötigt entweder zwei FC HBAs oder einen HBA mit zwei Kanälen. Auch
das Storage-System muss dann an beide Switche angebunden werden. Was wird jetzt
damit erreicht? Der "Server 1" in unserem Beispiel kann das "Storage-System
Master" über den Pfad "P1" und den Pfad "P2" erreichen.
Wird jetzt vom Storage-System eine virtuelle Platte freigegeben, so "sieht"
sie der Server 1 auch doppelt, einmal über P1 und einmal über P2.
Damit das Betriebssystem jetzt die eine Platte aber nicht doppelt nutzt (und
damit die Daten zerstört) muss eine Treibersoftware installiert werden,
die erkennt, dass es eigentlich nur eine Platte ist und auch nur eine Platte
dem Betriebssystem zur Verfügung stellt. Diese Treibersoftware wird Multipathing-Software
genannt, da sie verschiedene Pfade verwalten kann.
Die erste Aufgabe der Multipathing-Software ist also das Erkennen
der Pfade und das Verwalten der virtuellen Festplatten. Die zweite Aufgabe ist
die Überwachung der Pfade. Sollte einer der Wege zum Storage-System ausfallen,
so muss auf den zweiten (oder nächsten) Pfad umgeschaltet werden. Und das
passiert früher, bevor das Betriebssystem eine Zeitüberschreitung meldet. Auch
die Anwendung auf der Festplatte (egal ob Betriebssystem oder Datenbank) sollte
eine Umschaltung (bzw. den kurzfristigen Ausfall) nicht merken.
Durch diese Multipathing-Software wird also der Ausfall eines HBAs (oder eines
HBA-Kanals), eines Switches, eines RAID-Controllers im Storage-System oder eines
Kabels umgangen.
Damit wird die Gesamtverfügbarkeit des Storage Area Networks
stark erhöht. Dieser Aufbau mit zwei FC-Switches und Dual-Channel-HBAs
ist der Standard-Aufbau für produktive Umgebungen.
Was nicht abgefangen wird, ist der Ausfall des gesamten Servers und des Storage-Systems.
Der Ausfall eines Servers kann durch einen Cluster
geschützt werden, beim Storage-System übernimmt dies eine Replikation
der Daten auf ein zweites System. In diesem Beispiel repliziert das Primärsystem
die Daten an das Sekundärsystem. Diese Replikation kann synchron oder
asynchron erfolgen. In vielen Fällen ist eine synchrone
Replikation einfacher zu beherrschen und sicherer zu betreiben. Es
wird jede Schreiboperation auf dem Primärsystem sofort an das Sekundärsystem übertragen
und erst dann die erfolgreiche Schreibbestätigung an den Server gesendet. Primärsystem und Sekundärsystem nutzen also zu
jedem Zeitpunkt exakt die gleichen Daten. Fällt jetzt das Primärsystem aus, so
muss zwar erst auf das Sekundärsystem umgeschaltet werden (das dann zum Primärsystem wird),
jedoch gehen keine Daten verloren. Der Neustart der Systeme kann innerhalb kurzer Zeit erfolgen.
Ein SAN nutzt Fibre
Channel oder iSCSI als Übertragungsmedium. Fibre Channel ist seit 1994 ANSI-Standard.
Dort sind die physikalischen Schnittstellen, sowie die einzelnen Schichten des
Protokolls definiert. Die 1994 festgelegte Übertragungsrate liegt bei 100 MB/s,
1997 wurden Erweiterungen mit Übertragungsraten von 200 und 400 MB/s festgelegt.
Geräte für den 200 MB/s-Standard sind seit 2001 auf dem Markt, 400 MB/s (4 Gbit/s)
seit Mitte 2004. Die aktuelle Implementierung nutzt Übertragungsraten von 16 Gbit/s bis 64 Gbit/s
zu den Endgeräten, die Übertragungsrate für Interconnect-Verbindungen
(Switch-to-Switch) beträgt heute bis zu 128 GBit/s. Die nächste Stufe
mit 128 Gbit/s zu den Endgeräten ist bereits 2026 zu bekommen.
Fibre Channel ist ein serielles Übertragungsverfahren, das heißt es gibt nur
eine Datenleitung pro Übertragungsrichtung (full duplex). Dies bietet einen
großen Vorteil gegenüber SCSI. Je höher die Übertragungsraten
sind, desto anfälliger werden die Datensignale bei SCSI gegen zeitliche Laufunterschiede
in den einzelnen Datenleitungen. Es entsteht bei hohen Raten ein Signalgemisch,
welches immer schwerer zu trennen ist. Bei Fibre Channel können sich Signale
nicht gegenseitig überholen (es gibt bei der seriellen Übertragung ja nur
eine Leitung), sie kommen immer in der richtigen Reihenfolge beim Empfänger
an.
Ein Begriff, der immer wieder im Zusammenhang mit Fibre Channel auftaucht, ist das Zoning. Das Zoning ist im
Prinzip wie das VLAN im Ethernet. Es lassen sich Unterteilungen im FC-Netz definieren. Aber warum das? Im Fibre Channel
SAN kann sich erst einmal jeder Knoten bzw. jedes Gerät mit jedem anderen unterhalten. Es gibt zwar auch
Zugriffsregeln, zum Beispiel das Mapping per WWN, aber eine echte Unterteilung wird erst durch das Zoning erreicht.
Ist das Zoning kompliziert? Nein, es ist eine einfache Zuordnung zwischen Ports oder WWNs auf einem Switch.
Ein Beispiel:
Port 1: Storage-System Controller A mit WWN 1
Port 2: Storage-System Controller B mit WWN 2
Port 3: Server 1 mit WWN 3
Port 4: Server 2 mit WWN 4
Wenn sich jetzt Server 1 und 2 nicht "sehen" dürfen, aber beide auf das Storage-System zugreifen sollen, so definiert man die folgenden Zonen:
1. Zone: Port 1 und Port 2 und Port 3
2. Zone: Port 1 und Port 2 und Port 4
Damit ist die grundlegende Zonenkonfiguration auf Basis der Switch-Ports abgeschlossen. Ersetzt man die Ports durch die WWN der einzelnen angeschlossenen Geräte, so erhält man
das Zoning auf WWN-Basis:
1. Zone: WWN 1 und WWN 2 und WWN 3
2. Zone: WWN 1 und WWN 2 und WWN 4
Auch eine Mischung zwischen Port und WWN ist möglich, aber meist nicht sinnvoll. Aber warum einmal das Zoning mit Ports (Hardware-Zoning) und zum anderen
mit den WWNs (Software-Zoning)? Beim Port-Zoning muss nach einem Austausch des Fibre-Channel-Switches jedes Kabel wieder exakt an den gleichen Port
gesteckt werden, ansonsten ist das Zoning falsch. Beim WWN-basierten Zoning müssen nach dem Tausch eines HBAs oder des Storage-Systems die entsprechenden WWNs
geändert werden, was dann eventuell vergessen wird. Also beides hat Vor- und Nachteile.
Brocade FC Switch - HTML5 Element Manager GUI - Zoning
Wenn Sie mehr über das FC Zoning erfahren möchten, wir bieten einen Praxisworkshop zum Thema Storage Area Network an.
Die maximalen Entfernungen hängen vom Verbindungsmedium und der Transfergeschwindigkeit ab. Die unterstützte Reichweite hängt zusätzlich von Transceiver, Wellenlänge, Einfügedämpfung, Reflexionen, Steckverbindungen und Linkbudget ab. Einige Hersteller bieten abweichende Lösungen an, hier werden spezielle Laser oder entsprechend angepasste Medien verwendet. Wichtig ist gerade bei 16 Gbit/s und schneller die Auswahl der passenden Faser. Mit OM4-Fasern lässt sich die Entfernung mit bis zu 100 Meter nutzen. Die Faser ist zwar teurer, es kann aber noch Multi-Mode-Hardware eingesetzt werden. Dies ist besonders bei Host-Bus-Adaptern mit fest integrierten Optiken von Vorteil.
| Geschwindigkeit | Medium | maximale Entfernung |
| 1 Gbit/s / 100 MB/s | Kupfer (DB9/HSSDC) | 25 m |
| 1 Gbit/s / 100 MB/s | Multimode-LWL (50/125 µm) OM2 | 500 m |
| 1 Gbit/s / 100 MB/s | Multimode-LWL (50/125 µm) OM3 | 850 m |
| 1 Gbit/s / 100 MB/s | Multimode-LWL (62,5/125 µm) OM1 | 300 m |
| 1 Gbit/s / 100 MB/s | Singlemode-LWL (9/125 µm) OS1 | 10 km |
| 2 Gbit/s / 200 MB/s | Kupfer (HSSDC) | 16 m |
| 2 Gbit/s / 200 MB/s | Multimode-LWL (50/125 µm) OM2 | 300 m |
| 2 Gbit/s / 200 MB/s | Multimode-LWL (50/125 µm) OM3 | 500 m |
| 2 Gbit/s / 200 MB/s | Multimode-LWL (62,5/125 µm) OM1 | 150 m |
| 2 Gbit/s / 200 MB/s | Singlemode-LWL (9/125 µm) OS1 | 2 km |
| 4 Gbit/s / 400 MB/s | Multimode-LWL (50/125 µm) OM2 | 150 m |
| 4 Gbit/s / 400 MB/s | Multimode-LWL (50/125 µm) OM3 | 380 m |
| 4 Gbit/s / 400 MB/s | Multimode-LWL (50/125 µm) OM4 | 400 m |
| 4 Gbit/s / 400 MB/s | Multimode-LWL (62,5/125 µm) OM1 | 70 m |
| 8 Gbit/s / 800 MB/s | Multimode-LWL (50/125 µm) OM2 | 50 m |
| 8 Gbit/s / 800 MB/s | Multimode-LWL (50/125 µm) OM3 | 150 m |
| 8 Gbit/s / 800 MB/s | Multimode-LWL (50/125 µm) OM4 | 190 m |
| 16 Gbit/s / 1.600 MB/s | Multimode-LWL (50/125 µm) OM2 | 35 m |
| 16 Gbit/s / 1.600 MB/s | Multimode-LWL (50/125 µm) OM3 | 100 m |
| 16 Gbit/s / 1.600 MB/s | Multimode-LWL (50/125 µm) OM4 | 125 m |
| 32 Gbit/s / 3.200 MB/s | Multimode-LWL (50/125 µm) OM4 | 100 m |
| 64 Gbit/s / 6.400 MB/s | Multimode-LWL (50/125 µm) OM4 | 100 m |
| 10 Gbit/s / 1000 MB/s | Multimode-LWL (50/125 µm) | 80 m |
| 10 Gbit/s / 1000 MB/s | Multimode-LWL (62,5/125 µm) | 30 m |
Abweichend von dieser Tabelle können durch den Einsatz von ELWL (Extend Long Wavelength GBICs) Entfernungen bis zu 80 Kilometer erreicht werden. Mithilfe von SAN- beziehungsweise Fibre-Channel-Extendern wurden Strecken von über 120 Kilometer überbrückt. Dies ist in den meisten Fällen ausreichend für die Anbindung von "Ausweich-Rechenzentren" zur Disaster-Vorsorge.
Die technische Grundlage für jedes Fibre Channel SAN (Storage Area Network) ist der "Fibre
Channel-Protokoll-Standard", richtig bezeichnet als "Fibre Channel Physical
and Signaling Interface". Fibre Channel ist kein Kabeltyp, es ist nicht zu
verwechseln mit Fiber/Fibre (= Faser). Das Fibre-Channel-Protokoll kann auch über
Kupferleitung mit elektrischen Signalen übertragen werden. Trotzdem hat
sich der Begriff Fibre Channel auch für (LWL-)Kabel, Geräte und Verbindungen
eingebürgert.
Welche Anforderungen werden bzw. wurden an die Entwicklung von Fibre Channel
gestellt? In der Entwicklungszeit vor Fibre Channel und SAS war das parallele SCSI die gebräuchlichste
Übertragungsart für Daten. Die Geschwindigkeit bei FC sollte deutlich übertroffen
werden und auch eine hohe Reserve für Verbesserungen bieten. Beim parallelen
SCSI war das technisch Machbare mit 320 MB/s erreicht. Also musste es ein serielles
Protokoll werden und es sollten sich größere Entfernungen als mit
SCSI überbrücken lassen. Wichtig war weiter auch eine möglichst
geringe Zahl von Übertragungsfehlern, da die Korrekturen immer zu Verzögerungen
führen. Und Verzögerungen sind im Speicherbereich niemals gut, also
musste auch die Latenzzeit gering gehalten werden. Eine wichtige Anforderung
war auch die Entlastung der Server-CPU, das FC-Protokoll sollte möglichst
in eigener Hardware (den Host-Bus-Adaptern) laufen. Also die Vorteile von SCSI
weiter ausbauen und alle Begrenzungen möglichst entfernen. Ein großer
Nachteil von SCSI war auch die fehlende Hot-Plug-Fähigkeit. Systeme müssen
vor der Verkabelung ausgeschaltet werden, dies wäre für Fibre Channel
undenkbar. Hot Plug wurde also zu einem Hauptbestandteil der Entwicklung.
Schauen wir uns hier jetzt die Theorie zum Fibre Channel an. Das Fibre Channel
(Protokoll) ist nach einem Schichtenmodell aufgebaut, ähnlich dem OSI-Modell.
Es gibt die Schichten FC-0 bis FC-4.
Dies ist die unterste Schicht und bezeichnet die physikalischen Schnittstellen. Dies sind Geschwindigkeit, Medium (Kabel und Stecker), Übertragungstyp und Entfernung. Mit den Kurzformen dieser Schnittstellenbezeichnungen werden physikalische Verbindungen beschrieben.
| Geschwindigkeit | Kurzform |
| 12.800 MB/s | 12800 |
| 6.400 MB/s | 6400 |
| 3.200 MB/s | 3200 |
| 1.600 MB/s | 1600 |
| 800 MB/s | 800 |
| 400 MB/s | 400 |
| 200 MB/s | 200 |
| 100 MB/s | 100 |
| Medium | Kurzform | Erweiterung | Nutzung |
| Single-Mode Fibre 9 μm | SM | OS1 | große Entfernungen |
| Multi-Mode Fibre 50 μm | M5 | OM2 | kurze Entfernungen (alt) |
| Multi-Mode Fibre 50 μm | M5 | OM3 | längere Entfernungen |
| Multi-Mode Fibre 50 μm | M5 | OM4 | längere Entfernungen (neu) |
| Multi-Mode Fibre 50 μm | M5 | OM5 | längere Entfernungen (neuer) |
| Multi-Mode Fibre 62,5 μm | M6 | OM1 | kurze Entfernungen (veraltet) |
| Twisted Pair Cable | TP | innerhalb Gehäuse |
| Übertragungstyp | Kurzform |
| Longwave Laser | LL |
| Shortwave Laser w | SL |
| Shortwave Laser n | SN |
| Long-Wavelength Light-Emitting Diode | LE |
| Electrical | EL |
| Entfernung | Kurzform |
| Long | L |
| Intermediate | I |
| Short | S |
Jede mögliche physikalische Übertragung kann jetzt beschrieben werden:
800-M5-SL-S
Dies ist eine 50 μm
Multi-Mode-Fibre-Verbindung mit Shortwave Laser und 800 MB/s Übertragungsrate.
Zum größten Teil werden optische Verbindungen verwendet, sie ermöglichen
größere Übertragungsentfernungen. Jedoch sind sie gegenüber mechanischen
Einflüssen nicht so widerstandsfähig wie die elektrischen Verbindungen.
Ein Einklemmen in der Tür quittieren optische Kabel meist mit Ausfall oder
Störungen.
Jede Fibre Channel Verbindung besteht immer aus zwei Fasern beziehungsweise Übertragungsrichtungen:
eine zum Senden und eine zum Empfangen. Die Daten werden also full duplex übertragen.
Damit ist dann immer die theoretisch doppelte Übertragungsrate möglich.
Wichtig ist gerade bei "Verlegekabeln" zwischen Räumen oder Gebäuden,
dass pro Verbindung immer zwei Fasern benötigt werden. Die IT rechnet meist
in Verbindungen, die Installateure aber in Fasern. Dies kann schnell zu einem
Mangel an Fasern führen.
In der Fibre-Channel-Terminologie wird ein Gerät als Knoten bezeichnet. Dies kann zum Beispiel ein Host-Bus-Adapter in einem Server sein. Dieser Host-Bus-Adapter besitzt einen Port oder auch mehrere. Wie auch im LAN-Bereich besitzt jeder Knoten einen eindeutigen Namen, die WWN (World Wide Name). Da ein Knoten mehrere Ports besitzen kann, hat dieser auch einen eindeutigen Namen, die WWPN (World Wide Port Name). Diese Namen setzen sich aus 64-Bit-Kennungen zusammen, allerdings werden diese WWNs beziehungsweise WWPNs nicht zur Datenübertragung verwendet. Unterschieden werden auch noch die Grundfunktionen der einzelnen Ports. Sie werden je nach ihren Möglichkeiten bezeichnet.
| Bezeichnung | Port-Typ | Funktion |
| E_Port | Expansion_Port | Port eines Switches, an dem ein anderer Switch angeschlossen wird |
| TE_Port | Trunking-Expansion_Port | zusammengefasste Ports eines Switches, an denen ein anderer Switch angeschlossen wird |
| F_Port | Fabric_Port | Port eines Switches, an dem ein Knoten via Point to Point angeschlossen ist |
| FL_Port | Fabric_Loop_Port | Port eines Switches, an dem Knoten via Fibre Channel Arbitrated Loop angeschlossen werden |
| G_Port | Generic_Port | entweder E_Port oder F_Port eines Switches |
| N_Port | Node_Port | Port eines Endgeräts, an dem der Knoten via Point to Point (zum Beispiel an einen Switch) angeschlossen wird |
| NL_Port | Node_Loop_Port | Port eines Knotens (Endgerät) in einer Fibre Channel Arbitrated Loop |
| TL_Port | Translation_Port | Port zur Kommunikation zwischen Switch und Private Loop (veraltet) |
| U_Port | Universal_Port | Port, an dem alle anderen Porttypen angeschlossen werden können |
Die Kodierung von Daten verbessert die Sicherheit eines seriellen
Übertragungsvorganges. Immer 8 Bit werden vor dem Versand in 10 Bit-Werte
verschlüsselt, die Methode wird danach 8b/10b-Verschlüsselung genannt (bis 8 Gbit/s der Standard).
Weiterhin versucht diese Kodierung immer ein Gleichgewicht zwischen
Einsen und Nullen zu halten. Ein Unterschied in diesen Werten in einem übertragenen
Wort wird durch die Kontrollfunktion "Disparity Character" angegeben. Diese
und andere Verfahren ermöglichen eine große Sicherheit der Übertragung
bei sehr geringem Overhead. Der Nutzdateninhalt bei einer Übertragung ist
sehr hoch und damit können über Fibre Channel, bei gleicher Geschwindigkeit,
mehr Daten übertragen werden als bei Ethernet. Dies beantwortet auch die
Frage, warum ein neues Übertragungsmedium entwickelt wurde und nicht einfach
ein SAN mit Ethernet und TCP/IP aufgebaut wurde.
Die 10 Gbit/s bzw. 20 Gbit/s Inter-Switch-Links arbeiten nach der 64b/66b Codierung,
es werden also 64 Bit in 66 Bit "verpackt". Dieses geänderte Verfahren
hat man auch für die 16 Gbit/s Version verabschiedet. Es soll aber trotzdem
mit den 8 bzw. 4 Gbit/s Fibre Channel kompatibel sein.
Weiterhin wird in FC-1 das "Link Control Protocol" definiert. Es sind
die Steuersignale der Übertragung, für Initialisierung und Verwaltung
des Links. Die sogenannten Ordered Sets beginnen immer mit der gleichen speziellen
Bitfolge, die sonst in der Übertragung von Daten nicht vorkommt. Das K28.5
Zeichen signalisiert also immer ein Steuerpaket und ist damit für alle
Komponenten sehr einfach zu entdecken.
Diese Schicht steuert die Struktur und Definition der Informationen und ist damit die umfangreichste Schicht. Sie ist in vier Klassen aufgeteilt
| Login Session |
| Exchange |
| Sequenz |
| Frame |
Bevor Nutzdaten zwischen zwei Geräten ausgetauscht werden können, müssen diese beiden Ports erst einmal Informationen über ihren Status austauschen. Ist dieser Login erfolgreich, so bleibt eine Kommunikation bis zu einem Logout bzw. Abbruch der Verbindung möglich. Natürlich kann ein Gerät auch Sessions mit verschiedenen anderen Knoten zur gleichen Zeit aufrechterhalten. Nach diesem Login sind also Adressen der Knoten und Ports und die Übertragungscharakteristika ausgetauscht. Zur Verwaltung der Adressen in einem Fabric, es sind bis zu 15,6 Millionen Geräte denkbar, nutzt der Switch einen "Fabric Name Server", eine Datenbank, in der alle Informationen gespeichert werden.
Bei jeder Datenübertragung zwischen zwei Ports wird auch ein Exchange gestartet, um die Operation zu steuern und zu kontrollieren. Für jedes Übertragungsprotokoll sind spezielle Exchanges, auch "Information Units" genannt, vorhanden. Ein Port kann mehrere Exchanges zur gleichen Zeit nutzen, damit wird die Auslastung effizienter.
Durch die Übertragung sehr großer Datenmengen muss die optimale Größe von Datenpaketen angepasst werden. Jedoch ist diese Menge auf 2.148 Byte pro Paket beschränkt (ergibt dann 2.112 Byte an Daten). Es lassen sich bis zu 65.536 dieser Pakete (Frames) zu einer Sequenz zusammenfassen. Diese Frames innerhalb einer Sequenz werden nicht unbedingt in der richtigen Reihenfolge übertragen, sie enthalten relative Adressen zur Encodierung.
Frames sind eine Untereinheit der Sequenz. Die Nutzdaten werden in Frames verpackt,
mit einem Start- und Stop-Delimiter, einem Header und einer Checksumme (CRC)
versehen und können dann verschickt werden. Durch die Optimierung erreicht
man ein Verhältnis von Nutzdaten zu Protokoll-Overhead von bis zu 98%.
Das CRC Verfahren im Frame erkennt alle Fehler, wenn das Transportmedium die
vorgegebene Fehlerrate einhält. Wird ein Fehler erkannt, so wird nicht
nur das betroffene Frame erneut gesendet, sondern die ganze Sequenz mit den
enthaltenen Frames. Damit muss der einzelne fehlerhafte Frame nicht umständlich
an die richtige Reihenfolge in der Sequenz einsortiert werden.
Die Fehlerbehandlung hängt von Serviceklasse und Upper-Layer-Protokoll ab.
Diese Funktion stellt Dienste wie zum Beispiel Multicast-Sendungen zur Verfügung.
Bei dieser Funktion werden Datenpakete an mehr als einen Empfänger zugestellt.
Damit können Datenreplizierungen direkt über Fibre Channel realisiert
werden, ohne das ein Paket wirklich zweimal verschickt werden muss. Als weiteres
gibt es den Dienst Striping, hier werden Daten abwechselnd über verschiedene
Ports bzw. verschiedene Wege verschickt. Dies erhöht den Durchsatz.
Beide angeführten Dienste werden aber auch unabhängig vom FC-3 Service
angeboten. So lässt sich mit dem Multipathing Round Robin auch ein Striping
bzw. das Nutzen von verschiedenen Wegen realisieren.
FC-4 ordnet Upper-Layer-Protokolle wie SCSI/FCP, NVMe/FC, FICON oder IP den darunterliegenden Fibre-Channel-Schichten zu.
Dies ist ein Übersetzer, welcher
aber auch spezielle Funktionen steuern kann. Auch können "Classes of Service" für einzelne Gruppen festgelegt
werden.
In der Praxis übernimmt die FC-4 Schicht die Übersetzung von SCSI
auf FCP. Damit wurde bei der Entwicklung von Fibre Channel der "Konnektor"
zur alten SCSI Welt hergestellt. Das Betriebssystem erkennt also die Fibre Channel
Devices als normale SCSI Geräte und kann mit dem schon vorhandenen und
bewährten SCSI-Subsystem arbeiten. Es sind wesentlich weniger Anpassungen
in den Betriebssystemen notwendig gewesen. Sicherlich auch ein Erfolgsbaustein
für die schnelle und unkomplizierte Integration von Fibre Channel.
Fibre Channel ist mehr oder weniger auf Plug and Play konzipiert worden. Was bedeutet das?
Wenn Sie einen Fibre-Channel-HBA mit einem Fibre Channel Storage verbinden, dann sehen sich beide
Schnittstellen über Fibre Channel, tauschen Informationen aus und gleichen sich ab. Das geht automatisch,
ohne einen manuellen Eingriff des Administrators. Danach muss aber manuell eingegriffen werden, da
jetzt eine LUN oder ein Laufwerk für den HBA freigegeben werden muss. Dies ist aber eine meist einfache
Zuordnung in der GUI des Storage-Systems. Dort wird einfach die WWN des Fibre-Channel-HBAs einer LUN
zugeordnet. Danach kann der HBA (bzw. das Betriebssystem) auf diese LUN zugreifen.
Ist das jetzt kompliziert? Vergleichen wir dies mit einer ähnlichen Technologie, dem iSCSI. Die logischen
Verbindungen für iSCSI sind gleich, die Verkabelung ist ähnlich, aber mit grundsätzlich unterschiedlichen Medien.
Für iSCSI muss aber für jeden Port eine IP-Adresse definiert werden, dann auch noch zwei unterschiedliche Netze für
die beiden Verbindungen einer redundanten Lösung. Bei vielen Verbindungen kann das schnell zu Fehlern führen. Doppelte IP-Adressen, falsches Subnetting oder
einfach ein Dreher in der Verkabelung, schon findet keine Verbindung statt. Dann erfolgt noch die Freigabe zwischen HBA über die IQN zu der LUN im Storage. Da
die IQN leicht zu manipulieren ist, sollte man dort auch noch eine CHAP-Authentifizierung einsetzen, also Benutzername und Kennwort für
die Verbindung. Danach kann die LUN genutzt werden. Da Ethernet und TCP/IP aber nicht für Storage entwickelt wurde, müssen meist
noch Parameter angepasst werden, um die beste Performance zu erreichen (zum Beispiel die MTU).
Die IP-Adressen, Netzwerke und Netzmasken braucht Fibre Channel nicht (= hat es nicht). Diese Fehlermöglichkeiten fallen also weg,
Fibre Channel ist da deutlich schneller und einfacher aufzusetzen und damit auch stabiler in der Produktion.
Aber was ist mit der Fehlersuche? Bei iSCSI kann man mit einem Ping testen, ob die Verbindungen da sind, bei Fibre Channel gibt
es keinen Ping... Bei Fibre Channel braucht man die Information über den FC-Login: Ist der Login OK, dann ist die Verbindung in Ordnung. Zu sehen ist
der Login in der GUI des Storage-Systems oder im Log des Treibers des HBA. Normalerweise reicht bei Fibre Channel schon der Blick auf
die LEDs der jeweiligen Ports. Mehr Informationen zur Analyse liefert ein Fibre-Channel-Switch. Dieser zeigt auch zum Beispiel Fehlerzähler an,
die auf defekte Leitungen hindeuten können. Alles in allem ist Fibre Channel einfach zu installieren und sehr stabil.
Ein SAN ist eine der komplexesten Anschaffungen in der EDV-Landschaft.
Angebote
für SAN-Lösungen finden Sie bei Stor IT Back , es kann aber in den
meisten Fällen nur als Beispiel dienen.
Weiterhin bieten wir herstellerunabhängige Schulungen zum
Thema "Storage Area Network" an. In der Basis-Schulung lernen Sie die
Unterschiede zu DAS, NAS und iSCSI kennen, sowie die jeweiligen Einsatzgebiete.
In der Praxis-Schulung bauen Sie ein komplettes SAN auf, lernen
die Topologien kennen und sehen Vor- und Nachteile am "lebenden
Objekt".
Ein SAN ist ein dediziertes Netzwerk, das Servern Speicher als Blockspeicher bereitstellt (also wie eine lokale Festplatte, nur extern). Der Speicher wird typischerweise als LUN bereitgestellt (Logical Unit Number: ein logisch abgetrennter Speicherbereich). Das SAN ist meist getrennt vom normalen LAN, damit Storage-Datenverkehr stabil, planbar und sicher bleibt. Typische Einsatzfälle sind Virtualisierung, Datenbanken und geschäftskritische Anwendungen, bei denen Performance und Verfügbarkeit besonders wichtig sind.
Fibre Channel ist eine spezialisierte Netzwerktechnologie für Storage-Verbindungen, optimiert auf niedrige Latenz und hohen Durchsatz. Im Alltag heißt das: Daten werden sehr zuverlässig und mit wenig „Overhead“ transportiert, ohne das normale LAN zu belasten. Fibre Channel läuft über Glasfaser oder Kupfer (je nach Transceiver/Kabel) und nutzt eigene Switches/Ports. Viele Unternehmen verwenden FC, weil es seit Jahren sehr stabil ist und in Rechenzentren gut vorhersagbar funktioniert.
NAS stellt Dateien über Netzwerk bereit (z. B. als Freigabe), SAN stellt Blockgeräte bereit (wie eine Festplatte über Netzwerk). Beim SAN kümmert sich meist der Host um das Dateisystem, beim NAS macht das der NAS-Server. Für Administratoren ist wichtig: SAN ist oft besser für viele parallele I/O-Operationen (zum Beispiel VM-Datastores), NAS ist oft bequemer für File-Sharing und Benutzerverzeichnisse. Ein Beispiel: VMFS/Datastores in Virtualisierung laufen häufig auf SAN-LUNs, Home-Directories eher auf NAS-Freigaben.
Typisch sind Hosts (Server), HBAs (Host Bus Adapter: FC-Netzwerkkarten), FC-Switches und ein Storage-System (Array) mit FC-Ports. Dazu kommen Kabel/Transceiver (SFPs) und die Konfiguration auf Switch- und Storage-Seite. Administratoren sollten außerdem an Monitoring (Port-Errors, Latenzen) und an eine saubere Dokumentation der WWNs denken (World Wide Names: eindeutige IDs von HBAs/Ports). In der Praxis ist ein FC-SAN mehr Plug-and-Play als Ethernet – und sehr kontrollierbar.
Eine Fabric ist vereinfacht gesagt das FC-Switching-Netzwerk, über das Hosts und Storage miteinander sprechen. Sie besteht aus einem oder mehreren FC-Switches und den Verbindungen dazwischen. Viele Umgebungen nutzen zwei getrennte Fabrics (Fabric A und Fabric B), um Redundanz zu schaffen: Fällt eine Fabric aus, läuft die andere weiter. Tipp: Halten Sie Fabrics wirklich getrennt (Switches, Verkabelung, ggf. Stromkreise), sonst erbt man gemeinsame Fehler.
Zoning ist eine Zugriffskontrolle auf Switch-Ebene: Es definiert, welche Hosts welche Storage-Ports sehen dürfen.
Das reduziert Risiken (z. B. versehentliches Überschreiben falscher LUNs) und verhindert unnötige Last im SAN.
Ein gängiges Vorgehen ist Single Initiator / Single Target: Ein Host-Port (Initiator) spricht nur mit einem Storage-Port (Target) in einem Zone-Set.
Beispiel: Host1-HBA1 darf nur mit Storage-Port-A sprechen, Host1-HBA2 nur mit Storage-Port-B – übersichtlich und leicht zu analysieren.
Hinweis: Es ersetzt aber das Masking der LUNs nicht!
Eine LUN ist ein logisch zugewiesener Blockspeicherbereich auf dem Storage, der am Host wie ein neues Laufwerk erscheint. Bereitstellung bedeutet meist: LUN anlegen, Host/Hostgruppe definieren, LUN mappen und dann am Host scannen und ein Dateisystem/Datastore erstellen. Wichtig ist, LUNs eindeutig zu benennen (zum Beispiel nach Zweck/Umgebung) und Größen-/Wachstumspläne zu dokumentieren. Empfehlung: Lege LUNs eher nach Workloads an (zum Beispiel DB-Logs, VM-Datastore) statt eine große für alles, weil man sonst Performance- und Backup-Themen schwerer trennen bzw. erkennen kann.
Multipathing bedeutet, dass ein Host mehrere physische Pfade zum Storage nutzt (zum Beispiel über zwei HBAs und zwei Fabrics). Das erhöht die Verfügbarkeit, wenn ein Kabel, ein Switch oder ein Storage-Port ausfällt, bleibt ein anderer Pfad aktiv (bzw. wird aktiv). Zusätzlich kann Multipathing je nach Einstellung auch Last verteilen (aber nicht jedes Setup skaliert automatisch linear). Praxisempfehlung: Prüfe am Host nicht nur, ob es mehrere Pfade gibt, sondern auch den Policy-Modus (z. B. Failover vs. Round-Robin) und ob Pfade wirklich über getrennte Fabrics laufen.
BB_Credit ist vereinfacht ein Puffer, der steuert, wie viele Datenframes ein Port senden darf, bevor er eine Bestätigung braucht. Das ist besonders relevant bei langen Strecken (z. B. FC über größere Distanzen), weil Verzögerungen sonst den Durchsatz begrenzen können. Im normalen Rechenzentrum ist es oft einfach da und funktioniert, aber bei speziellen Topologien oder sehr hoher Auslastung kann es eine Rolle spielen. Empfehlung: Wenn FC über Distance-Links oder spezielle Extension-Techniken genutzt wird, planen Sie Buffer Credits und das Linkdesign sorgfältig – sonst wirkt es wie eine unerwartete Durchsatzbegrenzung.
Sollten Sie Fragen zu diesem Thema haben oder eine Beratung wünschen, so wenden Sie sich an uns.
