Stor IT Back - Ihr Speicherspezialist
FCoE Fibre Channel over Ethernet V1.3 (c) Stor IT Back 2023
Jetzt haben wir schon Fibre Channel, iSCSI, Fibre Channel over IP und jetzt
noch Fibre Channel over Ethernet? Wer braucht das schon? Da schauen wir uns
doch mal die vorhandenen Protokolle und deren Nachteile kurz an. Fibre Channel
ist sehr performant (geringe Latzenzzeit, hoher Nutzdatendurchsatz), eine sehr stabile Hardware, jeder Hersteller unterstützt
es, aber es ist relativ teuer und man benötigt eine komplett eigenständige
Hardware für das Speichernetzwerk. Also mehr Energieverbrauch, mehr Klimaanlagenleistung
und auch mehr Einarbeitung bei der Anschaffung und mehr Betreuungsaufwand im
laufenden Betrieb. Dann iSCSI, recht kostengünstige Hardware, universelle
Unterstützt, Nutzung von Standard-Ethernet-Hardware und bis zur Hochverfügbarkeit
zu projektieren. Aber mit dem Nachteil, die Performance ist durch Ethernet begrenzt
und die Latenzzeit ist meist recht hoch. Meist ausreichend für "kleine"
Anwendungen, aber überfordert im großen Rechenzentrum. Und dann noch
Fibre Channel over IP (hört sich sehr ähnlich an), dort wird das Fibre
Channel Paket in IP verpackt und zwischen Fibre Channel-Switches ausgetauscht.
Also eine Verbindung zwischen FC Switches oder FC-SANs.
Also ist Fibre Channel bei hohen Performanceanforderungen die erste Wahl, aber man benötigt eine
komplett getrennte Netzinfrastruktur mit allen ihren Nachteilen. Also warum
nicht Ethernet nehmen und den normalen TCP/IP Verkehr und Fibre Channel über
dieselbe Infrastruktur fahren? Dann noch die Latenzzeit und Performance tunen
und fertig?
Und genau das ist Fibre Channel over Ethernet. Es wird ein Fibre Channel Paket
in ein Ethernet-Paket verpackt und zusammen mit anderen Netzwerkdaten über
einen 10 Gbit/s FCoE Adapter und einen 10 Gbit/s LAN (FCoE) Switch verschickt. Jetzt
wird also nur noch eine konsolidierte Infrastruktur benötigt. Dies spart
Kosten, Platz und Energie.
Jeder Server hat zur Redundanz zwei FCoE Adapter, die jeweils an einen FCoE Switch angeschlossen sind. Am FCoE Switch werden die Storage-Daten zum Fibre Channel RAID Storage geleitet und Anwendungsdaten zu den Ethernet-Switches.
Der große Vorteil von FCoE ist die Konsolidierung der Übertragungsnetze
in einem Rechenzentrum. Über eine Netzwerkkarte und einen Switch können
sämtliche Speicherdaten und Ethernet-Verbindungen übertragen werden.
Dies spart zum einen Platz im Rechenzentrum, vereinfacht die Verkabelung der
Server und schont Ressourcen. Ist nur ein zentraler Switch vorhanden, so verbraucht
auch nur ein Switch Energie und erzeugt Abwärme. Auch die Hochverfügbarkeit
ist einfach zu erreichen, zwei FCoE Netzwerkkarten pro Server und zwei zentrale
FCoE Switche. Eine überschaubare und leicht zu administrierende Umgebung,
auch dies spart Kosten ein.
Für alle diese Einsatzbereiche wäre auch iSCSI passend. Sind die Anforderungen
an die Performance des Storage-Netzes aber besonders doch, so werden hohe Übertragungsraten
und sehr geringe Latenzzeiten benötigt. Dies kann iSCSI nicht mehr leisten.
Dort kommt FCoE zu Einsatz, mit ähnlichen Übertragungsraten wie Fibre Channel
und nahezu gleich kleinen Latenzzeiten.
Erst einmal sind dies die Netzwerkkarten und die Switche. Eine FCoE Netzwerkkarte
wird vom Betriebssystem einmal wie eine normale Ethernet-Netzwerkkarte erkannt,
die Standard-Netzwerkprotokolle können darüber gefahren werden. Zusätzlich
stellt sich die Karte aber auch als Storage-HBA da, d.h. das Betriebssystem
kann über diese Karte Festplatten ansprechen, und zwar als vollwertige
Blockdevices. Eine Mindesttransferrate von 10 Gbit/s ist für die Karten notwendig.
Der FCoE Switch stellt neben den normalen Ethernet-Diensten zusätzlich
auch noch die Verwaltung des FCoE Transportes und evtl. die Ausschleusung der
Fibre Channel Daten auf spezielle FC Ports sicher. Einige weitere Features und
Unterprotokolle, z.B. FCoCEE (Fibre Channel over Convergence Enhanced Ethernet),
kümmern sich um die passende Priorität und möglichst geringe
Latenzzeiten
Eine direkte Anbindung der Storage-Systeme (RAID-Controller, Tape-Libraries) an FCoE ist möglich und wird sicherlich auch realisiert. Zurzeit gibt es FCoE Switches, die mit zusätzlichen Fibre Channel Ports die Ansteuerung der FC-Storage Hardware ermöglicht. Solange die FC-Ports am FCoE Switch ausreichend sind, oder die Storage-Hardware FCoE direkt nutzt, kann man komplett auf Fibre Channel Switches verzichten und nur dann macht ein FCoE Netzwerk Sinn.
Das Ethernet Protokoll musste für FCoE angepasst werden. So können zum Beispiel einzelne Frames
verloren gehen. Die höheren Protokollschichten (TCP/IP) sorgen trotzdem für eine
sichere Übertragung (durch Paketwiederholung oder -neuanforderung). Dies Verfahren ist
für Storage-Daten nicht geeignet und führt zu großen Verzögerungen.
Daher wurde das Enternet-Protokoll
um einige Funktionen erweitert:
- kein Frame-Verlust (PAUSE oder Nicht-PAUSE)
- Traffic Management 802.1au
- Priorisierung von FC-Daten gegenüber nicht-FC-Daten 802.1Q
- gleiche Frame-Latenz wir beim Fibre Channel
So werden die Ethernet-Daten mit dem PAUSE Befehl angehalten, der bei FCoE
um "Per priority PAUSE" erweitert wurde. Also ist ein reines Anhalten von LAN Daten
möglich, so dass FC(oE) Daten ungehindert übertragen werden können.
Weiterhin wird durch die Nutzung von Jumbo-Frames eine Fragmentierung der 2 kB großen FC Frames
vermieden, eine Voraussetzung für FCoE.
Der geringere Overhead im Vergleich zu iSCSI wird durch die Kapselung der FC Frames in Ethernet Frames
erreicht. Bei iSCSI werden SCSI Frames in TCP verpackt. Durch die direkte Verpackung der FC Pakete
wird eine Unterstützung von Zoning, Multipathing und der WWN-Adressierung weiterhin
ermöglicht. FCoE bleibt also auch im Handling Fibre Channel sehr ähnlich.
Nachdem die Storage-Konsolidierung in jedes größere Rechenzentrum Einzug gehalten hat und auch die Server-Konsolidierung große Erfolge feiert, wird es mit der Netzwerk-Konsolidierung ähnlich laufen. Weniger Hardware, weniger Energieaufwand und einfachere Administration wird auch dieser Konsolidierung zu einem festen Platz in Rechenzentrum verhelfen.
