iSCSI V1.8 (c) Stor IT Back 2013

Einführung zu iSCSI (SCSI über TCP/IP)

"iSCSI" oder "internet SCSI" ist ein über LAN (Ethernet, TCP/IP) zu übertragendes SCSI-Protokoll (SCSI over IP). Dieses Protokoll ist standardisiert und die Schnittstellen werden von den einzelnen Herstellern eingehalten, so dass in kurzer Zeit eine sehr gute Kompatibilität entstanden ist. Mit seiner Hilfe können Storage-Systeme über TCP/IP an Server angeschlossen werden. Dies hört sich wie eine Mischung aus SAN (Storage Area Network) und NAS (Network Attached Storage) an. Dies ist es auf den ersten Blick auch. Wie beim NAS werden die Clients über das LAN mit dem Storage-System (NAS-Server) verbunden. Die Protokolle beim NAS sind NFS und CIFS, bei iSCSI das (i)SCSI-Protokoll. Aber auch mit dem SAN gibt es eine enge Verwandtschaft. Eigentlich ist nur das Übertragungsmedium ein anderes. Beim SAN wird das SCSI-Protokoll in Fibre Channel verpackt, bei iSCSI in TCP/IP. In beiden Fällen werden Blöcke übertragen. Das Betriebssystem behandelt die iSCSI-Festplatten wie interne Festplatten. iSCSI ist also nicht wie bei einem NAS eine dateibasierende Übertragung, sondern eine blockbasierende.
Das folgende Bild zeigt eine Anwendung der iSCSI-Technologie. Die Server sind über ein Ethernet-LAN angebunden. Der iSCSI-FC-Router übernimmt die Umwandlung von iSCSI in SCSI bzw. Fibre Channel. Das Storagesystem ist in diesem Fall per Fibre Channel angebunden, es gibt jedoch auch Systeme, die Festplatten und iSCSI-FC-Router in einem Gehäuse vereinen.

iSCSI Aufbau

Die Lösung muss nicht zwangsläufig so aussehen. Viele NAS-Systeme bieten auch das iSCSI-Protokoll mit an. Ein NAS kann also in diesem Falle die filebasierenden Dienste wie SMB/CIFS und NFS anbieten, aber auch das blockbasierende iSCSI. Wichtig beim Kauf von NAS Systemen, die auch iSCSI können sollen, ist eine genaue Prüfung der Features. Nicht jedes NAS kann auch wirklich iSCSI.

Einsatzbereiche von iSCSI

Blockbasierend ist die Spezialität von iSCSI. Das übertragende Device (die LUN) wird vom Betriebssystem des Servers wie eine interne Platte behandelt, also die ideale Lösung für Datenbanken. Und natürlich für alle Anwendungen die Blockdevices benötigen. Da sich der Storage einfach und kostengünstig zentralisieren lässt, können vorhandene DAS-Systeme zusammengefasst werden. Dadurch kann der Administrationsaufwand reduziert werden, es kann Energie gespart werden ("Green-IT"), da mit einem Storage-System viele einzelne DAS-Systeme abgelöst werden können.
Trotz eines geringeren Durchsatz und einer höheren Latenzzeit als bei Fibre Channel ist iSCSI für viele Anwendungen vollkommen ausreichend, es können in vielen Fällen auch Kosten gegenüber von Fibre Channel eingespart werden.

Hardware-Anforderungen für iSCSI

iSCSI ist ein transparentes Protokoll. Der Server benötigt entweder eine spezielle iSCSI-Karte (iSCSi HBA), oder einen zusätzlichen Treiber für eine herkömmliche Netzwerkkarte (Software Initiator). Die Serverbelastung lässt sich auch durch TCP Offload Engines und iSCSI Offload Engines auf Netzwerkkarten verbessern. Viele Hersteller bieten diese Funktionen an, zum Teil als Zusatzlizenzen. Bei einer "normalen" Netzwerkkarte übernimmt dann ein Software-Initiator (Treiber) die Umwandlung. Der iSCSI-HBA bzw. der Software-Initiator wird als SCSI-3 Adapter vom Betriebssystem erkannt und kann normale SCSI-Kommandos weiterleiten. Von außen erscheint diese Karte als ein Netzwerkadapter (NIC). Sie bekommt eine IP-Adresse und nutzt die TCP/IP-Kommunikation. Damit ist dieses Protokoll routingfähig und wird über normale Ethernet-Hardware, wie z.B. einen Switch und einen Router transportiert. Eine Entfernungsbeschränkung existiert also nicht, der Server steht in Europa und der Storage in den USA und es fallen nur die Internet-Kosten an... Zu schön, um wahr zu sein, aber einen Haken gibt es beim Betrieb über ein WAN. Das ist die Performance. Sie setzt sich aus der Übertragungsrate des Medium und der Zeitverzögerung bei Transaktionen zusammen. Selbst Gigabit-Ethernet ist bei großen Datenbankanwendungen schnell überfordert, daher wird die iSCSI-Hardware ihren Durchbruch mit der Einführung des 10 Gigabit-Ethernet erreichen.
Einiges lässt sich aber optimieren. So kann durch die Aktivierung von Jumbo-Frames eine deutliche Steigerung des Durchsatzes erzielt werden. Hierbei sollte die MTU der beteiligten Geräte auf 9216 erhöht werden. Dies ist ein optimaler Wert in Sicht auf die 32 bit Checksumme zum Transport von 8 Kilobyte-Paketen plus die Header-Informationen. Bei Jumbo Frames steigt allerdings auch die Latenzzeit, dies muss abgewogen werden.

iSCSI-Storage-Hardware

An einem Punkt im Netzwerk muss iSCSI wieder in SCSI, SATA oder Fibre Channel umgesetzt werden. Dies übernimmt entweder ein "iSCSI-Server" (iSCSI RAID System) oder eine Netzhardware (iSCSI-Router, iSCSI-Bridge). Beide Varianten sind von kostengünstiger Einsteiger-Version bis zur Enterprise-Lösung erhältlich. Der Server ist wie ein NAS-System aufgebaut, er stellt seine internen Festplatten (oder Teile davon) über iSCSI den anderen Nutzern zur Verfügung. Ein iSCSI-Router wandelt zum Beispiel iSCSI in Fibre Channel um. Der Vorteil dieser Lösungen ist die Optimierung auf gerade diese Aufgaben. Es wird ein spezielles Betriebssystem zur Steigerung der Performance eingesetzt. Beispiele für iSCSI-Lösungen finden Sie in den Angeboten der Stor IT Back. Auch fast jedes bessere NAS-System bietet zusätzlich iSCSI-Services an. Eine kostengünstige Alternative, wenn beide Dienste benötigt werden.
Damit lassen sich dann filebasierende und blockbasierende Storage-Dienste konsolidieren.

1 (bzw. 8) Gigabit-FC = 1 (bzw. 10) Gigabit-Ethernet ?

Fibre Channel ist ein optimiertes Protokoll für den Transport großer Datenmengen, Ethernet jedoch für Transaktionen, mit meist sehr kleinem Inhalt. Beide basieren auf einer Übertragungsgeschwindigkeit von 1.065 Bit/s, jedoch ist der Nutzdateninhalt sehr unterschiedlich, wie auch die Ansteuerung durch den Prozessor. Im Gigabit-Ethernet kann eine Übertragungsrate von etwa 50 bis 80 MB/s erreicht werden. Dies variiert je nach Anzahl der Teilnehmer und der Datenstruktur (Blockgröße, IO Verhalten). Bei Fibre Channel können auch bei ungünstigen Verhältnissen Übertragungsraten von 90 MB/s erreicht werden. Ein weiterer Faktor ist die Prozessor-Belastung bei der Übertragung von Daten. Sie liegt bei Ethernet um Faktoren höher als beim Fibre Channel. Eine sehr starke Belastung für den Server. Dies lässt sich durch die speziellen iSCSI-Karten (iSCSI HBA) verhindern. Sie übernehmen die gesamte Umwandlung. Beim Software-Initiator (also der Nutzung einer "normalen" Netzwerkkarte) wird der Prozessor mit der Verpackung der SCSI-Pakete belastet. Diese zusätzliche Nutzung der CPU ist die eigentliche Begrenzung der iSCSI-Performance. Durch die Nutzung von 10 Gigabit-Karten und Netzen lassen sich auch Übertragungsgeschwindigkeiten wie beim 8 Gbit/s Fibre Channel erreichen, jedoch zwingt dies auch aktuelle Prozessoren in die Knie. Dort müssen iSCSI HBAs verwendet werden.

Latenzzeit im Ethernet

Gerade bei Datenbanken ist eine geringe Latenzzeit absolut wichtig. Wenn von einer Datenbank ein kleiner Block auf die Festplatte (= LUN oder iSCSI) übertragen werden soll, dann wartet die Anwendung evtl. so lange mit dem nächsten IO, bis der vorherige auf der Platte angekommen ist. Selbst kleine Verzögerungen können sich in der Gesamtperformance negativ bemerkbar machen. Aber was beeinflusst die Latenzzeit? Ein großer Unterschied besteht zwischen 1 Gbit/s Ethernet und 10 Gbit/s Ethernet. Bei 10 Gbit/s sind die Latenzzeiten von Grund auf geringer. Weiterhin steigt die Latenzzeit, wenn der Übertragungsweg belastet wird. Eine zu 50% ausgelastete Strecke kann eine 5 Mal höhere Latenzzeit als eine 10% ausgelastete Strecke besitzen. Weiterhin erhöht die Kabellänge die Latenzzeit. Je länger der Übertragungsweg ist, desto größer die Latenzzeit. Aber auch eine größere Frame-Size erhöht die Latenzzeit. So können sich zum Beispiel Jumbo-Frames auch nachteilig auswirken. Wenn sie aber gleichzeitig die Auslastung der Strecke reduzieren können sie auch positive Wirkungen haben. Es ist eben abhängig von Fall zu Fall, deswegen findet man im Internet viele gegenläufige Verbesserungsvorschläge. Mal zeigen sich gute Ergebnisse bei Tuning-Versuchen, mal wird die Leistung aber auch geringer.

Vor- und Nachteile von iSCSI

Ein häufig vorgebrachter Vorteil von iSCSI ist die Nutzung der vorhandenen Hardware im Netzwerk. Um eine gute Performance zu erreichen, muss ein abgetrenntes Netz eingesetzt werden, also eigene Netzwerkkarten/iSCSI-Karten, einen getrennten Switch und eigene Verkabelung. Der Vorteil liegt trotzdem in den kostengünstigeren Preisen der Hardware. Die Kosten für die Storage-Hardware hält sich in etwa die Waage. Ein ganz klarer Vorteil ist die Entfernungsunabhängigkeit dieser Lösung und die verbreitete Technologie des Ethernet (IP, TCP/IP). Ein Nachteil ist die geringere Performance bei Gigabit-Ethernet, die jedoch bei vielen Anwendungen absolut ausreichend ist.
Bei kleineren Datenmengen hingegen ist iSCSI genauso schnell wie Fibre Channel. Bleibt man in den Grenzen, so gibt es in Sicht auf die Geschwindigkeit keine Nachteile. Dies verdeutlicht der Vergleich mit einer Autobahn. Bei wenig Verkehr können die Fahrzeuge auch auf einer einspurigen Strasse (= 1 Gbit/s iSCSI) mit der maximalen Geschwindigkeit fahren. Wird der Verkehr aber dichter, so kommt es auf einspurigen Strassen schnell zu einem Stau. Ist die Autobahn aber vierspurig (= 4 Gbit/s Fibre Channel), so können wesentlich mehr Fahrzeuge bei maximaler Geschwindigkeit ohne Stau fahren. Auch die höhere Latenzzeit bei iSCSI kann mit 10 Gbit/s Ethernet etwas verbessert werden. Die Latenzzeit wirkt sich gerade bei Datenbanken extrem aus.

Sonstige Anforderungen

SCSI-Daten (und damit auch iSCSI) werden im Klartext übertragen, für die Punkt zu Punkt Verbindung war dies auch nie ein Problem, keiner konnte "mithören". Aber mit iSCSI werden die Daten jetzt über ein Netz transportiert. Deswegen sollte diese Verbindungen eigentlich verschlüsselt werden. iSCSI bietet hierfür geeignete Verfahren an, um eine Endpunkt-zu-Endpunkt-Verschlüsselung aufzubauen. Die Verschlüsselung benötigt aber zusätzlich Ressourcen, ein geschütztes Netz ist die bessere Alternative. Ein Transport der iSCSI Daten zum Beispiel über ein VPN wird in den meisten Fällen an der benötigten Übertragungsrate scheitern.

Zukunftsprognose von iSCSI

iSCSI ist eine zuverlässige Technologie, die aber auf altbekanntem basiert. Dies sind SCSI, TCP/IP und Ethernet. Jeder Server, jedes Betriebssystem beherrscht diese Medien, Ethernet-Netze sind vorhanden, vorhandene Hardware und Know How kann genutzt werden. Dies alles sind gute Vorzeichen für die Weiterentwicklung von iSCSI. Viele Hersteller bieten Hardware in diesem Bereich an, der große Schub wird mit der Verbreitung von 10 Gigabit-Ethernet kommen.

Einsatzmöglichkeiten von iSCSI

iSCSI ist jetzt schon eine gute Alternative der Storage-Konsolidierung und Zentralisierung bei vielen Anwendungen mit wenig I/O-Last. Kleine Datenbankserver, Mailserver, Webserver und gerade Fileserver mit viel Kapazität sind ideal für iSCSI. Auch die Archivierung und die Datensicherung auf Festplatte sind Anwendungen für iSCSI, schnell lässt sich das Speichersystem einige hundert Meter entfernt aufstellen, Sie benötigen nur eine Ethernet-Leitung. Eine einfache und kostengünstige K-Fall Vorsorge.
Aber auch in der Servervirtualisierung gibt es viele Einsatzmöglichkeiten. Häufig wird die Servervirtualisierung zur Erhöhung der Verfügbarkeit eingesetzt, es sind aber nicht sonderlich hohe I/O Belastungen zu erwarten. Auch dort kann ein iSCSI System eingesetzt werden, da es um die Verfügbarkeit geht sollte es dann ein iSCSI-Cluster sein. Dies bieten viele Hersteller von iSCSI-Lösungen an. Ein Beispiel für eine hochverfügbare iSCSI-Lösung finden Sie hier.

Beispiel einer iSCSI Konfiguration

In den folgenden Videos sehen Sie die Konfiguration eines iSCSI Targets für den Zugriff eines Windows Server. Dabei sind iSCSI Target, in diesem Beispiel ein Open-E DSS Server, und der Windows Server (Software Initiator) über zwei unterschiedliche Netze miteinander verbunden. Deswegen wird die Konfiguration mit dem Multipathing auf dem Windows Server ergänzt.