Rechenzentrum und Serverraum mit Stromversorgung, Klimatisierung und Sicherheit

Serverraum und Rechenzentrum, Definition

Was ist ein Serverraum, was ist ein Rechenzentrum oder Datacenter, was der Unterschied zwischen diesen Begriffen? Wer braucht einen Serverraum und warum?

In einem Serverraum oder Rechenzentrum stehen die IT-Systeme der Unternehmen oder Einrichtungen. Dies sind aktive Systeme wie Server und Storage, sowie die Netzwerkinfrastruktur, z.B. Switche und Router. Aber auch passive Bausteine, wie LAN Verteilung und Verkabelung.
Damit die Systeme überhaupt laufen können, wird eine Stromversorgung benötigt und für die Abwärme eine Klimatisierung. Da nicht jeder Zugang zu den Systemen bekommen darf, sollte ein Zugangskontrollsystem installiert werden.

Was ist jetzt aber der Unterschied zwischen Serverraum und Rechenzentrum?
In den Anfangsjahren der EDV wurden die Begriffe ganz deutlich unterschieden. In einem Serverraum standen nur wenige Server und Netzwerkhardware mit geringerem Schutz gegen Gefahren wie Brand, Wasser oder Diebstahl. Ein Serverraum hatte häufig keine automatischen Löschvorrichtungen und nur eine einfache Stromversorgung. Ein Rechenzentrum hingegen war mit kompletter redundanter Stromversorgung über eine zentrale USV abgesichert, hatte komplexe Zugangskontrollen und meist auch einen gewissen Schutz gegen gewaltsames Eindringen bis zum Schutz gegen Sprengstoff und militärische Waffen. Ein Rechenzentrum war meist auch deutlich größer als ein Serverraum, hatte verschiedene Räume für unterschiedliche Funktionen. USV und Klimatisierung ist in unterschiedlichen Räumen verbaut, die Netzwerktechnik hat eigene Abschnitte und alles ist mit Brandschotten gegenseitig abgesichert.

Dieser Unterschied hat sich in den letzten Jahren deutlich abgeschwächt, auch Serverräume sind hochgradig abgesichert und mit Brandschutz ausgestattet. Und ganz klar: Für ein mittelständisches Unternehmen ist ein "einzelner" Serverraum das gesamte Rechenzentrum des Unternehmens. Wir bleiben also beim Begriff Rechenzentrum (RZ) und meinen damit natürlich auch einen einzelnen Serverraum.

Wichtig sind bei der Konzeption eines RZ immer die eigenen Vorgaben. Was möchte ich erreichen und was muss ich erreichen?
Es macht ja wenig Sinn, die maximale mögliche Sicherheit und Verfügbarkeit zu erreichen, wenn dies so große Kosten verursacht, dass das Unternehmen eventuell nicht mehr überlebensfähig ist. Auch das Rechenzentrum muss den Ansprüchen des Unternehmens entsprechen. Man sollte also vorher definieren, was erreicht werden soll. Und das so "un-technisch" wie möglich. Also Definitionen zum Einbruchschutz, zur Verfügbarkeit, zu Umweltgegebenheiten und viele weitere Vorgaben. Daraus sollte dann ein technisches Konzept zur Realisierung dieser allgemeinen Vorgaben entwickelt werden.

Tipp: Fragen Sie auf jeden Fall vorher Ihre Versicherung, ob die spezielle Vorgaben hat. Wenn Sie zum Beispiel eine "Datenversicherung" abgeschlossen habe, dann schreibt diese eventuell auch räumliche Gegebenheiten vor.

Räumliche Sicherheit

Die räumliche Sicherheit ist die Basis für das Rechenzentrum. Was beinhaltet diese Sicherheit? Was jeder damit verknüpft ist der Einbruchschutz. Wenn sich das Datacenter im Betriebsgebäude befindet, was muss dann noch zusätzlich beachtet werden? Im einfachsten Fall bekommt der Raum eine Feuerschutztür mit besserem Schloss, einer zusätzlichen Verriegelung und einer eigenen unabhängigen Schließung. Also Schlüssel die nicht zum Gebäude gehören und zum Beispiel auch dem Reinigungspersonal oder dem Hausmeister nicht zur Verfügung stehen. Damit ist eine einfache Kontrolle des Zugangs möglich, zusätzlich noch ein elektronisches Zugangskontrollsystem. Jeder Berechtigte bekommt eine Key-Karte und kann die Räume betreten. Es wird dann zusätzlich der Zugang protokolliert. Evtl. sollte auch eine Videoüberwachung in den Räumen erfolgen. Es gibt da also viele Möglichkeiten von kleinen bis zu großen Rechenzentren.

Aber in dem räumlichen Schutz müssen auch Gefahren wie Brand oder Wasser mit einbezogen werden. Dort kommt es auf die vorhandenen Gegebenheiten an. Liegt der Serverraum im Keller in der Nähe eines Flusses oder im dritten Stock auf einem Berg, dann muss man sich ganz unterschiedliche Gedanken zum Schutz gegen Wasser machen. Der im dritten Stock auf dem Berg ist gut raus bei dem Thema, im Keller ist es immer etwas problematischer. Wichtig ist bei Hochwasser, egal ob von einem Gewässer oder aus Stark-Regen, die passende Vorsorge. Sind die baulichen Gegebenheiten nicht zu ändern, so sollten die Systeme nicht zu tief in den Schränken eingebaut werden und die Verkabelung sollte an der Decke und nicht im Doppelboden erfolgen. Evtl. kann auch der tiefste Punkt mit einer Pumpe versorgt werden. Und ein mögliches Eindringen von Wasser sollte natürlich überwacht und gemeldet werden. Denn was helfen alle Vorsorgen, wenn keiner das Hochwasser bemerkt.

Tipp: Machen Sie sich vorher einen Plan wie Sie vorgehen, wenn doch ein Wassereinbruch stattgefunden hat. Wo liegen die Stromversorgungen? Sind diese eventuell unter Wasser oder direkt über der Wasserlinie? Dann droht Lebensgefahr beim Betreten. Ist der Hausanschluss auch im Keller? Dann auf jeden Fall auf die Feuerwehr oder den Energieversorger warten.

Beim Feuer ist es ähnlich wie beim Wasser, es kommt auf die Gegebenheiten an. In einem Produktionsbetrieb mit Schweißerei oder entzündlichen Gasen muss deutlich mehr für den Brandschutz getan werden, als in einem reinen Bürogebäude. Aber auch hier muss der Serverraum mit Brandschotten abgeriegelt werden und es sollten natürlich keine brennbaren Gegenstände im Raum gelagert werden. Also ein Papierarchiv im Rechenzentrum ist keine gute Idee. Weiterhin sollte Verpackungsmaterial unverzüglich aus dem Serverraum entfernt werden.

Sollte es aber trotz aller Vorsichtsmaßnahmen zu einem Brand im Rechenzentrum kommen, so muss effektiv gelöscht werden. Ein Löschen mit Wasser verbietet sich in einem Serverraum, es würde im Zweifelsfalle mehr zerstören, als das es hilft. Was bietet sich also als Löschmittel an? Es werden Gase eingesetzt, die dem Feuer den Sauerstoff entzieht (z.B. Stickstoff). Für die EDV Hardware ist das eine sehr gute Lösung, alles läuft weiter, nur der Brand erstickt. Aber so einfach ist das auch nicht. Wenn das Feuer erstickt, dann erstickt auch der Mitarbeiter. Also müssen die Mitarbeiter unterwiesen werden im Umgang mit der Löschanlage und es müssen auch Möglichkeiten der Menschenrettung vorhanden sein (z.B. Selbstretter).
Und einfach so die Löschung auslösen geht auch nicht. Die Klimaanlage muss vorher automatisch ausgeschaltet werden und die Türen müssen geschlossen sein. Ansonsten würde sich das Gas im gesamten Gebäude ausbreiten (das Gas ist schwerer als Luft, Menschen im Keller sind extrem gefährdet). Für die Installation einer Brandschutzanlage muss also eine Spezialfirma beauftragt werden.

Hinweis zum Thema Löschgas: Das Gas lagert unter hohem Druck in Gasflaschen. Beim Auslösen wird das Gas unter hohen Druck durch die Auslassdüsen gedrückt. Dabei können extrem hohe Druckänderungen auftreten, die Vibrationen in der Hardware verursachen. Diese Vibrationen können sogar Festplatten ausfallen lassen. Dies muss auf jeden Fall durch entsprechende Düsen verhindert werden.

Hinweis zum Thema Brandmelder: Passive Brandmelder oder Rauchmelder sind im Rechenzentrum nicht ausreichend. Meist beginnt die Brandentwicklung mit einem kleinen Schwelbrand in einem System mit extrem geringer Rauchentwicklung. Hierfür müssen also Brandmelder mit aktiver Luftansaugung eingesetzt werden, um schon einen Schwelbrand in der Entstehung zu erkennen. Dieser kann sehr häufig auch schon ohne großflächige Löscharbeiten gelöscht werden.

Stromversorgung

Die Stromversorgung ist eigentlich ein Selbstgänger, oder? Na ja, so einfach dann doch auch nicht. Bei Standard-Anlagen kommen alle 3 Phasen im Serverraum an. Dort gibt es eine eigene Unterverteilung. Pro 19" Schrank sind zwei Phasen vorhanden, so dass redundante Netzteile auf beide Phasen verteilt werden können. Fehlt nur noch die USV, die unterbrechungsfreie Stromversorgung., da gibt es verschiedene Modelle: Einmal die zentrale USV für den gesamten Raum und zum anderen eine USV pro Schrank. Beides hat Vor- und Nachteile, die bessere Lösung hängt wieder von den eigenen Vorgaben ab. Wichtig ist aber in jedem Falle die Anschlussleistung der USV zu beachten und die maximale Versorgungsdauer beim Ausfall der Netzspannung. Das ist aber ja einfach zu berechnen, da die Hersteller der EDV Hardware diese Daten immer angeben. Meist bieten die Hersteller auch Online-Rechner an, die eine Leistung auch genau bei flexibler Ausstattung berechnen können. Dort bekommt man häufig auch die Abwärmeleistung für die Dimensionierung der Klimaanlage.

Aber ist USV immer gleich USV? Es gibt 3 unterschiedliche Prinzipien, das ist als erstes die Standby oder Offline-USV. Dieser Typ überwacht die Eingangsspannung und sollte diese ausfallen, so schaltet die USV den internen Wechselrichter auf den Ausgang (bei Klasse 2 innerhalb von 2 bis 4 ms bei Klasse 3 bis zu 10 ms). Die Geräte werden ohne Ausfall weiter versorgt. Der zweite Typ ist die netzinteraktive USV, sie arbeitet ähnlich wie die Standby-USV, hat aber zusätzlich noch einen Spannungsregulierer und kann damit auch kurze Spannungsschwankungen ausgleichen. Die Online-USV ist die dritte Gruppe und sie leitet den gesamten Strom immer über den Gleichrichter und die Akkus zum Wechselrichter. Der Ausgangsstrom ist also immer durch den internen Wechselrichter stabilisiert. Nur bei einem internen Fehler schaltet sie über einen Bypass die Eingangsseite auf den Ausgang.

Also haben wir jetzt eine USV und die "normale" Stromversorgung in unserem Rechenzentrum. Wie werden denn jetzt die Server und Storage-Systeme angeschlossen. Wenn die Hardware über redundante Netzteile verfügt, dann sollte sie einmal über das normale Netz und einmal über die USV angebunden werden. Warum nicht beide Netzteile über die USV? Auch eine USV kann mal ausfallen. Anders wäre es bei zwei unabhängigen USV-Systemen pro Raum.
Aber was machen wir mit Geräten, die nur ein Netzteil haben? Da sollte man am besten gut verteilen. Zum Beispiel in einem Fibre Channel SAN sollten ja immer zwei unabhängige FC Switches vorhanden sein. Also einen Switch auf die USV und den anderen auf das Netz.

Jetzt stellt sich noch die Frage, ob die Überbrückungszeit der USV ausreichend ist. Sollen Zeiten von mehreren Stunden erreicht werden, dann ist eine USV nicht mehr das richtige bzw. einfach zu teurer. Dann wäre ein Notstromaggregat (Stromerzeuger, Notstromdiesel) das richtige. Dieses versorgt das Rechenzentrum mit Strom und kann im Falle eines Falles auch mehrere Tag laufen.

Also haben wir jetzt alles für unsere Stromversorgung getan? Alles ist es leider noch nicht. Wir kennen es alle aus unserem Haushalt, dort gibt es einen RCD (früher FI oder Fehlerstromschutzschalter). Der RCD prüft auf Fehlerstrom, d.h. fließt Strom über den Schutzleiter ab. Dies deutet auf ein fehlerhaftes Gerät hin und kann Menschenleben gefährden. Der RCD löst aus und der Mensch ist geschützt. Aber was ist im Rechenzentrum? Der gesamte Strom wird abgeschaltet, na ja, bis auf die USV. Aber ein rechtlicher Faktor kommt noch hinzu, bzw. eine rechtliche Vorgabe: Der Isolationswiderstand der elektrischen Anlage muss regelmäßig überprüft und dokumentiert werden. Dazu müssen alle Geräte abgeschaltet werden, das ist aber im Rechenzentrum mit 7 x 24 Stunden Betrieb nicht so einfach, also eigentlich unmöglich. Aber es gibt eine Lösung: Die Anlage wird permanent und ständig mit einer Differenzstromüberwachung überprüft. Damit kann die wiederkehrende Isolationsmessung ersetzt werden. Dies sollte schon in der Konzeption des Rechenzentrums berücksichtigt werden, da die späteren Umbauarbeiten deutlich teurer werden. Fragen Sie hierzu einen spezialisierten Elektrobetrieb.

Klimatisierung des Serverraums

Die Hardware produziert Abwärme und die Abwärme muss aus dem Raum heraus, weiterhin sollten Server und Storage-Systeme mit "kühler" Frischluft versorgt werden. Je höher die Temperatur zum Beispiel in Festplatten ist, desto schneller fallen sie aus. Da sollte man sich an die Vorgaben der Hersteller halten, aber auch nicht zu weit herunter kühlen, da dies einen zu hohen Energieaufwand und damit zu hohe Kosten verursacht.
In kleinen Serverräumen wird häufig eine Split-Klimaanlage an die Innenwand gehängt und mit dem Außenteil an der Außenwand verbunden. Damit wird der gesamte Raum gekühlt. Aber muss überhaupt der gesamte Raum gekühlt werden? Ist das nicht Energieverschwendung? Es gibt besseren Lösungen, indem man den Raum so klein wie möglich hält, der gekühlt wird. So wird vor den 19" Schränken der Zuluftbereich mit Wänden versehen (die sogenannte Kaltgangeinhausung) und nur dort mit der Klimaanlage herunter gekühlt. Die Abwärme von größeren Rechenzentren kann zum Beispiel auch für die Heizung der Büros genutzt werden. Auch da ist die passende Beratung vorab wichtig.
Was aber beim Strom gilt, muss auch bei der Klimaanlage gelten, die Redundanz. Was passiert wenn die einzige Klimaanlage ausfallen sollte? Über kurz oder lang werden die Systeme überhitzen und sich "hoffentlich" automatisch herunterfahren. Also auch dort wird eine gewisse Redundanz benötigt. Dies kann in kleineren Serverräumen durch mobile Klimaanlagen realisiert werden, nur sie müssen vorhanden sein und die Abluftführung muss geklärt sein. Auch sollte die Temperatur im Serverraum überwacht werden. Bei zu hohen Temperaturen muss eine Alarmierung erfolgen.

Eine Frage die sich häufig stellt: Braucht mein Serverraum oder mein Rechenzentrum einen Doppelboden? Erst mal, was ist ein Doppelboden? Das normale Fußbodenniveau im Gebäude wird im Rechenzentrum erhöht. Der Boden im Rechenzentrum ist also zum Beispiel 50 cm höher als im Rest des Stockwerkes. Was kann ich damit erreichen? Im Doppelboden können zum Beispiel Leitungen verlegt werden, also einfach den Doppelboden auf und die Leitung rein. Geht einfach und schnell, ist aber unübersichtlich und führt schnell zum Chaos. Eine weitere Funktion ist die Luftführung, die kalte Luft wird von der Klimaanlage über den Doppelboden in die Schränke geleitet. Strom- und Netzwerk-Leitungen kann man auch über den Schränken verlegen und die Kaltluft über eigene Wege führen, also muss man genau abschätzen, ob ein Doppelboden notwendig ist. Aber was ist der größte Nachteil des Doppelbodens? Er ist höher als der Rest des Bodens, die Anlieferung von schwerer Hardware wird also deutlich komplizierter. Zum Teil müssen Hebevorrichtungen besorgt werden um schwere Hardware auf den Doppelboden zu bekommen.

Verkabelung der Datentechnik

Im Rechenzentrum kommen alle Daten-Leitungen aus den Büros und der Produktion an, die Leitungen zu den Etagen-LAN-Switches oder auch zu anderen Serverräumen oder Archivräumen. Dies sind Kupfer-Leitungen oder LWL Kabel in unterschiedlichen Qualitäten und mit unterschiedlichen Steckern. Und eines wird nach kurzer Zeit passieren: Es liegen entweder nicht genügend oder die falschen Leitungen. Also wie vorher planen? Gerade bei Verbindungen zwischen Rechenzentren oder Serverräumen sollten Leerrohre eingeplant werden. So lassen sich die fehlenden Leitungen nachträglich einziehen, ohne Wände öffnen oder gar durch die Stahlbetonwände bohren zu müssen. Soweit möglich können Leerrohre die Arbeit deutlich vereinfachen und am Ende des Tages auch noch Geld sparen.
Normalerweise werden die Leitungen aus anderen Gebäudeteilen auf Patchfeldern aufgelegt. Von den Patchfeldern über Patchkabel zu den einzelnen Geräten geführt. Dies bietet schon eine große Flexibilität, da Leitungen für unterschiedliche Funktionen genutzt werden können. Patchfelder gibt es für die unterschiedlichen Leitungen und Steckverbinder. Soweit möglich sollte man sich an Standards halten, dies macht die tägliche Arbeit einfacher und auch kostengünstiger. Klar bieten platz-optimierte Steckverbindungen Vorteile, aber immer die passenden exotischen Patchkabel auf Lager haben?

Betriebshandbuch und Dokumentation des Rechenzentrums

Eines der meist unbeliebtesten Themen der EDV ist die Dokumentation. Die Dokumentation fängt schon bei der Beschriftung der Leitungen an. Und gerade dort kann die Dokumentation auch am meisten Zeit und Kosten sparen. Bei der Fehlersuche ist sie sehr hilfreich, da nicht erst Kabel verfolgt werden müssen, sondern direkt an den Ports geschaut und geprüft werden kann.
Aber was gehört denn in eine Dokumentation eines Datacenters? Alles was das Rechenzentrum betrifft. Also von Plänen für den Raum oder das Gebäude über die Stromversorgung bis zum letzten kleinen Patchkabel. Um daraus dann ein vollständiges Betriebshandbuch zu machen, gehören auch Betriebs- und Störfallanleitungen dazu. Dies ist der zentrale Ansatz für den Betrieb des Datacenters im Normalfall und die Fehlersuche bei einer Störung. Selbst im K-Fall bietet die Dokumentation einen schnellen Start in ein neues Rechenzentrum an. Hier gehört dann auch der Ablauf für die K-Fall-Recovery hinein, die hoffentlich auch getestet ist.

Wie sollte die Dokumentation geführt werden? Auf jeden Fall sollten die Daten unabhängig vom Rechenzentrum oder Serverraum aufbewahrt werden. Also in ausgedruckter Form in einem unabhängigen Bereich gelagert. Die elektronischen Vorlagen sollten zusätzlich noch gegen den K-Fall gesichert werden, da diese Unterlagen nach einem K-Fall als allererstes benötigt werden.

Zu diesem Thema gehört dann auch gleich die Überprüfung des Backup-Konzeptes.

Aufteilung der Räume / Zwei Rechenzentren

Warum denn jetzt gleich zwei Räume? Wenn es mal in einem Serverraum brennen sollte oder der Raum im Keller bekommt Hochwasser, dann sind alle Daten weg. Wenn jetzt auch noch die Backup-Daten dort gelagert waren, dann ist alles weg. Der echte K-Fall ohne große Möglichkeiten einer Recovery. Das darf natürlich nicht passieren. Also müssen mindestens mal die Backup-Daten an einem anderen (Brand-)Abschnitt gelagert werden. Besser noch außer Haus in einem Bankschließfach. Ok, die Backup-Daten sind also bei der Bank und jetzt brennt der einzige Serverraum ab. Die Daten sind ja noch alle da, aber es dauert eine sehr lange Zeit, bis alles wieder recovert ist. Wäre es nicht super, wenn die Daten alle noch aktiv auf Platten im zweiten Serverraum liegen und sofort gestartet werden könnten? Mit einer synchronen Replikation auf den Storage-Systemen ist das kein Problem. Aber dafür braucht man auch den zweiten Serverraum oder das zweite Datacenter.
Aber wer braucht so etwas? Der entscheidende Unterschied ist die Zeit für die Recovery, also wann sind die Systeme wieder Online? Bei einer synchronen Replikation mit manuellem Failover in wenigen Minuten, bei einer Recovery über Bänder und zusätzlich noch Zeit für den Kauf der Hardware sind schnell Wochen vergangen. Und das ist der entscheidende Unterschied, wie schnell ist man beim K-Fall wieder Online. Und was ist diese Zeit dem Unternehmen wert? Weil das ist die entscheidende Frage: Das zweite RZ kostet Geld, das zweite Storage kostet Geld, die redundanten Server kosten Geld, die Stromkosten und die doppelte Klimaanlage. Aber wenn das Unternehmen im K-Fall sonst nicht mehr handlungsfähig ist und den Ausfall nicht überlebt, dann lohnt sich die Investition.
Aber muss es gleich ein zweiter vollständiger Serverraum mit allem drum und dran sein? Wenn man zum Beispiel die Daten asynchron an ein zweites System repliziert, was sich in einem "kleinen Serverraum" befindet, dann hat man schon mal eine Menge gewonnen. Dort können auch die Backup-Daten gelagert werden. Evtl. schon mit wenig Geld zu machen und die Vorteile können je nach Unternehmen immens sein.

Was ist beim zweiten Serverraum oder Rechenzentrum zu beachten? Nehmen wir mal an, beide Räume sind im Keller und der Keller ist hochwassergefährdet. Dann bringt der zweite Serverraum sehr wenig bei Hochwasser, beide "saufen" wahrscheinlich zur gleichen Zeit ab. Oder beide Räume sind im gleichen Brandabschnitt und es brennt ... Aber so einfach ist es meist nicht. Ein weiteres Beispiel: Der eine Raum ist im dritten Stock, der andere genau darunter im Keller. Es liegen Leerrohre bzw. Kabelschächte zwischen den Räumen (braucht man ja für die Verkabelung). Jetzt brennt es im oberen Stockwerk, die Feuerwehr löscht und das Wasser läuft im Kabelschacht in den Keller. Die obere Hardware ist durch Feuer zerstört, die untere durch das Löschwasser. Also auch auf solche Kleinigkeiten muss geachtet werden.

Ein wichtiger Hinweis noch bei Serverräumen in unterschiedlichen Gebäuden: Dort muss auf das gleiche elektrische Potential geachtet werden. Ansonsten kann der Potentialausgleich zwischen den Gebäuden über die Kupfer-LAN-Verkabelung abgewickelt werden, was zu hohen Strömen und Störungen im Betrieb führen wird. In solchen Fällen sollte vorher mit dem Elektroinstallationsunternehmen gesprochen und dies abgeklärt werden. Es können aber zum Beispiel auch LWL Verbindungen genutzt werden. Damit ist eine elektrische Trennung vorhanden.