Storage. Backup. Virtualisierung.
Storage-Deduplizierung und Storage-Komprimierung · Version 1.8 · © Stor IT Back 2026
Deduplizierung und Komprimierung gehören zu den wichtigsten Technologien zur Datenreduktion in Storage-Systemen. Ziel ist es, die physisch benötigte Speicherkapazität zu reduzieren, ohne die logisch gespeicherte Datenmenge einzuschränken. Dadurch können insbesondere bei All-Flash-Storage, virtuellen Umgebungen und Backup-Systemen erhebliche Kapazitäts- und Kostenvorteile entstehen.
Bei der Deduplizierung werden identische Daten nicht mehrfach physisch gespeichert. Stattdessen bleibt nur eine Dateninstanz erhalten, während weitere identische Daten durch Referenzen auf den bereits vorhandenen Datenblock ersetzt werden. Je nach Storage-System kann die Deduplizierung auf Datei- oder Blockebene sowie inline während des Schreibvorgangs oder nachgelagert als Post-Process-Verfahren erfolgen.
Die Komprimierung verfolgt einen anderen Ansatz: Die Daten selbst werden mit verlustfreien Kompressionsverfahren so codiert, dass sie weniger physische Speicherkapazität benötigen. Moderne Storage-Systeme kombinieren Deduplizierung und Komprimierung häufig als sogenannte Data Reduction oder Storage Efficiency.
| Technologie | Funktionsweise | Typischer Einsatz | Besonderheit |
|---|---|---|---|
| Deduplizierung | Identische Datenblöcke werden nur einmal gespeichert | Backup, VMs, VDI, Fileserver, All-Flash | Besonders effektiv bei redundanten Daten |
| Komprimierung | Daten werden verlustfrei platzsparender codiert | All-Flash, Block- und File-Storage, Backup | Effizienz hängt stark vom Datentyp ab |
| Inline-Deduplizierung | Duplikate werden bereits im Schreibpfad erkannt | Moderne All-Flash- und Backup-Systeme | Sofortige Kapazitätseinsparung |
| Post-Process-Deduplizierung | Bereits geschriebene Daten werden nachträglich analysiert | Storage- und Backup-Systeme | Benötigt zunächst zusätzliche physische Kapazität |
Bei einer File-Level-Deduplizierung werden vollständige Dateien miteinander verglichen. Dazu erzeugt das System für eine Datei typischerweise einen Hashwert beziehungsweise einen eindeutigen Fingerprint. Wird eine identische Datei erneut gespeichert, muss deren Dateninhalt nicht noch einmal physisch abgelegt werden. Stattdessen kann das System auf die bereits vorhandene Dateninstanz verweisen.
Das Verfahren eignet sich beispielsweise für Fileserver, Benutzerverzeichnisse und bestimmte Archivdaten. Besonders hohe Einsparpotenziale bestehen häufig bei Backup-Daten, da über mehrere Sicherungsstände hinweg viele identische Daten vorkommen. Moderne Backup-Systeme verwenden allerdings häufig eine feinere Deduplizierung auf Block- beziehungsweise Chunk-Ebene.
Wie hoch die tatsächliche Datenreduktion ausfällt, hängt stark vom Datenbestand, der Änderungsrate, dem Deduplizierungsverfahren und bereits vorhandener Komprimierung oder Verschlüsselung ab.
Bei der Block-Level-Deduplizierung werden nicht komplette Dateien, sondern kleinere Datenblöcke beziehungsweise Chunks miteinander verglichen. Dadurch können auch redundante Bereiche innerhalb unterschiedlicher Dateien oder virtueller Maschinen erkannt werden.
Wie groß der sogenannte Deduplizierungsbereich ist, hängt von der Architektur des jeweiligen Storage-Systems ab. Die Deduplizierung kann beispielsweise innerhalb eines Volumes, eines Storage-Pools oder über mehrere Volumes hinweg erfolgen. Je größer dieser Bereich ist, desto mehr potenzielle Duplikate können erkannt werden, gleichzeitig steigen jedoch die Anforderungen an Metadatenverwaltung und Systemressourcen.
Liegen beispielsweise Daten eines Fileservers und eines E-Mail-Systems im gleichen Deduplizierungsbereich, können identische Datenblöcke unter geeigneten Bedingungen systemübergreifend innerhalb dieses Bereichs erkannt werden. Ob dies möglich ist, hängt jedoch vom Storage-System, der Datenstruktur und dem eingesetzten Deduplizierungsverfahren ab.
Bei dieser Form der Deduplizierung muss die zeitliche Verzögerung bei Speichervorgängen
genau beobachtet werden. Gerade bei Datenbanken und performancekritischen Anwendungen
kann dies einen negativen Einfluss haben. Bei Fileservern, Archivierungen, Datensicherungen
und speicherintensiven Anwendungen spielt die Performance häufig eine kleinere
Rolle und der Sparvorteil überwiegt.
Häufig wird die Deduplizierung (meist in Kombination mit Compression) bei All-Flash-Storage-Systemen
eingesetzt. Hier ist der physikalische Speicherplatz immer noch sehr teuer, jede Einsparung an
Speicherplatz spart also sehr viel Geld.
Bei der Inline-Deduplizierung werden redundante Daten bereits während des Schreibvorgangs erkannt. Ein Datenblock, der bereits vorhanden ist, muss dadurch nicht erneut auf SSD oder Festplatte geschrieben werden. Die Kapazitätseinsparung steht unmittelbar zur Verfügung.
Bei der Post-Process-Deduplizierung werden die Daten zunächst normal gespeichert und anschließend analysiert. Doppelte Datenblöcke werden dabei erst nachträglich entfernt. Dieses Verfahren benötigt zunächst mehr physische Kapazität, kann den eigentlichen Schreibpfad jedoch von einem Teil der Deduplizierungsarbeit entkoppeln.
Welche Methode eingesetzt wird, hängt vom Storage-System ab. Moderne Systeme kombinieren teilweise Inline- und Hintergrundverfahren. Bei verschiedenen All-Flash-Systemen sind Inline-Deduplizierung und Inline-Komprimierung heute standardmäßig aktiviert.
Bei der Komprimierung werden Datenblöcke mit verlustfreien Algorithmen so codiert, dass sie weniger physische Speicherkapazität benötigen. Anders als bei der Deduplizierung werden dabei keine identischen Dateninstanzen gesucht, sondern Redundanzen innerhalb der jeweiligen Datenmenge reduziert.
Storage-Systeme können die Komprimierung inline oder nachgelagert durchführen. Bei der Inline-Komprimierung werden die Daten bereits vor dem Schreiben auf das Speichermedium komprimiert. Dadurch müssen weniger Daten physisch auf SSD oder HDD geschrieben werden. Post-Process-Verfahren komprimieren bereits gespeicherte Daten zu einem späteren Zeitpunkt.
Die dafür notwendige Rechenleistung kann durch CPUs, spezialisierte Prozessoren oder Hardware-Offload bereitgestellt werden. Die konkrete Implementierung hängt vom Storage-System ab. Moderne Systeme sind häufig so ausgelegt, dass die Datenreduktion mit sehr geringen Auswirkungen auf die Anwendungsperformance durchgeführt werden kann.
Besonders wichtig ist die Komprimierung bei All-Flash-Systemen, da sich dadurch die nutzbare Kapazität der vergleichsweise kostenintensiven Flash-Medien erhöhen lässt. Die Technologie ist jedoch nicht auf All-Flash beschränkt und wird auch bei anderen Storage-Architekturen eingesetzt.
Deduplizierung und Komprimierung benötigen zusätzliche Rechenleistung und Metadatenverwaltung. Wie stark sich dies auf die Performance auswirkt, hängt jedoch wesentlich von der Architektur des Storage-Systems und vom jeweiligen Verfahren ab. Eine pauschale Aussage über einen Performance-Verlust ist deshalb nicht möglich.
Moderne All-Flash-Systeme führen Datenreduktion häufig inline durch. Leistungsfähige CPUs, Cache-Strukturen, optimierte Algorithmen oder spezielle Hardware-Offload- Funktionen können dafür sorgen, dass Deduplizierung und Komprimierung nur geringe oder praktisch nicht messbare Auswirkungen auf die Anwendungsperformance haben. Andere Systeme kombinieren Inline-Verfahren mit nachgelagerten Hintergrundprozessen.
Bei Backup-Systemen kann die Deduplizierung zusätzlich auf die Datenquelle verlagert werden. Bei einer solchen Source-Side-Deduplizierung werden bereits vorhandene Datenblöcke erkannt, bevor sie über das Netzwerk zum Backup-System übertragen werden. Dadurch können neben der Speicherkapazität auch Netzwerkbandbreite und Übertragungszeit eingespart werden.
Hersteller geben die Wirkung von Deduplizierung und Komprimierung häufig als Data Reduction Ratio beziehungsweise Datenreduktionsverhältnis an. Ein Verhältnis von beispielsweise 4:1 bedeutet, dass 4 TB logisch gespeicherte Daten nach der Datenreduktion ungefähr 1 TB physische Speicherkapazität benötigen.
Eine solche Quote ist jedoch kein allgemeingültiger Wert. Die tatsächlich erreichbare Datenreduktion hängt stark vom Workload ab. Datenbanken, virtuelle Maschinen und Backup-Daten können andere Ergebnisse liefern als bereits komprimierte Medien-, Archiv- oder verschlüsselte Daten.
Deduplizierung ist ein Verfahren zur Datenreduktion, bei dem identische Daten nicht mehrfach physisch gespeichert werden. Das Storage- oder Backup-System erkennt gleiche Dateien, Datenblöcke oder Chunks und speichert diese nur einmal. Weitere identische Daten werden über Referenzen auf die bereits vorhandenen Daten abgebildet. Dadurch lässt sich der benötigte physische Speicherplatz reduzieren. Besonders wirksam ist Deduplizierung häufig bei Backup-Daten, virtuellen Maschinen, VDI-Umgebungen und Fileservern mit vielen ähnlichen Daten.
Deduplizierung und Komprimierung reduzieren beide den benötigten Speicherplatz, verwenden jedoch unterschiedliche Verfahren. Bei der Deduplizierung werden identische Datenblöcke oder Dateien erkannt und nur einmal gespeichert. Die Komprimierung codiert dagegen die vorhandenen Daten mit einem verlustfreien Verfahren so, dass sie weniger physische Speicherkapazität benötigen. Moderne Storage-Systeme kombinieren beide Technologien häufig als Data Reduction oder Storage Efficiency.
Bei der File-Level-Deduplizierung werden vollständige Dateien miteinander verglichen. Eine identische Datei muss dadurch nur einmal physisch gespeichert werden. Die Block-Level-Deduplizierung arbeitet feiner und untersucht einzelne Datenblöcke oder Chunks. Dadurch können auch identische Bereiche innerhalb unterschiedlicher Dateien, virtueller Maschinen oder anderer Daten erkannt werden. Block-Level-Deduplizierung erreicht deshalb häufig eine höhere Datenreduktion, benötigt aber eine umfangreichere Verwaltung von Metadaten.
Bei der Inline-Deduplizierung werden redundante Daten bereits während des Schreibvorgangs erkannt. Identische Datenblöcke müssen dadurch nicht erneut auf SSD oder Festplatte geschrieben werden. Bei der Post-Process-Deduplizierung werden die Daten zunächst gespeichert und anschließend im Hintergrund analysiert und reduziert. Moderne Storage-Systeme können Inline- und Hintergrundverfahren miteinander kombinieren. Welches Verfahren eingesetzt wird, hängt von der jeweiligen Storage-Architektur ab.
Deduplizierung ist besonders interessant, wenn viele identische oder ähnliche Daten vorhanden sind. Typische Einsatzbereiche sind Backup-Systeme, virtuelle Maschinen, Virtual Desktop Infrastructure (VDI), Fileserver und teilweise Datenbanken. Bei wiederkehrenden Vollsicherungen können beispielsweise große Teile der Daten bereits aus vorherigen Sicherungen vorhanden sein. Weniger Potenzial besteht bei bereits stark komprimierten, verschlüsselten oder weitgehend einzigartigen Daten.
Bereits stark komprimierte Daten wie viele Video-, Audio- oder Archivformate bieten häufig nur ein geringes zusätzliches Komprimierungspotenzial. Auch verschlüsselte Daten lassen sich in der Regel nur schlecht deduplizieren oder weiter komprimieren, da durch die Verschlüsselung wiederkehrende Datenmuster weitgehend beseitigt werden. Wie hoch die mögliche Datenreduktion tatsächlich ist, hängt vom Datenformat, der Anwendung und vom eingesetzten Storage-System ab.
Die Data Reduction Ratio beschreibt das Verhältnis zwischen der logisch gespeicherten Datenmenge und der tatsächlich benötigten physischen Speicherkapazität. Ein Verhältnis von beispielsweise 4:1 bedeutet vereinfacht, dass 4 TB logische Daten nach Deduplizierung und Komprimierung ungefähr 1 TB physische Kapazität benötigen. Die tatsächlich erreichbare Datenreduktion hängt jedoch stark vom jeweiligen Workload und von der Art der gespeicherten Daten ab. Herstellerangaben sollten deshalb bei der Storage-Dimensionierung nicht ungeprüft als garantierter Wert verwendet werden.
Deduplizierung und Komprimierung benötigen zusätzliche Rechenleistung und Metadatenverwaltung. Ob und in welchem Umfang dadurch die Performance beeinflusst wird, hängt von der Architektur des Storage-Systems, dem eingesetzten Verfahren und dem jeweiligen Workload ab. Moderne All-Flash-Systeme verwenden leistungsfähige CPUs, Cache-Strukturen, optimierte Algorithmen oder spezielle Hardware-Offload-Funktionen, um die Datenreduktion mit möglichst geringen Auswirkungen auf die I/O-Performance durchzuführen. Für besonders performancekritische Anwendungen sollte die Wirkung dennoch anhand des konkreten Systems und Workloads geprüft werden.
Unter bestimmten Bedingungen kann Komprimierung neben der Kapazitätseinsparung auch Vorteile für die I/O-Verarbeitung bieten. Durch die Datenreduktion müssen weniger physische Daten auf die Speichermedien geschrieben oder von ihnen gelesen werden. Gleichzeitig benötigt das Komprimieren und Dekomprimieren Rechenleistung. Ob sich daraus insgesamt ein Performance-Vorteil ergibt, hängt deshalb von der Architektur des Storage-Systems, den verwendeten Algorithmen und dem jeweiligen Workload ab.
Bei All-Flash-Storage erhöhen Deduplizierung und Komprimierung die effektiv nutzbare Kapazität der vorhandenen SSDs. Dadurch können mehr logische Daten auf einer bestimmten physischen Flash-Kapazität gespeichert werden. Viele moderne All-Flash-Systeme integrieren deshalb Datenreduktion direkt in den Schreibpfad. Wie groß die tatsächliche Einsparung ausfällt, hängt jedoch von den gespeicherten Daten ab und sollte nicht ausschließlich anhand einer theoretischen Datenreduktionsrate geplant werden.
Bei Datensicherungen werden über mehrere Sicherungsstände hinweg häufig große Mengen identischer Daten gespeichert. Eine Deduplizierung kann diese redundanten Daten erkennen und nur einmal physisch ablegen. Bei Source-Side-Deduplizierung können bereits vorhandene Daten zusätzlich vor der Übertragung erkannt werden, sodass weniger Daten über das Netzwerk zum Backup-System übertragen werden müssen. Die mögliche Einsparung hängt unter anderem von Sicherungsverfahren, Änderungsrate, Aufbewahrungszeit und Datenstruktur ab.
