imported>Y2kbug: Änderung 253070786 von CyDeFect rückgängig gemacht; Siehe auch Speicherhierarchie bzw. Speicherverwaltung: hier wird explizit auf Sekundär- oder Tertiärspeicher Bezug genommen, also Datenblöcke auf einem Datenspeicher. Der Begriff des Speicherbereichs ist zu weit gefasst, die Einschränkung auf einen Datenbereich ist hingegen zutreffend.

2025-02-07T08:48:13Z

Änderung 253070786 von CyDeFect rückgängig gemacht; Siehe auch Speicherhierarchie bzw. Speicherverwaltung: hier wird explizit auf Sekundär- oder Tertiärspeicher Bezug genommen, also Datenblöcke auf einem Datenspeicher. Der Begriff des Speicherbereichs ist zu weit gefasst, die Einschränkung auf einen Datenbereich ist hingegen zutreffend.

Neue Seite

Eine '''Sparse-Datei''' ({{enS|sparse file}}; ''sparse'' für „dünnbesetzt“, „spärlich“ oder „zerstreut“) bezeichnet eine [[Datei]], die in einem [[Dateisystem]] kompakt gespeichert werden kann, da sie weniger Daten enthält als die angegebene Dateigröße – sie enthält also Abschnitte mit unbestimmtem Inhalt. In einer Sparse-Datei wechseln sich Bereiche, in denen sich bereits gespeicherte Daten befinden, mit Bereichen ab, die noch nicht beschrieben wurden. Für diese unbeschriebenen Bereiche muss im Dateisystem kein Platz belegt werden.

== Grundlagen ==
[[Datei:Sparse file de2.svg|mini|400px|Prinzip einer Sparse-Datei: Unbestimmte Bereiche der Datei brauchen nicht gespeichert zu werden, stattdessen werden nur die Informationen über deren Umfang in den [[Metadaten]] der Datei gespeichert]]
Es handelt sich um eine platzsparende Speicherungsform für Dateien, die (große) Bereiche mit unbestimmtem Inhalt enthalten. Diese Art der Speicherung kommt aus der Welt der [[Inode|inodebasierten]] [[Dateisystem]]e. Im Allgemeinen ist vom Dateisystem vorgegeben, dass diese unbestimmten Bereiche bei lesendem Zugriff als Folge von [[Nullzeichen]] wiedergegeben werden. Moderne Dateisysteme [[Unixoides System|unixähnlicher Betriebssysteme]], [[NTFS]] und [[Apple File System|APFS]] unterstützen diese Möglichkeit.

Bei einer Sparse-Datei werden nur die Teile im Hintergrundspeicher abgelegt, in die auch tatsächlich Daten geschrieben worden sind. Solche Dateien können entstehen, wenn in die Datei Blöcke an verschiedene Stellen innerhalb der Datei geschrieben werden, sodass diese Blöcke nicht aneinandergrenzen. Dadurch entstehen dazwischen Bereiche innerhalb der Datei, die keinen definierten Inhalt aufweisen. So kann z. B. eine Datei mit einer nominellen Länge von 100 [[Binärpräfix|GiB]] effektiv nur einen logischen Block im Dateisystem umfassen, wenn etwa nur an einer Stelle in der Datei Daten geschrieben wurden.

Nicht alle Datei- und Betriebssysteme unterstützen Sparse-Dateien, die ''am Ende'' einen undefinierten Bereich besitzen.

Eine solche Form der Speicherung kann sehr sinnvoll bei einigen Formen von [[Datenbank|Binärdatenbanken]] sein, sowie bei der Abbildung von Partitionen in eine Datei (z. B. bei der [[Virtualisierung (Informatik)|Virtualisierung]]).

== Hole Punching ==
War es anfangs nicht möglich, einmal belegten Platz wieder zurückzugewinnen, so gibt es ab Linux-Kernel 2.6.38 die Möglichkeit, per <code>fallocate</code>-[[Systemaufruf]] ein ''Loch'', {{enS|hole}}, in eine Datei zu ''stanzen'', {{enS|punch(ing)}}.<ref>{{Internetquelle |url=https://www.man7.org/linux/man-pages/man2/fallocate.2.html |titel=FALLOCATE(2) – manipulate file space |werk=Linux Programmer's Manual |hrsg=kernel.org |datum=2019-11-19 |abruf=2021-05-23 |format=[[Manpage]] |sprache=en |kommentar= |zitat=Deallocating file space – Specifying the '''FALLOC_FL_PUNCH_HOLE''' flag (available since Linux 2.6.38) in ''mode'' deallocates space (i.e., creates a hole) in the byte range starting at ''offset'' and continuing for ''len'' bytes.}}</ref> Auf unterstützten Dateisystemen werden dabei grundsätzlich ganze Datenblöcke im ''gestanzten'' Bereich auf dem Datenträger wieder freigegeben.<ref>{{Internetquelle |autor=Jonathan Corbet |url=https://lwn.net/Articles/415889/ |titel=Punching holes in files |werk=[[LWN.net]] |datum=2010-11-17 |abruf=2021-05-23 |sprache=en}}</ref> Seit Kernel-Version 3.2 werden die entsprechenden Datenblöcke zusätzlich per [[Trim (Befehl)|TRIM]]-Befehl auch auf dem Datenspeicher selbst freigegeben, wenn dieser das unterstützt – das ist bei vielen [[Flash-Speicher|Flash]]-basierten Speichermedien, etwa [[Solid-State-Drive|SSDs]], der Fall.<ref>{{Internetquelle |autor=Kees Cook |url=https://outflux.net/blog/archives/2012/02/15/discard-hole-punching-and-trim/ |titel=discard, hole-punching, and TRIM |werk=codeblog |datum=2012-02-15 |abruf=2021-05-23 |format=[[Blog]] |sprache=en}}</ref>

== Probleme bei der Verwendung ==
Sparse-Dateien können beim Kopieren zu Problemen führen: Beim Kopieren auf ein anderes Dateisystem, das keine Sparse-Dateien unterstützt, kann die Zieldatei nicht in kompakter Form erstellt werden. Daher werden die undefinierten Bereiche der Quelldatei bei der Zieldatei als Nullzeichen geschrieben. Dies liefert eine signifikant größere Zieldatei. Das Zieldateisystem muss über ausreichend Kapazität verfügen. Darüber hinaus müssen sowohl Kopier- bzw. Backupprogramm als auch das Betriebssystem des Ziels Sparse-Dateien unterstützen und sie als solche erkennen können.

Zu speichernde Dateien werden im Allgemeinen vom Betriebssystem nicht automatisch als Sparse-Dateien angelegt, sondern die Datei-erzeugende/-verwendende Anwendung muss gesonderte Betriebssystem-Routinen dafür verwenden – die meisten Betriebssysteme erzeugen nicht „automatisch“ Sparse-Dateien.

Auf klassischen [[Wahlfreier Zugriff|direktadressierbaren]] Datenspeichern, beispielsweise [[Festplattenlaufwerk|Festplatten]], führen Sparse-Dateien aufgrund ihrer [[Inhärenz|inhärenten]] [[Fragmentierung (Dateisystem)|Fragmentierung]] zu Geschwindigkeitseinbußen beim [[Sequentieller Zugriff|linearen]] Lesezugriff. Auf [[Flash-Speicher|Flash]]-basierte Speichermedien wie [[Solid-State-Drive|SSDs]] trifft dies jedoch nicht zu.

== NTFS-Sparse ==
Das [[Windows]]-Dateisystem [[NTFS]] verfügt im Gegensatz zu unixbasierten Dateisystemen ab Version 3 über ein spezielles [[Dateiattribut]], welches das Eingabe-/Ausgabesubsystem des Windows-Dateisystems veranlasst, für zusammenhängende Bereiche einer Datei, die lediglich aus Nullwerten besteht, keinen Speicher auf dem Datenträger zu belegen.

Sowohl normale als auch komprimierte Daten können von NTFS als Sparse-Datei behandelt werden. Unter Windows Server 2003 und Windows XP kann eine einmal als Sparse-Datei deklarierte Datei von NTFS nicht mehr in eine normale Datei umgewandelt werden. Bei späteren Windows-Versionen ist dies nur möglich, wenn keine Löcher mehr vorhanden sind.<ref>{{Internetquelle|url=http://msdn.microsoft.com/en-us/library/windows/desktop/aa364596(v=vs.85).aspx|titel=FSCTL_SET_SPARSE control code (Windows)|hrsg=Microsoft|sprache=en|zugriff=2013-01-17}}</ref>

Die für unixbasierte Dateisysteme genannten Probleme bestehen im Prinzip in gleicher Weise bei NTFS, wobei allerdings das Dateiattribut dafür sorgt, dass zumindest nach den generellen Programmierrichtlinien geschriebene Programme Sparse-Dateien [[Transparenz (Computersystem)|transparent]] kopieren können, ohne dass die Sparse-Eigenschaft verloren geht.

== Behandlung von Sparse-Dateien unter Unix- und ähnlichen Systemen ==
=== Erzeugen von Sparse-Dateien ===
Sparse-Dateien lassen sich beispielsweise mit dem Unix-Kommando <code>[[Dd (Unix)|dd]]</code> erzeugen:

[[Dd (Unix)|dd]] if=[[/dev/zero]] of=sparsefile bs=1 count=1 seek=9999999

Dieses exemplarische Kommando erzeugt eine 10 Megabyte große Sparse-Datei, indem es den [[Zeiger (Informatik)|Schreibzeiger]] mittels <code>seek</code> auf die Position 9999999 setzt, und dann ein Byte schreibt.

Das Erzeugen von Sparse-Dateien, die in einem „Loch“ enden, ist bei manchen <code>dd</code>-Implementierungen nur indirekt möglich. Dazu muss zunächst eine Datei erzeugt werden, die wie im obigen Beispiel auf geschriebenen Daten endet. Danach kann der letzte Datenanteil der Datei mit Hilfe des Systemaufrufs <code>truncate()</code> bzw. <code>ftruncate()</code> entfernt werden. Dies gilt beispielsweise für Solaris. Für Linux reicht es, <code>count=0</code> zu setzen, um zu verhindern, dass nach dem „Loch“ noch Daten geschrieben werden. Unter Linux wird, wenn <code>count=0</code> gesetzt wurde, ohne Schreiboperation nur ein <code>ftruncate()</code> ausgeführt, was eine Sparsedatei ohne ein vom Null-Byte verschiedenes Zeichen darin anlegt.

Mit dem [[GNU]]-<code>dd</code> lässt sich eine identische Datei auch mit dem folgenden verkürzten Aufruf erzeugen:

dd of=sparsefile bs=1 count=0 seek=10000000

=== Erkennen von Sparse-Dateien ===
Bei Sparse-Dateien unterscheidet sich die logische und physische Dateigröße. Während die logische Dateigröße auch die Null-Bytes umfasst, bezeichnet die physische Dateigröße den Platz, den die Datei tatsächlich im Dateisystem benötigt.

Die option <code>-s</code> des Unix-Kommandos <code>[[Ls (Unix)|ls]]</code> zeigt zusätzlich die physische Dateigröße an, allerdings in Blocks. Mit <code>-k</code> wird auch die logische Größe in Blocks angezeigt, mit <code>-h</code> werden beide im lesbaren Format angezeigt:
ls -lhs sparse-file
ls -lks sparse-file

Alternativ kann mit dem Unix-Kommando <code>[[Du (Unix)|du]]</code> die logische Dateigröße angezeigt werden,
allerdings zunächst auch in Blocks. Die Option <code>--block-size 1</code> zeigt die physische Größe in Bytes an,
während <code>--bytes</code> die logische Größe in Bytes anzeigt:
du --block-size 1 sparse-file
du --bytes sparse-file

=== Anwendungsbeispiel ===
Im Folgenden wird eine 10 MB große Sparse-Datei erzeugt. Beim Vergleich mit einer 3 MB großen Datei fällt erst durch einen einfachen <code>du</code>-Aufruf auf, dass es sich um eine Sparse-Datei handelt, welche nur 10 Blöcke auf der Festplatte benötigt.

<syntaxhighlight lang="bash">
> dd if=/dev/zero of=sparsefile bs=1 count=0 seek=10M
0+0 Datensätze ein
0+0 Datensätze aus
0 Bytes (0 B) kopiert, 2,9615e-05 s, 0,0 kB/s
> dd if=/dev/urandom of=normalfile bs=1M count=3
3+0 Datensätze ein
3+0 Datensätze aus
3145728 Bytes (3,1 MB) kopiert, 1,71034 s, 1,8 MB/s
> ls -lh
insgesamt 3,1M
-rw-r--r-- 1 sven users 3,0M 18. Mai 03:08 normalfile
-rw-r--r-- 1 sven users 10M 18. Mai 03:06 sparsefile
> du *
3075 normalfile
10 sparsefile
</syntaxhighlight>

== Behandlung von Sparse-Dateien unter Microsoft Windows ==
=== Erzeugen von Sparse-Dateien ===
Eine Datei lässt sich mit dem Windows-Kommando <code>fsutil</code> als Sparse-Datei kennzeichnen:

fsutil sparse setflag <Dateiname>

Dadurch werden bei zukünftigen Schreiboperationen ungeschriebene Bereiche der Datei nicht auf dem Datenträger allokiert. Um bereits vorhandene Bereiche einer als Sparse-Datei markierten Datei freizugeben, kann ebenfalls das Kommando verwendet werden:

fsutil sparse setrange <Dateiname> <Position in Byte> <Länge in Byte>

Dadurch wird der angegebene Bereich deallokiert. Zu beachten ist dabei, dass nur vollständige Blöcke, deren Länge ein Vielfaches von 64 [[Kibibyte|KiB]] betragen und deren Startpositionen sich an Vielfachen von 64 KiB befinden, freigegeben werden können.

Um diese Operationen programmgesteuert durchzuführen, kann die Kernel-Funktion <code>DeviceIoControl</code> mit den Kontrollcodes <code>FSCTL_SET_SPARSE</code> und <code>FSCTL_SET_ZERO_DATA</code> verwendet werden. Letzterer Code funktioniert auch bei Dateien, die keine Sparse-Dateien sind, jedoch werden die Datenbereiche nicht freigegeben, sondern mit Null-Bytes gefüllt.

=== Erkennen von Sparse-Dateien ===
Ob eine Datei eine Sparse-Datei ist, kann ebenfalls mit dem fsutil-Kommando ermittelt werden:

fsutil sparse queryflag <Dateiname>

Um die tatsächlich allozierten Bereiche aufzulisten, wird das Kommando wie folgt aufgerufen:

fsutil sparse queryrange <Dateiname>

=== Erzeugen von Sparse-Dateien mit MSSQL ===
Das Erzeugen von Sparse-Dateien durch [[MSSQL]] ab Version 2005 ist als [[Datenbank-Snapshot]] möglich. Die folgenden SQL-Anweisungen erzeugen eine Sparse-Datei der Größe 2 Gigabyte unter dem Namen <code>C:\UnCompressed\Dummy_Snap.mdf</code>

CREATE DATABASE [Dummy]
ON PRIMARY (NAME=N'Dummy',FILENAME=N'C:\UnCompressed\Dummy.mdf',SIZE=2097152KB)
LOG ON (NAME=N'Dummy_log',FILENAME=N'C:\UnCompressed\Dummy_log.ldf')
GO
CREATE DATABASE [Dummy_Snap]
ON PRIMARY (NAME=N'Dummy',FILENAME=N'C:\UnCompressed\Dummy_Snap.mdf')
AS SNAPSHOT OF [Dummy]

== Siehe auch ==
* [[Dünnbesetzte Matrix]]
* [[Disk-Image-Datei|„Mitwachsendes Image“ (englisch “sparse image”) unter Mac OS X]]

== Literatur ==
* Dominic Giampaolo: [http://www.nobius.org/~dbg/practical-file-system-design.pdf ''Practical File System Design with the Be File System''.] (PDF; 1,1 MB) Morgan Kaufmann, 1999, ISBN 1-55860-497-9.

== Weblinks ==
* [http://lwn.net/Articles/260795/ SEEK_HOLE or FIEMAP?] – Fachartikel über das Entdecken von Löchern in Sparse-Dateien (englisch)
* [http://msdn.microsoft.com/de-de/library/cc755441.aspx Fsutil: sparse] [[Microsoft Developer Network]], Microsoft Windows Server-Center: Erläuterung von [[DOS]]-Kommandos zum Erzeugen von Sparse-Dateien unter [[Windows]]
* [http://msdn.microsoft.com/de-de/library/ms175823.aspx Grundlegendes zur Größe von Dateien mit geringer Dichte in Datenbanksnapshots] [[Microsoft Developer Network]], Fachartikel über die Bedeutung von Sparse-Dateien bei Datenbank-Backups
* [http://docs.sun.com/app/docs/doc/816-5166/6mbb1kq8r?a=view mkfile] – Sun-Dokumentation: Sparse-Dateien unter [[Solaris (Betriebssystem)|Solaris]] erzeugen (englisch)

== Einzelnachweise ==
<references />

[[Kategorie:Dateiverwaltung]]

Sparse-Datei - Versionsgeschichte