Quelltext der Seite Pipe (Informatik)

Eine '''Pipe''' oder '''Pipeline''' ([[Englische Sprache|englisch]] ''[[Rohrleitung]]'') ist ein [[Datenstrom]] zwischen zwei [[Prozess (Informatik)|Prozessen]] durch einen [[Puffer (Informatik)|Puffer]] mit dem Prinzip ''[[First&nbsp;In – First&nbsp;Out]]'' (FIFO). Das bedeutet vereinfacht, dass ein Ergebnis eines [[Computerprogramm]]s als Eingabe eines weiteren Programms verwendet wird. Pipes wurden 1973 von [[Douglas McIlroy]] für das Betriebssystem [[Unix]] erfunden.

== Funktionsweise anhand eines Beispiels ==

Das folgende Beispiel soll die Funktion einer Pipe erläutern: 

 ls -R ./Bilder | grep -ic '\.jpg$'

Im Beispiel sind die zwei kleinen Programme <code>ls</code> und <code>grep</code> über eine Pipe (Symbol <code>|</code>) verbunden. Entsprechend der [[Unix-Philosophie]] sind beides Programme, die eine einzelne Aufgabe erledigen, auf Textströmen basieren und zusammen arbeiten können.

* das Programm ''ls'' dient dazu, den Inhalt von Dateipfaden in Textform zu listen 
* ''grep'' ist ein Programm, das Texte nach Zeichenketten durchsuchen kann

Im Beispiel wird ''ls'' angewiesen, das Verzeichnis ''Bilder'' einschließlich der Unterverzeichnisse (Schalter ''R'') zu listen. Das Ergebnis (einen Text) schickt ''ls'' in eine Pipe. 

In der Pipe nimmt das Programm ''grep'' den Text in Empfang. Es wird angewiesen, den Text nach der Zeichenkette ''.jpg'' zu durchsuchen (der Punkt von „.jpg“ wird mit einem [[Schrägstrich#Umgekehrter Schrägstrich|Backslash]] maskiert, weil er für ''grep'' zwei Bedeutungen hat). Dem Programm ''grep'' wurden noch die Schalter ''i'' und ''c'' mitgegeben. ''i'' bewirkt, dass bei der Zeichenkette Groß- und Kleinbuchstaben gleich behandelt werden (es wird also auch „JPG“ gefunden); der Schalter ''c'' weist ''grep'' an, nicht die Fundstellen zu listen, sondern deren Anzahl auszugeben. 

Das Ergebnis der Pipe ist also die Anzahl der JPG-Bilder unterhalb des Verzeichnisses ./Bilder. 

Auf den ersten Blick erscheint es einfacher, wenn man das Programm ''ls'' mit mehr Funktionalität ausstattet, um die umständliche Schreibweise der Pipe zu umgehen (wie der Befehl ''dir'' bei [[Disk Operating System|DOS]] und dessen Nachfolger). Anhänger der Unix-Philosophie betonen aber, dass das Aufteilen eines größeren Problems in Teilprobleme für entsprechend spezialisierte Programme effektiver sei.

== Erzeugen einer Pipe ==

Unter den meisten Betriebssystemen und Programmiersprachen werden nach Anforderung einer Pipe durch den Systemaufruf ''<span style="font-family:monospace;">pipe()</span>'' vom [[Betriebssystem]] zwei Zugriffskennungen (engl.: ''[[handle]]s'') zurückgeliefert, die zum Schreiben in die bzw. Lesen aus der Pipe benötigt werden. Auch Kindprozesse erben den Zugriff auf diese ''handles''. Mit der Beendigung des letzten Prozesses, der Zugriff auf eine aktive Pipe hat, wird diese vom Betriebssystem beendet.

== Pipe-Varianten ==

Es gibt anonyme und benannte Pipes.

''Anonyme Pipes'' unterliegen drei erheblichen Einschränkungen:

* Sie können nur in eine Richtung verwendet werden: ein [[Prozess (Informatik)|Prozess]] schreibt, der andere liest.
* Sie können nur für die [[Kommunikation]] zwischen eng verwandten Prozessen benutzt werden.
* Die maximale Datenmenge, die eine Pipe enthalten kann, ist relativ klein.

''Benannte Pipes'' (''Named Pipes'') können dagegen auch zur Kommunikation zwischen Prozessen eingesetzt werden, die nicht miteinander verwandt sind und sich darüber hinaus auf unterschiedlichen Rechnern innerhalb eines [[Rechnernetz|Netzwerkes]] befinden dürfen. Sie sind flexibler als anonyme Pipes und eignen sich für sogenannte [[Client-Server]]-Anwendungen (es lassen sich auch [[Remote Procedure Call|RPCs]] realisieren). Benannte Pipes ermöglichen die gleichzeitige Kommunikation in beide Richtungen, das heißt, Daten können im [[Duplex (Nachrichtentechnik)|Vollduplexbetrieb]] zwischen den Prozessen ausgetauscht werden.

Jeder Prozess, der den Namen einer benannten Pipe kennt, kann über diesen Namen die Verbindung zur Pipe und damit zu anderen Prozessen herstellen.

== Pipes in Betriebssystemen ==

Pipes sind in verschiedenen [[Betriebssystem]]en realisiert, die meisten bieten sowohl anonyme als auch benannte Pipes.

=== Unix ===

'''Anonyme Pipes'''

[[Pipeline (Unix)|Pipe]]s sind unter [[Unix]] und [[Unixoides System|unixoiden Betriebssystemen]] eines der mächtigsten Werkzeuge, um die sequentielle Abarbeitung von Befehlen auf einem bestimmten Datenbestand zu ermöglichen.

Bei einer ''anonymen Pipe'' ist die Kommunikation dabei auf mehrere Prozesse gleichen Ursprungs beschränkt. Diese (Ursprungs-)Beziehung entsteht meistens durch [[Fork (Unix)|Forks]]. In der [[Kommandozeileninterpreter|Shell]] wird eine ''anonyme Pipe'' zum Startzeitpunkt der Programme durch Eingabe eines „|“-Zeichens erzeugt. Die Shell ist dann der (gemeinsame) Elternprozess aller Prozesse und erledigt die Forks automatisch.

Beispiel:

 [[grep]] '.sshd.*Invalid user' /var/log/messages | awk '{print $NF}' | sort -u

Hier wird die System-[[Logdatei]] nach dem Suchbegriff „sshd“ durchsucht, dem in derselben Zeile der Text „Invalid user“ folgt. Anschließend wird das letzte Feld aus der Meldung herausgeschnitten („awk&nbsp;…“), das hier die IP-Adresse des Rechners enthält, von dem aus der ssh-Zugriff ausging. Zum Schluss werden diese IP-Adressen so sortiert, dass sie nicht mehrfach auftreten („sort --unique“).

Die an einer solchen Pipe beteiligten Programme nehmen (bis auf das erste) [[Eingabe (Computer)|Eingabedaten]] von ihrer [[Standardeingabe]] entgegen und stellen (bis auf das letzte) [[Ausgabe (Computer)|Ausgabedaten]] auf ihrer [[Standardausgabe]] bereit, siehe auch [[Filter (Software)]]. Verlangt eine Anwendung die Angabe von Dateinamen für die Ein- oder Ausgabe, so kann man oft durch die Angabe eines Minuszeichens als Dateiname erreichen, dass auf die Standardausgabe geschrieben bzw. von der Standardeingabe gelesen wird. Wenn sie diese Konvention implementiert haben, ist so das Schreiben in bzw. das Lesen aus einer Pipe auch mit solchen Anwendungen realisierbar.

Beispiel:

 tar cf - /home/user/ogg/mycolouringbook | ssh -l user server "cd /var/ogg && tar xvf -"

Hier wird der Inhalt eines Verzeichnisses mit [[Tar (EDV)|tar]] zu einem [[Elektronische Archivierung|Archiv]] zusammengepackt, über eine [[Secure Shell|SSH]]-Verbindung zu einem anderen Rechner verschickt und dort entpackt.

'''Named Pipe'''

Eine ''Named Pipe'', auch ''FIFO'' (von first-in-first-out) genannt, ist eine Pipe, die von zwei Prozessen zur Laufzeit über einen Dateinamen zum Lesen oder Schreiben geöffnet werden kann. Bei einer ''Named Pipe'' müssen die Prozesse keinen gemeinsamen Ursprung haben, die Prozesse müssen lediglich zum Zugriff auf die Pipe autorisiert sein und den Namen der Pipe kennen.

Beispiel:

 mkfifo einefifo
 cat /var/log/messages > einefifo &
 grep sshd < einefifo

FIFOs überdauern die sie verwendenden Prozesse, weil sie Bestandteil des Dateisystems sind. Allerdings kann eine FIFO keinen Inhalt haben, solange sie von keinem Prozess geöffnet ist. Das bedeutet, dass der gepufferte Inhalt verloren geht, wenn ein schreibender Prozess sein Ende der Pipe schließt, ohne dass ein lesender Prozess das andere Ende geöffnet hat.

'''Verwendung einer unidirektionalen Unix-Pipe'''

Dieser Sourcecode bewirkt das gleiche wie die Shellanweisung <code>who | sort</code>

<syntaxhighlight lang="c">
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/wait.h>

int main(void){

// pipe_verbindung[0] zum Lesen und pipe_verbindung[1] zum Schreiben
int pipe_verbindung[2];

//Initialisierung durch die Funktion Pipe
pipe(pipe_verbindung);

//Kindprozess erzeugen
if (fork()==0){
        // dup2 verbindet den Filedeskriptor der Pipe mit dem Filedeskriptor der Standardausgabe
        dup2(pipe_verbindung[1],1);

        // der Leseausgang muss geschlossen werden, da dieser Prozess nichts liest
        close(pipe_verbindung[0]);

         // Kommando ausführen, Standardausgabe des Kommandos ist mit der Pipe verbunden
        execlp("who","who",NULL);
        }
// dann zweiten Kindprozess erzeugen
else if (fork()==0){
        dup2(pipe_verbindung[0],0);
        close(pipe_verbindung[1]);
        execlp("sort","sort",NULL);
        }
}
</syntaxhighlight>

Der schreibende Prozess (Prozess 1) hat zunächst auch lesenden Zugriff auf die Pipe (unidirektional). Deshalb muss er seinen Filedeskriptor(0) zum Lesen sperren.
Genauso hat der lesende Prozess (Prozess 2) zunächst schreibenden Zugriff auf die Pipe. Deshalb muss er seinen Filedeskriptor(1) zum Schreiben sperren.
Werden die nicht benötigten Deskriptoren nicht gesperrt, kommt es zu Komplikationen:
Wenn zum Beispiel Prozess 1 keine Daten mehr zu versenden hat, terminiert er. Allerdings wird Prozess 2 nicht terminieren, da noch ein Filedeskriptor(1) zum Schreiben (sein eigener) für weitere Eingaben auf die Pipe gesetzt ist. Er wartet, aber es kommen keine Daten.
Ein anderes denkbares Szenario ist, dass Prozess 1 nicht terminieren kann, weil er Lesezugriff auf die Pipe hat und für immer und ewig auf Daten des Gegenspielers wartet, aber niemals welche ankommen werden, da er erstens schon längst terminiert ist und zweitens auch niemals welche gesendet hat.

=== Windows ===

[[Windows]] kennt anonyme und benannte Pipes. Benannte Pipes lassen sich über das Pipe-[[Programmierschnittstelle|API]] analog zu den [[Server Message Block|SMB]]-Freigaben als \\''ServerName''\pipe\''PipeName'' ansprechen.

Anonyme Pipes sind in der Windows-Eingabeaufforderung möglich, um z.&nbsp;B. mit dem ''find''-Befehl in der Ausgabe eines ''dir''-Befehls nur die Ausgaben zu erhalten, die bestimmte Zeichenketten im Pfad oder Dateinamen enthalten (was durch die ''dir''-Syntax nicht immer vollständig abgedeckt ist): So gibt folgende Befehlseingabe alle Unterverzeichnisse mit enthaltenen .java Dateien aus, in denen im Pfad das Wort ''Render'' enthalten ist, sowie die .java Dateien selbst, in dessen Dateiname ''Render'' enthalten ist:<syntaxhighlight lang="bash">
dir *.java /s | find "Render"
</syntaxhighlight>

=== OS/2 ===

[[OS/2]] kennt anonyme und benannte Pipes. Benannte Pipes gehören zu den leistungsfähigsten [[Interprozesskommunikation|IPC]]-Methoden, die OS/2 zu bieten hat. Wenn ein [[Server]]-Prozess eine benannte Pipe erzeugt, so kann er mehrere Instanzen dieser Pipe generieren, die alle unter demselben Namen angesprochen werden: Eine ''named pipe'' kann auch im Multiplexbetrieb arbeiten, so dass ein einzelner Server-Prozess mehrere Clients gleichzeitig bedienen kann.

== Verwendung einer unnamed Pipe (anonyme Pipe) in C ==
Das Programm liest eine Benutzereingabe ein und nutzt dann eine Pipe, um die Daten einem Kindprozess mitzuteilen. Dieser wandelt alle Eingaben in Großbuchstaben (toupper) um und gibt diese aus.

<syntaxhighlight lang="c">
#include <ctype.h>
#include <sys/wait.h>
#include <sys/types.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>

// Die maximale Laenge der Eingabe wird auf 2048 Bytes festgelegt.
#define MAX_ZEICHEN 2048

int main(void) {
	int fd[2], n, i;
	pid_t pid;
	char zeile[MAX_ZEICHEN];

	// Wir erstellen die Pipe. Tritt dabei ein Fehler auf, gibt die
	// Funktion -1 zurueck, so dass wir schon hier moegliche Fehler
	// abfangen und behandeln koennen.
	if (pipe(fd) < 0)
		fprintf(stderr, "Fehler beim Erstellen der pipe()");

	// Ein Kindprozess wird erstellt.
	if ((pid = fork()) > 0) {
		// Im Elternprozess
		close(fd[0]);
		fprintf(stdout, "Eltern : ");
		fgets(zeile, MAX_ZEICHEN, stdin);
		write(fd[1], zeile, strlen(zeile));

		if (waitpid(pid, NULL, 0) < 0)
			fprintf(stderr, "Fehler bei waitpid()");
	}

	// In den else-Zweig gelangt nur der Kindprozess
	else {
		// Im Kindprozess
		close(fd[1]);
		n = read(fd[0], zeile, MAX_ZEICHEN);

		for (i = 0; i < n; i++)
			zeile[i] = toupper(zeile[i]);
		fprintf(stderr, "Kind : ");

		write(STDOUT_FILENO, zeile, n);
	}
	exit(0);
}
</syntaxhighlight>

== Geschichte ==
Pipes wurden 1972/73 von [[Douglas McIlroy]] für das Betriebssystem [[Unix]] erfunden. Bereits 1964 hatte er zu Beginn des [[Multics]]-Projekt (dem Vorläufer von Unix) in einem Memo gefordert:
{{Zitat
 |Text=We should have some ways of coupling programs like garden hose--screw in another segment when it becomes [...] necessary to massage [sic] data in another way.
 |Autor=Douglas McIlroy
 |ref=<ref>[[Dennis Ritchie]]: ''[https://www.bell-labs.com/usr/dmr/www/mdmpipe.html Advice from Doug Mcilroy]''</ref>
}}

== Siehe auch ==
* [[Netcat]]

== Weblinks ==
* [http://msdn.microsoft.com/de-de/library/aa365780.aspx Dokumentation des Windows Pipe API] Microsoft Developer Network [MSDN] (englisch)

== Einzelnachweise ==
<references />

[[Kategorie:Betriebssystemkomponente]]
[[Kategorie:Parallelverarbeitung]]
[[Kategorie:Strukturmuster]]