Quelltext der Seite TOF-Kamera

'''TOF-Kameras''' sind [[3D-Kamera]]systeme, die mit dem [[Laufzeitmessung|Laufzeitverfahren]] (englisch: ''time of flight'', TOF, auch ToF) Distanzen messen. Sie werden nach dem verwendeten [[PMD-Sensor]] auch PMD-Kameras genannt.<ref>Christoph Heckenkamp: ''[http://www.inspect-online.com/whitepaper/das-magische-auge Das magische Auge – Grundlagen der Bildverarbeitung: Das PMD Prinzip].'' In: ''Inspect.'' Nr. 1, 2008, S. 25–28.</ref> Dazu wird die Szene mittels eines Lichtpulses ausgeleuchtet, und die Kamera misst für jeden Bildpunkt die Zeit, die das Licht bis zum Objekt und wieder zurück braucht. Die benötigte Zeit ist direkt proportional zur Distanz. Die Kamera liefert somit für jeden Bildpunkt die Entfernung des darauf abgebildeten Objektes. Das Prinzip entspricht dem [[Laserscanning]] mit dem Vorteil, dass eine ganze Szene auf einmal aufgenommen wird und nicht abgetastet werden muss.

TOF-Kameras sind im Gegensatz zu anderen Methoden eine relativ neue Entwicklung. Die Systeme können im Entfernungsbereich von einigen Dezimetern bis ca. 40&nbsp;m eingesetzt werden. Die Distanzauflösung beträgt dabei etwa 1&nbsp;cm, die lateralen Auflösungen erreichen etwa 200&nbsp;×&nbsp;200&nbsp;[[Pixel]]. Ein Vorteil dieser Kameras ist die hohe Bildwiederholrate von bis zu 512 Bildern pro Sekunde.<ref>{{Internetquelle |url=http://www.neumueller.com/datenblatt/epc/EPC_635.pdf |titel=TOF-Kamera von ESPROS mit bis zu 512 fps |format=PDF |abruf=2017-04-27}}</ref>

<gallery caption="Beispiele für TOF-Kameras" class="float-right">
 PMDvision CamCube.jpg|CamCube von PMD mit 204&nbsp;×&nbsp;204 Pixeln und SBI
 TOF Kamera.jpg|SwissRanger 4000 von MESA Imaging mit 176&nbsp;×&nbsp;144 Pixeln
 ARTTS-Kamera.JPG|TOF-Kamera aus dem europäischen ARTTS-Projekt mit 176&nbsp;×&nbsp;144 Pixeln und Stromversorgung über USB
</gallery>

== Aufbau ==
Eine TOF-Kamera besteht mindestens aus folgenden Komponenten:
* '''Beleuchtungseinheit:''' Mit ihr wird die Szene beleuchtet. Hier werden entweder [[LED]]s oder [[Laserdiode]]n verwendet, die genügend schnell moduliert werden können, damit der Sensor einwandfrei die Laufzeit messen kann. Die Pulsdauer bewegt sich dabei im Nanosekundenbereich. Die Beleuchtung sendet meist im [[Nahes Infrarot|nahen Infrarot]], damit die Umgebung nicht durch die Kamera gestört wird.
* '''Optik:''' Eine Optik sammelt das von der Umgebung reflektierte Licht wieder ein und bildet die Szene auf dem Sensor ab. Ein optischer [[Bandpassfilter]] lässt nur die Wellenlänge durch, mit der auch die Beleuchtung arbeitet. Somit wird ein großer Teil des störenden Hintergrundlichtes eliminiert.
* ''' Sensor:''' Das Herzstück der TOF-Kamera ist der Sensor, der die Laufzeit für jeden Bildpunkt separat misst. Der [[Bildsensor]] ähnelt dabei anderen Chips für Digitalkameras mit dem Unterschied, dass ein [[Pixel]] um einiges komplizierter aufgebaut ist: Es muss nicht einfach das einfallende Licht sammeln können, sondern die Laufzeit messen. Durch den komplizierteren Aufbau sind die Pixel im Vergleich zu Digitalkameras groß, sie erreichen Seitenlängen bis 100&nbsp;µm. Die bisher höchste Auflösung von ToF-Sensoren beträgt 204&nbsp;×&nbsp;204 Pixel bei einer Kantenlänge von 45&nbsp;µm.
* '''Ansteuerelektronik:''' Die Beleuchtung und der Sensor müssen mit einer aufwendigen Elektronik angesteuert werden, um eine möglichst hohe Genauigkeit zu erzielen. Verschieben sich die Ansteuersignale zwischen Beleuchtung und Sensor nur um 10&nbsp;[[Picosekunde|ps]], so ändert sich die gemessene Distanz schon um 1,5&nbsp;mm.
* '''Auswertung/Interface:''' Direkt im Kamerasystem geschieht meist auch die Berechnung der Distanz aus den gemessenen Werten. Dazu werden auch Kalibrierwerte im System abgespeichert. Als Schnittstelle kommt unter anderen [[USB]] oder [[Ethernet]] zum Einsatz.

== Funktionsweise ==
[[Datei:TOF-Kamera-Prinzip.jpg|mini|Prinzip von TOF-Kameras]]

Die einfachste Form von TOF-Kameras arbeitet mit ''Lichtpulsen'': Die Beleuchtung wird für einen kurzen Moment eingeschaltet, der Lichtpuls beleuchtet die Szene und wird an den Objekten reflektiert. Das Objektiv der Kamera sammelt dieses Licht und bildet die Szene auf dem Sensor ab. Abhängig von der Distanz erfährt das auf die einzelnen Pixel auftreffende Licht eine Verzögerung. Da sich das Licht mit Lichtgeschwindigkeit (in der Luft ca. 299.710 Kilometer pro Sekunde) ausbreitet, sind diese Zeiten sehr klein: Die Laufzeit des Lichts von der Kamera zu einem 2,5&nbsp;m entfernten Gegenstand und zurück zur Kamera beträgt:

:<math>t_\mathrm{D} = 2\,\frac{D}{c_\mathrm{luft}} = 2\,\frac {2{,}5\,\mathrm{m}} {299.710\,\mathrm{km}\,\mathrm{s}^{-1}} \approx 16{,}7\,\mathrm{ns}</math>

Aufgrund des Auswertungsprinzips (s.&nbsp;u.) bestimmt die Pulslänge der Beleuchtung t<sub>0</sub> den maximalen Distanzbereich, den die Kamera abdecken kann. Mit einer Pulslänge von 50&nbsp;ns können Distanzen bis zu

:<math>D_\mathrm{max} = \frac{c_\mathrm{luft} \, t_0}{2} = \frac{299.710\,\mathrm{km}\,\mathrm{s}^{-1} \cdot 50 \,\mathrm{ns}}{2} \approx 7{,}5\,\mathrm{m}</math>

gemessen werden. Diese kurzen Zeiten zeigen, dass die Beleuchtung ein kritischer Teil des Systems ist. Nur mit ausgesuchten LEDs oder mit aufwendiger anzusteuernden Lasern ist es möglich, solch kurze Pulse zu erzeugen.

Die einzelnen ''Pixel'' bestehen aus einem fotoempfindlichen Element (z.&nbsp;B. [[Fotodiode]]), es wandelt das Licht in einen Strom um. An die Fotodiode sind einer oder mehrere schnelle Verschlüsse oder Schalter angebracht, welche nur für einen ganz bestimmten Zeitraum das elektrische Signal durchlassen. Ein nachgeschaltetes Speicherelement summiert das Signal auf.

In der Beispielskizze arbeitet das Pixel mit 2 Schaltern (G<sub>1</sub> und G<sub>2</sub>) und Speicherelementen (S<sub>1</sub> und S<sub>2</sub>). Die Schalter werden mit einem Pulssignal mit der gleichen Länge wie der Lichtpuls angesteuert, wobei das Steuersignal für G<sub>2</sub> um eine Pulslänge verschoben ist. Trifft nun das reflektierte Licht verzögert auf das Pixel auf, so gelangt nur ein Teil des Signals in das Speicherelement S<sub>1</sub>, der andere Teil wird in S<sub>2</sub> gesammelt. Je nach Distanz verändert sich also das Verhältnis von S<sub>1</sub> und S<sub>2</sub>, wie es in der zweiten Grafik dargestellt ist. Da innerhalb von 50&nbsp;ns nur sehr wenig Licht gesammelt werden kann, wird nicht nur ein Puls, sondern mehrere Tausend mit einer Repetitionsrate von (t<sub>R-1</sub>) ausgesandt und gesammelt, was die Signalstärke erhöht.

Nach der Aufnahme werden die Pixel ausgelesen, und die nachfolgende Stufe misst die Signale S<sub>1</sub> und S<sub>2</sub>. Da die Länge des Lichtpulses bekannt ist, kann die Distanz wie folgt berechnet werden:

:<math>D=\frac{c_\mathrm{luft}\,t_0}{2}\cdot\frac{S_2}{S_1+S_2}</math>

Im Beispiel sind S<sub>1</sub> = 0,66 und S<sub>2</sub> = 0,33. Die Entfernung ist somit

:<math>D \approx 7{,}5\,\mathrm{m} \cdot \frac {0{,}33} {0{,}66 + 0{,}33} = 2{,}5\,\mathrm{m}</math>

''Hintergrundlicht'' ergibt auf den beiden Speicherelementen einen zusätzlichen Signalanteil. Um diesen zu eliminieren, kann die Aufnahme noch einmal mit inaktiver Beleuchtung durchgeführt werden und diese Werte von den Signalen mit Beleuchtung abgezogen werden. Sind die Objekte weiter als der Distanzbereich entfernt, so ergeben sich mit der obigen Formel falsche Distanzwerte. Das kann auch mit einer zweiten Messung, bei der die Schaltsignale nochmals um t<sub>0</sub> verschoben werden, unterdrückt werden. Andere Systeme arbeiten anstelle der Pulse mit einer ''Sinusmodulation'', bei der die Anforderungen an die Flankensteilheit der Beleuchtung kleiner sind.

== Vor- und Nachteile ==
=== Vorteile ===
* '''Einfacher Aufbau:''' Im Gegensatz zu Laserscanner beinhaltet die Kamera keine beweglichen Teile. Da die Beleuchtung und das Objektiv nahe beieinander liegen, ist auch der Platzbedarf gegenüber [[Stereokamera|Stereo-]] und [[Triangulation (Messtechnik)|Triangulationssystemen]] kleiner, und Abschattungen sind ausgeschlossen.
* '''Effiziente Datenauswertung:''' Mit den Distanzinformationen der TOF-Kameras ist es einfach, nur die interessanten Bereiche aus einem Bild zu extrahieren: Es wird ein Distanzschwellwert gesetzt, und nur die Pixel, die nähere Distanzen liefern, werden beachtet.
* '''Geschwindigkeit:''' Die TOF-Kameras bilden die gesamte Szenerie mit einer Aufnahme ab. Die Bildraten erreichen bis zu 160 Bilder pro Sekunde und ermöglichen somit Echtzeitanwendungen.<ref name="fps">{{Webarchiv |url=http://www.ptext.at/nachrichten/bluetechnix-bringt-tof-3d-kamera-160-fps-markt-528977 |text=Bluetechnix bringt ToF 3D-Kamera mit 160 fps auf den Markt |wayback=20130617044812 |archiv-bot=2019-05-17 01:26:37 InternetArchiveBot}}</ref>
* '''Musterunabhängigkeit:''' Im Gegensatz zu Stereosystemen, die Schwierigkeiten mit wiederholenden Mustern oder uniformen Flächen bekommen können, funktionieren TOF-Kameras mit allen diffus reflektierenden Materialien.

=== Nachteile ===
* '''Hintergrundlicht:''' Obwohl der größte Teil des Hintergrundlichtes durch den optischen Filter unterdrückt wird, muss das Pixel dennoch mit einer sehr großen Dynamik zurechtkommen, muss die dadurch entstehende Ladung doch auch gespeichert oder abgeführt werden können. Zum Vergleich: Die derzeit ökonomisch möglichen Beleuchtungsstärken bewegen sich im Bereich von einem Watt. Die Sonne leistet in dem gefilterten Wellenlängenbereich immer noch 50 Watt pro Quadratmeter. Beträgt die beleuchtete Szene ein Quadratmeter, so ist die Sonne 50-mal so stark wie das Nutzsignal.<br />Die Hersteller haben unterschiedliche Strategien für ihre Sensoren entwickelt, um dieses Hintergrundsignal zu einem guten Teil unterdrücken zu können (siehe zum Beispiel ''SBI'' des [[PMD-Sensor]]s, der bis 150&nbsp;[[Lux (Einheit)|klx]] arbeitet).
* '''Gegenseitige Störung:''' Sind mehrere Systeme in Betrieb, kann es sein, dass sich die verschiedenen Kameras gegenseitig stören und somit der Distanzwert verfälscht wird. Hierzu gibt es mehrere Möglichkeiten, dies zu umgehen:
** Zeitmultiplex: Eine übergeordnete Steuerung startet die Messung der einzelnen Kameras nacheinander, so dass immer nur eine Beleuchtung in Betrieb ist.
** Unterschiedliche Frequenzen: Arbeiten die Kameras mit leicht unterschiedlichen Modulationsfrequenzen, so wird das Licht der einen Kamera in der anderen nur als Hintergrundanteil demoduliert und verfälscht die Messung nicht.
* '''Mehrfachreflexion:''' Da im Gegensatz zu den Laserscanningsystemen eine ganze Szenerie und nicht nur ein einzelner Punkt beleuchtet wird, ist es möglich, dass mehrfach reflektiertes Licht von einem Gegenstand zurück auf den Sensor gelangt. Die gemessene Distanz kann in diesem Fall größer als die tatsächliche sein.

== Anwendungsgebiete ==
[[Datei:TOF Kamera 3D Gesicht.jpg|mini|[[Distanzbild]] aufgenommen mit TOF-Kamera zur Gestensteuerung]]

=== Automobile Anwendungen ===
TOF-Kameras werden als Fahrerassistenz- und Sicherheitssensoren im Automobilbereich eingesetzt. Dazu zählen Anwendungen wie der aktive Fußgängerschutz, [[Notbremsassistent]], aber auch im Innenraum, wie die Überprüfung auf korrekte Fahrposition.<ref>Michael Paintner: ''Alles im Blick – Fahrerassistenz- und Sicherheitsfunktionen mit einer 3D-PMD-Kamera.'' In: ''AutomobilKonstruktion.'' Nr. 2, 2007, S. 66–67 ([http://www.ifm-electronic.de/obj/3D-PMD_AutomobilKONSTRUKTION_2-07.pdf PDF-Datei]; 954 kB).</ref><ref>Gerd Kucera: ''{{Webarchiv |url=http://www.elektronikpraxis.vogel.de/index.cfm?pid=4802&pk=224724&nl=1&cmp=nl-95-1-110809 |text=NoAE-Innovationspreis der Automobilindustrie für 3-D-Kamera erhalten |wayback=20140413142654 |archiv-bot=2023-01-18 11:30:17 InternetArchiveBot}}.'' In: ''Elektronik Praxis.'' 10. August 2009, abgerufen am 11. August 2009.</ref>

=== Mensch-Maschinen-Schnittstellen / Gaming ===
Durch die Echtzeitfähigkeit der TOF-Kameras können die Bewegungen eines Menschen verfolgt werden. Daher eröffnen sich neue Interaktionsmöglichkeiten mit den Geräten. Neben der Steuerung von z.&nbsp;B. Fernsehern ist die Anwendung der TOF-Kameras an Spielkonsolen ein interessantes Thema.

=== Messtechnik / Industrielle Bildverarbeitung ===
[[Datei:TOF Kamera Boxen.jpg|mini|Vermessung von Objekten mit Hilfe von 3D-TOF-Bildern]]

Durch die dritte Dimension lassen sich Messaufgaben wie die Bestimmung von Füllhöhen in [[Silo]]s oder die Volumenermittlung von [[Stückgut|Stückgütern]] einfach bewerkstelligen. In der industriellen Bildverarbeitung profitieren zum Beispiel Roboter, die Gegenstände von einem Förderband aufnehmen müssen, von der zusätzlichen Höhenangabe. Türsteuerungen können mit Hilfe der Höhe einfach zwischen Tieren und Menschen unterscheiden.<ref>Siehe auch die [http://www.ifm.com/ifmde/web/pmd3d_01.htm erste 3D-Industriekamera], die von der Firma ifm electronic GmbH in Zusammenarbeit mit der PMDTechnologies GmbH entwickelt wurde.</ref><ref>siehe auch die in einem Forschungsprojekt in der [[Schweiz]] zusammen mit dem [[Centre Suisse d’Electronique et de Microtechnique|CSEM]] entwickelte TOF-Kamera [[ESPROS/TOF]].</ref>

=== Robotik ===
Ein weiteres Einsatzgebiet sind mobile Roboter: Mit dem Umgebungsbild in Echtzeit können fahrbare Roboter ihre Umgebung schnell überblicken, Hindernissen ausweichen oder zum Beispiel einer Person folgen. Mit Hilfe einer TOF-Kamera kann aus vielen einzelnen Aufnahmen eine Karte der Umgebung erstellt werden.

=== Medizin ===
[[Datei:patpos.png|mini|Patientenpositionierung mit Hilfe von 3D-TOF-Bildern]]

TOF-Kameras können auch als zusätzliche bildgebende Modalität in der Medizintechnik eingesetzt werden. Beispiele für diese Anwendungen werden im Folgenden kurz aufgezeigt:
* Atemdetektion: Mit Hilfe von TOF-Kameras ist es möglich, ein multidimensionales Atemsignal zu berechnen. Es ist somit möglich, berührungslos und ohne Marker an mehreren Stellen (z.&nbsp;B. [[Thorax]], [[Abdomen]]) unabhängige Atemsignale zu messen. Dies ist v.&nbsp;a. wichtig bei der Bestrahlung von Tumoren im Oberkörperbereich oder für die Reduktion von Artefakten, z.&nbsp;B. bei der [[Kernspintomografie|Magnetresonanz-]] (MRT) oder [[Positronen-Emissions-Tomographie]] (PET).
* Patientenpositionierung: TOF-Kameras ermöglichen auch die exakte Positionierung von Patienten im klinischen Umfeld. Hierfür werden die 3D-Punktwolken eines Referenz TOF-Bildes mit einer weiteren Punktwolke registriert. Ergebnis dieser Registrierung ist die Translation und Rotation, die auf den Patienten angewendet werden muss, dass dieser exakt gleich liegt wie bei der Aufnahme des Referenzbildes. Anwendungen hierfür sind ebenfalls in der Bestrahlungstherapie zu finden. Hier wird an einer initialen CT-Messung die Bestrahlung geplant. Dieser Plan muss bei sämtlichen folgenden Bestrahlungssitzungen valide sein. Dies kann durch eine Registrierung von TOF-Bildern erfolgen.
* Messung von Körpergröße und Körpergewicht: In Kombination mit einem maschinellen Lernalgorithmus kann mittels TOF-Kamera mit hoher Präzision die Körpergröße und das Gewicht eines Patienten in liegender Position vorhergesagt werden. Dies kann in Notfallsituationen helfen, beispielsweise um bei bewusstlosen Patienten eine gewichtsadaptierte Dosierung für Notfallmedikamente abzuschätzen.<ref>{{Literatur |Autor=Frederik Geissler, Rafael Heiß, Markus Kopp, Marco Wiesmüller, Marc Saake |Titel=Personalized computed tomography – Automated estimation of height and weight of a simulated digital twin using a 3D camera and artificial intelligence |Sammelwerk=RöFo - Fortschritte auf dem Gebiet der Röntgenstrahlen und der bildgebenden Verfahren |Datum=2020-11-03 |ISSN=1438-9029 |Seiten=a–1253–8558 |Online=http://www.thieme-connect.de/DOI/DOI?10.1055/a-1253-8558 |Abruf=2021-01-30 |DOI=10.1055/a-1253-8558}}</ref>

=== Mobiltelefone ===
In Mobiltelefonen werden TOF-Kameras verwendet, um fotografische Effekte  wie eine geringe [[Schärfentiefe]] per Software nach der Aufnahme zu simulieren. Auch [[Augmented Reality|Augmented-Reality]]-Anwendungen profitieren von der Technologie. Einfache [[3D-Scans]] sind zwar grundsätzlich mit TOF-Kameras möglich, aufgrund der beschränkten räumlichen Auflösung jedoch nur als Ergänzung zu [[Photogrammetrie|photogrammetrischen]] Verfahren sinnvoll. Grundsätzlich lässt sich mit TOF-Kameras in gewissem Umfang auch die Funktion eines aktiven [[Nachtsichtgerät]]s simulieren, das basiert aber im Wesentlichen auf der eingesetzten Infrarotbeleuchtung.

== Siehe auch ==

* [[LIDAR]]

== Literatur ==
* Pia Breuer: ''Entwicklung einer prototypischen Gestenerkennung in Echtzeit unter Verwendung einer IR Tiefenkamera.'' 2005 (Universität Koblenz Landau; Diplomarbeit; [http://www.uni-koblenz.de/~cg/Diplomarbeiten/DABreuer.pdf PDF-Datei]; 2,80 MB; Gestenerkennung mit TOF-Kameras)
* Martin Profittlich: ''Minority Report -Futuristische Interface-Technologien durch 3D-Bildverarbeitung.'' In: ''Inspect.'' Nr. 2, 2009 ([http://www.inspect-online.com/topstories/vision/minority-report HTML-Version], abgerufen am 30. September 2009).
* {{Literatur |Autor=Christian Schaller, Jochen Penne, Joachim Hornegger |Titel=Time-of-flight sensor for respiratory motion gating |Sammelwerk=Medical Physics |Band=35 |Nummer=7 |Datum=2008 |Seiten=3090–3093 |Kommentar=Atemdetektion mit TOF-Kameras, TOF-Forschungsgruppe des Lehrstuhl für Mustererkennung Universität Erlangen-Nürnberg |Online=http://www5.informatik.uni-erlangen.de/Forschung/Publikationen/2008/Schaller08-MED.pdf |Format=PDF |KBytes=214 |DOI=10.1118/1.2938521}}
* [http://www.metrilus.de/time-of-flight-cameras/ ''Technological overview of Time-of-Flight cameras.''] Beschreibung der Technologie und Vergleich zu anderen Echtzeit 3-D Erfassungssystemen, Metrilus.de, abgerufen am 13. Juli 2011.

== Weblinks ==
* Stefan Fuchs, Stefan May: ''[http://www.robotic.de/fileadmin/robotic/fuchs/TOFCamerasFuchsMay2007.pdf Calibration and Registration for Precise Surface Reconstruction with TOF Cameras].'' (Kalibrierung von TOF-Kameras; englisch; PDF-Datei; 2,49 MB).
* {{Webarchiv |url=http://iad.projects.zhdk.ch/gesturespace/ |text=Gesturespace, Arbeit an der Zürcher Hochschule der Künste |wayback=20120326173945}}
* [http://www.artts.eu/ Website des europäischen Forschungsprojekt ARTTS über den Einsatz von TOF-Kameras]
* [[Project Tango]]

== Einzelnachweise ==
<references />

[[Kategorie:Kamera]]
[[Kategorie:Dimensionales Messgerät]]
[[Kategorie:Photogrammetrie]]
[[Kategorie:Computer Vision]]