2A02:8071:2282:183C:9022:C1A3:1560:1290: Math. Typografie: Lesbarkeit der zusammengesetzten Matrizen [ .. | .. ] verbessert; einen Bindestrich eingefügt.

2024-05-14T15:12:51Z

Math. Typografie: Lesbarkeit der zusammengesetzten Matrizen [ .. | .. ] verbessert; einen Bindestrich eingefügt.

Neue Seite

[[Datei:Lochkamera-Prinzip 2.svg|mini|Modell einer Lochkamera. Die Abbildung des 3D-Objektes kann mathematisch mit der Projektionsmatrix beschrieben werden.]]

Nimmt eine Kamera ein Objekt auf, so bildet sich das Objekt auf dem Kamerabild ab. Diese Abbildung (auch Projektion genannt) wird mathematisch durch die so genannte '''Projektionsmatrix''' <math>\mathbf{P}</math> beschrieben. Diese ist eine spezielle [[Matrix (Mathematik)|Matrix]] aus dem Bereich [[Computer Vision]] und beschreibt die [[Zentralprojektion|perspektivische]] Abbildung eines dreidimensionalen Objektpunktes an die zweidimensionale Bildposition.

== Einleitung und Anwendung ==
Die Projektionsmatrix beschreibt die perspektivische Abbildung eines dreidimensionalen Objektpunktes <math>\mathbf{X}=[X\; Y\; Z\; W]</math> an die Bildposition <math>\mathbf{x}=[x\; y\; w]</math> durch eine Kamera. Dabei gilt folgender Zusammenhang zwischen Objekt- und Bildpunkt:

:<math>
\begin{bmatrix}
x \\
y \\
w
\end{bmatrix}
=
\begin{bmatrix}
p_{11} & p_{12} & p_{13} & p_{14} \\
p_{21} & p_{22} & p_{23} & p_{24} \\
p_{31} & p_{32} & p_{33} & p_{34}
\end{bmatrix}
\begin{bmatrix}
X \\
Y \\
Z \\
W
\end{bmatrix}
\quad \cong \quad \mathbf{x}=\mathbf{PX}
</math>

Die Abbildung des Objektpunktes auf die Bildebene wird hier mit den in der [[Projektive Geometrie|projektiven Geometrie]] benutzten [[Homogene Koordinaten|homogenen Koordinaten]] beschrieben. Homogene Koordinaten sind gegenüber kartesischen oder affinen Koordinaten um eine Koordinate erweitert und nur bis auf einen Skalierungsfaktor eindeutig. Den zweidimensionalen kartesischen oder affinen Koordinaten <math>x,\, y</math> entsprechen die homogenen Koordinaten <math>u,\, v,\, w=wx,\, wy,\, w</math>. Die homogenen Koordinaten <math>u,\, v,\, w</math> und <math>u/w,\, v/w,\, 1=x,\, y,\, 1</math> repräsentieren denselben Punkt. Entsprechendes gilt für den dreidimensionalen Raum. Die Projektionsmatrix führt somit eine Transformation der [[Projektive Geometrie|projektiven Räume]] <math>\mathbb{P}^3</math> in <math>\mathbb{P}^2</math> durch. Die Elemente der Projektionsmatrix hängen dabei von den [[Innere und äußere Orientierung|Orientierungsparametern]] der Kamera ab. Diese sind im Einzelnen der innere Aufbau der Kamera („innere Orientierung“) und die Lage der Kamera im Raum sowie die Blickrichtung der Kamera („äußere Orientierung“).

Die innere Orientierung <math>\mathbf{K}</math> der Kamera setzt sich aus folgenden Elementen zusammen:
# Der Kammerkonstante ''c'' als Abstand zwischen Bildebene und (bildseitigem) Projektionszentrum der Kamera.
# Der Anzahl der [[Pixel|Bildpunkte]] pro Millimeter in Richtung der x-Achse (<math>k_x</math>) und y-Achse (<math>k_y</math>).
# Der Position des Bildhauptpunktes <math>h_0=(x_0,y_0)</math> als der Durchstoßpunkt der optischen Achse durch die Bildebene und
# dem Scherungswinkel Θ zwischen den Bildachsen.

Zusammengefasst wird das in der [[Kalibrierung]]smatrix <math>\mathbf{K}</math>:

:<math>
\mathbf{K}=
\begin{bmatrix}
ck_x & -ck_x\cot(\Theta) & x_0 \\
0 & ck_y/\sin(\Theta) & y_0 \\
0 & 0 & 1
\end{bmatrix}
</math>

Im Weiteren wird die Position einer Kamera bezüglich des [[Koordinatensystem|Weltkoordinatensystems]] mit <math>\mathbf{C}</math>, die Aufnahmerichtung mit <math>\mathbf{R}</math> bezeichnet. Letzteres ist eine 3×3-[[Rotationsmatrix]]. Für <math>\mathbf{P}</math> ergibt sich damit:

:<math>
\mathbf{P}=\mathbf{K}\cdot\mathbf{R}\cdot[\mathbf{I} \mid -\mathbf{C}]
</math>
(<math>\mathbf{I}</math> ist die 3×3-[[Einheitsmatrix]]). Da <math>[\mathbf{I} \mid -\mathbf{C}]</math> eine 3×4 große Matrix ist, ist <math>\mathbf{P}</math> ebenfalls 3×4 groß. <math>\mathbf{P}</math> ist somit eindeutig bestimmt.

Der Vorteil der Projektionsmatrix gegenüber anderen Darstellungsformen wie der [[Kollinearitätsgleichung]] ist ihre kompakte Darstellung in einer einzigen Matrix. Dadurch entfällt die explizite Angabe der einzelnen Orientierungsparameter. Auch etwaige Unklarheiten über die Reihenfolge der Transformationsschritte treten nicht auf. Sie wird überall angewendet, wo entsprechende Abbildungen durch eine Kamera durchgeführt werden. Dies ist zum Beispiel auf den Gebieten der [[Photogrammetrie]] bei der Bestimmung von 3D-Koordinaten und der Kalibrierung, [[Maschinelles Sehen|Computer Vision]] und in der [[Projektive Geometrie|projektiven Geometrie]] der Fall. Meist wird von den aufgezeichneten Bildpunkten auf die Koordinaten der beobachteten Objektpunkte rückgerechnet.

== Geometrische Deutung der Projektionsmatrix ==
Die Elemente von <math>\mathbf{P}</math> sind geometrisch deutbar. Die Zeilen <math>p^i</math> der Matrix <math>\mathbf{P}</math> sind 4-Vektoren und können als [[Ebene (Mathematik)|Ebenen]] im projektiven Raum <math>\mathbb{P}^3</math> angesehen werden. Diese 3 Ebenen schneiden sich im Projektionszentrum <math>\mathbf{C}</math>. Die Spalten <math>p_i</math> sind 3-Vektoren. Die ersten drei Spalten <math>p_1, p_2, p_3</math> sind die Abbildungen des Weltkoordinatensystems und entsprechen den Fluchtpunkten der X-, Y- beziehungsweise Z-Achse. Die letzte Spalte <math>p_4</math> ist die Abbildung des [[Koordinatenursprung|Ursprungs]] des Weltkoordinatensystems.

Da die Projektionsmatrix auf Grund der homogenen Darstellung nur bis auf einen Skalierungsfaktor λ bekannt ist, sollte sie dafür normiert werden. Dazu ist der Betrag und das [[Vorzeichen (Zahl)|Vorzeichen]] des Normierungsfaktors zu bestimmen. Für den Betrag wird die erste 3×3-[[Teilmatrix]] <math>\mathbf{M}</math> von <math>\mathbf{P}=[\mathbf{M} \mid \mathbf{t}]</math> betrachtet. Wenn <math>\mathbf{m}^3</math> die dritte Zeile von <math>\mathbf{M}</math> ist, so muss die gesamte Projektionsmatrix durch die [[Norm (Mathematik)|Norm]] dieses Vektors dividiert werden. Das korrekte Vorzeichen ergibt sich aus der Bedingung <math>\det(\mathbf{M})>0</math>. Ist die [[Determinante (Mathematik)|Determinante]] kleiner 0, muss das Vorzeichen aller Komponenten von <math>\mathbf{P}</math> invertiert werden.

== Zerlegung der Projektionsmatrix ==
Es ist möglich, aus <math>\mathbf{P}</math> wiederum die einzelnen Orientierungsparameter der Kamera zu berechnen. Für das Projektionszentrum <math>\mathbf{C}</math> gilt der Zusammenhang <math>\mathbf{PC}=0</math>. Diese Eigenschaft kann als [[lineares Gleichungssystem]] aufgefasst und mittels [[Singulärwertzerlegung]] gelöst werden. Dabei ist zu beachten, dass die Rechteckmatrix <math>\mathbf{P}</math> um eine Zeile mit Nullen ergänzt werden muss.

Die Rotationsmatrix <math>\mathbf{R}</math> und die Kalibrierungsmatrix <math>\mathbf{K}</math> extrahiert eine [[QR-Zerlegung]] aus der ersten 3×3 Teilmatrix <math>\mathbf{M}</math> von <math>\mathbf{P}</math>:

:<math>
\mathbf{M}=\mathbf{KR}=
\begin{bmatrix}
k_{11} & k_{21} & k_{31} \\
0 & k_{22} & k_{32} \\
0 & 0 & k_{33}
\end{bmatrix}
\begin{bmatrix}
r_{11} & r_{21} & r_{31} \\
r_{21} & r_{22} & r_{32} \\
r_{31} & r_{23} & r_{33}
\end{bmatrix}

</math>

<math>\mathbf{K}</math> ist hier die Kalibrierungmatrix, <math>\mathbf{R}</math> enthält die Elemente der Rotationsmatrix. Somit sind alle Parameter der inneren und äußeren Orientierung bestimmt.

== Berechnung der Projektionsmatrix aus Punktkorrespondenzen ==
Die Projektionsmatrix lässt sich – wie im Abschnitt Mathematische Darstellung gezeigt – direkt aus den Orientierungsparametern der Kamera berechnen. Da die Berechnung der Projektionsmatrix meist vor einer Bestimmung der Kameraparameter durchgeführt wird, tritt dieser Fall selten auf. Im Folgenden wird erläutert, wie <math>\mathbf{P}</math> nur mit Hilfe von bekannten Objektpunkten und deren Abbildungen berechnet werden kann.

Sind eine Menge Punktkorrespondenzen <math>X_i \leftrightarrow x_i</math> gegeben, lässt sich <math>\mathbf{P}</math> aus diesen Punktepaaren berechnen. Ziel ist es, eine Matrix <math>\mathbf{P}</math> zu bestimmen, so dass <math>\mathbf{x}_i=\mathbf{P}\mathbf{X}_i</math>. Dazu wird die Formel mittels des [[Kreuzprodukt]]es nach <math>\mathbf{x}_i \times \mathbf{PX}_i=\mathbf{0}</math> umgestellt. Wenn <math>\mathbf{x}_i=[x_i\quad y_i\quad w_i]</math>, ergibt sich nach Umstellung der Gleichung folgender Zusammenhang:

:<math>
\begin{bmatrix}
\mathbf{0}^T & -w_i\mathbf{X}_i & y_i\mathbf{X}_i \\
w_i\mathbf{X}_i & \mathbf{0}^T & -x_i\mathbf{X}_i \\
-y_i\mathbf{X}_i & x_i\mathbf{X}_i & \mathbf{0}^T
\end{bmatrix}
\begin{pmatrix}
\mathbf{P}^{1T} \\
\mathbf{P}^{2T} \\
\mathbf{P}^{3T}
\end{pmatrix}
=\mathbf{0}
</math>

mit <math>\mathbf{P}^{i}</math> der ''i''-ten Zeile von <math>\mathbf{P}</math>.

Da diese drei Gleichungen linear abhängig sind, werden nur die beiden ersten benutzt. Eine Punktkorrespondenz liefert somit zwei Gleichungen. Von ''n'' Punktkorrespondenzen erhält man eine 2''n''×12 große Matrix <math>\mathbf{A}</math>. Die Projektionsmatrix berechnet sich aus <math>\mathbf{Ap}=0</math>, wobei <math>\mathbf{p}</math> der Vektor mit den Elementen von <math>\mathbf{P}</math> ist.

=== Minimale Lösung ===
Da die Matrix <math>\mathbf{P}</math> zwölf Elemente hat und vom Rang 11 ist, reichen elf Gleichungen zur Lösung des Gleichungssystems. Da jede Punktkorrespondenz zwei Gleichungen liefert, reichen fünf Punktkorrespondenzen und Kenntnis der x- oder y-Koordinate der sechsten Korrespondenz. <math>\mathbf{A}</math> ist dann eine 11×12 große Matrix, deren rechter [[Kern (Algebra)|Nullraum]] die Lösung für <math>\mathbf{P}</math> enthält.

=== Überbestimmte Lösung ===
Da die Punktkorrespondenzen meist Fehler enthalten, existiert keine exakte Lösung für <math>\mathbf{Ap}=0</math>. Daher muss eine Lösung durch Minimierung eines [[Algebra|algebraischen]] oder [[Geometrie|geometrischen]] Fehlermaßes bestimmt werden.

==== Algebraisches Fehlermaß ====
Im Falle eines algebraischen Fehlermaßes besteht der Ansatz darin, <math>||\mathbf{Ap}||</math> mit einer Nebenbeschränkung zu minimieren. Diese Nebenbeschränkungen können sein:

# <math>||\mathbf{p}||=1</math>
# <math>||\mathbf{\dot p}^3||=1</math>, wobei <math>||\mathbf{\dot p}^3||</math> die ersten drei Elemente der letzten Zeile von <math>\mathbf{P}</math> enthält.

In beiden Fällen wird der Fehlervektor <math>||\mathbf{Ap}||</math> als ''algebraischer Fehler'' bezeichnet. Dieses Verfahren wurde von [[Ivan Sutherland]] 1963 im Rahmen seiner [[Dissertation]] zu [[Sketchpad]] vorgestellt.<ref name="Sutherland63">{{Literatur |Autor=[[Ivan Edward Sutherland]] |Titel=Sketchpad: A man-machine graphical communications system |Sammelwerk=Technical Report 296, MIT Lincoln Laboratories |Datum= 1963 |Online=[http://www.cl.cam.ac.uk/techreports/UCAM-CL-TR-574.pdf Kommentierte Version, 2003] |Format=PDF |KBytes=4100}}</ref>

==== Geometrisches Fehlermaß ====
[[Datei:Passpunktfeld.png|mini|'''Passpunktfeld''' mit Marken]]

Sind sehr genau vermessene Weltkoordinaten <math>\mathbf{X_i}</math> wie bei der Benutzung eines ausgemessenen [[Passpunkt]]feldes vorhanden, kann der geometrische Fehler ''d'' im Bild definiert werden:

:<math>
d=\sum_i d(\mathbf{x}_i,\hat{\mathbf{x}}_i)^2
</math>

Dabei sind <math>\mathbf{x}_i</math> die gemessenen Bildpunkte und <math>\hat{\mathbf{x}}_i</math> der Punkt <math>\mathbf{PX}_i</math>. Wenn die [[Störgröße und Residuum|Fehler]] [[Normalverteilung|normalverteilt]] sind, dann ist die Lösung

:<math>
\min_p\sum_i d(\mathbf{x}_i,\hat{\mathbf{x}}_i)^2
</math>

die [[Maximum-Likelihood-Methode|Maximum-Likelihood-Schätzung]] von <math>\mathbf{P}</math>. Zur Lösung werden iterative Techniken wie der [[Levenberg-Marquardt-Algorithmus]] verwendet.<ref name="Slama80">Chester C. Slama (Hrsg.): ''Manual of Photogrammetry.'' 4th edition. American Society of Photogrammetry, Falls Church VA 1980, ISBN 0-937294-01-2.</ref>

=== Vorgehen in der Praxis ===
Voraussetzung für die Berechnung von <math>\mathbf{P}</math> ist, dass mehr als sechs Punktkorrespondenzen vorhanden sind. Ziel ist es dann, die Maximum-Likelihood-Schätzung von <math>\mathbf{P}</math> zu bestimmen. Da die Maximum-Likelihood-Methode gute Startwerte für die Minimierung benötigt, wird davor eine Lösung von <math>\mathbf{P}</math> mittels des algebraischen Fehlermaßes bestimmt. Zusätzlich werden die Eingangsdaten normalisiert. Dabei werden alle Bildpunkte so verschoben, dass ihr Schwerpunkt im Ursprung des Koordinatensystems liegt. Danach werden sie so skaliert, dass der durchschnittliche Abstand zum Ursprung <math>\sqrt{2}</math> beträgt. Die Objektpunkte werden auch in den Ursprung verschoben und so skaliert, dass der durchschnittliche Abstand zum Ursprung <math>\sqrt{3}</math> ist. Diese Vorgehensweise führt zu numerisch stabileren Ergebnissen. Die jeweiligen Transformationen <math>\mathbf{T}</math> der Bildpunkte und <math>\mathbf{U}</math> der Objektpunkte müssen nach Berechnung von <math>\mathbf{P}</math> rückgängig gemacht werden.

=== Verzeichnungskorrektur ===
Bevor man mit der eigentlichen Bestimmung der Projektionsmatrix loslegen kann, muss man – entsprechend den Genauigkeitsanforderungen – vorhandene [[Verzeichnung]] im Bild vorher korrigieren. Die Verzeichnungsparameter müssen zuvor durch eine [[Computer Vision#Kamerakalibrierung|Kamerakalibrierung]] bestimmt worden sein. Damit kann dann eine geeignete [[Computer Vision#Verzeichnungskorrektur|Verzeichnungskorrektur]] durchgeführt werden. Das Bild kann danach als verzeichnungsfrei angesehen werden, d. h., die Bildpunkte stimmen mit den geraden Abbildungsstrahlen – entsprechend dem Lochkameramodell – überein.

Oft ist die Bestimmung der Projektionsmatrix selbst Teil einer Kamerakalibrierung. Dann ist eine mehrstufige Vorgehensweise notwendig. Dabei werden in einem ersten Schritt so viele Parameter wie möglich mittels linearer kleinste Quadrate Ausgleichung bestimmt. Anschließend findet eine iterative Optimierung statt unter Berücksichtigung aller Modellparameter inklusive notwendiger Verzeichnungsparameter.<ref>{{Internetquelle |autor=Berthold K.P. Horn |url=http://people.csail.mit.edu/bkph/articles/Tsai_Revisited.pdf |titel=Tsai’s camera calibration method revisited |werk= |hrsg= |datum=2000 |abruf=25.07.2020 |sprache=en}}</ref>

== Einzelnachweise ==
<references />

== Literatur ==
* {{Literatur
|Autor=Richard Hartley, Andrew Zisserman
|Titel=Multiple View Geometry in computer vision
|Verlag=Cambridge University Press
|Ort=Cambridge
|Datum=2003
|ISBN=0-521-54051-8
}}
* {{Internetquelle
|autor=Andrew Zisserman
|url=http://www.robots.ox.ac.uk/~vgg/hzbook/code/
|titel=MATLAB Functions for Multiple View Geometry
|datum=2007
|zugriff=2. Mai 2009}}
* {{Literatur
|Autor=Volker Rodehorst
|Titel=Photogrammetrische 3D-Rekonstruktion
|Verlag=Wissenschaftlicher Verlag Berlin
|Ort=Berlin
|Datum=2004
|ISBN=3-936846-83-9
}}
* {{Internetquelle
|autor=Paul Withagen, Rein van den Boomgaard
|url=http://staff.science.uva.nl/~paulw/cv/CV3_calibration.pdf
|titel=Camera Calibration
|datum=2002
|archiv-url=https://web.archive.org/web/20070221074151/http://staff.science.uva.nl/~paulw/cv/CV3_calibration.pdf
|archiv-datum=2007-02-21
|zugriff=2. Mai 2009|format=PDF; 447 kB
}}

[[Kategorie:Matrix]]
[[Kategorie:Analytische Geometrie]]
[[Kategorie:Computer_Vision]]

Projektionsmatrix (Computer Vision) - Versionsgeschichte

2A02:8071:2282:183C:9022:C1A3:1560:1290: Math. Typografie: Lesbarkeit der zusammengesetzten Matrizen [ .. | .. ] verbessert; einen Bindestrich eingefügt.