Quelltext der Seite Scagnostics

'''Scagnostics''' (aus engl. ''Scatterplot diagnostics'') bezeichnet eine Reihe von Maßzahlen, die bestimmte Eigenschaften einer Punktwolke in einem [[Streudiagramm]] kennzeichnen, die in der Praxis häufiger auftreten. Der Begriff wurde von [[John W. Tukey]] und Paul A. Tukey geprägt und später von Wilkison, Anand und Großmann ausgearbeitet.<ref>{{Literatur |Autor=Leland Wilkinson, Anushka Anand, Robert Grossman |Titel=High-Dimensional Visual Analytics: Interactive Exploration Guided by Pairwise Views of Point Distributions |Sammelwerk=IEEE Transactions on Visualization and Computer Graphics |Band=12 |Nummer=6 |Datum=2006 |Seiten=1363-1372 |DOI=10.1109/TVCG.2006.94}}</ref><ref>{{Literatur |Autor=J. W. Tukey, P.A. Tukey |Hrsg=National Computer Graphics Association |Titel=Computer graphics and exploratory data analysis: An introduction |Sammelwerk=Proceedings of the Sixth Annual Conference and Exposition: Computer Graphics85 |Band=III |Ort=Fairfax, VA. |Datum=1985}}</ref><ref>{{Literatur |Autor=Leland Wilkinson, Anushka Anand, Robert Grossman |Titel=Graph-Theoretic Scagnostics |Sammelwerk=Proceedings of the 2005 IEEE Symposium on Information Visualization |Datum=2005 |Seiten=157-164 |Online=http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.62.6148&rep=rep1&type=pdf |Abruf=2012-10-06 |DOI=10.1109/INFOVIS.2005.14}}</ref> Folgende neun Maßzahlen werden betrachtet:

* Für die Ausreisser in den Daten:
** Ausreisseranteil (outlying)
* Für die Dichte der Datenpunkte:
** Schiefe (skewed)
** Klumpigkeit (clumpy)
** Spärlichkeit (sparse)
** Gestreiftheit (striated)
* Für die Form der Punktwolke:
** Konvexität (convex)
** Dünnheit (skinny)
** Faserigkeit (stringy)
* Für einen Zusammenhang in den Daten:
** Monotonie (monotonic)

== Tukeys Idee ==

[[Datei:Scatterplot.jpg|mini]]
Eine Möglichkeit einen multivariaten Datensatz mit <math>p</math> Variablen zu visualisieren ist eine [[Streudiagramm-Matrix]]; siehe das Beispiel rechts für fünf Variablen. Der Nachteil dieser Darstellung ist es, dass das Diagramm nur wenig Variablen enthalten darf sonst wird es unübersichtlich bzw. man kann kaum noch Datenstrukturen erkennen. Die Idee der Brüder Tukey war es, das Problem von <math>p(p-1)/2</math> Streudiagrammen auf eine kleinere Zahl von <math>k(k-1)/2</math> Streudiagrammen für die Maßzahlen zu reduzieren. Denn die <math>k</math> Koeffizienten der <math>p(p-1)/2</math> Streudiagramme können dann wieder in einer Streudiagramm-Matrix dargestellt werden und mit Linking Methoden können die Streudiagramme der Daten herausgegriffen werden, die ungewöhnlich Werte der Koeffizienten zeigen.

Die Tukey-Brüder haben verschiedene Koeffizienten benutzt, z.&nbsp;B. Maße beruhend auf einer „geschälten“ [[Konvexe Hülle|konvexen Hülle]] der Daten (Fläche, Durchmesser), auf geschlossenen Höhenlinien der geschätzten [[Dichtefunktion]] (Fläche, Durchmesser, Modalität, Konvexität), nicht-lineare [[principal curves]] usw. Damit wollten sie Besonderheiten der Punktwolken in Bezug auf der Dichte der Daten, Form, Richtung usw. aufdecken.

Ihre Maßzahlen wiesen jedoch ein paar Probleme auf:

* Einige der Maßzahlen hatten eine Berechnungskomplexität der Ordnung <math>\mathcal O(n^3)</math> (<math>n</math> Anzahl der Beobachtungen im Datensatz), der sie für Datensätze mit vielen Beobachtungen ungeeignet macht.
* Implizit wurde angenommen, dass für jedes Paar von Variablen eine bivariate stetige Dichtefunktion existierte. In der Praxis sind jedoch viele Variablen diskret (oder klassiert).

== Berechnung der Koeffizienten ==

[[Datei:Minimum spanning tree.svg|mini|Delaunay-Triangulation und minimaler Spannbaum eines Datensatzes.]]
Um diesen Problemen zu umgehen, haben Wilkinson, Anand und Grossman für die Berechnung der Maßzahlen [[Graphentheorie|graphentheoretische]] Ansätze gewählt:

* Eine [[Delaunay-Triangulation]] der Daten und einen darauf aufbauend minimalen [[Spannbaum]]; siehe Grafik rechts. In einem minimalen Spannbaum werden alle Datenpunkte mit ihren Nachbarn so verbunden, dass ein Graph mit minimaler Länge  entsteht, der alle Datenpunkte umfasst.
* Die konvexe Hülle der Datenpunkte, die sich als die äußeren Kanten in der Grafik rechts ergibt.
* Die <math>\alpha</math> Form der Datenpunkte. Sie ergibt sich als die Grenzen der Dreiecke der Delaunay-Triangulation, deren [[Umkreis]] einen Radius <math>\leq\alpha</math> hat. Im Gegensatz zur konvexen Hülle kann die <math>\alpha</math> Form auch zu Löchern führen. <math>\alpha</math> ist hierbei das 90-%-Quantil der Kantenlängen des minimalen Spannbaums.

Da Ausreisser in den Daten die Maßzahlen stark beeinflussen können, wurden diese zum einen auf robusten Methoden basiert (wie auch schon bei den Tukeybrüdern) und zum anderen wurden sie bei der Triangulation ausgeschlossen. Des Weiteren wurden die Maßzahlen so gewählt, dass die Berechnungkomplexität <math>\mathcal O(n\log(n))</math> nicht überschritt. Um die Berechnung weiter zu beschleunigen, wurde noch [[Binning (Statistik)|Binning]] angewandt, d.&nbsp;h. nahe beieinanderliegende Datenpunkte wurden zusammengefasst.

[[Datei:ScagnosticsBase.svg|zentriert|500px|Konvexe Hülle, <math>\alpha</math> Hülle und minimaler Spannbaum eines Datensatzes.]]

Alle Maßzahlen liegen im Intervall von Null bis Eins. Um dies zu erreichen, werden in einem ersten Schritt alle Variablen des Datensatzes auf das Intervall <math>[0;1]</math> reskaliert:

:<math>U_i = \frac{X_i-\min(X_i)}{\max(X_i)-\min(X_i)}</math>.

Mit den reskalierten Daten werden dann die folgenden Maßzahlen berechnet.

=== Ausreisseranteil ===

Man berechnet zunächst das 25-%-[[Empirisches Quantil|Quantil]] <math>q_{25}</math> und das 75-%-Quantil <math>q_{75}</math> der Kantenlängen im minimalen Spannbaum (MST). Kanten deren Länge größer als <math>q_{75}+1{,}5(q_{75}-q_{25})</math> werden als lange Kanten gekennzeichnet.

:<math>c_\text{outlying}=\frac{\text{Gesamtlänge der langen Kanten im MST}}{\text{Gesamtlänge aller Kanten im MST}}</math>

Dies ist ein Maß für den Anteil der langen Kanten an allen Kanten im MST und

{{Panorama|ScagnosticsOutlying.svg|1000}}

=== Schiefe ===

Man berechnet das 10-%-Quantil <math>q_{10}</math>, das 50-%-Quantil <math>q_{50}</math> und das 90-%-Quantil <math>q_{90}</math> der Kantenlängen im MST.

:<math>c_\text{skewed}=\frac{q_{90}-q_{50}}{q_{90}-q_{10}}</math>

Dies ist ein robustes Maß für die [[Schiefe (Statistik)|Schiefe]] der Verteilung der Kantenlängen im MST. Dies gibt eine Information über die [[relative Dichte]] der Datenpunkte.

{{Panorama|ScagnosticsSkewed.svg|1000}}

=== Klumpigkeit ===

Eine schiefe Verteilung der Kantenlängen im MST heißt nicht unbedingt, dass die Daten in Teilgruppen zerfallen. Daher wird dafür ein Maß der Klumpigkeit definiert: Wird jeweils eine Kante <math>e_j</math> aus dem MST entfernt, dann zerfällt der MST in zwei Teilgraphen. In dem kleineren der beiden Teilgraphen wird nun die längste Kante gesucht:

:<math>c_\text{clumpy} = \max_j \left(1-\frac{\max_{k \text{ im kleineren Teilgraph}} \text{Kantenlänge}(k)}{\text{Kantenlänge}(j)}\right)</math>

Die Maßzahl liegt nahe Eins, wenn z.&nbsp;B. eine (lange) Kante zwischen zwei Clustern entfernt wird. Innerhalb eines Cluster sind die Distanzen klein, so dass das Verhältnis nahe bei Null liegt und daher <math>c_\text{clumpy}</math> groß wird.

{{Panorama|ScagnosticsClumpy.svg|1000}}

=== Spärlichkeit ===

Die Spärlichkeit ist definiert als das 90-%-Quantil der Kantenlängen des MST:

:<math>c_\text{sparse}=\min(1,q_{90})</math>

{{Panorama|ScagnosticsSparse.svg|1000}}

=== Gestreiftheit ===

Hierbei werden alle Kanten der Delaunay-Triangulation betrachtet. Haben zwei benachbarte Kanten einen Winkel von mehr als 138,5 Grad (genauer: <math>\cos(\text{Winkel}) < -0{,}75</math>) dann werden sie als „gestreift“ bezeichnet.

:<math>c_\text{striated} = \frac{\text{Anzahl der gestreiften Kantenpaare}}{\text{Anzahl aller Kanten in der Delaunay-Triangulation}}</math>

{{Panorama|ScagnosticsStriated.svg|1000}}

=== Konvexität ===

Um die Konvexität der Daten zu beurteilen, wird die Fläche der <math>\alpha</math> Form mit der Fläche der konvexen Hülle verglichen:

:<math>c_\text{convex} = \frac{\text{Fläche der } \alpha \text{ Form}}{\text{Fläche der konvexen Hülle}}</math>

{{Panorama|ScagnosticsConvex.svg|1000}}

=== Dünnheit ===

Um zu prüfen, wie „dünn“ die Datenpunkte verteilt sind, wird die <math>\alpha</math> Form genutzt

:<math>c_\text{skinny}=1-\frac{\sqrt{4\pi\text{ Fläche der } \alpha \text{ Form}}}{\text{Umfang der } \alpha \text{ Form}}</math>

Dies ist ein normiertes Maß. Wenn die <math>\alpha</math> Form ein Kreis ist, dann ergibt sich <math>c_\text{skinny}</math> als Null.

{{Panorama|ScagnosticsSkinny.svg|1000}}

=== Faserigkeit ===

Die Faserigkeit prüft, ob der MST aus einem durchgehenden Pfad besteht, d.&nbsp;h. keine Abzweigungen besitzt. Dafür wird der ''Durchmesser'' des MST als die Länge des längsten durchgehenden Pfades bestimmt.

:<math>c_\text{stringy}=\frac{\text{Durchmesser des MST}}{\text{Gesamtlänge im MST}}</math>

Besitzt der MST keine Verzweigungen, dann ergibt sich ein Wert für <math>c_\text{stringy}</math> von Eins.

{{Panorama|ScagnosticsStringy.svg|1000}}

=== Monotonie ===

Um einen Trend in den Daten zu sehen, wird [[Spearmans Rangkorrelationskoeffizient]] genutzt:

:<math>c_\text{monotonic}=r_s^2</math>

{{Panorama|ScagnosticsMonotonic.svg|1000}}

== Beispiel ==

[[Datei:ScagnosticsExample.svg|mini]]
Die rechte Grafik zeigt bezirksweise den mittleren Hauspreis (medv) in Abhängigkeit vom Anteil der Unterschichtbevölkerung (lstat) der [[Portal:Statistik/Datensaetze#Boston Housing|Boston Housing Daten]]. Folgende Scagnostics Maßzahlen wurden berechnet und die Ergebnisse mit den Beispieldatensätzen von oben verglichen.

{| class="wikitable zebra"
| <math>c_\text{outlying}</math> || =0,1459
| Der Wert erreicht fast den maximale Wert der Beispieldatensätze. Dies weist auf einige Ausreißer in den Daten hin; tatsächlich gibt es große Abstände zwischen den Datenpunkten am rechten Rand.
|-
| <math>c_\text{skewed}</math> || =0,7755
| Auch hier wird fast der maximale Wert der Beispieldatensätze erreicht. Man sieht deutlich in den Daten eine zentrale Region in der die Datenpunkte dichter sind und außerhalb weniger dicht.
|-
| <math>c_\text{clumpy}</math> || =0,0322
| Dieser Wert ist relativ klein. Die Daten zerfallen auch nicht in einzelne Cluster.
|-
| <math>c_\text{sparse}</math> || =0,0353
| Der Wert liegt noch unterhalb des kleinsten Wertes der Beispieldatensätze. D.&nbsp;h. die Daten bedecken nur einen Teil der Gesamtfläche.
|-
| <math>c_\text{striated}</math> || =0,0463
| Der Wert liegt an der unteren Grenzen der Beispieldatensätze. Eine klare streifige Struktur ist daher nicht zu erkennen.
|-
| <math>c_\text{convex}</math> || =0,3501
| Der Wert liegt im Mittelfeld der Beispieldatensätze. Insbesondere bei nicht-linearen Zusammenhängen tritt dieser Wert in den Beispieldatensätzen auf.
|-
| <math>c_\text{skinny}</math> || =0,5833
| Auch dieser Wert liegt im Mittelfeld der Beispieldatensätze. Dies weist auf eine Struktur hin, die einen Zusammenhang vermuten lässt zwischen diesen Variablen.
|-
| <math>c_\text{stringy}</math> || =0,3557
| Dieser Wert liegt am unteren Rand der Beispieldatensätze. Eine glatte Struktur gibt es in den Daten nicht, d.&nbsp;h. der Datensatz enthält etwas Streuung.
|-
| <math>c_\text{monotonic}</math> || =0,7484
| Dieser Wert liegt am oberen Rand der Beispieldatensätze. Da es einen deutlichen Zusammenhang zwischen beiden Variablen ist das nicht überraschend.
|}

Zusammenfassend kann also gesagt werden: Dieses Streudiagramm enthält einen deutlichen nicht-linearen Zusammenhang mit vermutlich stärkerer Streuung. Die Daten zerfallen in eine zentralere dichte Region und eine weniger dichtere äußere Region, die einige [[Ausreißer]] enthält.

Die Boston Housing Daten bestehen aus 14 Variablen, daher ergeben sich 91 Streudiagramme, die man betrachten kann. In der folgenden Streudiagramm-Matrix sind die neun Maßzahlen für die 91 Streudiagramme dargestellt. Z.&nbsp;B. bei ''Sparse'' fällt ein extremer Wert auf. Dies ist das Streudiagramm der Variablen Charles-River Index mit zwei Merkmalsausprägungen (Bezirk grenzt an den Charles River oder nicht) und Index des Zugangs zu den radialen Autobahnen mit acht Merkmalsausprägungen. D.&nbsp;h. alle Beobachtungen im Streudiagramm dieser beiden Variablen müssen sich auf 16 Punkte konzentrieren!

[[Datei:ScagnosticsExampleSplom.svg|600px|zentriert]]

== Weblinks ==
* [[R (Programmiersprache)|R]] package [http://cran.r-project.org/web/packages/scagnostics/index.html scagnostics]

== Einzelnachweise ==
<references />

[[Kategorie:Deskriptive Statistik]]