imported>ChristophDemmer am 8. Oktober 2024 um 19:42 Uhr

2024-10-08T19:42:09Z

Neue Seite

{{lang|en|'''Neural Gas'''}} ist ein an [[selbstorganisierende Karte]]n angelehnter, [[Maschinelles Lernen|lernender]] [[Algorithmus]] zur [[Automatische Klassifizierung|Klassifizierung]] [[Merkmalsvektor|vektorieller]] Daten.

Er wurde 1991 von [[Thomas Martinetz]] und [[Klaus Schulten]] vorgestellt.<ref>Oliver Kramer: ''Dimensionality Reduction with Unsupervised Nearest Neighbors''. Springer, 2013, ISBN 978-3-642-38651-0, {{Google Buch|BuchID=pU4_AAAAQBAJ|Seite=38|Hervorhebung="neural gas has been introduced by Martinez"}}.</ref> Die Bezeichnung begründet sich auf der Dynamik der Merkmalsvektoren, deren Verteilung im Datenraum während des Lernprozesses an die Ausbreitung eines [[Gas]]es erinnert. Anwendung findet es überall dort, wo [[Datenkompression]] oder [[Vektorquantisierung]] durchgeführt werden müssen, also zum Beispiel in der [[Spracherkennung]], der [[Bildverarbeitung]] oder der [[Mustererkennung]]. Als robust konvergierende Alternative zum [[k-Means-Algorithmus]] wird es auch zur [[Clusteranalyse]] eingesetzt. Prominente Erweiterungen des Neural Gas sind das [[Growing Neural Gas]] und die {{lang|en|Topology Representing Networks}}.

== Arbeitsweise ==
Gegeben sei eine [[Häufigkeitsverteilung]] ''P(x)'' von [[Tupel (Informatik)|Datenvektoren]] ''x'' sowie eine endliche Zahl von [[Merkmalsvektor]]en ''wi, i=1,...,N''.

Mit jedem Zeitschritt ''t'' wird ein zufällig aus ''P'' gewählter Datenvektor präsentiert. Danach wird zunächst die Entfernungsrangfolge der Merkmalsvektoren zum gegebenen Datenvektor ''x'' bestimmt. ''i0'' bezeichnet den Index des nächstliegenden Merkmalsvektors, ''i1'' den Index des zweitnächsten usw. und ''iN-1'' den Index des zu ''x'' entferntesten Merkmalsvektors. Dann wird jeder Merkmalsvektor adaptiert. Der Adaptionsschritt lautet für ''k=0,...,N-1''

:<math> w_{i_k}^{t+1} = w_{i_k}^{t} + \epsilon(t)\cdot e^{-k/\lambda(t)}\cdot (x-w_{i_k}^{t}) </math>

mit ε als Adaptionsschrittweite und λ als sogenannte Nachbarschaftsreichweite. ε und λ nehmen dabei mit der Zahl ''t'' der Adaptionsschritte ab. Nach ausreichend vielen Adaptionsschritten decken die Merkmalsvektoren den Datenraum gleichmäßig ab.

== Kommentare ==
* Der Adaptionsschritt des Neural Gas kann als [[Gradientenabstieg]] auf einer [[Optimierung (Mathematik)#Begriffe: Zielfunktion, Nebenbedingungen, zulässige Menge, lokale und globale Optimierung|Kostenfunktion]] interpretiert werden.
* Durch Adaption nicht nur des nächstliegenden Merkmalsvektors, sondern in abnehmendem Maße auch der im Entfernungsrang folgenden Merkmalsvektoren wird im Vergleich zum [[K-Means-Algorithmus]] eine robuste und von der Initialisierung weitgehend unabhängige [[Grenzwert (Folge)|Konvergenz]] erzielt.
* Als Lernrate hat sich bewährt:
:<math> \epsilon(t) = \epsilon_\text{start} \cdot \left( \frac{\epsilon_\text{end}} {\epsilon_\text{start}} \right) ^ {\frac{t}{t_{\text{max}}}} </math>
mit εstart = 1 als Startlernrate und εend = 0,001 als Lernrate zum Ende des Verfahrens, d. h. nach tmax Stimuluspräsentationen.
* Als Nachbarschaftreichweite hat sich bewährt:
:<math> \lambda(t) = \lambda_\text{start} \cdot \left( \frac{\lambda_\text{end}} {\lambda_\text{start}} \right) ^ {\frac{t}{t_{\text{max}}}} </math>
mit λstart = N/2 als Reichweite zu Beginn und λend = 0,01 als Reichweite zum Ende des Verfahrens.

== Literatur ==
* T. M. Martinetz, K. J. Schulten: ''A „neural-gas“ network learns topologies''. Konferenzbeitrag zur ICANN-91, Espoo, Finnland, S. 397–402 in K. Mäkisara et al. (Hrsg.): ''Artificial Neural Networks'', North-Holland, Amsterdam, 1991, ISBN 9780444891785.
* T. Martinetz, S. Berkovich, K. Schulten: ''„Neural-gas“ Network for Vector Quantization and its Application to Time-Series Prediction''. IEEE-Transactions on Neural Networks 4, 1993, S. 558–569.
* T. Martinetz, K. Schulten: ''Topology representing networks''. Neural Networks 7, 1994, S. 507–522.

== Einzelnachweise ==
<references />

== Weblinks ==
* [http://www.e-nuts.net/en/growing-neural-gas Growing Neural Gas videos.]
* [http://www.demogng.de/ DemoGNG Java-Applet (mit Quelltext)] Neural Gas, Growing Neural Gas und andere Verfahren des kompetitiven Lernens.
* [http://flobeck.github.io/neuralgasclock Neural Gas Clock] Demo
* [http://homepages.feis.herts.ac.uk/~nngroup/software.php Java Competitive Learning Applications] Unsupervised Neural Networks (including Self-organizing map) in Java mit Quelltexten.

[[Kategorie:Neuroinformatik]]
[[Kategorie:Maschinelles Lernen]]

Neural Gas - Versionsgeschichte

imported>ChristophDemmer am 8. Oktober 2024 um 19:42 Uhr