Quelltext der Seite Künstliches neuronales Netz

[[Datei:Colored neural network de.svg|mini|Ein künstliches neuronales Netz besteht aus mehreren [[künstliches Neuron|künstlichen Neuronen]], die miteinander verbunden sind und in der Regel in Schichten organisiert werden. Im Bild zeigt jeder Kreis ein künstliches Neuron und jeder Pfeil eine Verbindung zwischen zwei künstlichen Neuronen.]]
'''Künstliche neuronale Netze''', auch '''künstliche neuronale Netzwerke''', kurz: ''KNN'' (englisch ''artificial neural network'', ANN), sind [[neuronales Netz|Netze]] aus [[Künstliches Neuron|künstlichen Neuronen]], deren Aufbau von den Netzwerken biologischer [[Neuron]]en in [[Gehirn]]en inspiriert wurde. Die künstlichen Neuronen in einem KNN sind miteinander verbunden und in der Regel in Schichten organisiert.

KNN werden beim [[Maschinelles Lernen|maschinellen Lernen]] eingesetzt. Damit können spezielle Probleme mittels [[Computer]]n gelöst werden, die zu kompliziert sind, um sie mit [[Ableitung (Logik)|Regeln]] zu beschreiben, zu denen es aber viele [[Daten]] gibt, die als Beispiele für die gewünschte Lösung dienen können.

KNN bilden die Basis für [[Deep Learning]], das ab etwa 2006 erhebliche Fortschritte bei der Analyse von großen [[Datenmenge]]n erlaubte. Erfolgreiche Anwendungen des Deep Learning sind beispielsweise [[Bilderkennung]] und [[Spracherkennung]].<ref name="fraunhofer" details="11">{{cite web|last=Döbel u.&nbsp;a.|first=Inga|title=Maschinelles Lernen - Eine Analyse zu Kompetenzen, Forschung und Anwendung|date=2018-09|url=https://www.bigdata-ai.fraunhofer.de/de/publikationen/ml-studie.html|publisher=Fraunhofer-Gesellschaft|language=de|access-date=2024-04-25}}</ref>

KNNs sind Forschungsgegenstand sowohl des Maschinellen Lernens/Deep Learnings, das ein Teilbereich der [[Künstliche Intelligenz|künstlichen Intelligenz]] (KI) ist, als auch der interdisziplinären [[Neuroinformatik]]. Das Nachbilden eines aus von [[Nervenzelle|Neuronen]] aufgebauten biologischen [[Neuronales Netz|neuronalen Netzes]] ist eher Gegenstand der [[Computational Neuroscience]].

== Überblick ==
KNN werden beim [[Maschinelles Lernen|maschinellen Lernen]] eingesetzt. Damit können [[Computer]] Probleme lösen, die zu kompliziert sind, um sie mit Regeln zu beschreiben, zu denen es aber viele [[Daten]] gibt, die als Beispiele für die gewünschte Lösung dienen können. Ein [[Algorithmus]] passt das zunächst unwissende Netz so an die Beispieldaten an, dass es von ihnen auf neue Fälle verallgemeinern kann. Dieser Vorgang wird Training genannt. Das trainierte Netz kann für neue Daten Vorhersagen treffen oder Empfehlungen und Entscheidungen erzeugen.<ref name="fraunhofer" details="8"/>

KNN wurden von den Netzwerken inspiriert, die biologische [[Neuron]]en in [[Gehirn]]en bilden. Biologische Neuronen sind miteinander vernetzt und in Schichten organisiert. Sie können mehrere Eingangssignale aufsummieren und geben nur dann ein Signal an andere Neuronen weiter, wenn die Summe der Eingangssignale einen Schwellenwert erreicht.<ref name="lenzen" details="37">{{Literatur |Autor=Manuela Lenzen |Titel=Künstliche Intelligenz |Auflage=1 |Verlag=C. H. Beck |Ort=München |Datum=2020 |ISBN=978-3-406-75124-0}}</ref>

Ein KNN wird von [[künstliches Neuron|künstlichen Neuronen]] gebildet. Künstliche Neuronen bilden ausgewählte Eigenschaften von biologischen Neuronen mit mathematischen Mitteln nach. Ein künstliches Neuron kann mehrere Eingangssignale aufsummieren. Jedes Eingangssignal wird gewichtet und kann dadurch die Summe der Eingangssignale unterschiedlich stark erhöhen oder reduzieren. Die [[Künstliches Neuron#Aktivierungsfunktionen|Aktivierungsfunktion]] eines künstlichen Neurons sorgt dafür, dass es nur dann ein Ausgangssignal ausgibt, wenn die Summe aller Eingangssignale einen Schwellenwert überschreitet. Wenn die Summe aller Eingangssignale unter dem Schwellenwert liegt, gibt das künstliche Neuron kein Ausgangssignal aus.<ref name="hardesty">{{cite web|last=Hardesty|first=Larry|title=Explained: Neural networks|date=2017-04-14|url=https://news.mit.edu/2017/explained-neural-networks-deep-learning-0414|publisher=MIT News Office|language=en|access-date=2024-02-20}}</ref><ref name="lenzen" details="37"/>

In der Regel besteht ein KNN aus mehreren Schichten von künstlichen Neuronen. Die Signale wandern von der ersten Schicht (der Eingabeschicht) zur letzten Schicht (der Ausgabeschicht) und durchlaufen dabei möglicherweise mehrere Zwischenschichten (versteckte Schichten). Jede Schicht kann die Signale an ihren Eingängen unterschiedlich transformieren. Ein Netz mit vielen verborgenen Schichten kann eine komplizierte Aufgabe in mehrere einfachere Aufgaben zerlegen, die jeweils in verschiedenen Schichten des Modells ausgeführt werden.<ref name="hardesty"/> Ein solches KNN wird auch als tiefes neuronales Netz bezeichnet. Darauf bezieht sich der Begriff „Deep Learning“.<ref name="geron">{{Literatur |Autor=Aurélien Géron |Titel=Praxiseinstieg Machine Learning |Auflage=3 |Verlag=dpunkt Verlag |Ort=Heidelberg |Datum=2023 |ISBN=978-3-96009-212-4 |Seiten=343}}</ref>

Zu Beginn des [[Überwachtes Lernen|Trainings]] stehen alle Schwellenwerte und Gewichte auf Zufallswerten. Während des Trainings passt ein Algorithmus schrittweise Schwellenwerte und Gewichte an die Daten an, mit denen das Netz trainiert wird, siehe auch [[#Optimierung|Optimierung]]. Die resultierenden Gewichte werden als [[Parameter (Künstliche Intelligenz)|Parameter des KI-Modells]] bezeichnet. Das Training wird beendet, wenn das Netz für alle Beispiele aus den Trainingsdaten eine möglichst korrekte Ausgabe erzeugt.<ref name="hardesty"/>

Das Erstellen eines geeigneten Trainingsdatensatzes kann sehr schwierig sein, da man verhindern muss, dass die Daten Muster aufweisen, die das Netz nicht zur Entscheidung heranziehen soll. Das Forschungsgebiet [[Explainable Artificial Intelligence]] arbeitet an Verfahren, die erklären können, wie ein trainiertes KNN zu einer Entscheidung kommt. Beispielsweise wurde untersucht, welchen Teil eines Bildes ein KNN betrachtet, um ein Bild zu klassifizieren. Dabei entdeckten die Forscher z.&nbsp;B. ein KNN, das Eisenbahnzüge erkennen sollte und dazu nur auf Schienen achtete.<ref name="lenzen" details="54"/>

== Beschreibung ==
Künstliche neuronale Netze basieren meist auf der Vernetzung vieler [[McCulloch-Pitts-Zelle|McCulloch-Pitts-Neuronen]] oder leichter Abwandlungen davon. Die [[Topologie (Künstliche neuronale Netze)|Topologie]] eines Netzes (die Zuordnung von Verbindungen zu Knoten) muss im Hinblick auf seine Aufgabe gut durchdacht sein. Nach der Konstruktion eines Netzes folgt die Trainingsphase, in der das Netz „lernt“. Theoretisch kann ein Netz durch folgende Methoden lernen:
* Entwicklung neuer Verbindungen
* Löschen existierender Verbindungen
* Ändern der Gewichtung (der Gewichte der Verbindung <math>w_{ij}</math> von Neuron <math>j</math> zu Neuron <math>i</math>)
* Anpassen der [[Schwellenwert (Elektronik)|Schwellenwerte]] der Neuronen, sofern diese Schwellenwerte besitzen
* Hinzufügen oder Löschen von Neuronen
* Modifikation von Aktivierungs-, Propagierungs- oder Ausgabefunktion

Außerdem verändert sich das Lernverhalten bei Veränderung der [[Aktivierungsfunktion]] der Neuronen oder der Lernrate des Netzes. Praktisch gesehen „lernt“ ein Netz hauptsächlich durch Modifikation der Gewichte der Verbindungen zwischen den Neuronen. Eine Anpassung des Schwellenwertes kann hierbei durch ein [[Künstliches Neuron#Einlernen eines Neurons|on-Neuron]] miterledigt werden. Dadurch sind KNNs in der Lage, komplizierte [[nichtlinear]]e [[Funktion (Mathematik)|Funktionen]] über einen „Lern“-[[Algorithmus]], der durch [[Iteration|iterative]] oder [[rekursiv]]e Vorgehensweise aus vorhandenen Ein- und gewünschten Ausgangswerten alle [[Parameter (Mathematik)|Parameter]] der Funktion zu bestimmen versucht, zu erlernen. KNNs sind dabei eine Realisierung des [[Konnektionismus|konnektionistischen]] [[Paradigma]]s, da die Funktion aus vielen einfachen gleichartigen Teilen besteht. Erst in ihrer Summe kann deren Verhalten im Zusammenspiel sehr vieler beteiligter Teile komplex werden. Ein neuronales Netz, das deterministisch beschrieben wird und Rückkopplungen erlaubt, stellt unter dem Gesichtspunkt der [[Berechenbarkeit]] ein äquivalentes Modell zur [[Turingmaschine]] dar.<ref>{{Webarchiv|url=http://www.math.rutgers.edu/~sontag/FTP_DIR/aml-turing.ps.gz |wayback=20130502114900 |text=aml-turing.ps.gz}} (PostScript-Datei)</ref> D.h. zu jedem Netz gibt es mindestens eine Turingmaschine und zu jeder Turingmaschine gibt es mindestens ein Netz mit Rückkopplung. Bei einer stochastischen Beschreibung ist dies nicht der Fall. Rekurrente Netze sind damit die ausdrucksstärkste Form (Typ 0 in der [[Chomsky-Hierarchie]]).

== Geschichtliche Entwicklung ==
Das Interesse für künstliche neuronale Netze setzte bereits in den frühen [[1940er]] Jahren ein, also etwa gleichzeitig mit dem Einsatz programmierbarer [[Computer]] in angewandter Mathematik.<ref>{{Internetquelle |url=http://www.dkriesel.com/science/neural_networks |titel=Ein kleiner Überblick über Neuronale Netze |datum=2017-09-05 |sprache=de |abruf=2024-10-08}}</ref>

=== Anfänge ===
Die Anfänge gehen auf [[Warren McCulloch]] und [[Walter Pitts]] zurück. Sie beschrieben 1943 Verknüpfungen von elementaren Einheiten zu einem Netz ähnlich dem der Neuronen im Gehirn, mit dem sich praktisch jede logische oder arithmetische Funktion berechnen lassen könnte.<ref>{{Literatur |Autor=Warren S. McCulloch und Walter Pitts |Titel=A logical calculus of the ideas immanent in nervous activity |Hrsg=Bulletin of Mathematical Biophysics |Sammelwerk= |Band= |Nummer= |Auflage=Vol. 5 |Verlag=Kluwer Academic Publishers |Ort= |Datum=1943 |Seiten=115-133 |ISBN= |DOI=10.1007/BF02478259}}</ref> 1947 wiesen sie darauf hin, dass ein solches Netz beispielsweise zur räumlichen Mustererkennung eingesetzt werden kann. 1949 formulierte [[Donald O. Hebb]] seine [[Hebbsche Lernregel]], die in ihrer allgemeinen Form die meisten der künstlichen neuronalen Lernverfahren wiedergibt. [[Karl Lashley]] fand 1950, dass der Prozess der Informationsspeicherung im Gehirn verteilt auf verschiedene Untereinheiten realisiert wird.<ref name="chemgapedia">Beleg existiert nicht mehr {{Internetquelle|url=http://www.chemgapedia.de/vsengine/vlu/vsc/de/ch/13/vlu/daten/neuronalenetze/einfuehrung.vlu/Page/vsc/de/ch/13/anc/daten/neuronalenetze/snn1_6.vscml.html|titel=Neuronale Netze - Einführung|zugriff=2015-09-05|sprache=en}}</ref>

=== Erste Blütezeit ===
Im anschließenden Jahr, 1951, gelingt [[Marvin Minsky]] mit seiner Dissertationsarbeit der Bau des Neurocomputers ''Snarc'', der seine Gewichte automatisch justieren kann, jedoch nicht praktisch einsetzbar ist.<ref name="chemgapedia" /> 1956 treffen sich Wissenschaftler und Studenten auf der [[Dartmouth Conference]]. Diese Konferenz gilt als Geburtsstunde der Künstlichen Intelligenz als akademisches Fachgebiet.<ref>Erhard Konrad: [https://www.user.tu-berlin.de/erhard.k/geki.pdf ''Zur Geschichte der Künstlichen Intelligenz in der Bundesrepublik Deutschland''] (PDF; 86&nbsp;kB), abgerufen am 23. Mai 2019.</ref> Von 1957 bis 1958 entwickeln [[Frank Rosenblatt]] und [[Charles Wightman]] den ersten erfolgreichen Neurocomputer, mit dem Namen ''[[Mark I Perceptron]]''. Der Computer konnte mit seinem 20 × 20 Pixel großen Bildsensor bereits einfache Ziffern erkennen. Im nachfolgenden Jahr formuliert Rosenblatt das [[Perceptron-Konvergenz-Theorem]]. 1960 stellen [[Bernard Widrow]] und [[Marcian E. Hoff]] das ''[[ADALINE]]'' (''ADAptive LInear NEuron'') vor.<ref>Bernhard Widrow, [[Marcian Hoff]]: ''Adaptive switching circuits.'' In: ''Proceedings WESCON.'' 1960, {{ZDB|267416-6}}, S. 96–104.</ref> Dieses Netz erreichte als erstes weite kommerzielle Verbreitung. Anwendung fand es in Analogtelefonen zur Echtzeit-Echofilterung. Das neuronale Netz lernte mit der [[Deltaregel]]. 1961 stellte [[Karl Steinbuch]] Techniken der assoziativen Speicherung vor. 1969 gaben Marvin Minsky und [[Seymour Papert]] eine genaue mathematische Analyse des [[Perceptron]]s.<ref>[[Marvin Minsky]], [[Seymour Papert]]: ''Perceptrons. An Introduction to Computational Geometry.'' MIT Press, Cambridge MA u. a. 1969.</ref> Sie zeigten auf, dass wichtige Probleme nicht gelöst werden können. So sind unter anderem [[Kontravalenz|XOR-Operatoren]] nicht auflösbar und es gibt Probleme in der [[Lineare Separierbarkeit|linearen Separierbarkeit]]. Die Folge war ein vorläufiges Ende der Forschungen auf dem Gebiet der neuronalen Netze, da die meisten Forschungsgelder gestrichen wurden.

=== Langsamer Wiederaufbau ===
1972 präsentiert [[Teuvo Kohonen]] den [[linearer Assoziator|linearen Assoziator]], ein Modell des Assoziativspeichers.<ref>Teuvo Kohonen: ''Correlation matrix memories.'' In: ''IEEE transactions on computers.'' C-21, 1972, {{ISSN|0018-9340}}, S. 353–359.</ref> [[James A. Anderson]] beschreibt das Modell unabhängig von Kohonen aus neuropsychologischer Sicht im selben Jahr.<ref>James A. Anderson: ''A simple neural network generating an interactive memory.'' In: ''Mathematical Biosciences.'' 14, 1972, {{ISSN|0025-5564}}, S. 197–220.</ref> 1973 benutzt [[Christoph von der Malsburg]] ein [[Neuronenmodell]], das nichtlinear ist. Bereits 1974 entwickelt [[Paul Werbos]] für seine Dissertation die [[Backpropagation]] bzw. die Fehlerrückführung. Das Modell bekam aber erst später eine größere Bedeutung. Ab 1976 entwickelt [[Stephen Grossberg]] mathematisch fundierte Modelle neuronaler Netze. Zusammen mit [[Gail Carpenter]] widmet er sich auch dem Problem, ein neuronales Netz lernfähig zu halten, ohne bereits Gelerntes zu zerstören. Sie formulieren ein Architekturkonzept für neuronale Netze, die [[Adaptive Resonanztheorie]]. 1982 beschreibt Teuvo Kohonen die nach ihm benannten [[Selbstorganisierende Karte|selbstorganisierenden Karten]]. Im selben Jahr beschreibt [[John Hopfield]] das Modell der [[Hopfield-Netz]]e. 1983 wird von [[Kunihiko Fukushima]], S. Miyake und T. Ito das neuronale Modell [[Neocognitron]] vorgestellt. Das Modell war eine Weiterentwicklung des 1975 entwickelten [[Cognitron]]s und diente zur Erkennung handgeschriebener Zeichen.

=== Renaissance ===
1985 veröffentlicht [[John Hopfield]] eine Lösung des [[Travelling Salesman Problem]]s durch ein [[Hopfield-Netz]]. 1985 wird das Lernverfahren ''Backpropagation of Error'' als Verallgemeinerung der [[Delta-Regel]] durch die [[Parallel Distributed Processing|Parallel-Distributed-Processing]]-Gruppe separat entwickelt. Somit werden nicht [[Lineare Separierbarkeit|linear separierbare Probleme]] durch mehrschichtige Perceptrons lösbar. Marvin Minskys Auffassung war also widerlegt.

=== Neue Erfolge in Mustererkennungswettbewerben seit 2009 ===
In jüngster Zeit erlebten neuronale Netze eine Wiedergeburt, da sie bei herausfordernden Anwendungen oft bessere Ergebnisse als konkurrierende Lernverfahren liefern. Zwischen 2009 und 2012 gewannen die [[rekurrentes neuronales Netz|rekurrenten]] bzw. tiefen vorwärtsgerichteten neuronalen Netze der Forschungsgruppe von [[Jürgen Schmidhuber]] am [[IDSIA|Schweizer KI Labor IDSIA]] eine Serie von acht internationalen Wettbewerben in den Bereichen [[Mustererkennung]] und [[maschinelles Lernen]].<ref>{{Webarchiv|url=http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions |wayback=20180831075249 |text=2012 Kurzweil AI Interview}} mit [[Jürgen Schmidhuber]] zu den acht Wettbewerben, die sein [[Deep Learning]] Team zwischen 2009 und 2012 gewann</ref> Insbesondere gewannen ihre rekurrenten [[Long short-term memory|LSTM-Netze]]<ref> Alex Graves, Jürgen Schmidhuber: ''Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks.'' In: Yoshua Bengio, Dale Schuurmans, John Lafferty, Chris K. I. Williams, Aron Culotta (Hrsg.): ''Advances in Neural Information Processing Systems 22 (NIPS'22), December 7th–10th, 2009, Vancouver, BC.'' Neural Information Processing Systems (NIPS) Foundation, 2009, S. 545–552</ref><ref>A. Graves, M. Liwicki, S. Fernandez, R. Bertolami, H. Bunke, J. Schmidhuber: ''A Novel Connectionist System for Improved Unconstrained Handwriting Recognition.'' IEEE Transactions on Pattern Analysis and Machine Intelligence, Band 31, Nr. 5, 2009.</ref> drei Wettbewerbe zur verbundenen Handschrifterkennung bei der ''Intl. Conf. on Document Analysis and Recognition (ICDAR)'' 2009 – obwohl kein A-priori-Wissen über die drei verschiedenen zu lernenden Sprachen in die Programmierung der Modelle einbezogen wurde. Die LSTM-Netze erlernten gleichzeitige [[Segmentierung (Bildverarbeitung)|Segmentierung]] und [[Objekterkennung|Erkennung]]. Dies waren die ersten internationalen Wettbewerbe, die durch ''[[Deep Learning]]''<ref>Y. Bengio: {{Webarchiv|url=http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf |wayback=20140321040828 |text=''Learning Deep Architectures for AI.''}} Now Publishers, 2009.</ref><ref name="timeline">[[Jürgen Schmidhuber]]: [http://www.idsia.ch/~juergen/firstdeeplearner.html ''My First Deep Learning System of 1991 + Deep Learning Timeline 1962–2013.''] </ref> oder durch rekurrente Netze gewonnen wurden.

Tiefe vorwärtsgerichtete Netze wie Kunihiko Fukushimas [[Convolutional Neural Network|Konvolutionsnetz]] der 80er Jahre<ref name="K. Fukushima. Neocognitron 1980">{{Literatur|Autor=K. Fukushima|Datum=1980|Titel=Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position|Sammelwerk=Biological Cybernetics|Band=36|Nummer=4|Seiten=93–202|DOI=10.1007/BF00344251}} <!-- K. Fukushima: ''Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position.'' In: ''Biological Cybernetics.'' Band 36, 1980. S. 93–202.--></ref> haben wieder an Bedeutung gewonnen. Sie verfügen über alternierende [[Konvolution]]slagen (''convolutional layers'') und Lagen von Neuronen, die mehrere Aktivierungen zusammenfassen (''pooling layers''<ref>{{Literatur |Autor=Dominik Scherer, Andreas Müller, Sven Behnke |Titel=Evaluation of Pooling Operations in Convolutional Architectures for Object Recognition |Sammelwerk=Artificial Neural Networks – ICANN 2010 |Verlag=Springer Berlin Heidelberg |Datum=2010 |Reihe=Lecture Notes in Computer Science |ISBN=9783642158254 |DOI=10.1007/978-3-642-15825-4_10 |Seiten=92–101 |Online=https://link.springer.com/chapter/10.1007%2F978-3-642-15825-4_10 |Abruf=2019-08-26}}</ref>), um die räumliche [[Dimension (Mathematik)|Dimension]] zu reduzieren. Abgeschlossen wird ein solches Konvolutionsnetz in der Regel durch mehrere ''vollständig verbundene Schichten'' ({{enS|''fully connected layers''}}). [[Yann LeCun]]s Team von der [[New York University]] wandte den 1989 schon gut bekannten [[Backpropagation]]-Algorithmus auf solche Netze an.<ref name="LeCun1989">Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel: [http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf ''Backpropagation Applied to Handwritten Zip Code Recognition.''] In: ''Neural Computation.'' Band 1, 1989. S. 541–551.</ref> Moderne Varianten verwenden sogenanntes ''max-pooling'' für die Zusammenfassung der Aktivierungen, das stets der stärksten Aktivierung den Vorzug gibt.<ref name="M Riesenhuber, 1999">M. Riesenhuber, T. Poggio: [http://riesenhuberlab.neuro.georgetown.edu/docs/publications/nn99.pdf ''Hierarchical models of object recognition in cortex.''] In: ''Nature Neuroscience.'' 1999. </ref> Schnelle [[Grafikprozessor|Grafikprozessor (GPU)]]-Implementierungen dieser Kombination wurden 2011 durch Dan Ciresan und Kollegen in Schmidhubers Gruppe eingeführt.<ref name="ciresan2011">D. C. Ciresan, U. Meier, J. Masci, L. M. Gambardella, J. Schmidhuber: [http://www.idsia.ch/~juergen/ijcai2011.pdf ''Flexible, High Performance Convolutional Neural Networks for Image Classification.''] International Joint Conference on Artificial Intelligence (IJCAI-2011, Barcelona), 2011.</ref> Sie gewannen seither zahlreiche Wettbewerbe, u.&nbsp;a. die „ISBI 2012 Segmentation of Neuronal Structures in Electron Microscopy Stacks Challenge“<ref name="D. Ciresan, A. Giusti 2012">D. Ciresan, A. Giusti, L. Gambardella, J. Schmidhuber: [http://www.idsia.ch/~juergen/nips2012.pdf ''Deep Neural Networks Segment Neuronal Membranes in Electron Microscopy Images.''] In: ''Advances in Neural Information Processing Systems'' (NIPS 2012), Lake Tahoe, 2012. </ref> und den „ICPR 2012 Contest on Mitosis Detection in Breast Cancer Histological Images“.<ref name="D. Ciresan, A. Giusti 2013">D. Ciresan, A. Giusti, L. Gambardella, J. Schmidhuber: [http://www.idsia.ch/~juergen/miccai2013.pdf ''Mitosis Detection in Breast Cancer Histology Images using Deep Neural Networks.''] MICCAI 2013.</ref> [[AlexNet]], ein ähnliches Modell, erzielte auch die zu diesem Zeitpunkt besten Ergebnisse auf dem [[ImageNet]] Benchmark.<ref name="Krizhevsky2012">A. Krizhevsky, I. Sutskever, G. E. Hinton: [http://www.cs.toronto.edu/~hinton/absps/imagenet.pdf ''ImageNet Classification with Deep Convolutional Neural Networks.''] NIPS 25, MIT Press, 2012.</ref><ref name="Zeiler2013">M. D. Zeiler, R. Fergus: ''Visualizing and Understanding Convolutional Networks.'' 2013. {{arXiv|1311.2901}}</ref> GPU-basierte ''max-pooling''-Konvolutionsnetze waren auch die ersten künstlichen Mustererkenner mit übermenschlicher Performanz<ref name="C. Ciresan, U. Meier 2012">D. C. Ciresan, U. Meier, [[Jürgen Schmidhuber|J. Schmidhuber]]: [http://www.idsia.ch/~juergen/cvpr2012.pdf ''Multi-column Deep Neural Networks for Image Classification.''] IEEE Conf. on Computer Vision and Pattern Recognition CVPR 2012.</ref> in Wettbewerben wie der „IJCNN 2011 Traffic Sign Recognition Competition“.<ref>D. C. Ciresan, U. Meier, J. Masci, J. Schmidhuber: [http://www.idsia.ch/~juergen/nn2012traffic.pdf ''Multi-Column Deep Neural Network for Traffic Sign Classification.''] Neural Networks, 2012. </ref> In den letzten Jahren fand auch die Theorie der [[Zufallsmatrix|Zufallsmatrizen]] vermehrt Anwendung in der Erforschung von neuronalen Netzen.<ref>{{Literatur | Autor=J. Pennington und Y. Bahri | Titel=Geometry of Neural Network Loss Surfaces via Random Matrix Theory | Sammelwerk=ICML| Jahr= 2017| Online = https://www.semanticscholar.org/paper/Geometry-of-Neural-Network-Loss-Surfaces-via-Random-Pennington-Bahri/a1fdb0f3b3cd2d9b01dd829295d7d9113c782d15}}</ref> Neuronale [[linearer Operator|Operatoren]] sind Verallgemeinerungen von künstlichen neuronalen Netzwerken auf unendlichdimensionale [[Funktionenraum|Funktionenräume]]. Die primäre Anwendung von neuronalen Operatoren liegt darin Lösungsoperatoren von [[partielle Differentialgleichung|partiellen Differentialgleichungen]] zu erlernen.<ref>{{Literatur|Titel=Neural Operator: Learning Maps Between Function Spaces|Autor=Nikola Kovachki, Zongyi Li, Burigede Liu, Kamyar Azizzadenesheli, Kaushik Bhattacharya, Andrew Stuart, Anima Anandkumar |Datum=2023 |Sammelwerk=Journal of Machine Learning Research |Band=24 |Seiten=1-97}}</ref>

== {{Anker|Topologie}} Topologie der Verbindungsnetze ==
[[Datei:SingleLayerNeuralNetwork deutsch.png|mini|Einschichtiges Netz]]
[[Datei:Multi-Layer Neural Network-Vector.svg|lang=de|mini|Zweischichtiges Netz]]
[[Datei:RecurrentLayerNeuralNetwork deutsch.png|mini|Rekurrentes Netz]]

In künstlichen neuronalen Netzen bezeichnet die Topologie die Struktur des Netzes. Damit ist im Allgemeinen gemeint, wie viele [[Künstliches Neuron|künstliche Neuronen]] sich auf wie vielen Schichten befinden, und wie diese miteinander verbunden sind. Künstliche Neuronen können auf vielfältige Weise zu einem künstlichen neuronalen Netz verbunden werden. Dabei werden Neuronen bei vielen Modellen in hintereinander liegenden Schichten ({{enS|layers}}) angeordnet; bei einem Netz mit nur einer trainierbaren Neuronenschicht spricht man von einem ''einschichtigen Netz''.

Unter Verwendung eines [[Graph (Graphentheorie)|Graphen]] können die Neuronen als [[Knoten (Graphentheorie)|Knoten]] und ihre Verbindungen als [[Kante (Graphentheorie)|Kanten]] dargestellt werden. Die Eingaben werden gelegentlich auch als Knoten dargestellt, was hilft, den Informationsfluss durch das Netzwerk zu visualisieren.

Die hinterste Schicht des Netzes, deren Neuronenausgaben meist als einzige außerhalb des Netzes sichtbar sind, wird ''Ausgabeschicht'' (englisch ''output layer'') genannt. Davorliegende Schichten werden entsprechend als ''versteckte Schicht'' (englisch ''hidden layer'') bezeichnet.

=== Typische Strukturen ===
Die Struktur eines Netzes hängt unmittelbar mit dem verwendeten Lernverfahren zusammen und umgekehrt; so kann mit der [[Delta-Regel]] nur ein einschichtiges Netz trainiert werden, bei mehreren Schichten ist eine leichte Abwandlung vonnöten. Dabei müssen Netze nicht zwingend homogen sein: es existieren auch Kombinationen aus verschiedenen Modellen, um so unterschiedliche Vorteile zu kombinieren.

Es gibt reine ''feedforward''-Netze, bei denen eine Schicht immer nur mit der nächsthöheren Schicht verbunden ist. Darüber hinaus gibt es Netze, in denen Verbindungen in beiden Richtungen erlaubt sind. Die passende Netzstruktur wird meist nach der Methode von [[Versuch und Irrtum]] gefunden, was durch [[evolutionärer Algorithmus|evolutionäre Algorithmen]] und eine [[Backpropagation|Fehlerrückführung]] unterstützt werden kann.

==== Einschichtiges feedforward-Netz ====
Einschichtige Netze mit der ''feedforward''-Eigenschaft (englisch für ''vorwärts'') sind die einfachsten Strukturen künstlicher neuronaler Netze. Sie besitzen lediglich eine Ausgabeschicht. Die ''feedforward''-Eigenschaft besagt, dass Neuronenausgaben nur in Verarbeitungsrichtung geleitet werden und nicht durch eine rekurrente Kante zurückgeführt werden können ([[Zyklus (Graphentheorie)|azyklischer]], [[gerichteter Graph]]).
==== Mehrschichtiges feedforward-Netz ====
Mehrschichtige Netze besitzen neben der Ausgabeschicht auch verdeckte Schichten, deren Ausgabe wie beschrieben, außerhalb des Netzes nicht sichtbar sind. Verdeckte Schichten verbessern die Abstraktion solcher Netze. So kann erst das mehrschichtige [[Perzeptron]] das [[XOR-Verknüpfung|XOR]]-Problem lösen.
==== Rekurrentes Netz ====
[[Rekurrentes neuronales Netz|Rekurrente Netze]] besitzen im Gegensatz dazu auch rückgerichtete (rekurrente) Kanten (englisch ''feedback loops'') und enthalten somit eine [[Rückkopplung]]. Solche Kanten werden dann immer mit einer Zeitverzögerung (in der Systemtheorie als Verzögerungsglied bezeichnet) versehen, sodass bei einer schrittweisen Verarbeitung die Neuronenausgaben der vergangenen Einheit wieder als Eingaben angelegt werden können. Diese Rückkopplungen ermöglichen einem Netz ein dynamisches Verhalten und statten es mit einem [[Gedächtnis]] aus.

==== Dynamische neuronale Netze{{Anker|Dynamische}} ====
Dynamische neuronale Netze passen die Struktur und/oder Parameter dynamisch je nach Input bei der Inferenz an.<ref>Dynamic Neural Networks: A Survey, Autoren Yizeng Han, Gao Huang, Shiji Song, Le Yang, Honghui Wang, Yulin Wang, https://arxiv.org/pdf/2102.04906</ref>

==== Neuronale Netze mit Gedächtnis ====
Neuronale Netze mit Gedächtnis verfügen über einen statischen Speicher, der bei der Inferenz dynamisch abgefragt werden kann.

== Funktionsweise ==
Künstliche neuronale Netze dienen als universelle Funktionsapproximatoren. Werte werden dabei von der Eingabe- bis zur Ausgabeschicht propagiert, wobei eine Aktivierungsfunktion für Nichtlinearität sorgt. Beim Trainieren wird ein Fehler bestimmt; mit Hilfe von Fehlerrückführung und einem Optimierungsverfahren werden dabei die Gewichte schichtweise angepasst.<ref>{{Internetquelle |autor=Dasaradh S. K |url=https://towardsdatascience.com/introduction-to-math-behind-neural-networks-e8b60dbbdeba |titel=A Gentle Introduction To Math Behind Neural Networks |datum=2020-10-30 |sprache=en |abruf=2022-08-21}}</ref>

=== Künstliche Neuronen ===
[[Datei:NeuronModel deutsch.svg|mini|Schema für ein [[künstliches Neuron]]]]
{{Hauptartikel|Künstliches Neuron}}
Ein künstliches Neuron erhält Eingaben von anderen Neuronen (oder von außen), wie auf dem Bild rechts zu erkennen ist. Der Wert einer Eingabe hängt vom Aktivitätslevel des sendenden Neurons und vom Gewicht <math>w_{ij}</math> der Verbindung zwischen Sender- und Empfänger-Neuron ab.

Die ''Propagierungsfunktion'' (Übertragungsfunktion) errechnet aus den einzelnen Eingaben und ihren Gewichten die Gesamteingabe <math>net_{j}</math> für das Neuron, die ''Netz-Eingabe'' oder Netz-Input genannt wird. Am häufigsten wird die gewichtete Summe ([[Linearkombination]]) verwendet:

<math display="block">\mbox{net}_{j}=\sum\limits_{i=1}^{n} x_{i} w_{ij}.</math>

Welches Aktivitätslevel <math>o_{j}</math> das Neuron annimmt, wird nicht direkt durch die Netz-Eingabe bestimmt, sondern durch die [[Aktivierungsfunktion]]. Dieses Aktivitätslevel bestimmt dann die Ausgabe des Neurons an Neuronen der nächsten Schicht.

<math display="block">o_{j}=\varphi(\mbox{net}_{j})</math>

Die Aktivierungsfunktion ermöglicht die Einführung von Nichtlinearität ins neuronale Netz, denn nicht alle Aufgaben neuronaler Netze lassen sich mit linearen Funktionen abbilden. Es gibt verschiedene Aktivierungsfunktionen. In den verdeckten Schichten wird meist die [[Rectifier (neuronale Netzwerke)|Rectifier-Funktion]] verwendet, in der Ausgabeschicht eine [[Sigmoidfunktion]].

Hierbei ist
: <math>\varphi</math> eine [[Differenzierbarkeit|differenzierbare]] Funktion, deren Ableitung nicht überall gleich null ist,
: <math>n</math> die Anzahl der Eingaben,
: <math>x_{i}</math> die von Neuron <math>i</math> kommende Eingabe
: <math>w_{ij}</math> die Gewichtung im Neuron <math>j</math> für die Eingabe <math>x_{i}</math>.

Die Aktivierungsfunktion, welche im allerletzten Schritt des neuronalen Netzes ausgeführt wird, kann als ''Ausgabefunktion'' aufgefasst werden. Diese Ausgabefunktion hat als Hauptaufgabe sicherzustellen, dass der Bereich ([[Träger (Mathematik)|Träger]]) der Ausgaben zu weiteren Annahmen der Modellierung passt. Die Ausgabefunktion kann sicherstellen, dass Verteilungsvoraussetzungen der [[Likelihoodfunktion]] erfüllt sind, wie z.&nbsp;B. die Ausgabe von strikt positiven Ergebnissen oder Ergebnissen nur im Intervall von 0 bis 1. Die Aufgabe der Ausgabefunktion ist direkt analog zur (inversen) [[Linkfunktion]] in [[Verallgemeinerte lineare Modelle|verallgemeinerten linearen Modellen]].

=== Verlustfunktion ===
{{Hauptartikel|Verlustfunktion (Statistik)}}
{{Siehe auch|empirische Risikominimierung}}
{{Siehe auch|Maximum-Likelihood-Schätzung}}
Mit Hilfe von verbundenen Neuronen, die die Propagierungs- und Aktivierungsfunktionen anwenden, gibt das neuronale Netz einen Zahlenvektor aus. Inwieweit das Ergebnis aus dem KNN von dem Zielwert abweicht, wird mit Hilfe einer Fehlerfunktion bestimmt. Es gibt verschiedene Arten von Fehlerfunktionen. Eine davon ist der mittlere quadratische Fehler (MQF):

: <math display="block">E=\frac{1}{2} \sum\limits^{n}_{i=1} (t_{i}-o_{i})^{2}.</math>

Dabei ist

: <math>E</math> der Fehler,
: <math>n</math> die Anzahl der Ausgabeneuronen,
: <math>t_{i}</math> die gewünschte Soll-Ausgabe oder Zielwert (''target'') und
: <math>o_{i}</math> die errechnete Ist-Ausgabe (''output'').

Der Faktor <math>\tfrac{1}{2}</math> wird dabei lediglich zur Vereinfachung bei der Ableitung hinzugenommen.

Der MQF eignet sich, wenn die Rückgabe des Netzes ein einzelner Wert ist.

=== Fehlerrückführung ===
{{Hauptartikel|Backpropagation}}
Mit Hilfe des Fehlers lassen sich die Gewichte anpassen. Dies geschieht in zwei Schritten: Im ersten Schritt werden mit Hilfe der Fehlerrückführung die Gradienten bestimmt. Im zweiten Schritt werden die Gradienten mit einem Optimierungsverfahren verwendet, um die Gewichte zu aktualisieren. In diesem Abschnitt geht es um die Fehlerrückführung.

Die Idee hinter der Fehlerrückführung ist, die Gradienten schichtweise zu berechnen. Dies geschieht über die Kettenregel:

<math display="block">\dfrac{\partial E}{\partial w_{ij}} = \frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial \mbox{net}_{j}} \frac{\partial \mbox{net}_{j}}{\partial w_{ij}}.</math>

=== Optimierung ===
{{Siehe auch|Gradientenabstieg}}
Es ist wichtig, das Training mit zufälligen Anfangswerten zu beginnen. Bei überall gleichen Anfangswerten hätte beispielsweise jeder Knoten im KNN das gleiche Gewicht. Wenn dann Gewichte durch die Fehlerrückführung angepasst werden, würde der Fehler auf alle Knoten gleich verteilt und es würden auch alle Gewichte gleichmäßig verändert. Da das Problem in der Regel nicht symmetrisch ist, dürfen auch die Anfangswerte keine Symmetrien aufweisen, sonst kann der Lernalgorithmus das KNN nicht gut an die Trainingsdaten anpassen.<ref name="frochte" details="190">{{Literatur |Autor=Jörg Frochte |Titel=Maschinelles Lernen - Grundlagen und Algorithmen in Python |Auflage=3 |Verlag=Carl Hanser |Ort=München |Datum=2021 |ISBN=978-3-446-46144-4}}</ref>

Mit der Fehlerrückführung wurden Fehler und Gewichte in einer Funktion abgebildet. Das Lernen korrespondiert nun zu einer Minimierung der Fehlerfunktion, indem die Gewichte angepasst werden. Das aus der Schule bekannte Optimalitätskriterium 1. Ordnung, das Nullsetzen der Ableitung, ist bei Neuronalen Netzen praktisch jedoch ungeeignet. Stattdessen wird mit Gradientenverfahren gearbeitet, um ein lokales Minimum der Fehlerfunktion zu finden. Der Gradient ist die Richtung des steilsten Anstieges einer Funktion, eine Bewegung entgegen den Gradienten ermöglicht also einen Abstieg auf dem Graphen der Fehlerfunktion. Eine Iteration des naiven Gradientverfahrens oder Gradientenabstieges ist also die Berechnung des Gradienten für die aktuelle Wahl der Gewichte, anschließend wird von den Gewichten der Gradient abgezogen und so neue Gewichte mit niedrigerem Fehler erhalten. Das Netz hat somit also „gelernt“.

Dieses Update bzw. dieser Abstiegsschritt wird durch folgende Zuweisung notiert:

<math display="block">w_i = w_i - \alpha \frac{\partial E}{\partial w_i}.</math>Dabei beschreibt der Wert <math> \alpha</math> die Lernrate. Dieser gibt an, wie groß die Schritte sind, die das Verfahren in Richtung des Minimums nehmen soll. Zur Berechnung des Gradienten wird die Fehlerrückführung (engl. Backpropagation) verwendet. Das Verfahren wird solange wiederholt, bis ein Abbruchkriterium erfüllt ist, idealerweise durch Konvergenz zu einem lokalen Minimum.

Neben dem hier dargestellten naiven Gradientenverfahren werden in der Praxis meist besser entwickelte und leistungsfähigere Variationen des Gradientenabstieges verwendet, z.&nbsp;B. der stochastische Gradientenabstieg oder das ADAM-Verfahren.

== Anwendung ==
Seine besonderen Eigenschaften machen das KNN bei allen Anwendungen interessant, bei denen kein oder nur geringes [[Explizites Wissen|explizites (systematisches) Wissen]] über das zu lösende Problem vorliegt. Dies sind z.&nbsp;B. die [[Texterkennung]], [[Spracherkennung]], [[Bildverstehen|Bilderkennung]] und [[Gesichtserkennung]], bei denen einige Hunderttausend bis Millionen [[Pixel|Bildpunkte]] in eine im Vergleich dazu geringe Anzahl von erlaubten Ergebnissen überführt werden müssen.

Auch in der [[Regelungstechnik]] kommen KNN zum Einsatz, um herkömmliche [[Regler]] zu ersetzen oder ihnen [[Sollwert]]e vorzugeben, die das Netz aus einer selbst entwickelten [[Prognose]] über den [[Prozess (Technik)|Prozessverlauf]] ermittelt hat. So können auch [[Fuzzy-Regler|Fuzzy]]-Systeme durch eine bidirektionale Umwandlung in neuronale Netze lernfähig gestaltet werden.

Die Anwendungsmöglichkeiten sind aber nicht auf techniknahe Gebiete begrenzt: Bei der Vorhersage von Veränderungen in komplexen Systemen werden KNNs unterstützend hinzugezogen, z.&nbsp;B. zur Früherkennung sich abzeichnender [[Tornado]]s oder aber auch zur Abschätzung der weiteren Entwicklung wirtschaftlicher Prozesse.

Zu den Anwendungsgebieten von KNNs gehören insbesondere:
* Regelung und Analyse komplexer [[Prozess (Technik)|Prozesse]]
* [[Frühwarnsystem]]e
* [[Fehlererkennung]]
* [[Optimierung]]
* [[Zeitreihenanalyse]] (Wetter, Aktien usw.)
* [[Sprachsynthese]]
* [[Klangsynthese]]
* [[Klassifikation]]
* [[Bildverarbeitung]] und [[Mustererkennung]]
** [[Schrifterkennung]] ([[Texterkennung|OCR]])
** [[Spracherkennung]]
** [[Data-Mining]]
** [[Maschinenübersetzung]]
** [[Gesichtserkennung]]
** [[Face Swap|Gesichtsaustausch]]
* [[Informatik]]: Bei [[Robotik]], [[Virtueller Agent|virtuellen Agenten]] und [[Künstliche Intelligenz|KI]]-Modulen in Spielen und Simulationen
* [[Diagnose|Medizinische Diagnostik]], [[Epidemiologie]] und [[Biometrie]]
* [[Strukturgleichungsmodell]] zum Modellieren von sozialen oder betriebswirtschaftlichen Zusammenhängen

Trotz dieser sehr großen Spanne an Anwendungsgebieten gibt es Bereiche, die KNNs aufgrund ihrer Natur nicht abdecken können, beispielsweise:<ref>{{Internetquelle |url=http://www.faqs.org/faqs/ai-faq/neural-nets/part1/section-8.html |titel=Neural Networks FAQ |abruf=2019-07-24| sprache=en}}</ref>
* Vorhersage von [[Zufallszahl|Zufalls-]] oder Pseudozufalls-Zahlen
* [[Faktorisierung]] von großen Zahlen
* Bestimmung, ob eine große Zahl [[Primzahl|prim]] ist
* Entschlüsseln von [[Verschlüsselung|verschlüsselten]] Texten

=== Implementierungen ===
* [[TensorFlow]] – Programmbibliothek
* [[SNNS]] – Stuttgarter Neuronale-Netze-Simulator
* [[EpsiloNN]] neuronale Beschreibungssprache der [[Universität Ulm]]
* [[OpenNN]]

== Biologische Motivation ==
Während das [[Gehirn]] zur massiven Parallelverarbeitung in der Lage ist, arbeiten die meisten heutigen Computersysteme nur sequentiell (bzw. partiell parallel eines Rechners). Es gibt jedoch auch erste Prototypen neuronaler Rechnerarchitekturen, sozusagen den neuronalen Chip, für die das Forschungsgebiet der künstlichen neuronalen Netze die theoretischen Grundlagen bereitstellt. Dabei werden die [[Neurophysiologie|physiologischen Vorgänge]] im Gehirn jedoch nicht nachgebildet, sondern nur die Architektur der massiv parallelen Analog-Addierer in Silizium nachgebaut, was gegenüber einer Software-Emulation eine bessere Leistung verspricht.

== Klassen und Typen von KNN ==
Grundsätzlich unterscheiden sich die Klassen der Netze vorwiegend durch die unterschiedlichen Netztopologien und Verbindungsarten, so zum Beispiel einschichtige, mehrschichtige, Feedforward- oder Feedback-Netze.

* [[McCulloch-Pitts-Netz]]e
* [[Lernmatrix]]
* [[Perzeptron]]
** [[Adaline-Modell]]
** [[Convolutional Neural Network]] (CNN)
* [[Self-Organizing Maps]] (auch [[Teuvo Kohonen|Kohonen]]-Netze) (SOM)
* [[Growing Neural Gas]] (GNG)
* [[Lernende Vektorquantisierung]] (LVQ)
* [[Boltzmann-Maschine]]
* [[Cascade Correlation|Cascade-Correlation]]-Netze
* [[Counterpropagation-Netz]]e
* [[Probabilistisches neuronales Netz|Probabilistische neuronale Netze]]
* [[Radiale Basisfunktion]]s-Netze (RBF)
* [[Adaptive Resonanztheorie]] (ART)
* [[Neocognitron]]
* [[Gepulste neuronale Netze]] (Spiking Neural Networks, SNN)
** [[Pulscodiertes neuronales Netz|Pulscodierte neuronale Netze]] (PCNN)
* [[Time Delay Neural Network]]s (TDNNs)
* [[Rekurrentes neuronales Netz|Rekurrente neuronale Netze]] (RNNs)
** [[Bidirektionaler Assoziativspeicher]] (BAM)
*** [[Hopfield-Netz]]e
** [[Elman-Netz]]e (auch Simple recurrent network, SRN)
** [[Jordan-Netz]]e
* [[Oszillierendes neuronales Netz]]
* [[Residuale neuronale Netze]]

== Lernverfahren ==
Lernverfahren dienen dazu, ein neuronales Netz so zu modifizieren, dass es für bestimmte Eingangsmuster zugehörige Ausgabemuster erzeugt. Dies geschieht grundsätzlich auf drei verschiedenen Wegen.

=== Überwachtes Lernen (supervised learning) ===
{{Hauptartikel|Überwachtes Lernen}}

Beim Überwachten Lernen wird dem KNN ein Eingangsmuster gegeben und die Ausgabe, die das neuronale Netz in seinem aktuellen Zustand produziert, mit dem Wert verglichen, den es eigentlich ausgeben soll. Durch Vergleich von Soll- und Istausgabe kann auf die vorzunehmenden Änderungen der Netzkonfiguration geschlossen werden. Bei einlagigen Perzeptrons kann die [[Perzeptron#Perzeptron-Lernregel|Delta-Regel]] (auch Perzeptron-Lernregel) angewendet werden. Mehrlagige Perzeptrons werden in der Regel mit [[Backpropagation]] trainiert, was eine Verallgemeinerung der Delta-Regel darstellt.

=== Unüberwachtes Lernen (unsupervised learning) ===
{{Hauptartikel|Unüberwachtes Lernen}}

Das Unüberwachte Lernen erfolgt ausschließlich durch Eingabe der zu lernenden Muster. Das neuronale Netz verändert sich entsprechend den Eingabemustern von selbst. Hierbei gibt es folgende Lernregeln:

* [[Adaptive Resonanztheorie]]
* [[Hebbsche Lernregel]]

=== Bestärkendes Lernen (reinforcement learning) ===
{{Hauptartikel|Bestärkendes Lernen}}

Es ist nicht immer möglich, zu jedem Eingabedatensatz den passenden Ausgabedatensatz zum Trainieren zur Verfügung zu haben. Zum Beispiel kann man einem Agenten, der sich in einer fremden Umgebung zurechtfinden muss – etwa einem Roboter auf dem Mars – nicht zu jedem Zeitpunkt sagen, welche Aktion jeweils die beste ist. Aber man kann dem Agenten eine Aufgabe stellen, die dieser selbstständig lösen soll. Nach einem Testlauf, der aus mehreren Zeitschritten besteht, kann der Agent bewertet werden. Aufgrund dieser Bewertung kann eine Agentenfunktion gelernt werden.

Der Lernschritt kann durch eine Vielzahl von Techniken vollzogen werden. Unter anderem können hier auch künstliche neuronale Netze zum Einsatz kommen.

=== Stochastisches Lernen ===
{{Hauptartikel|Stochastisches Lernen}}

* [[Simulierte Abkühlung]] (''Simulated Annealing'')

== Allgemeine Probleme ==
Die ''Hauptnachteile'' von KNN sind gegenwärtig:
# Das Trainieren von KNN (im Terminus der Statistik: Das [[Schätzmethode (Statistik)|Schätzen]] der im Modell enthaltenen [[Regressionsparameter|Parameter]]) führt in der Regel zu hochdimensionalen, nichtlinearen Optimierungsproblemen. Die prinzipielle Schwierigkeit bei der Lösung dieser Probleme besteht in der Praxis häufig darin, dass man nicht sicher sein kann, ob man das [[Globale Optimierung|globale Optimum]] gefunden hat oder nur ein lokales. Obgleich in der Mathematik eine Fülle relativ schnell konvergierender lokaler Optimierungsverfahren entwickelt wurden (beispielsweise [[Quasi-Newton-Verfahren]]: BFGS, DFP usw.), finden auch diese selten optimale Lösungen. Eine zeitaufwändige Näherung an die globale Lösung erreicht man gegebenenfalls durch die vielfache Wiederholung der Optimierung mit immer neuen Startwerten.
# Es müssen [[Holdout-Methode|Trainings- und Testdaten]] gesammelt oder manuell erzeugt werden. Dieser Vorgang kann sehr schwierig sein, da man verhindern muss, dass das Netz Eigenschaften der Muster lernt, die zwar auf dem Trainingsset mit dem Ergebnis in irgendeiner Weise korreliert sind, die aber in anderen Situationen nicht zur Entscheidung herangezogen werden können oder sollen. Wenn beispielsweise die Helligkeit von Trainingsbildern bestimmte Muster aufweist, dann „achtet“ das Netz unter Umständen nicht mehr auf die gewünschten Eigenschaften, sondern klassifiziert die Daten nur noch aufgrund der Helligkeit. Im sozialen Bereich besteht z.&nbsp;B. die Gefahr, durch einseitig ausgewählte Testdaten bestehende Diskriminierungen (etwa aufgrund des Geschlechts oder der Herkunft) fortzuschreiben, ohne die eigentlich angezielten Kriterien (etwa Kreditwürdigkeit) ausreichend zu berücksichtigen.
# Bei Anwendung einer [[heuristisch]]en Vorgehensweise bei der Netzspezifikation neigen KNN dazu, die Trainingsdaten einfach auswendig zu lernen, infolge [[Übergeneralisierung]] bzw. [[Überanpassung]] ({{enS|''overfitting''}}).<ref>{{Internetquelle|url=https://www.heise.de/ct/ausgabe/2016-6-Ein-kuenstliches-neuronales-Netz-selbst-gebaut-3118857.html|titel=Ein künstliches neuronales Netz selbst gebaut|autor=Johannes Merkert|werk=c't|zugriff=2016-05-24}}</ref> Wenn dies geschieht, können die Netze nicht mehr auf neue Daten verallgemeinern. Um eine Überanpassung zu vermeiden, muss die Netzarchitektur mit Bedacht gewählt werden. In ähnlicher Weise besteht diese Problematik auch bei vielen anderen statistischen Verfahren und wird als ''[[Verzerrung-Varianz-Dilemma]]'' bezeichnet. Verbesserte Verfahren setzen [[Boosting]], [[Support-Vector-Maschine]]n oder Regularisierung ein, um diesem Problem zu begegnen.
# Die Kodierung der Trainingsdaten muss problemangepasst und nach Möglichkeit redundanzfrei gewählt werden. In welcher Form die zu lernenden Daten dem Netz präsentiert werden, hat einen großen Einfluss auf die Lerngeschwindigkeit, sowie darauf, ob das Problem überhaupt von einem Netz gelernt werden kann. Gute Beispiele hierfür sind Sprachdaten, Musikdaten oder auch Texte. Das einfache Einspeisen von Zahlen, beispielsweise aus einer [[.wav]]-Datei für Sprache, führt selten zu einem erfolgreichen Ergebnis. Je präziser das Problem allein durch die Vorverarbeitung und Kodierung gestellt wird, desto erfolgreicher kann ein KNN dieses verarbeiten.
# Die [[Voreinstellung|Vorbelegung]] der Gewichte spielt eine wichtige Rolle. Als Beispiel sei ein 3-schichtiges Feed-Forward-Netz mit einem Eingabeneuron (plus ein [[Bias (Neuron)|Bias-Neuron]]) und einem Ausgabeneuron und einer verdeckten Schicht mit N Neuronen (plus ein Bias-Neuron) angenommen. Die Aktivierungsfunktion des Eingabeneurons sei die Identität. Die Aktivierungsfunktion der verdeckten Schicht sei die [[Tanh]]-Funktion. Die Aktivierungsfunktion der Ausgabeschicht sei die logistische [[Sigmoidfunktion|Sigmoide]]. Das Netz kann maximal eine Sinusfunktion mit N lokalen Extrema im Intervall von 0 bis 1 lernen. Wenn es diese Sinusfunktion gelernt hat, kann es mit dieser Gewichtsbelegung jede beliebige Funktion – die nicht mehr lokale Extrema als diese Sinusfunktion – mit möglicherweise exponentieller Beschleunigung – lernen (unabhängig vom Lernalgorithmus). Hier sei der einfachste Backpropagation ohne Momentum verwendet. Glücklicherweise kann man die Gewichte für solch eine Sinusfunktion leicht berechnen, ohne dass das Netz das erst lernen muss: Verdeckte Schicht : <math>i = 0 \ldots N-1</math>, x = i % 2 == 0 ? 1 : -1 , <math>w_{0i} = x \cdot \pi \cdot (N - 0{,}5), w_{li} = -x \cdot i \cdot \pi</math>; Ausgabeschicht : <math>w_j= 1</math>.

== Filmische Dokumentationen ==
* [https://www.youtube.com/watch?v=o3RDCSJH2oo Künstliche neuronale Netze - Computer lernen sehen, einfache Erklärung, 2017]
* [https://www.youtube.com/watch?v=mH6Jy2COhFQ Künstliche neuronale Netze, komplexere Erklärung]
* [https://www.youtube.com/watch?v=UF49iHT187o Künstliche neuronale Netze - Programme lernen, einfache Erklärung, 2017]

== Siehe auch ==
* [[Aktivierungsraum]]
* [[Neuronaler Schaltkreis]]

== Literatur ==
(Sortierung nach Erscheinungsdatum)
* [[Helge Ritter]], [[Thomas Martinetz]], [[Klaus Schulten]]: ''Neural Computation and Self-Organizing Maps. An Introduction.'' Addison-Wesley, Reading MA 1992, ISBN 0-201-55442-9 (''Computation and neural Systems Series'').
* Heinz Rehkugler, Hans Georg Zimmermann: ''Neuronale Netze in der Ökonomie. Grundlagen und finanzwirtschaftliche Anwendungen.'' Vahlen, München 1994, ISBN 3-8006-1871-0.
* [[Raúl Rojas]]: ''Theorie der Neuronalen Netze. Eine systematische Einführung.'' 4. korrigierter Nachdruck. Springer, Berlin u. a. 1996, ISBN 3-540-56353-9 (''Springer-Lehrbuch'').
* [[Johann Gasteiger]], Jure Zupan: ''Neural Networks in Chemistry and Drug Design.'' Wiley-VCH, Weinheim NY u. a. 1999, ISBN 3-527-29779-0.
* Simon Haykin: ''Neural Networks. A Comprehensive Foundation.'' 2. edition, international edition = Reprint. Prentice-Hall, Upper Saddle River NJ u. a. 1999, ISBN 0-13-273350-1.
* John Hertz, Anders Krogh, Richard G. Palmer: ''Introduction to the Theory of Neural Computation.'' Nachdruck. Addison-Wesley, Reading MA u. a. 1999, ISBN 0-201-51560-1 (''Santa Fé Institute studies in the sciences of complexity.'' Lecture notes 1 = ''Computation and neural systems series'').
* {{Literatur |Autor=[[Teuvo Kohonen]] |Titel=Self-Organizing Maps |Verlag=Springer |Ort=Berlin, Heidelberg |Datum=2001 |Sprache=en |Reihe=Springer Series in Information Sciences |BandReihe=30 |HrsgReihe=Thomas S. Huang, Teuvo Kohonen, Manfred R. Schroeder |ISBN=978-3-540-67921-9 |DOI=10.1007/978-3-642-56927-2}}
* Andreas Zell: ''Simulation neuronaler Netze.'' 4. unveränderter Nachdruck. Oldenbourg, München u. a. 2003, ISBN 3-486-24350-0.
* {{Literatur |Autor=David Kriesel |Titel=Ein kleiner Überblick über Neuronale Netze |Verlag=S.I. |Datum=2007 |Kommentar=Grundlagenskript zu zahlreichen Arten / Lernprinzipien neuronaler Netze, viele Abbildungen, einfach geschrieben |Online=http://www.dkriesel.com/science/neural_networks}}
* Burkhard Lenze: ''Einführung in die Mathematik neuronaler Netze. Mit C-Anwendungsprogrammen im Internet.'' 3. durchgesehene und überarbeitete Auflage. Logos-Verlag, Berlin 2009, ISBN 3-89722-021-0.
* {{Literatur |Autor=Günter Daniel Rey, Karl F. Wender |Titel=Neuronale Netze: eine Einführung in die Grundlagen, Anwendungen und Datenauswertung |Auflage=3. |Verlag=Hogrefe |Ort=Bern |Datum=2018 |Reihe=Ciando library |ISBN=978-3-456-85796-1}}
* {{Literatur |Autor=[[Rudolf Kruse]], Sanaz Mostaghim, Christian Borgelt, Christian Braune, Matthias Steinbrecher |Titel=Computational Intelligence: A Methodological Introduction |Verlag=Springer International Publishing |Ort=Cham |Datum=2022 |Sprache=en |Reihe=Texts in Computer Science |ISBN=978-3-030-42226-4 |DOI=10.1007/978-3-030-42227-1}}

== Weblinks ==
{{Commons|Artificial neural network|Künstliches neuronales Netz}}
* [http://www.neuronalesnetz.de/ Einführung in die Grundlagen und Anwendungen neuronaler Netze]
* [https://www.fraunhofer.de/de/presse/presseinformationen/2019/juli/der-blick-in-neuronale-netze.html "Der Blick in Neuronale Netze], Juli 2019, in: [[Fraunhofer-Institut für Nachrichtentechnik]]
* [https://www.informatik-aktuell.de/betrieb/kuenstliche-intelligenz/neuronale-netze-ein-blick-in-die-black-box.html „Neuronale Netze: Einführung“, Nina Schaaf, 14. Januar 2020], in: [[Informatik Aktuell (Magazin)|Informatik Aktuell]]
* [http://www.dkriesel.com/science/neural_networks Ein kleiner Überblick über Neuronale Netze] – Grundlagenskript zu zahlreichen Arten / Lernprinzipien neuronaler Netze, viele Abbildungen, einfach geschrieben, ca. 200 Seiten ([[PDF]]).
* [http://www.ai-junkie.com/ann/evolved/nnt1.html Neural networks in plain English, Gute Einführung in neuronale Netze] (englisch)
* [https://infsec.de/kuenstliches-neuronales-netz-in-excel/ Interaktiver Demonstrator für das Training eines zweischichtigen Netzes in Excel (ohne Makros)]

== Einzelnachweise ==
<references responsive>
</references>

{{Normdaten|TYP=s|GND=4226127-2}}

{{SORTIERUNG:Künstliches Neuronales Netz}}
[[Kategorie:Künstliche Intelligenz]]
[[Kategorie:Maschinelles Lernen]]
[[Kategorie:Neuroinformatik]]
[[Kategorie:Künstliche Neuronale Netze]]
[[Kategorie:Regressionsanalyse]]
[[Kategorie:Klassifikationsverfahren]]
[[Kategorie:Technisches Fachgebiet]]