imported>Invisigoth67: typo

2024-10-31T17:01:14Z

typo

Neue Seite

Ein '''Elman-Netz''', auch '''Simple recurrent network''' ('''SRN'''), zu deutsch ''Einfaches rekurrentes Netz'', ist ein einfaches [[künstliches neuronales Netz]], das durch vorhandene [[Rückkopplung]]en von [[Kante (Graphentheorie)|Kanten]] zwischen den [[Künstliches Neuron|künstlichen Neuronen]] in der Lage ist, zeitliche Abhängigkeiten von Eingaben implizit zu verarbeiten.
Benannt ist diese Netz-Architektur nach [[Jeffrey L. Elman]], der diese Struktur [[1990]] vorschlug.

Ein künstliches neuronales Netz ist ein Modell aus der [[Neuroinformatik]], das durch biologische [[Neuronales Netz|neuronale Netze]] motiviert ist. Künstliche neuronale Netze können Aufgaben erlernen und werden häufig dort eingesetzt, wo eine explizite [[Modellierung]] eines Problems schwierig oder unmöglich ist. Beispiele sind die [[Gesichtserkennung|Gesichts-]] und [[Spracherkennung]].

== Einschränkungen einfacher Modelle ==
Viele Modelle künstlicher neuronaler Netze besitzen entweder keine Möglichkeit zeitliche Abhängigkeiten von Eingabedaten zu verarbeiten oder benötigen dazu eine Historie von Eingaben durch ein [[Zeitfenster|Eingabefenster]]. Ein [[Time Delay Neural Network]] ist so ein Netz, das durch die Verwendung gefensterter Eingaben die zeitliche Komponente eines Datenstroms explizit darstellt.

Die parallele Präsentation von Eingaben verschiedener Zeitpunkte bringt verschiedene Einschränkungen mit sich. So ist ein Fenster mit konstanter Länge ungeeignet für Signale, die eine variable zeitliche Länge aufweisen. Dies ist unter anderem bei der [[Spracherkennung]] hinderlich, da Wörter aus einer unterschiedlichen Länge von [[Silbe]]n bestehen. Aus der Sichtweise der [[Biologie|biologischen]] [[Abstraktion]] fehlt eine biologische Motivation für das parallele Anlegen von Eingabedaten verschiedener Zeitschritte.

== Struktur ==
[[Datei:RecurrentLayerNeuralNetwork deutsch.png|mini|150px|Künstliches neuronales Netz mit einer Schicht mit direkten Rückkopplungen]]
Um diese Probleme zu umgehen, schlägt Elman eine einfache Struktur vor, die mittels [[Rückkopplung]]en ein zeitliches [[Gedächtnis]] besitzt. Dabei hat das Netz zwei Schichten von [[künstliches Neuron|Neuronen]], eine verdeckte Schicht und eine Ausgabeschicht. Die Ausgaben der verdeckten Schicht werden in den sogenannten „Kontextzellen“ gespeichert. Zu jedem Neuron der verdeckten Schicht existiert dazu eine Zelle, welche die vergangene Ausgabe des Neurons speichert. Die [[Kante (Graphentheorie)|Kante]] enthält dazu die konstante [[Gewichtung]] von 1.

Die Neuronen der verdeckten Schicht enthalten als Eingabe die Eingabedaten sowie ihre vergangenen Ausgaben über die Kontextzellen. In seiner Arbeit zeigt Elman, dass diese Netzwerkstruktur dadurch implizit in der Lage ist auch längere Eingabeströme [[Zeitinvarianz|zeitlich invariant]] zu verarbeiten. Die Ausgabeschicht nimmt dabei lediglich die Abbildung der internen Repräsentierung der verdeckten Neuronen vor.

[[Datei:DiagramElmanNet deutsch.png|650px|Schema eines Elman-Netzes]]

Elman-Netze werden z. B. mittels [[Backpropagation]] trainiert. Die rückwärts gerichteten Kanten (Rückkopplungen) werden dabei nicht angepasst.

== Beispielhafte Anwendung ==
Das folgende einfache Beispiel ist aus der Arbeit von Elman entnommen. Die Eingabe besteht aus Blöcken von jeweils drei [[Boolesche Algebra|binären Werten]].

Dem Netz wird zunächst in den beiden ersten Zeitschritten jeweils ein [[Pseudozufallszahl|zufällig]] gewählter, binärer Wert als Eingabe präsentiert. Die dritte Eingabe ist dann das Ergebnis der [[XOR-Verknüpfung]] angewendet auf die beiden vorherigen Eingaben.

Die Aufgabe des Netzes ist es nun, die jeweils nächste zu erwartende Eingabe vorauszusagen. Dies kann es für die zweite zufällige Eingabe erreichen, indem es zusammen mit der Eingabe des ersten Zeitschrittes die Eingabe des dritten Zeitschrittes berechnet. Um dieses Verhalten zu erreichen, wird die Eingabe um einen Zeitschritt nach vorn versetzt und als Zielwert (siehe [[Backpropagation]]) eingelernt.

{| cellpadding="3"
|Eingabe:
|bgcolor="#FFCC77" | 1
|bgcolor="#FFCC77" | 0
|bgcolor="#FFDDAA" | 1
|bgcolor="#FF7777" | 0
|bgcolor="#FF7777" | 0
|bgcolor="#FF9999" | 0
|bgcolor="#77CCCC" | 0
|bgcolor="#77CCCC" | 1
|bgcolor="#99EEEE" | 1
|bgcolor="#DDCCCC" | 1
|bgcolor="#DDCCCC" | 0
|bgcolor="#FFDDDD" | 1
|bgcolor="#CCCCFF" | 1
|bgcolor="#CCCCFF" | 1
|bgcolor="#DDDDFF" | 0
| ...
|-----
|Zielwert:
|bgcolor="#FFCC77" | 0
|bgcolor="#FFDDAA" | 1
|bgcolor="#FF7777" | 0
|bgcolor="#FF7777" | 0
|bgcolor="#FF9999" | 0
|bgcolor="#77CCCC" | 0
|bgcolor="#77CCCC" | 1
|bgcolor="#99EEEE" | 1
|bgcolor="#DDCCCC" | 1
|bgcolor="#DDCCCC" | 0
|bgcolor="#FFDDDD" | 1
|bgcolor="#CCCCFF" | 1
|bgcolor="#CCCCFF" | 1
|bgcolor="#DDDDFF" | 0
|bgcolor="#999999" |?
| ...
|-----
|}

Es zeigt sich, dass der [[Erkennungsfehler]] bei dem jeweiligen zweiten Wert abnimmt. Das Netz erlernt also die XOR-Verknüpfung und kann dort, wo es möglich ist, den Wert berechnen. Mit Hilfe der vorausgegangenen Eingaben kann das Netz also die nächste Eingabe vorausbestimmen.

== Hierarchisches Elman-Netz ==
Als Verallgemeinerung zweischichtiger Elman-Netze existieren „hierarchische Elman-Netze“. Sie können mehr als zwei Schichten besitzen und enthalten zusätzliche Rückkopplungen in den einzelnen Kontextzellen.

== Literatur ==
* [[Jeffrey L. Elman]]: ''Finding Structure in Time.'' [[Cognitive Science (Zeitschrift)|Cognitive Science]], 1990, Band 14, S. 179–211, {{ISSN|0364-0213}} ([https://crl.ucsd.edu/~elman/Papers/fsit.pdf PDF; 1,8 MB]).

[[Kategorie:Neuroinformatik]]

Elman-Netz - Versionsgeschichte

imported>Invisigoth67: typo