imported>Sigma^2: /* Sigmoidfunktionen in neuronalen Netzwerken */ 'oft' entfernt, siehe Diskussion

2024-05-10T18:00:04Z

Sigmoidfunktionen in neuronalen Netzwerken: 'oft' entfernt, siehe Diskussion

Neue Seite

Eine '''Sigmoidfunktion''', '''Schwanenhalsfunktion, Fermifunktion'''<ref>{{Internetquelle |url=http://www.informatikseite.de/neuro/node16.php |titel=Einzelnes Neuron ::: Neuronale Netze |abruf=2019-04-04}}</ref> oder '''S-Funktion''' ist eine [[Funktion (Mathematik)|mathematische Funktion]] mit einem S-förmigen [[Funktionsgraph|Graphen]].

== Spezielle Sigmoidfunktion ==
[[Datei:Sigmoid-function-2.svg|mini|Die [[Logistische Funktion|logistische Kurve]]]]
Oft wird der Begriff Sigmoidfunktion auf den Spezialfall der [[logistische Funktion|logistischen Funktion]] bezogen, die durch die Gleichung

:<math>\operatorname{sig}(t) = \frac{1}{1 + e^{-t}} = \frac{ e^{t}}{1+ e^{t}} =\frac{1}{2}\cdot\left(1 + \tanh \frac{t}{2}\right)</math>

beschrieben wird, mit der [[Eulersche Zahl|Eulerschen Zahl]] <math>e</math>. Dieser Spezialfall ist eine skalierte und verschobene [[Tangens hyperbolicus|Tangens-hyperbolicus]]-Funktion und hat entsprechende [[Symmetrie (Geometrie)|Symmetrien]].

Die [[Umkehrfunktion]] der speziellen Sigmoidfunktion lautet:

:<math>\operatorname{sig}^{-1}(y) = -\ln \left(\frac{1}{y}-1\right) = \ln \left(\frac{y}{1-y}\right) = 2\cdot \operatorname{artanh} (2\cdot y-1).</math>

Diese Umkehrfunktion wird auch als [[Logit-Funktion]] bezeichnet, vor allem in Anwendungsbereichen, bei denen <math>y</math> eine Wahrscheinlichkeit ausdrückt.

== Sigmoidfunktionen im Allgemeinen ==
[[Datei:Gjl-t(x).svg|mini|Vergleich einiger Sigmoidfunktionen. Hier sind sie so normiert, dass ihre Grenzwerte −1 bzw. 1 sind und die Steigungen in 0 gleich 1 sind.]]
Im Allgemeinen ist eine Sigmoidfunktion eine [[beschränkt]]e und [[differenzierbar]]e [[reelle Funktion]] mit einer durchweg positiven oder durchweg negativen ersten [[Differentialrechnung|Ableitung]] und genau einem [[Wendepunkt]].

Die Menge der Sigmoidfunktionen enthält neben der logistischen Funktion den [[Arkustangens und Arkuskotangens|Arkustangens]], den [[Tangens hyperbolicus]] und die [[Fehlerfunktion]], die sämtlich [[Transzendente Zahl|transzendent]] sind, sowie auch einfache [[algebraische Funktion]]en wie <math>f(x)=\tfrac x{\sqrt{1+x^2}}</math>. Das [[Integralrechnung|Integral]] jeder [[Stetige Funktion|stetigen]], positiven Funktion mit einem „Berg“ (genauer: mit genau einem lokalen Maximum und keinem lokalen Minimum, z. B. die [[Normalverteilung|gaußsche Glockenkurve]]) ist ebenfalls eine Sigmoidfunktion. Daher sind viele [[kumulierte Verteilungsfunktion]]en sigmoidal.

== Sigmoidfunktionen in neuronalen Netzwerken ==
Sigmoidfunktionen werden in [[Künstliches neuronales Netz|künstlichen neuronalen Netzen]] als [[Aktivierungsfunktion]] verwendet, da der Einsatz von differenzierbaren Funktionen die Verwendung von Lernmechanismen, wie etwa dem [[Backpropagation]]-Algorithmus, ermöglicht. Als Aktivierungsfunktion eines [[Künstliches Neuron|künstlichen Neurons]] wird die Sigmoidfunktion auf die Summe der gewichteten Eingabewerte angewendet, um die Ausgabe des Neurons zu erhalten.

Die Sigmoidfunktion wird vor allem aufgrund ihrer einfachen Differenzierbarkeit als Aktivierungsfunktion bevorzugt verwendet, denn für die logistische Funktion gilt:

: <math>\operatorname{sig}^\prime (t) = \operatorname{sig}(t) \left ( 1 - \operatorname{sig}(t) \right ). </math>

Für die Ableitung der Sigmoidfunktion Tangens hyperbolicus gilt:

: <math>\tanh^\prime (t) = \left( 1 + \tanh (t) \right) \left( 1 - \tanh (t) \right ) = 1 - \tanh^{2} (t). </math>

== Effiziente Berechnung ==
Mit [[Unum (Zahlenformat)|Unums]] vom Typ III lässt sich die oben angegebene logistische Funktion näherungsweise effizient berechnen, indem die Darstellung der Gleitkommazahl-Eingabe elegant genutzt wird.<ref>
{{Internetquelle
|autor=John L. Gustafson, Isaac Yonemoto
|url=http://www.johngustafson.net/pdfs/BeatingFloatingPoint.pdf
|titel=Beating Floating Point at its Own Game: Posit Arithmetic
|datum=2017-06-12
|format=PDF
|sprache=en
|abruf=2019-12-28}}
</ref>

== Weblinks ==
* {{MathWorld |id=SigmoidFunction |title=Sigmoid Function}}

== Einzelnachweise ==
<references />

[[Kategorie:Neuroinformatik]]
[[Kategorie:Mathematische Funktion]]

Sigmoidfunktion - Versionsgeschichte

imported>Sigma^2: /* Sigmoidfunktionen in neuronalen Netzwerken */ 'oft' entfernt, siehe Diskussion