Natürliche und künstliche Neuronen

Vorschau

Deep Learning als Teilgebiet des Machine Learning orientiert sich an der Funktionsweise des menschlichen Gehirns. Grundbaustein des Gehirns sind Neuronen, die Informationen verarbeiten und speichern. Beim Deep Learning werden künstliche Neuronen realisiert und miteinander in Schichten verknüpft. Im folgenden sollen die Besonderheiten neuronaler Netze behandelt werden und die Funktionsweise erklärt werden.

Aufbau und Prinzip

Der Aufbau von Neuronen geht auf Untersuchungen von Heinrich Wilhelm Waldeyer, im Jahr 1881, zurück. Bereits 1943 präsentierten die Forscher Warren McCulloch und Walter Pitts eine erste Modellierung neuronaler Netze, deren Funktionsweise von biologischen Nervenzellen inspiriert war. Dank der Steigerung der Hardwareperformance von Rechnern können künstliche neuronale Netwerke heutzutage produktiv eingesetzt werden. Zum Verständnis macht es an dieser Stelle Sinn das Neuron, bzw. Nervenzelle genauer zu betrachten. Wir beginnen mit dem Aufbau, wie er in der Biologie zu finden ist und widmen uns dann der Implementierung in modernen Rechnern. Eine Nervenzelle besteht, vereinfacht gesagt, aus folgenden Strukturen:

  • Der Zellkörper dient der Informationsverarbeitung und ist über Verästelungen mit anderen Zellen verbunden.
  • Die Dendriten sind Verästelungen des Zellkörpers. Sie nehmen Reize von anderen umgebenden Neuronen in Form eines elektrischen Potentials auf und leiten diese an den Zellkörper weiter.
  • Das Axon ist ein langer Fortsatz des Zellkörpers, der analog zu den Dendriten ebenfalls eine Verbindung zu anderen Nervenzellen ermöglicht und somit der Informationsweiterleitung dient. Diese sogenannte Nervenfaser kann sich an ihrem Ende in mehrere Verästelungen (Axonterminale) aufteilen, über die Reize an andere Nervenzellen weitergeleitet werden, und zwar durch die Synapsen, welche sich am Ende der Axonterminale befinden.
  • Die Synapsen sind funktionelle Kontaktzonen über welche die Nervenzellen mit anderen verbunden werden. Innerhalb der Zelle geschieht die Übertragung von Signalen durch Aktivierungspotentiale, welche zwischen den Zellen durch chemische Botenstoffe ausgelöst werden sobald ein Schwellenwert überschritten wird.

Man geht heutzutage davon aus, dass es ca. 86 x 109 Neuronen und ca. 1015 Synapsen im Gehirn gibt. Jedes Neuron ist mit 1.000 bis 10.000 anderen Neuronen vernetzt.

Das künstliche Neuron

Die Nervenzelle in künstlichen neuronalen Netzen wird als Perzeptron bezeichnet. Dei Eingaben erfolgen durch numerische Werte in der Eingabeschicht (Input Layer). Die Gewichtungen (Weights) repräsentieren die inhibitorischen bzw. exzitatorischen Eigenschaften der Synapsen. Das Überschreiten des Schwellenwertes zur Aktivierung des Neurons wird innerhalb einer Aktivierungsfunktion definiert. Zu den Eingaben gehört ein sogenanntes Bias, das mit einem Grundgewicht zu der Summe des Eingabevektors addiert wird, bevor die Aktivierungsfunktion angewendet wird.

Das Konzept des Perzeptrons wurde von Franck Rosenblatt erstmals 1957 in seiner Publikation „The Perceptron – A perceiving and Recognition Automaton“ eingeführt und baut auf dem Modell von Warren McCulloch und Walter Pitts auf.

Wie ein künstliches Neuron funktioniert

Die Eingabewerte eines künstlichen Neurons bilden einen n-dimensionalen Vektor X von Werten xi, die mit einstellbaren Gewichtungen wi versehen sind. Häufig wird noch ein Bias hinzuaddiert. Die Summe α des Eingabevektors mit den jeweiligen Gewichtungen bildet den Parameter für die anschließende Aktivierungsfunktion φ(α). Der daraus berechnete Wert bildet die Ausgabe y des Neurons.

In der Abbildung oben anbei sieht man ein solche Aktivierungsfunktion. Neben dem dargestellten sigmoiden Verlauf gibt es auch noch andere Funktionen. Gut zu erkennen ist in diesem Beispiel wie ab einem gewissen Schwellenwert dieses Aktiviert wird, denn bei hohen und besonders niedrigen Werten nimmt die Funktion rasch den Wert 1 bzw. 0 an. Ein einziges, elementares Neuron berechnet eine lineare Funktion (z.B. y=ax+b). Das Lernen dieser linearen Funktion geschieht durch die Anpassung der Gewichtungen. Iterativ werden die Eingabewerte eingespeist und die Berechnung der Ausgabewerte durchgeführt. Die errechneten Ausgaben des Neurons werden mit den erwarteten Ausgaben verglichen. Diese Vorgehensweise wird so lange durchgeführt, bis das Neuron die erwarteten Ausgaben berechnen kann, sofern diese überhaupt möglich sind.

Zur Anpassung der Gewichtung wird beim Perzeptron die sogenannte Delta-Regel angewendet:

winew = wiold + η ⋅ (yi – ŷi) ⋅ xi

Dabei sind yi und ŷi die erwartete (Soll-) bzw. die berechnete (Ist-)Ausgabe des Perzeptrons und η ist die Lernrate. Letztere gibt an, wie schnell das Neuron lernen soll, also das Ausmaß der Anpassung der Gewichtungen bei jedem Schritt. Das Ziel ist es die Diskrepanzen zwischen den erwarteten und den berechneten Ausgaben zu minimieren.

Zurück zu: Machine Learning Diagnostik > 020 Grundlagen