regularisierung hinzugefügt

This commit is contained in:
2021-02-10 19:41:07 +01:00
parent 5b12ef3ab1
commit 7ad54129f1
5 changed files with 110 additions and 70 deletions

View File

@@ -45,10 +45,14 @@
\section{Das technische Neuron}
Ein technisches Neuron besteht aus den Gewichten für die Eingangswerte und der Aktivierungsfunktion:\\
\includegraphics[width=.8\textwidth]{technisches_neuron.png}
\begin{center}
\includegraphics[width=.7\textwidth]{technisches_neuron.png}
\end{center}
\section{Das Perzeptron}\label{perceptron}
Ein Perzeptron beschreibt eine lineare Maschine, die eine Datenmenge durch eine Hyper-Ebene (die Diskriminante) in zwei Cluster unterteilt.
Hierbei ist der Begriff \say{Perzeptron} ein Überbegriff für das Konzept.
Ein Perzeptron besteht in den meisten fällen nicht nur aus einem einfachen Neuron, sondern oft sogar aus mehreren Schichten von Neuronen.
Die Funktion für die Diskriminante ist hierbei $y(\bm{m})=\text{sng}(g(\bm{m})) = \text{sgn}(\bm{w}^T\bm{m}+w_0)$.
Da sich $\bm{w}$ durch $\bm{w} = \sum^n_{i=1}\alpha_i\cdot y_i \cdot \bm{m}_i$ (mit $n = $Anzahl der Datenpunkte und $\alpha_i = $ Anzahl, wie oft $\bm{m}_i$ ausgewählt wurde) definiert ist die Dimension von $\bm{m}$ unwichtig.
Das Gewicht $w_0$ wird auch als \say{Bias} bezeichnet wird.
@@ -57,7 +61,7 @@
\subsection{Beispiel: nicht-symmetrischer Lernalgorithmus}
\includegraphics[width=\textwidth]{Perzeptron_Lernalgorithmus.png}
\includegraphics[width=.8\textwidth]{Perzeptron_Lernalgorithmus.png}
\subsection{Novikoff's Theorem}\label{novikoffs theorem}
Novikoff's Theorem besagt, dass der Lernalgorithmus des Perzeptrons bei einem linear trennbaren Datensatz unweigerlich eine Diskriminante findet.
@@ -88,7 +92,7 @@
\includegraphics[width=.8\textwidth]{XOR-Problem2.png}
\end{center}
Allgemein werden mehr Neuronen in der verdeckten Schicht gebraucht, je komplexer die Klassifizierung ist.
Hierbei kann sich an der \ac{VC-Dimension} orientiert werden.
Hierbei kann sich grob an der Anzahl an geraden orientiert werden, die benötigt werden, um die Cluster sauber zu trennen.
Dies gibt allerdings nur eine Angabe für die minimale Anzahl an benötigten Neuronen in der verdeckten Schicht.
Die genaue Anzahl der verdeckten Schichten und der darin enthaltenen Neuronen müssen vom Entwickler gewählt werden.
Hierbei ist die Erfahrung des Entwicklers entscheidend, um ein möglich gutes Modell zu erstellen.