Vorlesung 3 abgeschlossen

chapters/Classical_Supervised_Learning/Model_Selection.tex

@@ -112,5 +112,55 @@ Um die Nachteile der \nameref{sub:Hold-out Mehtod} zu umgehen wird meist die Cro
     Sonderform, bei der eine Zufällige Teilmenge $\alpha\cdot n$ ($0<\alpha<1$) aus den gegebenen Daten als Validierungsdatensatz verwendet wird.
     Oft wird dieses Verfahren mehrmals in folge durchgeführt.
 
+\section{Regularization Techniques}%
+\label{sec:Regularization Techniques}
+Wie bereits in \cref{sec:Regularization of the Linear Regression} und \cref{ssub:Regularization of the Logistic Regression} gezeigt,
+kann eine Regularisierung genutzt werden,
+um Overfitting zu vermeiden.
+Hierbei ist es das Ziel die Komplexität so gering wie möglich zu halten.
+\begin{mybox}
+   \textbf{\large Occam's Razor} \\
+   \say{Numquam ponenda est pluralitas sine necessitate} - William of Occam (ca. 1300)\\
+   Von mehreren möglichen hinreichenden Erklärungen für ein und denselben Sachverhalt ist die einfachste Theorie allen anderen vorzuziehen.
+\end{mybox}
+Um dies zu erreichen wird der Loss Function,
+welche für das Lernen benutzt wird eine Penalty für hohe Komplexität hinzugefügt.
+\begin{figure}[H]
+    \vspace*{-10mm}
+    \centering
+    \includegraphics[width=0.9\textwidth]{regularization_penalty.pdf}
+    \caption{Regularization Penalties}
+    \label{fig:regularization_penalty}
+\end{figure}
 
+\subsection{Early Stopping}%
+\label{sub:Early Stopping}
+Das Early Stopping ist eine Regulaisierungstechnik,
+bei der die Optimierung des Algorithmus unterbrochen wird,
+sobald sich der Validation Loss über eine festgelegte Anzahl von Durchläufen des Algorithmus nicht verbessert hat.
+Hierdurch wird vermieden,
+dass Modell unnötig komplex zu machen.
+
+\section{Robustness to Noise}%
+\label{sec:Robustness to Noise}
+Um das Traininierte Modell Robuster gegenüber Störeinflüssen (Noise) zu machen,
+ist es sinnvoll die Daten,
+auf denen das Modell trainiert wird künstlich zu stören.
+Man spricht hierbei von Data Augmentation.
+\begin{figure}[H]
+    \begin{subfigure}[t]{.5\textwidth}
+        \centering
+        \includegraphics[width=\linewidth]{artificial_noise1.png}
+        \caption{mögl. Diskriminanten ohne künstlichen Noise}
+        \label{fig:regression_without_artifical_noise}
+    \end{subfigure}
+    \begin{subfigure}[t]{.5\textwidth}
+        \centering
+        \includegraphics[width=\linewidth]{artificial_noise2.png}
+        \caption{mögl. Diskriminanten mit künstlichen Noise}
+        \label{fig:regression_without_artifical_noise}
+    \end{subfigure}
+    \caption{Einfluss von künstlichen Noise}
+    \label{fig:artificial_noise}
+\end{figure}