diff --git a/chapters/Classical_Supervised_Learning/Model_Selection.tex b/chapters/Classical_Supervised_Learning/Model_Selection.tex index 320c9b8..79a3010 100644 --- a/chapters/Classical_Supervised_Learning/Model_Selection.tex +++ b/chapters/Classical_Supervised_Learning/Model_Selection.tex @@ -112,5 +112,55 @@ Um die Nachteile der \nameref{sub:Hold-out Mehtod} zu umgehen wird meist die Cro Sonderform, bei der eine Zufällige Teilmenge $\alpha\cdot n$ ($0<\alpha<1$) aus den gegebenen Daten als Validierungsdatensatz verwendet wird. Oft wird dieses Verfahren mehrmals in folge durchgeführt. +\section{Regularization Techniques}% +\label{sec:Regularization Techniques} +Wie bereits in \cref{sec:Regularization of the Linear Regression} und \cref{ssub:Regularization of the Logistic Regression} gezeigt, +kann eine Regularisierung genutzt werden, +um Overfitting zu vermeiden. +Hierbei ist es das Ziel die Komplexität so gering wie möglich zu halten. +\begin{mybox} + \textbf{\large Occam's Razor} \\ + \say{Numquam ponenda est pluralitas sine necessitate} - William of Occam (ca. 1300)\\ + Von mehreren möglichen hinreichenden Erklärungen für ein und denselben Sachverhalt ist die einfachste Theorie allen anderen vorzuziehen. +\end{mybox} +Um dies zu erreichen wird der Loss Function, +welche für das Lernen benutzt wird eine Penalty für hohe Komplexität hinzugefügt. +\begin{figure}[H] + \vspace*{-10mm} + \centering + \includegraphics[width=0.9\textwidth]{regularization_penalty.pdf} + \caption{Regularization Penalties} + \label{fig:regularization_penalty} +\end{figure} +\subsection{Early Stopping}% +\label{sub:Early Stopping} +Das Early Stopping ist eine Regulaisierungstechnik, +bei der die Optimierung des Algorithmus unterbrochen wird, +sobald sich der Validation Loss über eine festgelegte Anzahl von Durchläufen des Algorithmus nicht verbessert hat. +Hierdurch wird vermieden, +dass Modell unnötig komplex zu machen. + +\section{Robustness to Noise}% +\label{sec:Robustness to Noise} +Um das Traininierte Modell Robuster gegenüber Störeinflüssen (Noise) zu machen, +ist es sinnvoll die Daten, +auf denen das Modell trainiert wird künstlich zu stören. +Man spricht hierbei von Data Augmentation. +\begin{figure}[H] + \begin{subfigure}[t]{.5\textwidth} + \centering + \includegraphics[width=\linewidth]{artificial_noise1.png} + \caption{mögl. Diskriminanten ohne künstlichen Noise} + \label{fig:regression_without_artifical_noise} + \end{subfigure} + \begin{subfigure}[t]{.5\textwidth} + \centering + \includegraphics[width=\linewidth]{artificial_noise2.png} + \caption{mögl. Diskriminanten mit künstlichen Noise} + \label{fig:regression_without_artifical_noise} + \end{subfigure} + \caption{Einfluss von künstlichen Noise} + \label{fig:artificial_noise} +\end{figure} diff --git a/images/artificial_noise1.png b/images/artificial_noise1.png new file mode 100644 index 0000000..abeebeb Binary files /dev/null and b/images/artificial_noise1.png differ diff --git a/images/artificial_noise2.png b/images/artificial_noise2.png new file mode 100644 index 0000000..67af7aa Binary files /dev/null and b/images/artificial_noise2.png differ diff --git a/images/regularization_penalty.pdf b/images/regularization_penalty.pdf new file mode 100644 index 0000000..c64f672 Binary files /dev/null and b/images/regularization_penalty.pdf differ