Vorlesung 6 abgeschlossen.

Readme.md

@@ -1,4 +1,7 @@
 # Zusammenfassung Maschinelles Lernen: Grundlagen und Algorithmen
 
+##TODO:
+- [ ] Folien aus der Vorlesung, auf die in der Zusammenfassung verwiesen werden einfach in den Anhang packen
+
 ## Notice
 Requires you to enable [--shell escape](https://tex.stackexchange.com/questions/516604/how-to-enable-shell-escape-or-write18-visual-studio-code-latex-workshop)

chapters/Kernel_Methods/Support_Vector_Machines.tex

@@ -159,5 +159,32 @@ Im Falle des Hinge Loss bedeutet das:
 
 \section{\glsxtrshortpl{SVM} with Kernels}%
 \label{sec:SVMs with Kernels}
+Mithilfe des Kernel Tricks (\cref{sec:Kernel Trick}) und der Lagrangian Optimization (\cref{sec:Lagrangian Multipliers}) kann die \gls{SVM}-Optimierung als Dual Optimization Problem formuliert werden ({\color{red} Herleitung Vorlesung 06 Folien 52-56}):
+\begin{itemize}
+    \item Primal Optimization Problem:
+        \begin{equation} \label{eq:svm_primal_optimization_problem}
+           \argmin_{\bm w,\bm\xi} \|\bm w\|^2 + C\sum_i^N \nomeq{slack-variable}\qquad
+           y_i(\bm w^T\bm x_i + b)\ge 1-\nomeq{slack-variable}\qquad\nomeq{slack-variable}\ge 0
+        \end{equation}
+    \item Dual Optimization Problem:
+        \begin{equation} \label{eq:svm_dual_optimization_problem}
+            \max_{\bm\lambda}\sum_i \lambda_i - \frac{1}{2}\sum_i \sum_j \lambda_i \lambda_j y_i y_j \nomeq{kernel_vector}(\bm x_i, \bm x_j)\qquad
+            C\le\lambda_i\le 0\forall i\in[1\dots N]\qquad
+            \sum_i \lambda_i y_i = 0
+        \end{equation}
+\end{itemize}
 
+\subsection{Model Selection}%
+\label{sub:kernelized svm:Model Selection}
+Obwohl \glspl{SVM} sehr robust gegenüber Overfitting sind,
+ist es dennoch möglich.
+Die verstellbaren Parameter sind hierbei:
+\begin{itemize}
+    \item der inverse Regularisierungsfaktor $C$
+    \item der Kernel (verschiedene Kernel möglich)
+    \item die Parameter des gewählten Kernels 
+\end{itemize}
 
+\subsection{Beispiele}%
+\label{sub:Beispiele}
+{\color{red} siehe Vorlesung 06 Folien 57-60 und 62-63}