diff --git a/Readme.md b/Readme.md index cfdbd31..11e6c43 100644 --- a/Readme.md +++ b/Readme.md @@ -1,4 +1,7 @@ # Zusammenfassung Maschinelles Lernen: Grundlagen und Algorithmen +##TODO: +- [ ] Folien aus der Vorlesung, auf die in der Zusammenfassung verwiesen werden einfach in den Anhang packen + ## Notice Requires you to enable [--shell escape](https://tex.stackexchange.com/questions/516604/how-to-enable-shell-escape-or-write18-visual-studio-code-latex-workshop) diff --git a/chapters/Kernel_Methods/Support_Vector_Machines.tex b/chapters/Kernel_Methods/Support_Vector_Machines.tex index 769b634..2070890 100644 --- a/chapters/Kernel_Methods/Support_Vector_Machines.tex +++ b/chapters/Kernel_Methods/Support_Vector_Machines.tex @@ -159,5 +159,32 @@ Im Falle des Hinge Loss bedeutet das: \section{\glsxtrshortpl{SVM} with Kernels}% \label{sec:SVMs with Kernels} +Mithilfe des Kernel Tricks (\cref{sec:Kernel Trick}) und der Lagrangian Optimization (\cref{sec:Lagrangian Multipliers}) kann die \gls{SVM}-Optimierung als Dual Optimization Problem formuliert werden ({\color{red} Herleitung Vorlesung 06 Folien 52-56}): +\begin{itemize} + \item Primal Optimization Problem: + \begin{equation} \label{eq:svm_primal_optimization_problem} + \argmin_{\bm w,\bm\xi} \|\bm w\|^2 + C\sum_i^N \nomeq{slack-variable}\qquad + y_i(\bm w^T\bm x_i + b)\ge 1-\nomeq{slack-variable}\qquad\nomeq{slack-variable}\ge 0 + \end{equation} + \item Dual Optimization Problem: + \begin{equation} \label{eq:svm_dual_optimization_problem} + \max_{\bm\lambda}\sum_i \lambda_i - \frac{1}{2}\sum_i \sum_j \lambda_i \lambda_j y_i y_j \nomeq{kernel_vector}(\bm x_i, \bm x_j)\qquad + C\le\lambda_i\le 0\forall i\in[1\dots N]\qquad + \sum_i \lambda_i y_i = 0 + \end{equation} +\end{itemize} +\subsection{Model Selection}% +\label{sub:kernelized svm:Model Selection} +Obwohl \glspl{SVM} sehr robust gegenüber Overfitting sind, +ist es dennoch möglich. +Die verstellbaren Parameter sind hierbei: +\begin{itemize} + \item der inverse Regularisierungsfaktor $C$ + \item der Kernel (verschiedene Kernel möglich) + \item die Parameter des gewählten Kernels +\end{itemize} +\subsection{Beispiele}% +\label{sub:Beispiele} +{\color{red} siehe Vorlesung 06 Folien 57-60 und 62-63}