Bayesian Learning abgeschlossen.

chapters/Bayesian_Learning/Bayesian_Learning.tex

@@ -1,4 +1,4 @@
-\chapter{Bayesian Learning**}%
+\chapter{Bayesian Learning}%
 \label{cha:Bayesian Learning}
 Die meisten bisher behandelten Algorithmen geben auf Basis der gegebenen Eingaben ein einzelnes Modell (den \nomf{parameter_vector}) zurück.
 Wie allerdings bereits gezeigt wurde,

chapters/Bayesian_Learning/Bayesian_Regression_Algorithms.tex

@@ -39,3 +39,43 @@ Anschließend erfolgt die Regression nach den Schritten des \nameref{cha:Bayesia
 \end{enumerate}
 Es fällt auf, dass $\nomeq{mean}(\bm{x^*})$ sich im Vergleich zur \nameref{sub:Ridge Regression} nicht verändert hat.
 Allerdings ist $\nomeq{variance}(\bm x^*)$ jetzt abhängig von den Eingangsdaten.
+
+\section{Gaussian Processes}%
+\label{sec:Gaussian Processes}
+Ein Gaußscher Prozess ist im Grunde nichts anderes als die kernelized version der \nameref{sec:Bayesian Linear Regression} ({\color{red}Beweis: Vorlesung 07 Folie 44 ff.}).
+\begin{equation} \label{eq:guassian_process_general_definition}
+    f(\bm x)\sim\nomeq{gaussian_process}(\underbrace{m(\bm x)}_{\text{mean function}},\underbrace{k(\bm x,\bm x')}_{\text{covariance function}})
+\end{equation}
+\begin{itemize}
+    \item Die \say{mean function} gibt den Prior für die Funktion:
+        \begin{equation} \label{eq:gaussian_process_mean_function}
+            \mathbb{E}[f(\bm x)] = m(\bm x) 
+        \end{equation}
+        (im folgenden wird angenommen $m(\bm x) = 0$)
+    \item Die \say{covariance function} gibt an, wie ähnlich die Funktion $f$ an den Stellen $\bm x$ und $\bm x'$ ist
+        \begin{equation}
+            \label{eq:gaussian_process_covariance_function}
+            \mathbb{E}[f(\bm x)f(\bm x')] = k(\bm x,\bm x') 
+        \end{equation}
+        (Covariance Function muss positiv definit sein (genau wie Kernel Function(\cref{sec:Positive Definite Kernels})))
+\end{itemize}
+Für Gaußsche Prozesse lässt ist der Posterior gegeben durch:\\
+({\color{red} Herleitung und weitere Informationen Vorlesung 07 Folie 40})
+\begin{equation} \label{eq:gaussian_process_posterior}
+    p(\bm y|\bm X) = \nomeq{gaussian_distribution}(\bm y|0,\bm K + \sigma_y^2\nomeq{identity_matrix})
+\end{equation}
+Hierbei ist $\bm K$ die \say{covariance matrix} und nicht die \noms{kernel_matrix} (außer $k$ ist eine \noms{kernel_function})
+\begin{equation} \label{eq:covariance_matrix}
+    \bm K = \begin{bmatrix}
+        k(\bm x_1,\bm x_1) & \cdots & k(\bm x_1,\bm x_N)\\
+        \vdots & \ddots & \vdots\\
+        k(\bm x_N, \bm x_1) & \cdots & k(\bm x_N,\bm x_N)
+    \end{bmatrix}
+\end{equation}
+Die Vorhersage $p(y^*|\bm X,\bm y,\bm x^*)$ ist eine \noms{gaussian_distribution},
+wobei \noms{mean} und \noms{variance} gegeben sind durch:\\
+({\color{red} Herleitung Vorlesung 07 Folie 41})
+\begin{itemize}
+    \item $\nomeq{mean}(\bm x^*) = \bm k_{\bm x^*}^T(\bm K + \sigma_y^2\nomeq{identity_matrix})^{-1}\bm y$
+    \item $\nomeq{variance}(\bm x^*) = k^* + \sigma_y^2 - \bm k_{\bm x^*}^T(\bm K + \sigma_y^2\nomeq{identity_matrix})^{-1}\bm k_{\bm x^*}$
+\end{itemize}