Mathematische Grundlagen für die Bayesian Regression hinzugefügt.

chapters/Bayesian_Learning/Bayesian_Learning.tex

@@ -36,7 +36,7 @@ Indem man \nomsym{mean} und $\sigma$ als \nomf{parameter_vector} betrachtet,
 kann die \nameref{sub:Gaussian Distribution} in die zuvor gezeigte Form gebracht werden:
 \begin{equation} \label{eq:Gaussian_Distribution_parameter_vector}
     p(x|\nomeq{parameter_vector}=\{\nomeq{mean},\sigma\})
-    =\mathcal{N}(x|\nomeq{mean},\sigma) = \dfrac{1}{\sqrt{2\pi\nomeq{variance}}}\exp\left\{-\dfrac{(x-\nomeq{mean})^2}{2\nomeq{variance}}\right\}
+    =\nomeq{gaussian_distribution}(x|\nomeq{mean},\sigma) = \dfrac{1}{\sqrt{2\pi\nomeq{variance}}}\exp\left\{-\dfrac{(x-\nomeq{mean})^2}{2\nomeq{variance}}\right\}
 \end{equation}
 Hieraus ergibt sich für einen ganzen Datensatz $\bm X$:
 \begin{equation} \label{eq:gaussian_distribution_dataset}
@@ -53,8 +53,8 @@ Da wir nun sowohl die Likelihood als auch die Posterior Funktion zur Verfügung
 lässt sich die Marginal Likelihood errechnen:
 \begin{align} \label{eq:gaussian_distribution_marginal_likelihood}
     \underbrace{p(x^*|\bm X)}_{\text{marginal likelihood}} &= \int \underbrace{p(x^*|\nomeq{mean})}_{likelihood}\underbrace{p(\nomeq{mean}|\bm X)}_{\text{posterior}}d\nomeq{mean}\\
-    &= \int \mathcal N(x^*|\nomeq{mean},\sigma)\mathcal N(\nomeq{mean}|\nomeq{mean}_n,\sigma_N)d\nomeq{mean}\\
-    &= \mathcal N(x^*|\nomeq{mean}_{x^*},\sigma_{x^*}^2)
+    &= \int \nomeq{gaussian_distribution}(x^*|\nomeq{mean},\sigma)\nomeq{gaussian_distribution}(\nomeq{mean}|\nomeq{mean}_n,\sigma_N)d\nomeq{mean}\\
+    &= \nomeq{gaussian_distribution}(x^*|\nomeq{mean}_{x^*},\sigma_{x^*}^2)
 \end{align}
 Hierbei sind $\nomeq{mean}_{x^*}$ und $\sigma_{x^*}^2$ gegeben durch:
 \begin{itemize}
@@ -69,7 +69,7 @@ dass die \nomf{variance} bekannt ist,
 ergibt sich für den Prior der \nameref{sub:Gaussian Distribution}:
 \begin{equation}
     \label{eq:gaussian_distribution_prior}
-    p(\nomeq{mean}) = \mathcal N(\nomeq{mean}|\nomeq{mean}_0,\sigma_0) 
+    p(\nomeq{mean}) = \nomeq{gaussian_distribution}(\nomeq{mean}|\nomeq{mean}_0,\sigma_0) 
         = \frac{1}{\sqrt{2\pi\sigma_0^2}} \exp\left\{-\frac{(\nomeq{mean}-\nomeq{mean}_0)^2}{2\sigma_0^2}\right\}
 \end{equation}
 Hierbei sind $\nomeq{mean}_0$ und $\sigma_0$ die a-priori Vermutungen.
@@ -93,7 +93,7 @@ Der erste Schritt ist es die Funktion in die kanonische Schreibweise zu überfü
     \Rightarrow &a=\left(\frac{N}{\nomeq{variance}} + \frac{1}{\sigma_0^2}\right),\\
                 &b = \left(\frac{\sum_i x_i}{\nomeq{variance}} + \frac{\mu_0}{\sigma_0^2}\right)
 \end{align}
-Für die Gaußsche Normalverteilung $p(\nomeq{mean}|\bm X) = \mathcal N(\nomeq{mean}|\mu_N,\sigma_N^2)$ ist bekannt, dass:
+Für die Gaußsche Normalverteilung $p(\nomeq{mean}|\bm X) = \nomeq{gaussian_distribution}(\nomeq{mean}|\mu_N,\sigma_N^2)$ ist bekannt, dass:
 \begin{itemize}
     \item $\nomeq{mean}_N = a^{-1}b$
     \item $\sigma_N^2 = a^{-1}$
@@ -108,7 +108,7 @@ Daher ergibt sich:
 
 \subsection{Conjugate Priors}%
 \label{sub:Conjugate Priors}
-Wenn die Posterior Probability Distribution $p(\nomeq{parameter_vector}|\mathcal N)$ zu der gleichen Distribution-Klasse gehört wie die Prior Probability Distribuition $p(\nomeq{parameter_vector})$ spricht man von einem \say{conjugate prior}.
+Wenn die Posterior Probability Distribution $p(\nomeq{parameter_vector}|\nomeq{gaussian_distribution})$ zu der gleichen Distribution-Klasse gehört wie die Prior Probability Distribuition $p(\nomeq{parameter_vector})$ spricht man von einem \say{conjugate prior}.
 Die Gaußsche Wahrscheinlichkeitsverteilung fällt in diesen Bereich,
 da sowohl Posterior als auch Prior durch eine gaußsche Normalverteilung beschrieben werden.
 
@@ -132,5 +132,8 @@ Bei der \say{maximum a-posteriori solution} handelt es sich um eine Vereinfachun
 
 \subsection{Anwendungsbeispiel: Regression}%
 \label{sub:MAP:Anwendungsbeispiel: Regression}
+Läuft am Ende auf \nameref{sub:Ridge Regression} hinaus.
+Soll den Zusammenhang beider Methoden zeigen.
 {\color{red} siehe Vorlesung 07 Folien 20-22}
 
+

chapters/Bayesian_Learning/Bayesian_Regression_Algorithms.tex

@@ -1,4 +1,27 @@
 \chapter{Bayesian Regression Algorithms}%
 \label{cha:Bayesian Regression Algorithms}
 
+\section{Bayesian Linear Regression}%
+\label{sec:Bayesian Linear Regression}
+Für die Bayesian Linear Regression ist es möglich den Posterior und die Vorhersage ohne die Nutzung von Approximationen zu berechnen.
+Hierzu werden die folgenden Komponenten benötigt:
+\begin{itemize}
+    \item Likelihood (einzelnes Sample): $p(y|\bm x,\bm w) = \nomeq{gaussian_distribution}(y|\bm w^T \nomeq{vector_valued_function},\nomeq{variance})$
+    \item Likelihood (ganzer Datensatz): $p(\bm y|\bm X,\bm w) = \prod_i \nomeq{gaussian_distribution}(y_i|\bm w^T \bm\phi(\bm x_i), \nomeq{variance})$
+    \item Gaussian Prior: $p(\bm w) = \nomeq{gaussian_distribution}(\bm w|0,\nomeq{regularization_factor}^{-1}\nomeq{identity_matrix})$
+\end{itemize}
+Anschließend erfolgt die Regression nach den Schritten des \nameref{cha:Bayesian Learning}:
+\begin{enumerate}
+    \item Posterior errechnen:
+        \begin{equation} \label{eq:bayesion_linear_regression_posterior}
+            p(\bm w|\bm X,\bm y) = \frac{p(\bm y|\bm X,\bm w)p(\bm w)}{p(\bm y|\bm X)} 
+                = \frac{p(\bm y|\bm X,\bm w)p(\bm w)}{\int p(\bm y|\bm X,\bm w)p(\bm w)d\bm w}
+        \end{equation}
+    \item Predictive Distribution errechnen:
+        \begin{equation} \label{eq:bayesion_linear_regression_predictive_distribution}
+            p(y^*|\bm x^*,\bm X,\bm y) = \int p(y^*|\bm w,\bm x^*)p(\bm w|\bm X,\bm y)d\bm w 
+        \end{equation}
+\end{enumerate}
+
+WEITER AUF FOLIE 398