Mathematische Grundlagen für die Bayesian Regression hinzugefügt.

chapters/Mathematische_Grundlagen/Gaussian_Identities.tex

@@ -0,0 +1,80 @@
+\chapter{Gaussian Identities}%
+\label{cha:Gaussian Identities}
+Im folgenden werden 3 Gaussian Identities genauer betrachtet
+\begin{enumerate}
+    \item Marginal Gaussian Distribution: die Gaußsche Normalverteilung von einem Faktor
+        \begin{equation} \label{eq:marginal_gaussian_distribution}
+            p(\bm x) = \nomeq{gaussian_distribution}(\bm x|\bm \mu_x,\nomeq{covariance}_{\bm x}) 
+        \end{equation}
+    \item Conditional Gaussian Distribution: die Gaußsche Normalverteilung des zweiten Faktors in Abhängigkeit vom ersten Faktor
+        ($\bm F$: lineares Modell, dass $\bm x$ und $\bm y$ verknüpft)
+        \begin{equation} \label{eq:conditional_gaussian_distribution}
+            p(\bm y|\bm x) = \nomeq{gaussian_distribution}(\bm y|\bm F\bm x,\nomeq{covariance}_{\bm y}) 
+        \end{equation}
+    \item Joint Gaussian Distribution: Die Gaußsche Normalverteilung in Abhängigkeit von beiden Faktoren
+        \begin{equation} \label{eq:joint_gaussian_distribution}
+            p(\bm x,\bm y) 
+            = \nomeq{gaussian_distribution}\left( \begin{bmatrix}\bm x\\ \bm y \end{bmatrix} | 
+            \begin{bmatrix} \bm\mu_{\bm x} \\ \bm F\bm\mu_{\bm x} \end{bmatrix}, 
+            \begin{bmatrix} 
+                \nomeq{covariance}_{\bm x}      & \nomeq{covariance}_{\bm x}\bm F^T \\ 
+                \bm F\nomeq{covariance}_{\bm x} & \nomeq{covariance}_{\bm y} + \bm F\nomeq{covariance}_{\bm x} \bm F^T 
+            \end{bmatrix} \right)
+        \end{equation}
+\end{enumerate}
+Es gibt zwei Richtungen,
+in die umgewandelt werden kann:
+\begin{enumerate}
+    \item Marginal und Conditional wird zu Joint:\\
+        ($\bm F$: lineares Modell, dass $\bm x$ und $\bm y$ verknüpft)
+        \begin{equation} \label{eq:joint_gaussian_distribution_from_marginal_and_conditional}
+            \nomeq{gaussian_distribution}(\bm x|\bm\mu_{\bm x},\nomeq{covariance}_{\bm x})\nomeq{gaussian_distribution}(\bm y|\bm F\bm x,\nomeq{covariance}_{\bm y}) 
+            = \nomeq{gaussian_distribution}\left( \begin{bmatrix}\bm x\\ \bm y \end{bmatrix} | 
+            \begin{bmatrix} \bm\mu_{\bm x} \\ \bm F\bm\mu_{\bm x} \end{bmatrix}, 
+            \begin{bmatrix} 
+                \nomeq{covariance}_{\bm x}      & \nomeq{covariance}_{\bm x}\bm F^T \\ 
+                \bm F\nomeq{covariance}_{\bm x} & \nomeq{covariance}_{\bm y} + \bm F\nomeq{covariance}_{\bm x} \bm F^T 
+            \end{bmatrix} \right)
+        \end{equation}
+    \item Joint zu Marginal und Conditional:\\
+        ($C$ ist wieder eine Matrix, die eine lineare Relation zwischen $x$ und $y$ herstellt)
+        \begin{equation} \label{eq:marginal_and_conditional_gaussian_distribution_from_joint}
+            \nomeq{gaussian_distribution}\left( \begin{bmatrix}\bm x\\ \bm y \end{bmatrix} | 
+            \begin{bmatrix} \bm\mu_{\bm x} \\ \bm\mu_{\bm y} \end{bmatrix}, 
+            \begin{bmatrix} \nomeq{covariance}_{\bm x} & \bm C \\ \bm C^T & \nomeq{covariance}_{\bm y} \end{bmatrix} \right)
+            = \nomeq{gaussian_distribution}(\bm x|\bm\mu_{\bm x},\nomeq{covariance}_{\bm x})
+            \nomeq{gaussian_distribution}(\bm y| \bm\mu_{\bm y} + \bm C^T\nomeq{covariance}_{\bm x}^{-1}(\bm x - \bm\mu_{\bm x}), 
+            \nomeq{covariance}_{\bm y} - \bm C^T\nomeq{covariance}_{\bm x}^{-1}\bm C)
+        \end{equation}
+\end{enumerate}
+
+\section{Gaussian Bayes Rules}%
+\label{sec:Gaussian Bayes Rules}
+Es gibt zwei bayesische Regeln für die Errechnung des Posteriors:\\
+({\color{red}Herleitung Vorlesung 07 Folien 28 und 29})\\
+Gegeben: Marginal (\cref{eq:marginal_gaussian_distribution}) und Conditional (\cref{eq:conditional_gaussian_distribution})
+\begin{itemize}
+    \item Gaussian Bayes Rule 1:
+        \begin{itemize}
+            \item Mean: \tabto{2.2cm}$\bm\mu_{\bm x|\bm y} 
+                = \bm\mu_{\bm x} + \nomeq{covariance}_{\bm x}\bm F^T(\sigma_{\bm y}^2\nomeq{identity_matrix} + \bm F\nomeq{covariance}_{\bm x}\bm F^T)^{-1}(\bm y - \bm F\bm\mu_{\bm x})$
+            \item Covariance:\tabto{2.2cm} $\nomeq{covariance}_{\bm x|\bm y} 
+                = \nomeq{covariance}_{\bm x}-\nomeq{covariance}_{\bm x}\bm F^T(\sigma_{\bm y}^2\nomeq{identity_matrix}+\bm F\nomeq{covariance}_{\bm x}\bm F^T)^{-1}\bm F\nomeq{covariance}_{\bm x}$
+        \end{itemize}
+    \item Gaussian Bayes Rule 2:
+        \begin{itemize}
+            \item Mean: \tabto{2.2cm}$\bm\mu_{\bm x|\bm y} 
+                = \bm\mu_{\bm x} + (\sigma_{\bm y}^2\nomeq{covariance}_{\bm x}^{-1} + \bm F^T\bm F)^{-1} \bm F^T (\bm y - \bm F\bm\mu_{\bm x})$
+            \item Covariance:\tabto{2.2cm} $\nomeq{covariance}_{\bm x|\bm y} 
+                = \sigma_{\bm y}^2(\sigma_{\bm y}^2\nomeq{covariance}_{\bm x}^{-1} + \bm F^T\bm F)^{-1}$
+        \end{itemize}
+\end{itemize}
+
+\section{Gaussian Propagation}%
+\label{sec:Gaussian Propagation}
+Mit den Marginal und Conditional aus \cref{eq:marginal_gaussian_distribution} und \cref{eq:conditional_gaussian_distribution} ist es möglich den Conditional $p(\bm y)$ zu ermitteln:\\
+({\color{red}Herleitung Vorlesung 07 Folie 31})
+\begin{itemize}
+    \item Mean: \tabto{2.2cm}$\bm\mu_{\bm y} = \bm F\bm\mu_{\bm x}$
+    \item Covariance:\tabto{2.2cm} $\nomeq{covariance}_{\bm y} = \sigma_{\bm y}^2\nomeq{identity_matrix} + \bm F\nomeq{covariance}_{\bm x}\bm F^T$
+\end{itemize}

chapters/Mathematische_Grundlagen/Probability_Theory.tex

@@ -137,7 +137,7 @@ Diese Verteilung kann mithilfe eines 1-hot-encoding-Vektor $\bm{h}_c = \begin{ca
 \end{wrapfigure}
 Eine Gaußsche Normalverteilung kann alle realen Werte enthalten ($X\in\mathbb{R}$) und ist durch \nomf{mean} und \nomf{variance} vollständig definiert.
 \begin{equation} \label{eq:gaussian_distribution}
-    \nomeq{probability_mass_function}=\mathcal{N}(x|\nomeq{mean},\sigma) = \dfrac{1}{\sqrt{2\pi\nomeq{variance}}}\exp\left\{-\dfrac{(x-\nomeq{mean})^2}{2\nomeq{variance}}\right\}
+    \nomeq{probability_mass_function}=\nomeq{gaussian_distribution}(x|\nomeq{mean},\sigma) = \dfrac{1}{\sqrt{2\pi\nomeq{variance}}}\exp\left\{-\dfrac{(x-\nomeq{mean})^2}{2\nomeq{variance}}\right\}
 \end{equation}
 \vspace{10mm}
 
@@ -154,7 +154,7 @@ Eine Gaußsche Normalverteilung kann alle realen Werte enthalten ($X\in\mathbb{R
 Bei der multivariaten Gaußschen Verteilung sind die Werte aus einem $D$-dimensionalen reellen Werteraum ($\bm{X}\in\mathbb{R}^d$).
 Die Verteilung wird durch den \nomf{mean-vector} und die \nomf{covariance} vollständig definiert:
 \begin{equation} \label{eq:multivariate_gaussian_distribution}
-    p(\bm{x}) =\mathcal{N}(\bm{x}|\nomeq{mean-vector},\nomeq{covariance}) 
+    p(\bm{x}) =\nomeq{gaussian_distribution}(\bm{x}|\nomeq{mean-vector},\nomeq{covariance}) 
     = \dfrac{1}{\sqrt{2\pi\nomeq{covariance}}}\exp\left\{-\dfrac{(\bm{x}-\nomeq{mean-vector})^T\nomeq{covariance}^{-1}(\bm{x}-\nomeq{mean-vector})}{2}\right\}
 \end{equation}