Expectation Maximization hinzugefügt.

chapters/Mathematische_Grundlagen/Probability_Theory.tex

@@ -217,3 +217,16 @@ In diesem Zusammenhang berechnet sich die \gls{MLE} durch:
         \log\text{lik}(\bm{\theta};D) = \sum_i \log p_{\bm{\theta}}(y_i|x_i) 
     \end{equation}
     {\color{red} Erklärung: siehe Folien 21 und 22 in Vorlesung 2}
+
+\section{\glstoplong{KL} Divergenz}%
+\label{sec:KL-Divergenz}
+Die \gls{KL} Divergenz ist ein wichtiges Ähnlichkeitsmaß für Verteilungen.
+\begin{equation} \label{eq:KL-divergence}
+    \nomeq{kl_divergence}(q(\bm x)\|p(\bm x)) = \sum_{\bm x}\log \frac{q(\bm x)}{p(\bm x)}
+\end{equation}
+Die \gls{KL} Divergenz hat folgende Eigenschaften:
+\begin{itemize}
+    \item nicht negativ:\tabto{9cm}$\nomeq{kl_divergence}(q\|p)\ge0$
+    \item falls sie 0 ist, sind beide Verteilungen identisch:\tabto{9cm}$\nomeq{kl_divergence}(q\|p)=0\Leftrightarrow q=p$
+    \item nicht symmetrisch: $\nomeq{kl_divergence}(q\|p)\ne\nomeq{kl_divergence}(p\|q)$
+\end{itemize}