\chapter{Probability Theory}%
\label{cha:Probability Theory}
Eine Funktion \nomsym{probability_mass_function},
die die Wahrscheinlichkeit angibt,
dass $X$ den Wert $x$ annimmt,
wird als \noms{probability_mass_function} bezeichnet.
Eine gültige \noms{probability_mass_function} muss folgende Eigenschaften erfüllen:
\begin{itemize}
    \item weist jedem $x\in X$ einen Wert zu
    \item nicht-negativ
    \item die Summe aller Wahrscheinlichkeiten ist 1
\end{itemize}

Zwei Wahrscheinlichkeitsdichtefunktionen können dabei auf verschiedene Arten miteinander zusammenhängen:
\begin{itemize}
    \item \textbf{Joint Distribution} $p(x,y)$: Die Wahrscheinlichkeit das $X=x$ und $Y=y$
    \item \textbf{Conditional Distribution} $p(x|y)$: Die Wahrscheinlichkeit für $X=x$, wenn $Y=y$ gegeben ist
\end{itemize}
\begin{figure}[H]
    \centering
    \includegraphics[width=.6\linewidth]{images/conditional_and_joint_distribution.png}
    \caption{Conditional and Joint Distribution}
    \label{fig:conditional_and_joint_distribution}
\end{figure}

\section{Rules of Probability}%
\label{sec:Rules of Probability}
\paragraph{Summenregel}%
\label{par:Summenregel}
\begin{align} \label{eq:sum_rule}
    p(x) &= \sum_y p(x,y)\\
    p(x_1) &= \sum_{x_2}\sum_{x_3}\cdots\sum_{x_D} p(x_1,\dots,x_D)
\end{align}
\begin{figure}[H]
    \centering
    \includegraphics[width=0.6\textwidth]{images/sum_rule.png}
    \caption{Summenregel}
    \label{fig:sum_rule}
\end{figure}

\paragraph{Ketten"~\slash\,Produktregel}%
\label{par:Ketten-/Produktregel}
\begin{align}\label{eq:chain_rule}
    p(x,y) &= p(x|y)p(y) \\
    p(x_1,\dots,x_D) &= p(x_1)p(x_2|x_1)\dots p(x_D|x_1,\dots, x_{D-1})
\end{align}
\begin{figure}[H]
    \centering
    \includegraphics[width=0.7\textwidth]{images/chain_rule.png}
    \caption{Ketten"~\slash\,Produktregel}
    \label{fig:chain_rule}
\end{figure}

\subsection{Bayes Rule}%
\label{sub:Bayes Rule}
Die Regel von Bayes ist eine der wichtigsten Regeln der Wahrscheinlichkeitstheorie und essentiell im Bereich des Maschinellen Lernens.
\begin{equation} \label{eq:Bayes Rule}
    p(x|y) = \dfrac{p(y|x)p(x)}{p(y)} = \dfrac{p(y|x)p(x)}{\sum_{x'}p(y|x')p(x')}
\end{equation}

Weiter auf Seite 114