forked from TH_General/Template_Summary
62 lines
2.2 KiB
TeX
62 lines
2.2 KiB
TeX
\chapter{Probability Theory}%
|
|
\label{cha:Probability Theory}
|
|
Eine Funktion \nomsym{probability_mass_function},
|
|
die die Wahrscheinlichkeit angibt,
|
|
dass $X$ den Wert $x$ annimmt,
|
|
wird als \noms{probability_mass_function} bezeichnet.
|
|
Eine gültige \noms{probability_mass_function} muss folgende Eigenschaften erfüllen:
|
|
\begin{itemize}
|
|
\item weist jedem $x\in X$ einen Wert zu
|
|
\item nicht-negativ
|
|
\item die Summe aller Wahrscheinlichkeiten ist 1
|
|
\end{itemize}
|
|
|
|
Zwei Wahrscheinlichkeitsdichtefunktionen können dabei auf verschiedene Arten miteinander zusammenhängen:
|
|
\begin{itemize}
|
|
\item \textbf{Joint Distribution} $p(x,y)$: Die Wahrscheinlichkeit das $X=x$ und $Y=y$
|
|
\item \textbf{Conditional Distribution} $p(x|y)$: Die Wahrscheinlichkeit für $X=x$, wenn $Y=y$ gegeben ist
|
|
\end{itemize}
|
|
\begin{figure}[H]
|
|
\centering
|
|
\includegraphics[width=.6\linewidth]{images/conditional_and_joint_distribution.png}
|
|
\caption{Conditional and Joint Distribution}
|
|
\label{fig:conditional_and_joint_distribution}
|
|
\end{figure}
|
|
|
|
\section{Rules of Probability}%
|
|
\label{sec:Rules of Probability}
|
|
\paragraph{Summenregel}%
|
|
\label{par:Summenregel}
|
|
\begin{align} \label{eq:sum_rule}
|
|
p(x) &= \sum_y p(x,y)\\
|
|
p(x_1) &= \sum_{x_2}\sum_{x_3}\cdots\sum_{x_D} p(x_1,\dots,x_D)
|
|
\end{align}
|
|
\begin{figure}[H]
|
|
\centering
|
|
\includegraphics[width=0.6\textwidth]{images/sum_rule.png}
|
|
\caption{Summenregel}
|
|
\label{fig:sum_rule}
|
|
\end{figure}
|
|
|
|
\paragraph{Ketten"~\slash\,Produktregel}%
|
|
\label{par:Ketten-/Produktregel}
|
|
\begin{align}\label{eq:chain_rule}
|
|
p(x,y) &= p(x|y)p(y) \\
|
|
p(x_1,\dots,x_D) &= p(x_1)p(x_2|x_1)\dots p(x_D|x_1,\dots, x_{D-1})
|
|
\end{align}
|
|
\begin{figure}[H]
|
|
\centering
|
|
\includegraphics[width=0.7\textwidth]{images/chain_rule.png}
|
|
\caption{Ketten"~\slash\,Produktregel}
|
|
\label{fig:chain_rule}
|
|
\end{figure}
|
|
|
|
\subsection{Bayes Rule}%
|
|
\label{sub:Bayes Rule}
|
|
Die Regel von Bayes ist eine der wichtigsten Regeln der Wahrscheinlichkeitstheorie und essentiell im Bereich des Maschinellen Lernens.
|
|
\begin{equation} \label{eq:Bayes Rule}
|
|
p(x|y) = \dfrac{p(y|x)p(x)}{p(y)} = \dfrac{p(y|x)p(x)}{\sum_{x'}p(y|x')p(x')}
|
|
\end{equation}
|
|
|
|
Weiter auf Seite 114
|