References korrigiert.

This commit is contained in:
2022-02-21 10:45:35 +01:00
parent 26023f3ba7
commit 1dbdb7c63c
4 changed files with 43 additions and 42 deletions

View File

@@ -25,7 +25,7 @@ Es gibt mehrere Gründe für den Einsatz von Auto-Encodern:
\item Mapping von höherdimensionalen Daten in zweidimensionale Visualisierung
\item Datenkompression (hierfür werden \glsxtrshortpl{VAE}(\cref{sec:VAEs}) benötigt)
\item Lernen von abstrakten Features als Datenvorverarbeitung für einen Supervised Learning Algorithmus (\cref{part:Classical Supervised Learning})
\item \say{semantically meaningful representation}, die z.B. eine Interpolation zwischen Bildern ermöglicht (\cref{??})
\item \say{semantically meaningful representation}, die z.B. eine Interpolation zwischen Bildern ermöglicht (\cref{fig:latent_space_vector_interpolation})
\end{itemize}
\section{Deep Auto-Encoders}%
@@ -101,6 +101,7 @@ da er nun nur noch versuchen muss eine Variation (z.B. Schriftart) einer bekannt
\begin{figure}[H]
\centering
\includegraphics[width=0.8\textwidth]{latent_space_vector_interpolation.png}
\caption{Durch Interpolation von Vektoren erzeugte Zeichnungen}
\label{fig:latent_space_vector_interpolation}
\end{figure}
\end{itemize}

View File

@@ -60,7 +60,7 @@ Für die Maximierung dieser Lower Bound gibt es im Grunde genommen zwei Verfahre
Das \say{Amortized Variational Inference} Verfahren ist das Standardverfahren,
welches in \dref{sec:VAEs} zum Einsatz kommt.
Hierbei wird statt einer auxiliary distribution $q_i(\bm z)$ für jeden Datenpunkt $x_i$ eine amortisierte Verteilung (armortized distribution) $q_\phi(\bm z|\bm x_i)$ verwendet,
welche mittels eines \gls{DNN} (\cref{Deep Neural Networkd}) erstellt wird.
welche mittels eines \gls{DNN} (\cref{sec:Double Descent effect for DNNs}) erstellt wird.
Hierdurch lässt sich die Lower Bound Funktion wie folgt umschreiben:
\begin{equation} \label{eq:amortized_variational_inference_lower_bound}
\mathcal L(q,p) = \frac{1}{N}\sum_i\int q_\phi(\bm z|\bm x_i)\log p_{\bm \varphi}(\bm x_i|\bm z)d\bm z - \nomeq{kl_divergence}(q_\phi(\bm z|\bm x_i)\|p_{\bm\varphi}(\bm z))
@@ -72,7 +72,7 @@ Hierdurch lässt sich die Lower Bound Funktion wie folgt umschreiben:
\end{itemize}
Da die Samples hier nicht vorgegeben sind,
sondern generiert werden,
unterscheidet sich dieses Verfahren vom Maximum-Log-Likelihood (\cref{maximum log-lik}).
unterscheidet sich dieses Verfahren vom Maximum-Log-Likelihood (\cref{sec:MLE}).
Zudem ist die Verwendung von Gradienten sehr ineffizient.
Abhilfe biete der \say{Reparameterization Trick} (siehe {\color{red} Vorlesung 12 Folie 19 und 20}),
welcher es ermöglicht,