forked from TH_General/Template_Summary
References korrigiert.
This commit is contained in:
@@ -25,7 +25,7 @@ Es gibt mehrere Gründe für den Einsatz von Auto-Encodern:
|
||||
\item Mapping von höherdimensionalen Daten in zweidimensionale Visualisierung
|
||||
\item Datenkompression (hierfür werden \glsxtrshortpl{VAE}(\cref{sec:VAEs}) benötigt)
|
||||
\item Lernen von abstrakten Features als Datenvorverarbeitung für einen Supervised Learning Algorithmus (\cref{part:Classical Supervised Learning})
|
||||
\item \say{semantically meaningful representation}, die z.B. eine Interpolation zwischen Bildern ermöglicht (\cref{??})
|
||||
\item \say{semantically meaningful representation}, die z.B. eine Interpolation zwischen Bildern ermöglicht (\cref{fig:latent_space_vector_interpolation})
|
||||
\end{itemize}
|
||||
|
||||
\section{Deep Auto-Encoders}%
|
||||
@@ -101,6 +101,7 @@ da er nun nur noch versuchen muss eine Variation (z.B. Schriftart) einer bekannt
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\includegraphics[width=0.8\textwidth]{latent_space_vector_interpolation.png}
|
||||
\caption{Durch Interpolation von Vektoren erzeugte Zeichnungen}
|
||||
\label{fig:latent_space_vector_interpolation}
|
||||
\end{figure}
|
||||
\end{itemize}
|
||||
|
||||
@@ -60,7 +60,7 @@ Für die Maximierung dieser Lower Bound gibt es im Grunde genommen zwei Verfahre
|
||||
Das \say{Amortized Variational Inference} Verfahren ist das Standardverfahren,
|
||||
welches in \dref{sec:VAEs} zum Einsatz kommt.
|
||||
Hierbei wird statt einer auxiliary distribution $q_i(\bm z)$ für jeden Datenpunkt $x_i$ eine amortisierte Verteilung (armortized distribution) $q_\phi(\bm z|\bm x_i)$ verwendet,
|
||||
welche mittels eines \gls{DNN} (\cref{Deep Neural Networkd}) erstellt wird.
|
||||
welche mittels eines \gls{DNN} (\cref{sec:Double Descent effect for DNNs}) erstellt wird.
|
||||
Hierdurch lässt sich die Lower Bound Funktion wie folgt umschreiben:
|
||||
\begin{equation} \label{eq:amortized_variational_inference_lower_bound}
|
||||
\mathcal L(q,p) = \frac{1}{N}\sum_i\int q_\phi(\bm z|\bm x_i)\log p_{\bm \varphi}(\bm x_i|\bm z)d\bm z - \nomeq{kl_divergence}(q_\phi(\bm z|\bm x_i)\|p_{\bm\varphi}(\bm z))
|
||||
@@ -72,7 +72,7 @@ Hierdurch lässt sich die Lower Bound Funktion wie folgt umschreiben:
|
||||
\end{itemize}
|
||||
Da die Samples hier nicht vorgegeben sind,
|
||||
sondern generiert werden,
|
||||
unterscheidet sich dieses Verfahren vom Maximum-Log-Likelihood (\cref{maximum log-lik}).
|
||||
unterscheidet sich dieses Verfahren vom Maximum-Log-Likelihood (\cref{sec:MLE}).
|
||||
Zudem ist die Verwendung von Gradienten sehr ineffizient.
|
||||
Abhilfe biete der \say{Reparameterization Trick} (siehe {\color{red} Vorlesung 12 Folie 19 und 20}),
|
||||
welcher es ermöglicht,
|
||||
|
||||
Reference in New Issue
Block a user