forked from TH_General/Template_Summary
References korrigiert.
This commit is contained in:
parent
26023f3ba7
commit
1dbdb7c63c
@ -18,44 +18,44 @@
|
||||
\def \MODULECOMPACT{ML}
|
||||
\def \DATE{\today}
|
||||
|
||||
\includeonly{
|
||||
% %Einleitung
|
||||
%chapters/Einleitung,
|
||||
% %Classical_Supervised_Learning
|
||||
%chapters/Classical_Supervised_Learning/Linear_Regression,
|
||||
%chapters/Classical_Supervised_Learning/Linear_Classification,
|
||||
%chapters/Classical_Supervised_Learning/Model_Selection,
|
||||
%chapters/Classical_Supervised_Learning/k-Nearest_Neighbors,
|
||||
%chapters/Classical_Supervised_Learning/Trees_and_Forests,
|
||||
% %Kernel_Methods
|
||||
%chapters/Kernel_Methods/Kernel-Regression,
|
||||
%chapters/Kernel_Methods/Support_Vector_Machines,
|
||||
%chapters/Bayesian_Learning/Bayesian_Learning,
|
||||
%chapters/Bayesian_Learning/Bayesian_Regression_Algorithms,
|
||||
% %Neural_Networks
|
||||
%chapters/Neural_Networks/Basics,
|
||||
%chapters/Neural_Networks/Gradient_Descent,
|
||||
%chapters/Neural_Networks/Regularization,
|
||||
%chapters/Neural_Networks/Practical_Considerations,
|
||||
%chapters/Neural_Networks/CNN,
|
||||
%chapters/Neural_Networks/RNN,
|
||||
% %Classical_Unsupervised_Learning
|
||||
chapters/Classical_Unsupervised_Learning/Dimensionality_Reduction,
|
||||
chapters/Classical_Unsupervised_Learning/Clustering,
|
||||
chapters/Classical_Unsupervised_Learning/Density_Estimation,
|
||||
chapters/Classical_Unsupervised_Learning/Expectation_Maximization,
|
||||
chapters/Classical_Unsupervised_Learning/Latent_Variable_Models_and_Variational_Bayes,
|
||||
chapters/Classical_Unsupervised_Learning/Auto-Encoders,
|
||||
% %Mathematische_Grundlagen
|
||||
%chapters/Mathematische_Grundlagen/Lineare_Algebra,
|
||||
%chapters/Mathematische_Grundlagen/Probability_Theory,
|
||||
%chapters/Mathematische_Grundlagen/Kernel_Basics,
|
||||
%chapters/Mathematische_Grundlagen/Sub-Gradients,
|
||||
%chapters/Mathematische_Grundlagen/Constraint_Optimization,
|
||||
%chapters/Mathematische_Grundlagen/Gaussian_Identities,
|
||||
% %Anhang
|
||||
%Appendix
|
||||
}
|
||||
%\includeonly{
|
||||
%% %Einleitung
|
||||
%%chapters/Einleitung,
|
||||
%% %Classical_Supervised_Learning
|
||||
%%chapters/Classical_Supervised_Learning/Linear_Regression,
|
||||
%%chapters/Classical_Supervised_Learning/Linear_Classification,
|
||||
%%chapters/Classical_Supervised_Learning/Model_Selection,
|
||||
%%chapters/Classical_Supervised_Learning/k-Nearest_Neighbors,
|
||||
%%chapters/Classical_Supervised_Learning/Trees_and_Forests,
|
||||
%% %Kernel_Methods
|
||||
%%chapters/Kernel_Methods/Kernel-Regression,
|
||||
%%chapters/Kernel_Methods/Support_Vector_Machines,
|
||||
%%chapters/Bayesian_Learning/Bayesian_Learning,
|
||||
%%chapters/Bayesian_Learning/Bayesian_Regression_Algorithms,
|
||||
%% %Neural_Networks
|
||||
%%chapters/Neural_Networks/Basics,
|
||||
%%chapters/Neural_Networks/Gradient_Descent,
|
||||
%%chapters/Neural_Networks/Regularization,
|
||||
%%chapters/Neural_Networks/Practical_Considerations,
|
||||
%%chapters/Neural_Networks/CNN,
|
||||
%%chapters/Neural_Networks/RNN,
|
||||
%% %Classical_Unsupervised_Learning
|
||||
%chapters/Classical_Unsupervised_Learning/Dimensionality_Reduction,
|
||||
%chapters/Classical_Unsupervised_Learning/Clustering,
|
||||
%chapters/Classical_Unsupervised_Learning/Density_Estimation,
|
||||
%chapters/Classical_Unsupervised_Learning/Expectation_Maximization,
|
||||
%chapters/Classical_Unsupervised_Learning/Latent_Variable_Models_and_Variational_Bayes,
|
||||
%chapters/Classical_Unsupervised_Learning/Auto-Encoders,
|
||||
%% %Mathematische_Grundlagen
|
||||
%%chapters/Mathematische_Grundlagen/Lineare_Algebra,
|
||||
%%chapters/Mathematische_Grundlagen/Probability_Theory,
|
||||
%%chapters/Mathematische_Grundlagen/Kernel_Basics,
|
||||
%%chapters/Mathematische_Grundlagen/Sub-Gradients,
|
||||
%%chapters/Mathematische_Grundlagen/Constraint_Optimization,
|
||||
%%chapters/Mathematische_Grundlagen/Gaussian_Identities,
|
||||
%% %Anhang
|
||||
%%Appendix
|
||||
%}
|
||||
|
||||
\input{Glossary.tex}
|
||||
|
||||
|
||||
@ -1,7 +1,7 @@
|
||||
# Zusammenfassung Maschinelles Lernen: Grundlagen und Algorithmen
|
||||
|
||||
##TODO:
|
||||
- [ ] alle ?? beseitigen
|
||||
- [x] alle ?? beseitigen
|
||||
- [ ] für alle \nameref prüfen, ob eine richtige Referenz nachfolgen sollte.
|
||||
- [ ] Folien aus der Vorlesung, auf die in der Zusammenfassung verwiesen werden einfach in den Anhang packen
|
||||
|
||||
|
||||
@ -25,7 +25,7 @@ Es gibt mehrere Gründe für den Einsatz von Auto-Encodern:
|
||||
\item Mapping von höherdimensionalen Daten in zweidimensionale Visualisierung
|
||||
\item Datenkompression (hierfür werden \glsxtrshortpl{VAE}(\cref{sec:VAEs}) benötigt)
|
||||
\item Lernen von abstrakten Features als Datenvorverarbeitung für einen Supervised Learning Algorithmus (\cref{part:Classical Supervised Learning})
|
||||
\item \say{semantically meaningful representation}, die z.B. eine Interpolation zwischen Bildern ermöglicht (\cref{??})
|
||||
\item \say{semantically meaningful representation}, die z.B. eine Interpolation zwischen Bildern ermöglicht (\cref{fig:latent_space_vector_interpolation})
|
||||
\end{itemize}
|
||||
|
||||
\section{Deep Auto-Encoders}%
|
||||
@ -101,6 +101,7 @@ da er nun nur noch versuchen muss eine Variation (z.B. Schriftart) einer bekannt
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\includegraphics[width=0.8\textwidth]{latent_space_vector_interpolation.png}
|
||||
\caption{Durch Interpolation von Vektoren erzeugte Zeichnungen}
|
||||
\label{fig:latent_space_vector_interpolation}
|
||||
\end{figure}
|
||||
\end{itemize}
|
||||
|
||||
@ -60,7 +60,7 @@ Für die Maximierung dieser Lower Bound gibt es im Grunde genommen zwei Verfahre
|
||||
Das \say{Amortized Variational Inference} Verfahren ist das Standardverfahren,
|
||||
welches in \dref{sec:VAEs} zum Einsatz kommt.
|
||||
Hierbei wird statt einer auxiliary distribution $q_i(\bm z)$ für jeden Datenpunkt $x_i$ eine amortisierte Verteilung (armortized distribution) $q_\phi(\bm z|\bm x_i)$ verwendet,
|
||||
welche mittels eines \gls{DNN} (\cref{Deep Neural Networkd}) erstellt wird.
|
||||
welche mittels eines \gls{DNN} (\cref{sec:Double Descent effect for DNNs}) erstellt wird.
|
||||
Hierdurch lässt sich die Lower Bound Funktion wie folgt umschreiben:
|
||||
\begin{equation} \label{eq:amortized_variational_inference_lower_bound}
|
||||
\mathcal L(q,p) = \frac{1}{N}\sum_i\int q_\phi(\bm z|\bm x_i)\log p_{\bm \varphi}(\bm x_i|\bm z)d\bm z - \nomeq{kl_divergence}(q_\phi(\bm z|\bm x_i)\|p_{\bm\varphi}(\bm z))
|
||||
@ -72,7 +72,7 @@ Hierdurch lässt sich die Lower Bound Funktion wie folgt umschreiben:
|
||||
\end{itemize}
|
||||
Da die Samples hier nicht vorgegeben sind,
|
||||
sondern generiert werden,
|
||||
unterscheidet sich dieses Verfahren vom Maximum-Log-Likelihood (\cref{maximum log-lik}).
|
||||
unterscheidet sich dieses Verfahren vom Maximum-Log-Likelihood (\cref{sec:MLE}).
|
||||
Zudem ist die Verwendung von Gradienten sehr ineffizient.
|
||||
Abhilfe biete der \say{Reparameterization Trick} (siehe {\color{red} Vorlesung 12 Folie 19 und 20}),
|
||||
welcher es ermöglicht,
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user