KIT_General/Template_Summary
Template
1
0
Fork 0
forked from TH_General/Template_Summary
Code Issues Pull Requests Projects Releases Wiki Activity

References korrigiert.

Browse Source
This commit is contained in:
paul-loedige 2022-02-21 10:45:35 +01:00
parent 26023f3ba7
commit 1dbdb7c63c
4 changed files with 43 additions and 42 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

76
ML_Zusammenfassung.tex
View File

@ -18,44 +18,44 @@
\def \MODULECOMPACT{ML} \def \MODULECOMPACT{ML}
\def \DATE{\today} \def \DATE{\today}
\includeonly{ %\includeonly{
% %Einleitung %% %Einleitung
%chapters/Einleitung, %%chapters/Einleitung,
% %Classical_Supervised_Learning %% %Classical_Supervised_Learning
%chapters/Classical_Supervised_Learning/Linear_Regression, %%chapters/Classical_Supervised_Learning/Linear_Regression,
%chapters/Classical_Supervised_Learning/Linear_Classification, %%chapters/Classical_Supervised_Learning/Linear_Classification,
%chapters/Classical_Supervised_Learning/Model_Selection, %%chapters/Classical_Supervised_Learning/Model_Selection,
%chapters/Classical_Supervised_Learning/k-Nearest_Neighbors, %%chapters/Classical_Supervised_Learning/k-Nearest_Neighbors,
%chapters/Classical_Supervised_Learning/Trees_and_Forests, %%chapters/Classical_Supervised_Learning/Trees_and_Forests,
% %Kernel_Methods %% %Kernel_Methods
%chapters/Kernel_Methods/Kernel-Regression, %%chapters/Kernel_Methods/Kernel-Regression,
%chapters/Kernel_Methods/Support_Vector_Machines, %%chapters/Kernel_Methods/Support_Vector_Machines,
%chapters/Bayesian_Learning/Bayesian_Learning, %%chapters/Bayesian_Learning/Bayesian_Learning,
%chapters/Bayesian_Learning/Bayesian_Regression_Algorithms, %%chapters/Bayesian_Learning/Bayesian_Regression_Algorithms,
% %Neural_Networks %% %Neural_Networks
%chapters/Neural_Networks/Basics, %%chapters/Neural_Networks/Basics,
%chapters/Neural_Networks/Gradient_Descent, %%chapters/Neural_Networks/Gradient_Descent,
%chapters/Neural_Networks/Regularization, %%chapters/Neural_Networks/Regularization,
%chapters/Neural_Networks/Practical_Considerations, %%chapters/Neural_Networks/Practical_Considerations,
%chapters/Neural_Networks/CNN, %%chapters/Neural_Networks/CNN,
%chapters/Neural_Networks/RNN, %%chapters/Neural_Networks/RNN,
% %Classical_Unsupervised_Learning %% %Classical_Unsupervised_Learning
chapters/Classical_Unsupervised_Learning/Dimensionality_Reduction, %chapters/Classical_Unsupervised_Learning/Dimensionality_Reduction,
chapters/Classical_Unsupervised_Learning/Clustering, %chapters/Classical_Unsupervised_Learning/Clustering,
chapters/Classical_Unsupervised_Learning/Density_Estimation, %chapters/Classical_Unsupervised_Learning/Density_Estimation,
chapters/Classical_Unsupervised_Learning/Expectation_Maximization, %chapters/Classical_Unsupervised_Learning/Expectation_Maximization,
chapters/Classical_Unsupervised_Learning/Latent_Variable_Models_and_Variational_Bayes, %chapters/Classical_Unsupervised_Learning/Latent_Variable_Models_and_Variational_Bayes,
chapters/Classical_Unsupervised_Learning/Auto-Encoders, %chapters/Classical_Unsupervised_Learning/Auto-Encoders,
% %Mathematische_Grundlagen %% %Mathematische_Grundlagen
%chapters/Mathematische_Grundlagen/Lineare_Algebra, %%chapters/Mathematische_Grundlagen/Lineare_Algebra,
%chapters/Mathematische_Grundlagen/Probability_Theory, %%chapters/Mathematische_Grundlagen/Probability_Theory,
%chapters/Mathematische_Grundlagen/Kernel_Basics, %%chapters/Mathematische_Grundlagen/Kernel_Basics,
%chapters/Mathematische_Grundlagen/Sub-Gradients, %%chapters/Mathematische_Grundlagen/Sub-Gradients,
%chapters/Mathematische_Grundlagen/Constraint_Optimization, %%chapters/Mathematische_Grundlagen/Constraint_Optimization,
%chapters/Mathematische_Grundlagen/Gaussian_Identities, %%chapters/Mathematische_Grundlagen/Gaussian_Identities,
% %Anhang %% %Anhang
%Appendix %%Appendix
} %}
\input{Glossary.tex} \input{Glossary.tex}

2
Readme.md
View File

@ -1,7 +1,7 @@
# Zusammenfassung Maschinelles Lernen: Grundlagen und Algorithmen # Zusammenfassung Maschinelles Lernen: Grundlagen und Algorithmen
##TODO: ##TODO:
- [ ] alle ?? beseitigen - [x] alle ?? beseitigen
- [ ] für alle \nameref prüfen, ob eine richtige Referenz nachfolgen sollte. - [ ] für alle \nameref prüfen, ob eine richtige Referenz nachfolgen sollte.
- [ ] Folien aus der Vorlesung, auf die in der Zusammenfassung verwiesen werden einfach in den Anhang packen - [ ] Folien aus der Vorlesung, auf die in der Zusammenfassung verwiesen werden einfach in den Anhang packen

3
chapters/Classical_Unsupervised_Learning/Auto-Encoders.tex
View File

@ -25,7 +25,7 @@ Es gibt mehrere Gründe für den Einsatz von Auto-Encodern:
\item Mapping von höherdimensionalen Daten in zweidimensionale Visualisierung \item Mapping von höherdimensionalen Daten in zweidimensionale Visualisierung
\item Datenkompression (hierfür werden \glsxtrshortpl{VAE}(\cref{sec:VAEs}) benötigt) \item Datenkompression (hierfür werden \glsxtrshortpl{VAE}(\cref{sec:VAEs}) benötigt)
\item Lernen von abstrakten Features als Datenvorverarbeitung für einen Supervised Learning Algorithmus (\cref{part:Classical Supervised Learning}) \item Lernen von abstrakten Features als Datenvorverarbeitung für einen Supervised Learning Algorithmus (\cref{part:Classical Supervised Learning})
\item \say{semantically meaningful representation}, die z.B. eine Interpolation zwischen Bildern ermöglicht (\cref{??}) \item \say{semantically meaningful representation}, die z.B. eine Interpolation zwischen Bildern ermöglicht (\cref{fig:latent_space_vector_interpolation})
\end{itemize} \end{itemize}
\section{Deep Auto-Encoders}% \section{Deep Auto-Encoders}%
@ -101,6 +101,7 @@ da er nun nur noch versuchen muss eine Variation (z.B. Schriftart) einer bekannt
\begin{figure}[H] \begin{figure}[H]
\centering \centering
\includegraphics[width=0.8\textwidth]{latent_space_vector_interpolation.png} \includegraphics[width=0.8\textwidth]{latent_space_vector_interpolation.png}
\caption{Durch Interpolation von Vektoren erzeugte Zeichnungen}
\label{fig:latent_space_vector_interpolation} \label{fig:latent_space_vector_interpolation}
\end{figure} \end{figure}
\end{itemize} \end{itemize}

4
chapters/Classical_Unsupervised_Learning/Latent_Variable_Models_and_Variational_Bayes.tex
View File

@ -60,7 +60,7 @@ Für die Maximierung dieser Lower Bound gibt es im Grunde genommen zwei Verfahre
Das \say{Amortized Variational Inference} Verfahren ist das Standardverfahren, Das \say{Amortized Variational Inference} Verfahren ist das Standardverfahren,
welches in \dref{sec:VAEs} zum Einsatz kommt. welches in \dref{sec:VAEs} zum Einsatz kommt.
Hierbei wird statt einer auxiliary distribution $q_i(\bm z)$ für jeden Datenpunkt $x_i$ eine amortisierte Verteilung (armortized distribution) $q_\phi(\bm z|\bm x_i)$ verwendet, Hierbei wird statt einer auxiliary distribution $q_i(\bm z)$ für jeden Datenpunkt $x_i$ eine amortisierte Verteilung (armortized distribution) $q_\phi(\bm z|\bm x_i)$ verwendet,
welche mittels eines \gls{DNN} (\cref{Deep Neural Networkd}) erstellt wird. welche mittels eines \gls{DNN} (\cref{sec:Double Descent effect for DNNs}) erstellt wird.
Hierdurch lässt sich die Lower Bound Funktion wie folgt umschreiben: Hierdurch lässt sich die Lower Bound Funktion wie folgt umschreiben:
\begin{equation} \label{eq:amortized_variational_inference_lower_bound} \begin{equation} \label{eq:amortized_variational_inference_lower_bound}
\mathcal L(q,p) = \frac{1}{N}\sum_i\int q_\phi(\bm z|\bm x_i)\log p_{\bm \varphi}(\bm x_i|\bm z)d\bm z - \nomeq{kl_divergence}(q_\phi(\bm z|\bm x_i)\|p_{\bm\varphi}(\bm z)) \mathcal L(q,p) = \frac{1}{N}\sum_i\int q_\phi(\bm z|\bm x_i)\log p_{\bm \varphi}(\bm x_i|\bm z)d\bm z - \nomeq{kl_divergence}(q_\phi(\bm z|\bm x_i)\|p_{\bm\varphi}(\bm z))
@ -72,7 +72,7 @@ Hierdurch lässt sich die Lower Bound Funktion wie folgt umschreiben:
\end{itemize} \end{itemize}
Da die Samples hier nicht vorgegeben sind, Da die Samples hier nicht vorgegeben sind,
sondern generiert werden, sondern generiert werden,
unterscheidet sich dieses Verfahren vom Maximum-Log-Likelihood (\cref{maximum log-lik}). unterscheidet sich dieses Verfahren vom Maximum-Log-Likelihood (\cref{sec:MLE}).
Zudem ist die Verwendung von Gradienten sehr ineffizient. Zudem ist die Verwendung von Gradienten sehr ineffizient.
Abhilfe biete der \say{Reparameterization Trick} (siehe {\color{red} Vorlesung 12 Folie 19 und 20}), Abhilfe biete der \say{Reparameterization Trick} (siehe {\color{red} Vorlesung 12 Folie 19 und 20}),
welcher es ermöglicht, welcher es ermöglicht,