diff --git a/ML_Zusammenfassung.tex b/ML_Zusammenfassung.tex index 6484e5b..d886037 100644 --- a/ML_Zusammenfassung.tex +++ b/ML_Zusammenfassung.tex @@ -18,44 +18,44 @@ \def \MODULECOMPACT{ML} \def \DATE{\today} -\includeonly{ -% %Einleitung - %chapters/Einleitung, -% %Classical_Supervised_Learning - %chapters/Classical_Supervised_Learning/Linear_Regression, - %chapters/Classical_Supervised_Learning/Linear_Classification, - %chapters/Classical_Supervised_Learning/Model_Selection, - %chapters/Classical_Supervised_Learning/k-Nearest_Neighbors, - %chapters/Classical_Supervised_Learning/Trees_and_Forests, -% %Kernel_Methods - %chapters/Kernel_Methods/Kernel-Regression, - %chapters/Kernel_Methods/Support_Vector_Machines, - %chapters/Bayesian_Learning/Bayesian_Learning, - %chapters/Bayesian_Learning/Bayesian_Regression_Algorithms, -% %Neural_Networks - %chapters/Neural_Networks/Basics, - %chapters/Neural_Networks/Gradient_Descent, - %chapters/Neural_Networks/Regularization, - %chapters/Neural_Networks/Practical_Considerations, - %chapters/Neural_Networks/CNN, - %chapters/Neural_Networks/RNN, -% %Classical_Unsupervised_Learning - chapters/Classical_Unsupervised_Learning/Dimensionality_Reduction, - chapters/Classical_Unsupervised_Learning/Clustering, - chapters/Classical_Unsupervised_Learning/Density_Estimation, - chapters/Classical_Unsupervised_Learning/Expectation_Maximization, - chapters/Classical_Unsupervised_Learning/Latent_Variable_Models_and_Variational_Bayes, - chapters/Classical_Unsupervised_Learning/Auto-Encoders, -% %Mathematische_Grundlagen - %chapters/Mathematische_Grundlagen/Lineare_Algebra, - %chapters/Mathematische_Grundlagen/Probability_Theory, - %chapters/Mathematische_Grundlagen/Kernel_Basics, - %chapters/Mathematische_Grundlagen/Sub-Gradients, - %chapters/Mathematische_Grundlagen/Constraint_Optimization, - %chapters/Mathematische_Grundlagen/Gaussian_Identities, -% %Anhang - %Appendix -} +%\includeonly{ +%% %Einleitung + %%chapters/Einleitung, +%% %Classical_Supervised_Learning + %%chapters/Classical_Supervised_Learning/Linear_Regression, + %%chapters/Classical_Supervised_Learning/Linear_Classification, + %%chapters/Classical_Supervised_Learning/Model_Selection, + %%chapters/Classical_Supervised_Learning/k-Nearest_Neighbors, + %%chapters/Classical_Supervised_Learning/Trees_and_Forests, +%% %Kernel_Methods + %%chapters/Kernel_Methods/Kernel-Regression, + %%chapters/Kernel_Methods/Support_Vector_Machines, + %%chapters/Bayesian_Learning/Bayesian_Learning, + %%chapters/Bayesian_Learning/Bayesian_Regression_Algorithms, +%% %Neural_Networks + %%chapters/Neural_Networks/Basics, + %%chapters/Neural_Networks/Gradient_Descent, + %%chapters/Neural_Networks/Regularization, + %%chapters/Neural_Networks/Practical_Considerations, + %%chapters/Neural_Networks/CNN, + %%chapters/Neural_Networks/RNN, +%% %Classical_Unsupervised_Learning + %chapters/Classical_Unsupervised_Learning/Dimensionality_Reduction, + %chapters/Classical_Unsupervised_Learning/Clustering, + %chapters/Classical_Unsupervised_Learning/Density_Estimation, + %chapters/Classical_Unsupervised_Learning/Expectation_Maximization, + %chapters/Classical_Unsupervised_Learning/Latent_Variable_Models_and_Variational_Bayes, + %chapters/Classical_Unsupervised_Learning/Auto-Encoders, +%% %Mathematische_Grundlagen + %%chapters/Mathematische_Grundlagen/Lineare_Algebra, + %%chapters/Mathematische_Grundlagen/Probability_Theory, + %%chapters/Mathematische_Grundlagen/Kernel_Basics, + %%chapters/Mathematische_Grundlagen/Sub-Gradients, + %%chapters/Mathematische_Grundlagen/Constraint_Optimization, + %%chapters/Mathematische_Grundlagen/Gaussian_Identities, +%% %Anhang + %%Appendix +%} \input{Glossary.tex} diff --git a/Readme.md b/Readme.md index e50bf67..cb9efd5 100644 --- a/Readme.md +++ b/Readme.md @@ -1,7 +1,7 @@ # Zusammenfassung Maschinelles Lernen: Grundlagen und Algorithmen ##TODO: -- [ ] alle ?? beseitigen +- [x] alle ?? beseitigen - [ ] für alle \nameref prüfen, ob eine richtige Referenz nachfolgen sollte. - [ ] Folien aus der Vorlesung, auf die in der Zusammenfassung verwiesen werden einfach in den Anhang packen diff --git a/chapters/Classical_Unsupervised_Learning/Auto-Encoders.tex b/chapters/Classical_Unsupervised_Learning/Auto-Encoders.tex index 718f2b9..8182dc2 100644 --- a/chapters/Classical_Unsupervised_Learning/Auto-Encoders.tex +++ b/chapters/Classical_Unsupervised_Learning/Auto-Encoders.tex @@ -25,7 +25,7 @@ Es gibt mehrere Gründe für den Einsatz von Auto-Encodern: \item Mapping von höherdimensionalen Daten in zweidimensionale Visualisierung \item Datenkompression (hierfür werden \glsxtrshortpl{VAE}(\cref{sec:VAEs}) benötigt) \item Lernen von abstrakten Features als Datenvorverarbeitung für einen Supervised Learning Algorithmus (\cref{part:Classical Supervised Learning}) - \item \say{semantically meaningful representation}, die z.B. eine Interpolation zwischen Bildern ermöglicht (\cref{??}) + \item \say{semantically meaningful representation}, die z.B. eine Interpolation zwischen Bildern ermöglicht (\cref{fig:latent_space_vector_interpolation}) \end{itemize} \section{Deep Auto-Encoders}% @@ -101,6 +101,7 @@ da er nun nur noch versuchen muss eine Variation (z.B. Schriftart) einer bekannt \begin{figure}[H] \centering \includegraphics[width=0.8\textwidth]{latent_space_vector_interpolation.png} + \caption{Durch Interpolation von Vektoren erzeugte Zeichnungen} \label{fig:latent_space_vector_interpolation} \end{figure} \end{itemize} diff --git a/chapters/Classical_Unsupervised_Learning/Latent_Variable_Models_and_Variational_Bayes.tex b/chapters/Classical_Unsupervised_Learning/Latent_Variable_Models_and_Variational_Bayes.tex index edc5505..d9bab8c 100644 --- a/chapters/Classical_Unsupervised_Learning/Latent_Variable_Models_and_Variational_Bayes.tex +++ b/chapters/Classical_Unsupervised_Learning/Latent_Variable_Models_and_Variational_Bayes.tex @@ -60,7 +60,7 @@ Für die Maximierung dieser Lower Bound gibt es im Grunde genommen zwei Verfahre Das \say{Amortized Variational Inference} Verfahren ist das Standardverfahren, welches in \dref{sec:VAEs} zum Einsatz kommt. Hierbei wird statt einer auxiliary distribution $q_i(\bm z)$ für jeden Datenpunkt $x_i$ eine amortisierte Verteilung (armortized distribution) $q_\phi(\bm z|\bm x_i)$ verwendet, -welche mittels eines \gls{DNN} (\cref{Deep Neural Networkd}) erstellt wird. +welche mittels eines \gls{DNN} (\cref{sec:Double Descent effect for DNNs}) erstellt wird. Hierdurch lässt sich die Lower Bound Funktion wie folgt umschreiben: \begin{equation} \label{eq:amortized_variational_inference_lower_bound} \mathcal L(q,p) = \frac{1}{N}\sum_i\int q_\phi(\bm z|\bm x_i)\log p_{\bm \varphi}(\bm x_i|\bm z)d\bm z - \nomeq{kl_divergence}(q_\phi(\bm z|\bm x_i)\|p_{\bm\varphi}(\bm z)) @@ -72,7 +72,7 @@ Hierdurch lässt sich die Lower Bound Funktion wie folgt umschreiben: \end{itemize} Da die Samples hier nicht vorgegeben sind, sondern generiert werden, -unterscheidet sich dieses Verfahren vom Maximum-Log-Likelihood (\cref{maximum log-lik}). +unterscheidet sich dieses Verfahren vom Maximum-Log-Likelihood (\cref{sec:MLE}). Zudem ist die Verwendung von Gradienten sehr ineffizient. Abhilfe biete der \say{Reparameterization Trick} (siehe {\color{red} Vorlesung 12 Folie 19 und 20}), welcher es ermöglicht,