KIT_General/Template_Summary
Template
1
0
Fork 0
forked from TH_General/Template_Summary
Code Issues Pull Requests Projects Releases Wiki Activity

verlinkungen zur Vorlesung in Anhang gepackt.

Browse Source
This commit is contained in:
paul-loedige
2022-02-21 14:50:48 +01:00
parent c9f9736173
commit b156e620d0
23 changed files with 287 additions and 45 deletions
Download Patch File Download Diff File Expand all files Collapse all files

4
chapters/Neural_Networks/Basics.tex
View File

@@ -83,7 +83,7 @@ weshalb in der Praxis mehrschichtige Netzwerke verwendet werden (Compact Represe
\subsection{Example: XOR}%
\label{sub:Example: XOR}
({\color{red}siehe Vorlesung 08 Folie 25 und 26})
siehe \cref{sec:Beispiel: Neural Network: XOR}
\section{\nomf{activation_function}}%
\label{sec:Activation Function}
@@ -166,4 +166,4 @@ welche durch die vorhergegangenen Schichten vorbereitet wird.
\end{figure}
\subsection{Beispiel}%
\label{sub:Feature Learning:Beispiel}
{\color{red} siehe Vorlesung 08 Folie 35}
siehe \cref{sec:Beispiel: Neural Networks: Feature Learning}

34
chapters/Neural_Networks/CNN.tex
View File

@@ -1,7 +1,7 @@
\chapter{\texorpdfstring{\glsxtrlongpl{CNN}}{\glsfmtlongpl{CNN}}}%
\label{cha:CNNs}
\glspl{CNN} kommen in einer Vielzahl verschiedener Anwendungsbereiche zum Einsatz.
Vor allem im Bereich der Bildverarbeitung sind diese besonders nützlich (Beispiele: {\color{red} Vorlesung 09 Folien 3 und 4}).
Vor allem im Bereich der Bildverarbeitung sind diese besonders nützlich (Beispiele: \cref{sec:Anwendungsbeispiele fuer CNNs}).
\glspl{CNN} bestehen aus einer Verkettung verschiedenartiger Schichten.
\begin{figure}[H]
\centering
@@ -84,7 +84,7 @@ wie weit sich dein Filter zwischen jeder Berechnung verschiebt.
Eine größere Schrittweite führt dazu,
dass die Dimension der Daten stärker reduziert wird.
Beim Padding werden zusätzliche Daten (meist nur Nullen) um die Eingabedaten des Convolution Layers herum erzeugt.
Ein Beispiel hier für ist in {\color{red} Vorlesung 09 Folie 14 und 15} zu sehen.
Ein Beispiel hier für ist in \cref{sec:Beispiel: Convolutional Layer: Stride and Padding} zu sehen.
\section{Pooling Layers}%
\label{sec:Pooling Layers}
@@ -131,24 +131,42 @@ gab es in ihrer Architektur viele Entwicklungsschritte
\paragraph{LeNet}%
\label{par:LeNet}
{\color{red} Vorlesung 09 Folie 24}
\mbox{}\\
\includegraphics[page=24,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\paragraph{ImageNet}%
\label{par:ImageNet}
{\color{red} Vorlesung 09 Folie 25}
\mbox{}\\
\includegraphics[page=25,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\subparagraph{AlexNet}%
\label{subp:AlexNet}
{\color{red} Vorlesung 09 Folie 26-30}
\mbox{}\\
\includegraphics[page=26,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=27,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=28,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=29,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=30,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\subparagraph{VGG Net}%
\label{subp:VGG Net}
{\color{red} Vorlesung 09 Folie 33-34}
\mbox{}\\
\includegraphics[page=33,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=34,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\subparagraph{ResNet}%
\label{subp:ResNet}
{\color{red} Vorlesung 09 Folie 36-45}
\mbox{}\\
\includegraphics[page=36,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=37,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=38,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=39,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=40,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=41,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=42,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=43,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=44,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=45,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\subsection{Transfer Learning}%
\label{sub:Transfer Learning}

4
chapters/Neural_Networks/Gradient_Descent.tex
View File

@@ -65,7 +65,7 @@ Die Anwendung dieser Regel wird in den folgenden zwei Beispielen deutlich
\mbox{}\\
\includegraphics[scale=.65]{multi-layer_perceptron.png}\\
Mithilfe der Matrix-Rechentricks aus \cref{sec:Matrix-Calculus} ist es möglich die Backpropagation für das Multi-layer Perceptron in Matrix-Form aufzuschreiben:\\
({\color{red}Herleitung Vorlesung 08 Folien 52 und 53})\\
(Herleitung: \cref{sec:Herleitung: Backpropagation in Matrix-Form})\\
\includegraphics[scale=.65]{multi-layer_perceptron_matrix_form.png}
\subsection{Computational costs}%
@@ -188,5 +188,5 @@ welcher als neuer Punkt für den nächsten Schritt des \nameref{cha:Gradient Des
Zudem benötigt diese Art von Approximation keine Hyper-Parameter oder Lernraten und brauchen zudem weniger Schritte zum Ziel.
Der Nachteil ist jedoch,
dass Funktionen dieser Art sehr rechenintensiv sind.\\
({\color{red}mehr Informationen in Vorlesung 08 Folie 74 und 76})
(mehr Informationen: \cref{sec:Zusaetzliche Informationen: Second Order Optimization})

20
chapters/Neural_Networks/Practical_Considerations.tex
View File

@@ -1,3 +1,21 @@
\chapter{Practical Considerations}%
\label{cha:Practical Considerations}
{\color{red} siehe Vorlesung 08 Folien 93-111}
\includegraphics[page=93,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=94,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=95,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=96,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=97,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=98,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=99,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=100,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=101,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=102,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=103,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=104,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=105,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=106,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=107,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=108,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=109,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=110,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}
\includegraphics[page=111,width=\textwidth]{Vorlesungen/08_NeuralNets.pdf}

8
chapters/Neural_Networks/RNN.tex
View File

@@ -32,7 +32,13 @@ Der Zustand ergibt sich aus der Rekurrenz Gleichung (recurrence formula).
\section{\texorpdfstring{\glsxtrshort{RNN}}{\glsfmtshort{RNN}} Computational Graph}%
\label{sec:RNN Computational Graph}
{\color{red} Vorlesung 09 Folien 58-64}
\includegraphics[page=57,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=58,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=59,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=60,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=61,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=62,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\includegraphics[page=63,width=\textwidth]{Vorlesungen/09_CNNs+RNNs.pdf}
\section{\texorpdfstring{\glsxtrfull{BPTT}}{\glsfmtfull{BPTT}}}%
\label{sec:BPTT}

2
chapters/Neural_Networks/Regularization.tex
View File

@@ -79,7 +79,7 @@ Nichtsdestotrotz lässt sich der Graph aus \cref{fig:double_descent} in 3 Bereic
wobei hier die Anzahl der benötigten Parameter in etwa der Anzahl der gesampelten Datensätze entspricht
\item \say{\say{Modern} interpolating regime}: Training Loss bleibt gering, allerdings senkt sich auch der Validation Loss auf wundersame Art
\end{enumerate}
Ein Beispiel hierfür ist der Populäre MNIST Datensatz ({\color{red}Vorlesung 08 Folie 82})
Ein Beispiel hierfür ist der Populäre MNIST Datensatz (\cref{sec:Zusaetzliche Informationen: MNIST Datensatz})
\subsection{Sample-wise non-monotonicity}%
\label{sub:Sample-wise non-monotonicity}