diff --git a/Acronyms.tex b/Acronyms.tex index 12bdcc2..03edfa8 100644 --- a/Acronyms.tex +++ b/Acronyms.tex @@ -9,4 +9,8 @@ \acro{RBF} {Radial Basis Function} \acro{DBSCAN} {Density-Based Spatial Clustering of Applications with Noise} \acro{VSM}{Vector Space Model} + \acro{KI}{Künstliche Intelligenz} + \acro{ML}{Maschinelles Lernen} + \acro{CNN}{Convolutional Neural Network} + \acro{RNN}{Recurrent Neural Network} \end{acronym} \ No newline at end of file diff --git a/Content.tex b/Content.tex index 2c7f3ca..2bb8863 100644 --- a/Content.tex +++ b/Content.tex @@ -4,5 +4,6 @@ \input{parts/Basics.tex} \input{parts/Supervised Learning.tex} \input{parts/Unsupervised Learning.tex} +\input{parts/Semi-supervised Learning.tex} \input{parts/Mathematische Grundlagen.tex} \ No newline at end of file diff --git a/chapters/Semi-supervised Learning/Deep Learning.tex b/chapters/Semi-supervised Learning/Deep Learning.tex new file mode 100644 index 0000000..22fa7a9 --- /dev/null +++ b/chapters/Semi-supervised Learning/Deep Learning.tex @@ -0,0 +1,53 @@ +\chapter{Deep Learning} +\label{chapter: deep learning} + Das \say{Deep Learning} ist ein Teilbereich des \ac{ML}. + Dieses ist wiederum ein Teilbereich der \ac{KI}. + Obwohl es faktisch ein Teilbereich ist haben sich \ac{KI} und \ac{ML} zu separaten Forschungsfeldern entwickelt.\\ + \includegraphics[width = \textwidth]{ai_and_ml.png}\\ + Allgemein beschrieben wird bei dem Deep Learning ein Modell aus mehreren Schichten aufgebaut. + Diese Schichten sind grundsätzlich hierarchisch aufgebaut und verarbeiten jeweils die Ausgabe des vorhergegangenen Schicht. + Hierfür werden sowohl Methoden aus dem Supervised Learning {\ref{supervised learning}}, als auch Methoden aus dem Unsupervised Learning {\ref{unsupervised learning}} verwendet. + Da die Modelle meist an das Menschliche Gehirn angelehnt sind werden hierfür Neurale Netzwerke verwendet. + Im Allgemeinen kommen 2 Arten von Neuralen Netzwerken zum Einsatz: + \begin{itemize} + \item \textbf{Faltunsnetzwerke (\ac{CNN}):}\\ + für statische Daten (Bilder, Sprachaufnahmen, \dots) + \item \textbf{Zyklische Netzwerke (\ac{RNN}):}\\ + für sequentielle Daten (Videostream, Fließtext, \dots) + \end{itemize} + + \section{Allgemeines Lernprinzip} + \label{deep learning: principle} + \includegraphics[width=\textwidth]{deep-learing_learning-principle.png} + + \section{Exkurs: Bilderkennung} + \label{bilderkennung} + \subsection{Neuro-biologisches Konzept} + \label{neuro-biological concept} + \includegraphics[width=.8\textwidth]{neuro-biological_concept.png} + + \subsection{Bild Klassifizierung} + \label{image classification} + Der Inhalt eines Bildes soll klassifiziert werden.\\ + \includegraphics[width=.8\textwidth]{image-classification.png}\\ + Hierbei gibt es viele Probleme: + \begin{itemize} + \item \textbf{Semantic Gap:}\\ + Der Computer sieht das Bild als eine Datenmenge von unabhängigen Pixeln.\\ + \includegraphics[width=.6\textwidth]{semantical gap.png} + \item \textbf{Viewpoint Variation:}\\ + Eine kleine Veränderung in der Kameraposition kann dazu führen, dass sich alle Pixel verändern.\\ + \includegraphics[width=\textwidth]{viewpoint variation.png} + \item \textbf{Beleuchtung:}\\ + Eine Veränderung der Beleuchtung kann zu sehr unterschiedlichen Pixeldaten führen.\\ + \includegraphics[width=.8\textwidth]{illumination.png} + \item \textbf{Deformation:}\\ + Die Objekte im Bild können unterschiedlich verzerrt sein.\\ + \includegraphics[width=.8\textwidth]{deformation.png} + \item \textbf{Occlusion:}\\ + Die zu klassifizierenden Objekte können teilweise verdeckt sein.\\ + \includegraphics[width = .8\textwidth]{occlusion.png} + \item \textbf{Background Clutter:}\\ + Das Bild kann einen Hintergrund mit starker Ähnlichkeit zu dem Objekt haben.\\ + \includegraphics[width = .8\textwidth]{background clutter.png} + \end{itemize} \ No newline at end of file diff --git a/chapters/Supervised Learning/Linear Machines.tex b/chapters/Supervised Learning/Linear Machines.tex index 281ffbf..3f819d6 100644 --- a/chapters/Supervised Learning/Linear Machines.tex +++ b/chapters/Supervised Learning/Linear Machines.tex @@ -64,7 +64,7 @@ \includegraphics[width=.8\textwidth]{Perzeptron_Lernalgorithmus_symmetrisch.png} \section{\ac{VC-Dimension}}\label{vc-dimension} - Die \acl{VC-Dimension} gibt ein Maß für die \say{learning power} einer Klassifizierung. + Die \ac{VC-Dimension} gibt ein Maß für die \say{learning power} einer Klassifizierung. \subsection{Shattering} \say{Here we will only consider functions that correspond to the two-class pattern recognition case, so that $g(\bm{m}, y) \in \{-1, 1\}\forall x, y$. @@ -149,8 +149,8 @@ Das Strukturelle Risiko wird durch das empirische Risiko $R_{emp}(\bm{w})$ (\ref{empirical risk}) und den Kapazitätsterm $\varepsilon(N,\kappa,h)$ (\ref{capacity term}) definiert.\\ \includegraphics[width=.6\textwidth]{structural_risk.png} - \subsubsection{\acl{SRM}} - \ac{SRM} kann entweder dadurch erreicht werden, + \subsubsection{\ac{SRM}} + Eine Reduzierung kann entweder dadurch erreicht werden, dass das empirische Risiko (\ref{empirical risk}) bei gleichbleibenden $\varepsilon$ (\ref{capacity term}) reduziert wird, oder durch eine Reduzierung von $\varepsilon$ bei gleichbleibenden empirischen Risiko. Letzteres ist der Ansatz den die \ac{SVM}s (\ref{svm}) verfolgen. \ No newline at end of file diff --git a/chapters/Supervised Learning/SVM.tex b/chapters/Supervised Learning/SVM.tex index 7d01ced..21b65d1 100644 --- a/chapters/Supervised Learning/SVM.tex +++ b/chapters/Supervised Learning/SVM.tex @@ -1,4 +1,4 @@ -\chapter{\acl{SVM}}\label{svm} +\chapter{\ac{SVM}}\label{svm} \ac{SVM}s können als lineare (\ref{linear machines}) oder nicht-lineare Maschinen aufgebaut werden.\\ \begin{tabular}{|p{.475\textwidth}|p{.475\textwidth}|} \hline @@ -16,7 +16,7 @@ \hline \end{tabular} - \section{lineare \acl{SVM}} + \section{lineare \ac{SVM}} \begin{wrapfigure}{h}{.6\textwidth} \vspace{-10mm} \includegraphics[width=.6\textwidth]{svm_base.png} @@ -74,7 +74,7 @@ \subsubsection{Sparsity} \ac{SVM}s sind \say{sparse learning machines}, da Sie meist nur von wenigen Support Vektoren abhängen. - \section{nicht-lineare \acl{SVM}}\label{non linear svm} + \section{nicht-lineare \ac{SVM}}\label{non linear svm} \ac{SVM}s können auch dafür benutzt werden, nicht-linear-trennbare Cluster zu teilen. Hierfür müssen einige mathematischen Tricks angewandt werden. @@ -118,8 +118,7 @@ \subsection{Polynomialer Kernel} \includegraphics[width=.8\textwidth]{kernel_trick_polynomial_kernel.png} - \subsubsection{Beispiel: Gausian \acl{RBF} Kernel} - Der \say{Gausian \ac{RBF}} Kernel ist definiert durch: + \subsubsection{Beispiel: Gausian \ac{RBF} Kernel} $$K(\bm{m}_i,\bm{m}_j) = \exp\left(-\frac{||\bm{m}_1-\bm{m}_2||^2}{2\sigma^2}\right)$$ \includegraphics[width=\textwidth]{kernel_trick_example.png} diff --git a/chapters/Unsupervised Learning/Web Document Clustering Approaches.tex b/chapters/Unsupervised Learning/Web Document Clustering Approaches.tex index 8e0b21a..3b381b2 100644 --- a/chapters/Unsupervised Learning/Web Document Clustering Approaches.tex +++ b/chapters/Unsupervised Learning/Web Document Clustering Approaches.tex @@ -6,7 +6,7 @@ Meist werden hierbei Hybrid Methoden aus dem Bereich des Text-based Clustering (\ref{text-based clustering}) und der Link Analysis (\ref{section:link analysis}). Dieser Ansatz wird allgemein als \say{Web-Mining} bezeichnet. - \section{\acl{VSM}} + \section{\ac{VSM}} \label{vsm} Bei der Modellierung mithilfe eines \ac{VSM} werden die Charakteristika und Attribute eines Dokumentes ausgewählt und nach ihrer Relevanz gewichtet. diff --git a/images/ai_and_ml.png b/images/ai_and_ml.png new file mode 100644 index 0000000..00636e2 Binary files /dev/null and b/images/ai_and_ml.png differ diff --git a/images/background clutter.png b/images/background clutter.png new file mode 100644 index 0000000..00373ea Binary files /dev/null and b/images/background clutter.png differ diff --git a/images/deep-learing_learning-principle.png b/images/deep-learing_learning-principle.png new file mode 100644 index 0000000..c22dc6f Binary files /dev/null and b/images/deep-learing_learning-principle.png differ diff --git a/images/deformation.png b/images/deformation.png new file mode 100644 index 0000000..62a0153 Binary files /dev/null and b/images/deformation.png differ diff --git a/images/illumination.png b/images/illumination.png new file mode 100644 index 0000000..87f38d0 Binary files /dev/null and b/images/illumination.png differ diff --git a/images/image-classification.png b/images/image-classification.png new file mode 100644 index 0000000..c52920a Binary files /dev/null and b/images/image-classification.png differ diff --git a/images/neuro-biological_concept.png b/images/neuro-biological_concept.png new file mode 100644 index 0000000..f59d7e3 Binary files /dev/null and b/images/neuro-biological_concept.png differ diff --git a/images/occlusion.png b/images/occlusion.png new file mode 100644 index 0000000..be28b30 Binary files /dev/null and b/images/occlusion.png differ diff --git a/images/semantical gap.png b/images/semantical gap.png new file mode 100644 index 0000000..6d3ff7e Binary files /dev/null and b/images/semantical gap.png differ diff --git a/images/viewpoint variation.png b/images/viewpoint variation.png new file mode 100644 index 0000000..eb8d913 Binary files /dev/null and b/images/viewpoint variation.png differ diff --git a/parts/Semi-supervised Learning.tex b/parts/Semi-supervised Learning.tex new file mode 100644 index 0000000..d7d00eb --- /dev/null +++ b/parts/Semi-supervised Learning.tex @@ -0,0 +1,3 @@ +\part{Semi-supervised Learning} + +\input{chapters/Semi-supervised Learning/Deep Learning.tex} \ No newline at end of file