diff --git a/Content.tex b/Content.tex index 859d101..17a68c0 100644 --- a/Content.tex +++ b/Content.tex @@ -1,4 +1,7 @@ %all the main content goes here \pagenumbering{arabic} -\input{chapters/Basics.tex} \ No newline at end of file +\input{chapters/Basics.tex} +\input{chapters/Supervised Learning.tex} + +\input{chapters/Mathematische Grundlagen.tex} \ No newline at end of file diff --git a/Packages.tex b/Packages.tex index 7ec1bb6..68bd819 100644 --- a/Packages.tex +++ b/Packages.tex @@ -33,4 +33,5 @@ rightsub = \grq% %bibliography \usepackage[square, numbers]{natbib} %math -\usepackage{amsmath} \ No newline at end of file +\usepackage{amsmath} +\usepackage{bm} \ No newline at end of file diff --git a/chapters/Basics.tex b/chapters/Basics.tex index fd6a510..961c9ef 100644 --- a/chapters/Basics.tex +++ b/chapters/Basics.tex @@ -20,7 +20,8 @@ Die Dimension dieses Raums wird durch die Anzahl der Features definiert. Mithilfe des Raumes lassen sich die einzelnen Pattern zueinander in Relation setzen. \paragraph{Cluster} - Bei gut gewählten Features liegen die Pattern einer Klasse im Feature Space nah beieinander (low intra-class distance). + Bei gut gewählten Features liegen die Pattern einer Klasse im Feature Space nah beieinander (low intra-class distance).\\ + \includegraphics[width=\textwidth]{good_vs_bad_features.png} Falls die einzelnen Klassen zudem einen großen Abstand zueinander im Feature Space haben (large inter-class distance) spricht man von einem \say{Cluster}. Bei schlecht gewählten Features lassen sich keine Cluster bilden, da die Klassen einander im Feature Space überlappen.\\ \includegraphics[width=\textwidth]{cluster.png} diff --git a/chapters/Mathematische Grundlagen.tex b/chapters/Mathematische Grundlagen.tex new file mode 100644 index 0000000..6f66e1d --- /dev/null +++ b/chapters/Mathematische Grundlagen.tex @@ -0,0 +1,47 @@ +\chapter{Mathematische Grundlagen} + In diesem Kapitel sind alle mathematischen Grundlagen zusammengefasst, auf die im Rest der Zusammenfassung zurückgegriffen wird. + + \section{Vektoralgebra}\label{Vektoralgebra} + \begin{itemize} + \item Eine Größe, die eine Richtung und einen Betrag besitzt ist ein Vektor (z.B. $\bm{a}$). + \item Die Länge des Vektors ist der Betrag ($a=|\bm{a}|$). + \item Ein Einheitsvektor $\bm{e}_{\bm{a}}$ ist ein Vektor in Richtung von $\bm{a}$ mit $a=1$: + $$\bm{e}_{\bm{a}} =\frac{\bm{a}}{a}$$ + \item Die Einheitsvektoren $\bm{e}_{\bm{x}}$, $\bm{e}_{\bm{y}}$ und $\bm{e}_{\bm{z}}$ bilden eine Basis für ein 3-dimensionales Koordinatensystem.\\ + \includegraphics[width=.4\textwidth]{koordinatensystem.png} + \item Alle Vektoren $\bm{a}$ in diesem Koordinatensystem durch eine Linearkombination von $\bm{e}_{\bm{x}}$, $\bm{e}_{\bm{y}}$ und $\bm{e}_{\bm{z}}$ aufgestellt werden können. + Man spricht hierbei von einer Projektion.\\ + \includegraphics[width=.8\textwidth]{projektion.png} + \item Aufgrund der festgelegten Basis kann für $\bm{a}$ auch $(a_x,a_y,a_z)$ geschrieben werden. + Hierdurch ergeben sich auch die Basisvektoren $\bm{e}_{\bm{x}}=(1,0,0)$, $\bm{e}_{\bm{y}}=(1,0,0)$ und $\bm{e}_{\bm{z}}=(1,0,0)$ + \item Für die Strecke OP vom Ursprung zu einem Punkt $\text{P}(x,y,z)$ gilt (Ortsvektor): + $$ r=(x,y,z) $$ + \item Betrag des Ortsvektors: $r=\sqrt{x^2+y^2+z^2}$ + \item Die Verortung von Punkten im Koordinatensystem kann auch über die Winkelbeziehungen erfolgen:\\ + \includegraphics[width=.6\textwidth]{winkelbeziehungen.png} + \end{itemize} + + \subsection{Skalarprodukt} + Das Skalarprodukt ist ein Ergbnis der Multiplikation von zwei Vektoren. + Betrachtet man die Multiplikation im Sinne von Komponenten erhält man:\\ + \includegraphics[width=.6\textwidth]{skalarprodukt.png}\\ + Geht man hingegen von der Orthonormalbasis aus, erhält man: + $$ + \bm{a}\cdot\bm{b} + = (a_x\cdot\bm{e}_{\bm{x}}+a_y\cdot\bm{e}_{\bm{y}}+a_z\cdot\bm{e}_{\bm{z}}) + \cdot((b_x\cdot\bm{e}_{\bm{x}}+b_y\cdot\bm{e}_{\bm{y}}+b_z\cdot\bm{e}_{\bm{z}})) + = a_xb_x+a_yb_y+a_zb_z + $$ + Allgemein: $\bm{ab} = \sum^{N}_{i=1}a_ib_i$\\ + Desweiteren gibt es noch eine dritte Schreibweise für das Skalarprodukt. + Man schreibt $\langle a,b\rangle = \bm{a}^T\bm{b}$. + $\bm{a}^T=(a_1,a_2,\dots,a_N)$ ist der transponierte Vektor $\bm{a}$. + $$ + \bm{b}=\left[ \begin{array}{c} b_1 \\ b_2 \\ \vdots \\ b_N \end{array}\right] + \bm{a}^T\bm{b}=(a_1,a_2,\dots,a_N)\cdot\left[\begin{array}{c}b_1\\b_2\\\vdots\\b_N\end{array}\right] = \sum^N_{i=1}a_ib_i + $$ + Diese Form des Skalarproduktes stellt die Grundlage für die Euklidische Norm $L_2$ dar. + $$ + ||\bm{a}||=\sqrt{\langle a,a\rangle} = \sqrt{\sum^N_{i=1}a_i^2} = |\bm{a}| + $$ + diff --git a/chapters/Supervised Learning.tex b/chapters/Supervised Learning.tex new file mode 100644 index 0000000..7c4a5c3 --- /dev/null +++ b/chapters/Supervised Learning.tex @@ -0,0 +1,57 @@ +\chapter{Supervised Learning} + \section{Einleitung} + Ein sehr komplexes Modell kann zwar das optimale Ergebnis für einen Trainingsdatensatz bilden, + stellt aber zumeist keine gute Lösung für das allgemeine Problem dar. + Meist ist es sinnvoll ein möglichst einfaches Modell zu entwickeln, welches die Trainingsdaten \say{gut} klassifiziert. + Ein solches Modell ist zumeist besser dazu in der Lage unbekannte Pattern zu klassifizieren. + Das Prinzip, immer das einfachste Modell zu wählen wird auch als \say{Occam's Razor} bezeichnet.\\ + \includegraphics[width=.4\textwidth]{occam's razor 1.png} + \includegraphics[width=.5\textwidth]{occam's razor 2.png} + + \section{Linear Machines} + Mithilfe von linearen Maschinen lassen sich bestimmte Arten von Problemen klassifizieren.\\ + \includegraphics[width=\textwidth]{seperability.png}\\ + Hierfür wird auf viele Aspekte der Vektoralgebra zurückgegriffen (siehe \ref{Vektoralgebra}). + + \section{Aufstellung einer Diskriminanten} + \includegraphics[width=.8\textwidth]{diskriminante.png}\\ + \paragraph{Verfahren}\mbox{}\\ + \begin{enumerate} + \item durchschnittliches Element der Cluster errechnen:\\ + \vspace{0.1mm}\\ + Class C1: $\overline{m_{1C1}}=\frac{1}{M}\sum^{M-1}_{i=0}m_{1C1,i}\hspace{1mm}\overline{m_{2C1}}=\frac{1}{M}\sum^{M-1}_{i=0}m_{2C1,i}$\\ + \vspace{0.1mm}\\ + Class C2: $\overline{m_{1C2}}=\frac{1}{M}\sum^{M-1}_{i=0}m_{1C2,i}\hspace{1mm}\overline{m_{2C2}}=\frac{1}{M}\sum^{M-1}_{i=0}m_{2C2,i}$\\ + \item Diskriminanten Funktion errechnen:\\ + \includegraphics[width=.8\textwidth]{diskriminanten_berechnung.png}\\ + \includegraphics[width=.8\textwidth]{diskriminanten_berechnung2.png}\\ + \includegraphics[width=.8\textwidth]{diskriminanten_berechnung3.png} + \item \begin{align*} + m_2&=-\frac{1}{a}m_1+m_{h2}+\frac{a}{a}m_{h1}\\ + &\downarrow\\ + m_2 + \frac{1}{a}m_1 - \left(m_{h2}+\frac{a}{a}m_{h1}\right) &= 0\\ + &\downarrow + \end{align*} + \begin{align*} + g(\bm{m}) &= \left(\frac{1}{a},1\right)\begin{pmatrix}m_1\\m_2\end{pmatrix}-\left(\frac{1}{a},1\right)\begin{pmatrix}m_{h1}\\m_{h2}\end{pmatrix} = 0\\ + g(\bm{m}) &= \left(\frac{1}{a},1\right)\cdot(\bm{m}-\bm{m}_{\bm{h}}) = 0 \hspace{1mm} \left(\frac{1}{a},1\right)=\bm{C}^T\\ + g(\bm{m}) &= \bm{C}^T\tilde{\bm{m}}=0 + \end{align*} + \end{enumerate} + + \subsection{Beispiel: 3 Koeffizienten} + $g(\bm{m}) = \bm{w}^T\bm{m}=0$ mit $\bm{w}^T = (w_2,w_1,w_0)$ und $\bm{m} = (m_2,m_1,1)^T$: + $$g(\bm{m}) = w_2m_2 + w_1m_1 + w_0 = 0$$ + + \paragraph{Vergleich der Koeffizienten} + $$g(\bm{m}) = m_2 + \frac{1}{a}m_1-\left(m_{h2}+\frac{1}{a}m_{h1}\right) = 0 \rightarrow a\cdot m_2+m_1-(a\cdot m_{h2}+m_{h1})=0$$ + $$w_2m_2+w_1m_1+w_0=0\rightarrow w_2=a$$ + $$w_1=1$$ + $$w_0=-(a\cdot m_{h2}+m{h1})$$ + Daraus folgt: + $$g(\bm{m}) > 0 \forall \bm{m}\in C_2$$ + $$g(\bm{m}) < 0 \forall \bm{m}\in C_1$$ + + \subsection{Das technische Neuron} + Ein technisches Neuron besteht aus den Gewichten für die Eingangswerte und der Aktivierungsfunktion:\\ + \includegraphics[width=.8\textwidth]{technisches_neuron.png} \ No newline at end of file diff --git a/images/diskriminante.png b/images/diskriminante.png new file mode 100644 index 0000000..a073844 Binary files /dev/null and b/images/diskriminante.png differ diff --git a/images/diskriminanten_berechnung.png b/images/diskriminanten_berechnung.png new file mode 100644 index 0000000..a9292ac Binary files /dev/null and b/images/diskriminanten_berechnung.png differ diff --git a/images/diskriminanten_berechnung2.png b/images/diskriminanten_berechnung2.png new file mode 100644 index 0000000..a8bbe7f Binary files /dev/null and b/images/diskriminanten_berechnung2.png differ diff --git a/images/diskriminanten_berechnung3.png b/images/diskriminanten_berechnung3.png new file mode 100644 index 0000000..1ee9544 Binary files /dev/null and b/images/diskriminanten_berechnung3.png differ diff --git a/images/good_vs_bad_features.png b/images/good_vs_bad_features.png new file mode 100644 index 0000000..c941be9 Binary files /dev/null and b/images/good_vs_bad_features.png differ diff --git a/images/koordinatensystem.png b/images/koordinatensystem.png new file mode 100644 index 0000000..46061e6 Binary files /dev/null and b/images/koordinatensystem.png differ diff --git a/images/occam's razor 1.png b/images/occam's razor 1.png new file mode 100644 index 0000000..0121732 Binary files /dev/null and b/images/occam's razor 1.png differ diff --git a/images/occam's razor 2.png b/images/occam's razor 2.png new file mode 100644 index 0000000..bee3350 Binary files /dev/null and b/images/occam's razor 2.png differ diff --git a/images/projektion.png b/images/projektion.png new file mode 100644 index 0000000..508111d Binary files /dev/null and b/images/projektion.png differ diff --git a/images/seperability.png b/images/seperability.png new file mode 100644 index 0000000..9b5e197 Binary files /dev/null and b/images/seperability.png differ diff --git a/images/skalarprodukt.png b/images/skalarprodukt.png new file mode 100644 index 0000000..e67a7ed Binary files /dev/null and b/images/skalarprodukt.png differ diff --git a/images/technisches_neuron.png b/images/technisches_neuron.png new file mode 100644 index 0000000..43cbd29 Binary files /dev/null and b/images/technisches_neuron.png differ diff --git a/images/winkelbeziehungen.png b/images/winkelbeziehungen.png new file mode 100644 index 0000000..79f2a2b Binary files /dev/null and b/images/winkelbeziehungen.png differ