KI_Kuenstliche_Intelligenz/KI_Zusammenfassung
1
0
Fork 0
generated from TH_General/Template_Summary
Code Issues Pull Requests Projects Releases 1 Wiki Activity

id3 overfitting hinzugefügt

Browse Source
This commit is contained in:
paul-loedige 2021-02-08 21:31:29 +01:00
parent 45f341ad06
commit 1da6b3aaa5
2 changed files with 14 additions and 2 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
Readme.md
View File

@ -10,7 +10,7 @@ Dieses Repo beinhaltet die $\LaTeX$ Informationen für die Zusammenfassung im Fa
- [x] Entropie - [x] Entropie
- [x] Kullback-Leibler-Divergenz - [x] Kullback-Leibler-Divergenz
- [x] ID3 Algorithmus - [x] ID3 Algorithmus
- [ ] Overfitting Lösung - [x] Overfitting Lösung
- [x] Ähnlichkeitsbasiertes Lernen - [x] Ähnlichkeitsbasiertes Lernen
- [x] K-Nächste-Nachbarn - [x] K-Nächste-Nachbarn
- [x] Normalisierung - [x] Normalisierung

12
chapters/Maschinelles Lernen/Informationsbasiertes Lernen.tex
View File

@ -115,3 +115,15 @@
\item Menge der zu testenden Merkmal ist leer. Erstelle einen Blattknoten mit der Mehrheitsklasse des Teildatensatzes als Klassifikation. \item Menge der zu testenden Merkmal ist leer. Erstelle einen Blattknoten mit der Mehrheitsklasse des Teildatensatzes als Klassifikation.
\item Der Teildatensatz ist leer. Erstelle einen Blattknoten mit der Mehrheitsklasse des Teildatensatzes des Elternknotens. \item Der Teildatensatz ist leer. Erstelle einen Blattknoten mit der Mehrheitsklasse des Teildatensatzes des Elternknotens.
\end{enumerate} \end{enumerate}
\subsection{Anti-Overfitting Maßnahmen}
\label{id3: anti-overfitting}
Da der ID3 Algorithmus im Prinzip nichts anderes tut, als die Trainingsdaten in einen Entscheidungsbaum umzubauen ist das Risiko für ein Overfitting sehr groß.
Um dies zu verhindern gibt es mehrere Ansätze:
\paragraph{Pre-Pruning}
Die Partitionierung wird frühzeitig (z.B. durch ein Limit für die Tiefe des Baums) gestoppt.
\paragraph{Post-Pruning}
Der Baum wird normal erstellt.
Anschließend werden (z.B. durch Validierungsdaten) die Zweige eliminiert, die ein Overfitting erzeugen.