Möchten Sie eines Tages mit Modellen für maschinelles Lernen (ML) arbeiten? Entdecken Sie die unterschiedlichen Auswirkungen von overfitting und Unteranpassung in ML-Modellen.
Ein Machine-Learning-Modell ist ein sorgfältig entwickelter Algorithmus, der Muster oder Trends in unvorhergesehenen Datensätzen erkennt. Allerdings sind Machine-Learning-Modelle nicht fehlerfrei. Overfitting und Underfitting gehören zu den Hauptfaktoren, die zu suboptimalen Ergebnissen beim Machine Learning führen. Wenn ein ML-Modell die Trainingsdaten – also Muster und Trends – mit Bravour meistert, bei der Präsentation neuer Daten jedoch erfolglos bleibt, kommt es zu Overfitting. Das bedeutet, dass die Trainingsdaten den Algorithmus des Modells so konditioniert haben, dass er neue Daten nicht mehr erfolgreich analysieren kann.
Wenn es dem ML-Modell auf etwas andere Weise nicht gelingt, bei der Verwendung von Trainingsdaten eine genaue Vorhersage zu treffen, kommt es zu einer Unteranpassung, was bedeutet, dass der Algorithmus des Modells bei der Analyse neuer Daten nicht in der Lage ist, Muster oder Trends zu erkennen.
Angenommen, Sie verwenden ein maschinelles Lernmodell zur Vorhersage von Aktienkursen. Das Modell berücksichtigt historische Aktiendaten und verschiedene Marktindikatoren und lernt, Muster in Aktienkursschwankungen zu erkennen. Wenn das Modell vollständig trainiert ist, kann es aktuelle Marktbedingungen analysieren, um Vorhersagen über zukünftige Aktienkurse zu treffen. Wenn jedoch Über- oder Unteranpassung den Algorithmus des Modells beeinflusst hat, müssen Sie diese Vorhersagen als unzuverlässig betrachten. Lesen Sie weiter, um den Ursprung von Über- und Unteranpassung, ihre Unterschiede und Strategien zur Verbesserung der Leistung des ML-Modells zu verstehen.
Was ist overfitting?
Ein Modell ist überangepasst, wenn es bei Tests mit Trainingsdaten ideale Vorhersagen liefert, bei neuen, nicht identifizierten (Validierungs-)Daten jedoch versagt. Dieses Szenario ist in folgenden Fällen zu beobachten:
- Das Modell ist äußerst komplex oder verworren.
- Das Modell wird mit einem einzelnen oder bestimmten Datensatz übermäßig trainiert, was seine Fähigkeit zur Analyse neuer Daten beeinträchtigt.
- Die Trainingsdaten enthalten unbrauchbare Informationen oder Rauschen, das den Algorithmus des Modells beeinträchtigen kann.
Stellen Sie sich beispielsweise ein ML-Modell vor, um einen Roboter im Basketball zu trainieren. Sie kodieren den Roboter mit detaillierten Bewegungen, Dribbling-Mustern und Wurftechniken, die die Spieltaktiken des professionellen Basketballspielers LeBron James genau nachahmen. Folglich ist der Roboter hervorragend darin, diese geskripteten Sequenzen zu replizieren. Wenn Ihr Modell jedoch überangepasst ist, wird der Roboter bei neuartigen Spielszenarien ins Straucheln geraten, beispielsweise bei einem, bei dem das Team einen kleineren Spieler braucht, um die Verteidigung zu überwinden.
Was ist Underfitting?
Ein unterangepasstes Modell weist sowohl bei Trainingsdaten als auch bei neuen (Validierungs-)Daten eine schlechte Leistung auf. Unterangepasstes Modell tritt beim maschinellen Lernen auf, wenn ein Modell zu simpel ist, um die zugrunde liegenden Muster in den Trainingsdaten zu erfassen oder zu lernen. Andere zugrunde liegende Gründe für Unterangepasstheit können sein:
- Spärliche oder begrenzte Trainingsdaten
- Unzureichende Trainingszeit für das Modell
Hier ein Beispiel: Sie verwenden ein Wettervorhersagemodell mit nur einer Variable, z. B. der Temperatur, um Regenfälle vorherzusagen. Ohne wichtige Trainingsfaktoren wie Luftfeuchtigkeit, Windgeschwindigkeit oder Luftdruck wird das Modell wahrscheinlich aufgrund eines bloßen Temperaturrückgangs fälschlicherweise Regen vorhersagen.
Indikatoren für overfitting und Unteranpassung: Bias und Varianz
Wenn Sie sich über Verzerrungen und Varianzen im Klaren sind, können Sie die Zuverlässigkeit eines Machine-Learning-Modells besser beurteilen. Sie bedeuten Folgendes:
Der Bias gibt an, wie weit die Vorhersagen des Modells im Durchschnitt von den tatsächlichen Ergebnissen abweichen. Ein hoher Bias deutet darauf hin, dass das Modell möglicherweise zu simpel ist und wichtige Muster in den Daten nicht erkennt.
Varianz hingegen bezieht sich auf die Schwankungen im Verhalten eines Modells, wenn es an verschiedenen Abschnitten des Trainingsdatensatzes getestet wird. Ein Modell mit hoher Varianz kann unterschiedliche Datensätze berücksichtigen, kann aber für jede Instanz sehr unterschiedliche Modelle ergeben. Komplexe Modelle können eine hohe Varianz aufweisen.
Ein prägnanterer Vergleich von Bias und Varianz:
- Modelle mit hohem Bias vereinfachen die Daten übermäßig.
- Modelle mit hoher Varianz passen sich übermäßig an die Daten an.
Hoher Bias und geringe Varianz bedeuten Unteranpassung, während geringer Bias und hohe Varianz overfitting bedeuten. Beachten Sie, dass Bias und Varianz eine inverse Korrelation aufweisen. Wenn Sie mit dem Training eines Modells fortfahren, nimmt der Bias ab, während die Varianz zunimmt. Sie versuchen also, Bias und Varianz einigermaßen auszugleichen. Trotzdem kann Ihr ML-Modell auch mit einer höheren Varianz einwandfrei funktionieren.
Nachdem Sie nun den Bias-Varianz-Kompromiss kennen, sehen wir uns die Schritte zum Anpassen eines ML-Modells an, sodass es weder über- noch unterangepasst ist.
Wie kann eine overfitting verhindert werden?
overfitting bedeutet, dass sich ein Modell zu genau an die Trainingsdaten anpasst. Um dieses Problem zu vermeiden, können Sie drei Maßnahmen ergreifen: Erhöhen des Datenvolumens, Einführen einer Datenerweiterung und Anhalten des Trainings.
1. Erhöhen Sie das Volumen der Trainingsdaten.
Die Verwendung eines größeren Trainingsdatensatzes kann die Modellgenauigkeit steigern, indem verschiedene Muster zwischen Eingabe- und Ausgabevariablen aufgedeckt werden. Es ist jedoch wichtig, dass Sie genaue und saubere Daten verwenden. Auf diese Weise verhindern Sie, dass die Varianz in Ihrem Modell so weit zunimmt, dass Muster und Trends in neuen Daten nicht mehr genau erkannt werden können.
2. Führen Sie eine Datenerweiterung ein.
Sie können auch Datenerweiterung verwenden, um overfitting zu verhindern. Datenerweiterungstools helfen dabei, Trainingsdaten auf geringfügige, aber strategische Weise zu optimieren. Indem dem Modell kontinuierlich leicht modifizierte Versionen der Trainingsdaten präsentiert werden, verhindert die Datenerweiterung, dass sich Ihr Modell an bestimmte Muster oder Merkmale anklammert.
Dieser Ansatz ist besonders bei der Bildklassifizierung nützlich, wo Techniken wie Spiegeln (Umkehren des Bildes) oder Rotieren (Drehen des Bildes in verschiedene Winkel) sicherstellen, dass das Modell nicht auf die Ausrichtung eines Bildes fixiert ist.
3. Unterbrechen Sie das Training, wenn es nötig ist.
Schließlich können Sie den Trainingsprozess stoppen, bevor sich ein Modell zu sehr auf kleine Details oder Rauschen in den Trainingsdaten konzentriert. Dies erfordert eine sorgfältige Überwachung und Anpassung, um den richtigen Zeitpunkt zu finden. Bei einem vorzeitigen Stopp kann das Modell weder die Kernmuster noch die Nuancen der Daten erfassen (Unteranpassung).
Wie kann eine Unteranpassung verhindert werden?
Einem unterangepassten Modell fehlt das entsprechende Training, was zu fehlerhaften Ergebnissen beim maschinellen Lernen führt. Um dieses Problem zu vermeiden, können Sie drei Techniken anwenden: Maximieren Sie die Trainingszeit, optimieren Sie die Modellkomplexität und minimieren Sie die Regularisierung.
1. Maximieren Sie die Trainingszeit.
Um Unteranpassung zu vermeiden, muss Ihr Modell durch eine ausreichend lange Trainingsdauer die Feinheiten der Trainingsdaten verstehen und seine Gesamtleistung verbessern. Allerdings ist es wichtig, vorsichtig vorzugehen. Das Training eines Modells über einen längeren Zeitraum kann zu Übertraining (auch als overfitting bezeichnet) führen, bei dem das Modell zu sehr auf die Trainingsdaten zugeschnitten ist und bei neuen Daten eine schlechte Leistung erbringt.
2. Optimieren Sie die Modellkomplexität.
Indem Sie Ihr ML-Modell komplexer gestalten, können Sie Unteranpassung verhindern. Einfache Modelle interpretieren Muster in Trainingsdaten häufig falsch. Auch wenn es kontraintuitiv erscheinen mag, kann das Hinzufügen von Komplexität die Fähigkeit Ihres Modells verbessern, mit Ausreißern in Daten umzugehen. Darüber hinaus kann ein komplexes Modell durch die Erfassung von mehr zugrunde liegenden Datenpunkten genauere Vorhersagen treffen, wenn ihm neue Datenpunkte präsentiert werden. Allerdings ist es wichtig, ein Gleichgewicht zu finden, da zu komplexe Modelle zu overfitting führen können.
3. Minimieren Sie die Regularisierung.
Durch die Verringerung des Regularisierungsgrads in Ihrem Modell können Sie Unteranpassung verhindern. Durch Regularisierung wird die Varianz eines Modells verringert, indem Trainingseingabeparameter bestraft werden, die zu Rauschen beitragen. Denken Sie daran, dass geringe Varianz ein Indikator für Unteranpassung ist. Durch die Verringerung der Regularisierung können Sie dem Modell mehr Komplexität verleihen und so möglicherweise die Trainingsergebnisse verbessern.
Mehr lesen: Adobe Creative Cloud: Was ist das und ist es das Richtige für Sie?
Erfahren Sie mehr mit Coursera.
Verschaffen Sie sich einen Vorsprung im maschinellen Lernen mit dem Kurs „Einführung in maschinelles Lernen “, der auf Coursera verfügbar ist. Dieser von der Duke University angebotene Kurs umfasst praktische Übungen, in denen Sie Data-Science-Modelle implementieren und so praktische Erfahrung sammeln. Sie benötigen ungefähr 21 Stunden, um diesen Kurs abzuschließen.
Sie können den oben genannten Kurs mit der Spezialisierung „Mathematik für maschinelles Lernen“ ergänzen , die ebenfalls auf Coursera verfügbar ist. Diese Spezialisierung ist für Anfänger gedacht und konzentriert sich auf lineare Algebra, Hauptkomponentenanalyse, multivariate Analysis und mehr.