Wie kann ich den Unterschied zwischen Validierung und Testgenauigkeit interpretieren?


Antwort 1:

Für die Genauigkeit A denke ich, dass Ihr Modell gut funktioniert. Ich gehe davon aus, dass Sie Validierungsdaten verwendet haben, um das Modell A zu trainieren, und Testdaten, um es auszuwerten. Da sowohl die Validierungsgenauigkeit als auch die Testgenauigkeit hoch sind, kann gesagt werden, dass das Modell richtig trainiert wird. Ich habe jedoch zwei Bedenken.

  1. Wenn Sie ein Modell mit höherer Genauigkeit benötigen, müssen Sie die Hyperparameter anpassen, um besser zu werden. Beim überwachten Lernen geht es nicht nur um Genauigkeit. Wenn es sich um zwei binäre Klassifizierungen handelt, sollten Sie den ROC-Bereich unter der Kurve anzeigen, um festzustellen, ob Probleme beim Klassifizieren von falsch positiven Ergebnissen auftreten. Wenn Sie ein hohes falsches Positiv haben, ist das Modell unbrauchbar.

Für B finde ich es überpassend. Überanpassung bedeutet, dass Ihr Modell nur für Trainings- und Validierungsdaten funktioniert und nicht für Testdaten oder neue unbekannte Daten. Sie möchten sicher ein allgemeineres Modell. Sie müssen herausfinden, warum es überpasst ist. Sie müssen auch den ROC-Bereich unter der Kurve bewerten.

http: //gim.unmc.edu/dxtests/roc3 ...

Über- und Unteranpassung mit Algorithmen für maschinelles Lernen - Beherrschung des maschinellen Lernens