Tanító, validációs és teszt halmaz, túltanulás, adatszivárgás
Tanító halmaz: ezen tanul a modell. Validációs halmaz: ezen választunk (mikor álljon le a tanítás, melyik hiperparaméter, melyik confidencia küszöb). Teszt halmaz: a végső, egyszeri mérés, amin már semmit nem hangolunk.
Ha a teszt halmazról bármi átszivárog a tanításba vagy a hangolásba, a mért eredmény optimista lesz, vagyis nem azt mutatja, amit a modell új adaton nyújtana.
1. ábra: túltanulás
A tanító hiba folyamatosan csökken, de a validációs hiba egy ponton után újra nő: a modell ekkor a tanító adat zaját tanulja meg, nem az általános mintát. A komplexebb modell és kevesebb tanító adat korábbi és erősebb túltanulást ad.
tanító hibavalidációs hibaszaggatott függőleges vonal: a legjobb epoch (itt érdemes megállni)
Állapot az aktuális epochnál
–
Validációs hiba − tanító hiba
–
Legjobb epoch
–
2. ábra: adatszivárgás
Tegyük fel, hogy az adataid 12 videósorozatból származnak, és mindegyikből 20 egymáshoz nagyon hasonló képkocka van. Minden négyzet egy kép. Ha a képeket véletlenszerűen osztod szét, a tesztképek majdnem mindegyikének ott van egy szinte azonos testvére a tanító halmazban, és a modell azt egyszerűen megjegyzi.
tanítóvalidációstesztteszt kép, amelynek testvére a tanítóban van (szivárgás)
Mért teszt pontosság
–
Valós pontosság új sorozaton
70%
ennyit nyújt a modell, ha a sorozatot sosem látta
Szivárgó teszt képek
–
Az adatszivárgás más formái: ugyanaz a fa vagy ugyanaz a növény több képen a tanító és a teszt halmazban; ugyanabból a felvételi napból származó képek mindkettőben; a confidencia küszöböt a teszt halmazon választod meg; többször is a teszt halmazon hangolsz. Mindegyik ugyanazt teszi: a teszt eredmény optimista lesz.