Evaluace binárního klasifikátoru
A) Zadání
- Pro binární klasifikátor 3-NN sestavený v předchozím cvičení a táž vstupní data 100 vzorků rozdělených rovnoměrně do dvou tříd „+“ (P) a „x“ (N) sestavte čtyřpolní tabulku hodnot TP, TN, FP a FN a vypočítejte z ní hodnoty Accuracy (celková správnost) a Precision (přesnost). Ground truth je známo ze vstupní trénovací množiny, výstupní hodnoty prediktoru vstupních vzorků obou tříd „+“ a „x“ v prostoru (x1,x2) pak z klasifikační mapy prediktoru 3-NN.
- Proveďte modifikaci kódu na klasifikátor 5-NN a stejným způsobem sestavte odpovídající čtyřpolní tabulku.
- Z obou čtyřpolních tabulek vypočtěte hodnoty potřebné pro vynesení do ROC grafu (viz také přednáška Předzpracování dat, od slide 19), tj. TPR a FPR, zaneste je do grafu ROC a podle jejich poloh popište rozdíly v chování modelů 3-NN a 5-NN.
- Do ROC grafu nakonec zaneste také bod odpovídající prediktoru 1-NN a specifickou polohu modelu zdůvodněte.
B) Info
Ilustrace predikční mapy a ground truth vstupních vzorků pro binární
klasifikátor 3-NN: