Tablica pomyłek

Tablica pomyłek (nazywana również macierzą pomyłek^[1] lub macierzą błędów) – tabela przedstawiająca skuteczność działania algorytmu klasyfikacyjnego, najczęściej binarnego (czyli przewidującego przynależność do jednej z dwóch klas), testu diagnostycznego^[2] albo testu statystycznego^[3]. Każda kolumna tablicy przedstawia możliwe rzeczywiste etykiety badanych jednostek, a każdy wiersz przedstawia etykiety przewidywane przez algorytm^[4]. Spotyka się również transponowaną wersję macierzy, gdzie klasy rzeczywiste są w wierszach, a przewidywane w kolumnach^[1].

W przypadku klasyfikatora binarnego tablica pomyłek ma wymiary 2×2. Badane jednostki są w takiej sytuacji oznaczone dwoma etykietami: pozytywną i negatywną. Algorytm klasyfikacyjny przypisuje im predykowaną (tzn. przewidywaną) klasę pozytywną albo negatywną. Możliwa jest sytuacja, że jednostka w rzeczywistości pozytywna zostanie omyłkowo zaklasyfikowana jako negatywna, a jednostka w rzeczywistości negatywna jako pozytywna – stąd nazwa macierzy.

Klasa rzeczywista pozytywna negatywna Klasa predykowana pozytywna prawdziwie pozytywna (TP) fałszywie pozytywna (FP) negatywna fałszywie negatywna (FN) prawdziwie negatywna (TN)

Na podstawie częstości występowania rzeczywistego stanu pozytywnego w populacji oraz wzajemnych relacji prawidłowych i nieprawidłowych klasyfikacji można wyróżnić szereg wskaźników oceniających siłę predykcyjną klasyfikatora (np. testu diagnostycznego). Poniższy wykres podsumowuje ich powiązania, przy czym – odwrotnie niż w tablicy powyżej – klasa rzeczywista jest w wierszach, a klasa przewidywana w kolumnach:

		Klasa predykowana – wynik testu
	Populacja	Klasyfikacja pozytywna	Klasyfikacja negatywna	Częstość występowania, chorobowość ${\displaystyle {\frac {\scriptstyle \sum {\text{stan pozytywny}}}{\scriptstyle \sum {\text{populacja}}}}}$
Klasa rzeczywista	Stan pozytywny	prawdziwie dodatnia, TP (trafienie)	fałszywie ujemna (błąd drugiego rodzaju, FN, chybienie)	czułość, TPR ${\displaystyle {\frac {\scriptstyle \sum \mathbf {\color {OliveGreen}TP} }{\scriptstyle \sum \mathbf {{\color {OliveGreen}TP}+\sum {\color {Red}FN}} }}}$	FNR ${\displaystyle {\frac {\scriptstyle \sum \mathbf {\color {Red}FN} }{\scriptstyle \sum \mathbf {{\color {OliveGreen}TP}+\sum {\color {Red}FN}} }}}$
	Stan negatywny	fałszywie dodatnia (błąd pierwszego rodzaju, FP, fałszywy alarm)	prawdziwie ujemna, TN (poprawne odrzucenie)	FPR ${\displaystyle {\frac {\scriptstyle \sum \mathbf {\color {Red}FP} }{\scriptstyle \sum \mathbf {{\color {Red}FP}+\sum {\color {OliveGreen}TN}} }}}$	swoistość, SPC, TNR ${\displaystyle {\frac {\scriptstyle \sum \mathbf {\color {OliveGreen}TN} }{\scriptstyle \sum \mathbf {{\color {Red}FP}+\sum {\color {OliveGreen}TN}} }}}$
	dokładność, ACC ${\displaystyle {\frac {\scriptstyle \sum \mathbf {{\color {OliveGreen}TP}+} \scriptstyle \sum \mathbf {\color {OliveGreen}TN} }{\scriptstyle \sum {\text{populacja}}}}}$	precyzja, PPV ${\displaystyle {\frac {\scriptstyle \sum \mathbf {\color {OliveGreen}TP} }{\scriptstyle \sum \mathbf {{\color {OliveGreen}TP}+\sum {\color {Red}FP}} }}}$	FOR ${\displaystyle {\frac {\scriptstyle \sum \mathbf {\color {Red}FN} }{\scriptstyle \sum \mathbf {{\color {Red}FN}+\sum {\color {OliveGreen}TN}} }}}$	LR+ ${\displaystyle {\frac {\scriptstyle \mathbf {\color {OliveGreen}TPR} }{\scriptstyle \mathbf {\color {OliveGreen}FPR} }}}$	DOR ${\displaystyle {\frac {\scriptstyle \mathbf {\color {OliveGreen}LR+} }{\scriptstyle \mathbf {\color {OliveGreen}LR-} }}}$
		FDR ${\displaystyle {\frac {\scriptstyle \sum \mathbf {\color {Red}FP} }{\scriptstyle \sum \mathbf {{\color {OliveGreen}TP}+\sum {\color {Red}FP}} }}}$	NPV ${\displaystyle {\frac {\scriptstyle \sum \mathbf {\color {OliveGreen}TN} }{\scriptstyle \sum \mathbf {{\color {Red}FN}+\sum {\color {OliveGreen}TN}} }}}$	LR- ${\displaystyle {\frac {\scriptstyle \mathbf {\color {OliveGreen}FNR} }{\scriptstyle \mathbf {\color {OliveGreen}TNR} }}}$

Oznaczenia jednostek w zależności od ich klasy rzeczywistej i przewidywanej:

• prawdziwie pozytywna (ang. true positive, TP), trafienie (ang. hit)
• prawdziwie negatywna (ang. true negative, TN), poprawne odrzucenie (ang. correct rejection)
• fałszywie pozytywna (ang. false positive, FP), błąd pierwszego rodzaju, fałszywy alarm (ang. false alarm)
• fałszywie negatywna (ang. false negative, FN), błąd drugiego rodzaju, chybienie (ang. miss)
• pozytywna P = (TP + FN)
• negatywna N = (TN + FP)

Miary:

• czułość (ang. sensitivity), pełność^[5] (ang. recall) lub odsetek prawdziwie pozytywnych (ang. true positive rate, TPR)

${\displaystyle TPR=TP/P=TP/(TP+FN)}$

• swoistość (ang. specificity, SPC) lub odsetek prawdziwie negatywnych (ang. true negative rate, TNR)

${\displaystyle TNR=TN/N=TN/(FP+TN)}$

• dokładność (ang. accuracy, ACC)

${\displaystyle ACC=(TP+TN)/(P+N)=(TP+TN)/(TP+FN+TN+FP)}$

• precyzja (ang. precision) lub dodatnia wartość predykcyjna^[4] (ang. positive predictive value, PPV)

${\displaystyle PPV=TP/(TP+FP)}$

• ujemna wartość predykcyjna (ang. negative predictive value, NPV)

${\displaystyle NPV=TN/(TN+FN)}$

• odsetek fałszywie pozytywnych (ang. false positive rate, FPR)

${\displaystyle FPR=FP/N=FP/(FP+TN)=1-TNR}$

• odsetek fałszywie negatywnych (ang. false negative rate, FNR)

${\displaystyle FNR=FN/P=FN/(TP+FN)=1-TPR}$

• wskaźnik (iloraz) wiarygodności wyniku dodatniego^[6] (ang. positive likelihood ratio, LR+)

${\displaystyle LR+=TPR/(1-TNR)=TPR/FPR={\frac {TP\cdot (FP+TN)}{FP\cdot (TP+FN)}}}$

• wskaźnik (iloraz) wiarygodności wyniku ujemnego (ang. negative likelihood ratio, LR-)

${\displaystyle LR-=(1-TPR)/TNR=FNR/TNR={\frac {FN\cdot (FP+TN)}{TN\cdot (TP+FN)}}}$

• diagnostyczny iloraz szans (ang. diagnostic odds ratio, DOR)

${\displaystyle DOR={\frac {LR+}{LR-}}={\frac {TP/FP}{FN/TN}}={\frac {TP\cdot TN}{FP\cdot FN}}}$

Przykład

Klasa rzeczywista pozytywna negatywna Klasa predykowana pozytywna Ludzie chorzy poprawnie zdiagnozowani jako chorzy Ludzie zdrowi błędnie zdiagnozowani jako chorzy (FP, błąd pierwszego rodzaju) negatywna Ludzie chorzy błędnie zdiagnozowani jako zdrowi (FN, błąd drugiego rodzaju) Ludzie zdrowi poprawnie zdiagnozowani jako ludzie zdrowi

Tablica pomyłek dla większej liczby kategorii

Tablica pomyłek nie ogranicza się do klasyfikacji binarnej i można ją stosować wobec klasyfikatorów z większą liczbą klas. Macierze pomyłek omówione powyżej mają tylko dwie klasy: pozytywną i negatywną. Poniższa tabela podsumowuje komunikację w języku gwizdów między dwoma użytkownikami, przy czym dla przejrzystości pominięto wartości zerowe^[7]:

Samogłoska odebrana i e a o u Samogłoska nadana i 15 1 e 1 a 79 5 o 4 15 3 u 2 2