Kappa Cohena

Współczynnik Kappa Cohena (ang. Cohen's kappa) – wykorzystywany w statystyce współczynnik rzetelności dwukrotnych pomiarów tej samej zmiennej, która jest zmienną nominalną i zależną. Pomiaru zmiennej może dokonać jeden sędzia kompetentny (dwukrotnie, w odstępie czasowym) lub dwóch różnych sędziów kompetentnych w tym samym czasie. Kappa Cohena przyjmuje wartości od -1 do 1. Im bliżej wartości 1, tym oceny dwóch sędziów (lub jednego sędziego w odstępie czasowym) są bardziej zgodne. Z kolei im bliżej wartości 0, tym oceny są bardziej rozbieżne. Wartości od -1 do 0 są w praktyce niewykorzystywane, gdyż ujemna wartość Kappy Cohena oznaczałaby zgodność ocen mniejszą niż w przypadku gdyby były to zmienne całkowicie losowe.

Twórcą współczynnika jest amerykański psycholog i statystyk Jacob Cohen.

Definicja

Współczynnik kappa Cohena mierzy zgodność między dwoma oceniającymi, z których każdy klasyfikuje N elementów do C wzajemnie wykluczających się kategorii lub zgodność między dwoma pomiarami tej samej zmiennej nominalnej. Współczynnik, oznaczany grecką literą kappa (${\textstyle \kappa }$), wyznacza się na podstawie następującego wzoru:

${\displaystyle \kappa \equiv {\frac {p_{o}-p_{e}}{1-p_{e}}}=1-{\frac {1-p_{o}}{1-p_{e}}},}$

gdzie p_o jest względną zaobserwowaną zgodnością pomiarów/oceniających, zaś p_e jest hipotetycznym prawdopodobieństwem przypadkowej zgodności, przy czym na podstawie zaobserwowanych danych oblicza się prawdopodobieństwo losowego wyboru każdej kategorii przez każdego obserwatora. Jeżeli osoby oceniające lub pomiary są w pełni zgodne, to ${\textstyle \kappa =1}$. Gdy zgodność pomiędzy oceniającymi nie przekracza poziomu, którego można by oczekiwać przypadkowo (wyznaczonego przez p_e), wówczas ${\textstyle \kappa =0}$. Istnieje możliwość, że statystyka ${\displaystyle \kappa }$ będzie ujemna^[1], co może być wynikiem przypadku w sytuacji braku związku między oceniającymi/pomiarami lub może odzwierciedlać rzeczywistą tendencję oceniających do wystawiania odmiennych ocen.

Gdy liczba kategorii to k, N to liczba obserwacji, które należy skategoryzować, zaś ${\displaystyle n_{ki}}$ to liczba przypadków, w których pomiar i przydzielił kategorię k, ${\displaystyle p_{e}}$ można by wyznaczyć na podstawie następującego wzoru:

${\displaystyle p_{e}={\frac {1}{N^{2}}}\sum _{k}n_{k1}n_{k2}}$

Wynika to z następującej konstrukcji:

${\displaystyle p_{e}=\sum _{k}{\widehat {p_{k12}}}{\overset {\text{niezal.}}{=}}\sum _{k}{\widehat {p_{k1}}}{\widehat {p_{k2}}}=\sum _{k}{\frac {n_{k1}}{N}}{\frac {n_{k2}}{N}}={\frac {1}{N^{2}}}\sum _{k}n_{k1}n_{k2},}$

gdzie ${\displaystyle {\widehat {p_{k12}}}}$ jest szacowanym prawdopodobieństwem, że zarówno oceniający 1, jak i oceniający 2 sklasyfikują ten sam element jako k, podczas gdy ${\displaystyle {\widehat {p_{k1}}}}$ jest szacowanym prawdopodobieństwem, że oceniający 1 sklasyfikuje element jako k (i podobnie będzie w przypadku oceniającego 2). Relacja ${\textstyle {\widehat {p_{k}}}=\sum _{k}{\widehat {p_{k1}}}{\widehat {p_{k2}}}}$ opiera się na założeniu, że oceny dwóch oceniających są niezależne. Wartość ${\displaystyle {\widehat {p_{k1}}}}$ szacuje się, używając liczby elementów sklasyfikowanych jako k przez oceniającego 1 (${\displaystyle n_{k1}}$) podzielonej przez całkowitą liczbę elementów do sklasyfikowania (${\displaystyle N}$): ${\displaystyle {\widehat {p_{k1}}}={n_{k1} \over N}}$ (i analogicznie dla oceniającego 2).

Macierz pomyłek klasyfikacji binarnej

W tradycyjnej macierzy pomyłek 2×2 stosowanej w uczeniu maszynowym i statystyce do oceny klasyfikatorów binarnych współczynnik kappa Cohena można obliczyć w następujący sposób: ^[2]

${\displaystyle \kappa ={\frac {2\times (TP\times TN-FN\times FP)}{(TP+FP)\times (FP+TN)+(TP+FN)\times (FN+TN)}}}$

gdzie TP to prawdziwe wyniki pozytywne, FP to wyniki fałszywie pozytywne, TN to wyniki prawdziwie negatywne, a FN to wyniki fałszywie negatywne. W tym przypadku Kappa Cohena jest odpowiednikiem miernika Heidke skill score znanego w meteorologii^[3]. Pierwszy raz tę miarę wprowadził Myrick Haskell Doolittle w 1888 roku^[4].