ROC-curve

In de signaaldetectietheorie is een ROC-kromme (Engels: receiver operating characteristic (ROC)) een grafiek van de gevoeligheid (sensitiviteit) als functie van de aspecificiteit (1 - specificiteit) voor een binaire classifier als zijn discriminatiedrempel wordt gevarieerd. De ROC kan ook worden weergegeven door de fractie van true positives (TPR = true positive rate) uit te zetten tegen de fractie van fout-positieven (FPR = false positive rate). De ROC-kromme staat ook bekend als de relative operating characteristic curve, omdat twee operating characteristics (TPR en FPR) met elkaar worden vergeleken terwijl het criterium (de drempel) verandert.^[1][2]

Voorbeeld van een ROC-kromme.

Voorbeeld van een ROC-kromme

ROC-analyse kan gebruikt worden voor kosten-batenanalyse bij diagnostische besliskunde. Met ROC-analyse kunnen optimale modellen worden uitgekozen en minder goede verworpen. De ROC-kromme werd oorspronkelijk ontwikkeld door elektrotechnici en radartechnici in de Tweede Wereldoorlog om vijandelijke objecten te onderscheiden. Het vakgebied heet ook wel signaaldetectietheorie. Tegenwoordig wordt ROC-analyse al tientallen jaren toegepast in de geneeskunde, radiologie, psychologie en andere gebieden. Sinds kort^{[(sinds) wanneer?]} wordt het ook gebruikt bij machinaal leren en datamining.

Terminologie en afleidingen

In een voorspellingsprobleem met twee klassen (binaire klassificatie) zijn de uitslagen positief (p) of negatief (n). Een binaire classifier geeft vier resultaten. Als de uitslag p is en de echte waarde is ook p, dan hebben we een echt-positief (true positive, TP). Maar als de echte waarde n is hebben we een fout-positief (false positive, FP). Omgekeerd is er een echt-negatief (true negative, TN) als zowel de uitslag als de echte waarde n zijn en een fout-negatief (false negative, FN) als de uitslag n maar de echte waarde p is.

Naam	Verklaring	Formule
Echt-positief (true positive, TP)	treffer	${\displaystyle TP}$
Echt-negatief (true negative, TN)	terechte verwerping	${\displaystyle TN}$
Fout-positief (false positive, FP)	vals alarm, type I-fout	${\displaystyle FP}$
Fout-negatief (false negative, FN)	gemist geval, type II-fout	${\displaystyle FN}$
Totaal positieven P	som van echt-positieve en fout-negatieve uitslagen	${\displaystyle P=TP+FN}$
Totaal negatieven N	som van echt-negatieve en fout-positieve uitslagen	${\displaystyle N=TN+FP}$
True positive rate (TPR)	trefkans, recall, sensitiviteit	${\displaystyle TPR=TP/P=TP/(TP+FN)}$
False positive rate (FPR)	gelijk aan kans op vals alarm, fall-out	${\displaystyle FPR=FP/N=FP/(FP+TN)}$
Nauwkeurigheid (ACC)	aandeel juiste uitslagen	${\displaystyle ACC=(TP+TN)/(P+N)}$
Specificiteit (SPC) of True Negative Rate		${\displaystyle SPC=TN/N=TN/(FP+TN)=1-FPR}$
Positive predictive value (PPV)	gelijk aan precisie	${\displaystyle PPV=TP/(TP+FP)}$
Negative predictive value (NPV)	kans op echt-negatieve uitslag	${\displaystyle NPV=TN/(TN+FN)}$
False discovery rate (FDR)	kans op vals alarm	${\displaystyle FDR=FP/(FP+TP)}$
Matthews correlatie coefficient (MCC)[3]		${\displaystyle MCC={\frac {TP\times TN-FP\times FN}{\sqrt {(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}}}$

Voorbeeld

Als voorbeeld nemen we een medische test om te bepalen of iemand een bepaalde ziekte heeft. Een fout-positief is als de test positief uitvalt (dus patiënt heeft de ziekte volgens de test), maar de persoon in het echt niet ziek is. Een fout-negatief doet zich voor als iemand een negatieve uitslag krijgt, terwijl de ziekte toch aanwezig is.

We bekijken een proef met P positieve en N negatieve gevallen. De vier uitkomsten kunnen in een 2×2 contingency table of confusion matrix, weergegeven worden:

		echte waarde
		p	n	totaal
Voorspelling resultaat	p'	True Positive	False Positive	P'
	n'	False Negative	True Negative	N'
total		P	N