WnioskowanieStatystyczne/ROC

Wnioskowanie_Statystyczne_-_wykład

Błędy I i II rodzaju

Pojęcia błędów I i II rodzaju, podobnie jak hipotezy zerowej (H₀) wprowadzili do statystyki Jerzy Spława-Neyman i Egon Pearson w latach 30. XX wieku.

Przyjęcie poziomu istotności ([math]\alpha[/math]) na poziomie 5 procent oznacza, że średnio w jednym na dwadzieścia przypadków możemy odrzucić prawdziwą hipotezę, czyli popełnić błąd I rodzaju (false positive, [math]FP[/math]).

Błąd II rodzaju polega na przyjęciu hipotezy fałszywej (false negative, [math]FN[/math]).

[math]\textrm{P}(FP) = \alpha [/math]

[math]\textrm{P}(FN) = \beta[/math]

moc testu = [math]1-\beta[/math]

Konwencja nazw: wynik dodatni (pozytywny) to odrzucenie hipotezy zerowej, czyli wykrycie efektu — choroby, różnicy między grupami, sygnału. Hipoteza zerowa jest stanem ujemnym („zdrowy”, „brak efektu”). Pierwsza litera skrótu (T/F) mówi, czy decyzja była trafna, druga (P/N) — jaka była decyzja. Stąd błąd I rodzaju to wynik fałszywie dodatni (FP, prawdopodobieństwo [math]\alpha[/math]), błąd II rodzaju — fałszywie ujemny (FN, [math]\beta[/math]), a moc testu [math]1-\beta[/math] to częstość wyników prawdziwie dodatnich (TP); [math]1-\alpha[/math] odpowiada częstości wyników prawdziwie ujemnych (TN).

Kolumny tabeli sumują się do jedności, i to wprost z definicji poziomu istotności: [math]\alpha[/math] to prawdopodobieństwo odrzucenia hipotezy zerowej pod warunkiem, że jest ona prawdziwa, a odrzucenie i przyjęcie [math]H_0[/math] to jedyne dwie możliwe (i wykluczające się) decyzje, więc przyjęcie prawdziwej [math]H_0[/math] ma prawdopodobieństwo [math]1-\alpha[/math]. Tak samo w drugiej kolumnie: [math]\beta[/math] i [math]1-\beta[/math] to prawdopodobieństwa obu decyzji pod warunkiem, że [math]H_0[/math] jest fałszywa. Wszystkie cztery liczby są więc prawdopodobieństwami warunkowanymi stanem rzeczywistym, a nie naszą decyzją — i nic nie mówią o tym, jak często się mylimy, jeśli nie wiemy, jak często [math]H_0[/math] bywa prawdziwa.

Odwrócenie warunkowania (np. „jakie jest prawdopodobieństwo, że pacjent jest chory, skoro wynik wyszedł dodatni”) wymaga dodatkowo częstości występowania choroby i wynika z twierdzenia Bayesa — tam też policzony jest przykład, w którym test o czułości bliskiej 100% i swoistości 99,8% daje wynik dodatni, a mimo to szansa choroby jest mniejsza niż połowa.

		hipoteza H0
		Prawdziwa	Fałszywa
decyzja	Odrzuć (wynik dodatni)	błąd typu I (False Positive, [math]p=\alpha[/math])	poprawna (True Positive — moc testu), [math]p=1-\beta[/math]
	Przyjmij (wynik ujemny)	poprawna (True Negative), [math]p=1-\alpha[/math]	błąd typu II (False Negative), [math]p=\beta[/math]

wielkość	definicja	odpowiednik w testach statystycznych	skąd to wynika
czułość (sensitivity, TPR)	[math]\frac{TP}{TP+FN}[/math]	moc testu [math]1-\beta[/math]	oba wyrażenia to prawdopodobieństwo wyniku dodatniego, gdy [math]H_0[/math] jest fałszywa (druga kolumna tabeli powyżej)
swoistość (specificity, TNR)	[math]\frac{TN}{TN+FP}[/math]	[math]1-\alpha[/math]	prawdopodobieństwo wyniku ujemnego, gdy [math]H_0[/math] jest prawdziwa (pierwsza kolumna)
FPR (odsetek fałszywych alarmów)	[math]\frac{FP}{FP+TN}=1-\textrm{swoistość}[/math]	poziom istotności [math]\alpha[/math]	FP i TN wyczerpują pierwszą kolumnę, więc oba ilorazy sumują się do jedności
PPV (wartość predykcyjna dodatnia)	[math]\frac{TP}{TP+FP}[/math]	—	iloraz wierszowy: warunkowany decyzją, nie stanem; wymaga twierdzenia Bayesa
NPV (wartość predykcyjna ujemna)	[math]\frac{TN}{TN+FN}[/math]	—	jak wyżej, dla drugiego wiersza
trafność (accuracy)	[math]\frac{TP+TN}{TP+FP+FN+TN}[/math]	—	zależy od częstości obu stanów, więc przy rzadkiej chorobie bywa myląca

Krzywa ROC to zbiór punktów [math](FPR, TPR)[/math], czyli — jak widać z dwóch pierwszych wierszy tabeli — punktów [math](\alpha,\ \textrm{moc})[/math], wyznaczonych dla kolejnych progów decyzji. Klasyfikator, który nie korzysta z danych, odpowiada „dodatni” z pewnym prawdopodobieństwem [math]q[/math] niezależnie od stanu rzeczywistego, więc dla każdego progu [math]TPR=FPR=q[/math]: jego punkty leżą na przekątnej, a pole pod nią wynosi [math]AUC=0{,}5[/math].

Rozróżnienie osi warto zapamiętać: czułość i swoistość są warunkowane stanem rzeczywistym (kolumny tabeli), a PPV i NPV — naszą decyzją (wiersze). Przejście z kolumn na wiersze zawsze wymaga częstości a priori; wraca to w twierdzeniu Bayesa i przy współczynniku FDR w rozdziale o porównaniach wielokrotnych.

Linią przerywaną jest oznaczony rozkład jednej z możliwych hipotez alternatywnych. Na górnym wykresie zacieniowany obszar (o polu [math]\beta[/math]) odpowiada prawdopodobieństwu błędnej akceptacji hipotezy alternatywnej (błąd II rodzaju, false negative). Na dolnym zacieniowany obszar odpowiada prawdopodobieństwu odrzucenia hipotezy alternatywnej, czyli mocy testu ([math]1-\beta[/math]) względem tej konkretnej hipotezy alternatywnej.

Krzywa ROC (receiver operating characteristic)

[math]TPR = \dfrac{TP}{P} = \dfrac{TP}{TP+FN}[/math] — czułość (sensitivity), true positive rate

[math]TNR = \dfrac{TN}{N} = \dfrac{TN}{FP + TN}[/math] — swoistość (specificity), true negative rate

[math]FPR = \dfrac{FP}{N} = \dfrac{FP}{FP + TN} = \dfrac{FP + TN - TN}{FP + TN} = 1 - TNR[/math]

Opisane powyżej błędy odnoszą się do ostatecznych, binarnych decyzji systemu (np. przynależność do grupy A lub B). Jednak bardzo często system na "przedostatnim" stadium zwraca wielkość odpowiadającą prawdopodobieństwu przynależności do jednej z grup. Dopiero wybranie progu daje nam decyzję binarną. Ten próg możemy dobierać w zależności od tego, czy ważniejsze jest unikanie FP czy maksymalizowanie TP.

Kwestie doboru progu ładnie ilustruje obrazek z Wikipedii

Na poniższych ilustracjach z artykułu dostępnego w Internecie przedstawiono histogramy decyzji klasyfikatora, który przypisywał odcinkom EEG prawdopodobieństwo faktu, że wystąpił w nim potencjał wywołany, który związany jest z koncentracją uwagi na bodźcu wyświetlanym w danym momencie. Jako "ground truth", czyli kryterium, przyjęto deklarowane przez użytkowników intencje zwracania uwagi na dany bodziec (target) lub nie (nontarget).

Histogram decyzji "dobrego" klasyfikatora.

Histogram decyzji "słabego" klasyfikatora.

Fig. 3: Przykładowe krzywe ROC dla "dobrego" i "słabego" klasyfikatora

AUC (inaczej AUROC, czyli Area Under ROC) to pole pod krzywą ROC, określające jakość separacji rozkładów dla różnych ustawień progu.