Tekst źródłowy strony WnioskowanieStatystyczne/Bonferroni

==Błędy I i II rodzaju==
Przyjęcie poziomu istotności (<math>\alpha</math>) na poziomie 5 procent oznacza, że średnio w jednym na dwadzieścia przypadków możemy odrzucić prawdziwą hipotezę, czyli popełnić '''błąd I rodzaju''' (false positive). 

Dla kompletności przypomnijmy, że '''błąd II rodzaju''' polega na przyjęciu hipotezy fałszywej (false negative) i jest związany z poziomem istotności testu.

Pojęcia błędów I i II rodzaju, podobnie jak hipotezy zerowej (H<sub>0</sub>) wprowadzili do statystyki  [https://pl.wikipedia.org/wiki/Jerzy_Spława-Neyman Jerzy Spława-Neyman] i [https://pl.wikipedia.org/wiki/Egon_Pearson Egon Pearson] w latach 30. XX wieku.


{| class="wikitable"
|-
| rowspan="2" colspan="2" | 
| colspan="2" style="text-align:center;" | hipoteza ''H<sub>0</sub>''
|-
! Prawdziwa
! Fałszywa
|-
| rowspan="2" | decyzja
! Odrzuć
| style="text-align:center;"| błąd typu &nbsp;I (False Positive)
| style="text-align:center;"| poprawna (True Positive)
|-
! Przyjmij
| style="text-align:center;"| poprawna (True Negative)
| style="text-align:center;"| błąd typu&nbsp;II (False Negative)
|}


[[Plik:wh_moc.png|thumb|center|600px|<figure id="fig:101"></figure>Linią przerywaną jest oznaczony rozkład jednej z możliwych hipotez
alternatywnych.
Na górnym wykresie zacieniowany obszar (o polu <math>\beta</math>) odpowiada prawdopodobieństwu błędnej akceptacji hipotezy alternatywnej (błąd II rodzaju, false nagative). Na dolnym zacieniowany obszar odpowiada prawdopodobieństwu odrzucenia hipotezy alternatywnej, czyli '''mocy testu''' (<math>1-\beta</math>) względem tej konkretnej hipotezy alternatywnej.]]

==Wielokrotne porównania==
Problem wielokrotnych porównań (ang. multiple comparisons) pojawia się w eksploracyjnej (w odróżnieniu od konfirmacyjnej) analizie danych, por. np. http://en.wikipedia.org/wiki/Data_dredging zwane też ''p''-hacking.

===Przykład===
<math>N</math> obserwacji podzielonych na 7 grup. Testujemy hipotezę o różnicy między średnimi dowolnych 2 grup, wykonując wykonać <math>\binom{7}{2}=21</math> testów różnic między grupami. Jeśli przyjmiemy poziom istotności <math>\alpha=0.05</math>, mamy dużą szansę na dokonanie fałszywego odkrycia. Jak dużą?

===FWER: family-wise error rate===
Poziom istotności zdefiniowany dla pojedynczych testów zastępujemy pojęciem FWER, czyli prawdopodobieństwem popełnienia przynajmniej jednego błędu I rodzaju w grupie (rodzinie) testów.

===Poprawka Bonferroniego===
gwarantuje, że jeśli każdy z ''m'' testów wykonamy na poziomie istotności <math>\frac{\alpha}{m}</math>, to <math>\mathrm{FWER}=\alpha</math>.

Rozważmy rodzinę ''m'' hipotez (w powyższym przykładzie ''m''=21), przypisując każdej z nich p-wartość (ang. p-value) p<sub>i</sub>. FWER, czyli prawdopodobieństwo popełnienia przynajmniej jednego błędu I rodzaju którymś z <math>m</math> testów, będzie nie większy niż suma prawdopodobieństw popełnienia błędu I rodzaju
<math> P\left(p_i\leq\frac \alpha m\right)</math>
w każdym testów z osobna. I to niezależnie od tego, czy testy są niezależne czy nie. Czyli

<math> \text{FWER}  \leq\sum_{i=1}^{m}\left\{P\left(p_i\leq\frac \alpha m\right)\right\} 
\leq m \frac{\alpha}{m} = \alpha.</math>

Nierówność jest słuszna również w przypadku, kiedy tylko część z <math>m</math> hipotez jest prawdziwa --- FWER jest wtedy jeszcze mniejszy. Jak widać jest to poprawka bardzo konserwatywna, wymuszająca przeprowadzanie testów na potencjalnie zaniżonych poziomach istotności <math>\frac{\alpha}{m}</math>.

===Poprawka Bonferroniego-Holma===
P-wartości p<sub>i</sub> sortujemy w kolejności od najmniejszej do największej

==Evaluation of measurement data — Guide to the expression of uncertainty in measurement==
JCGM 100:2008 GUM 1995 with minor corrections http://www.iso.org/sites/JCGM/GUM-JCGM100.htm


''3.4.8  Although this Guide provides a framework for assessing uncertainty, it cannot substitute for critical thinking, intellectual honesty and professional skill. The evaluation of uncertainty is neither a routine task nor a purely mathematical one; it depends on detailed knowledge of the nature of the measurand and of the measurement. The quality and utility of the uncertainty quoted for the result of a measurement therefore ultimately depend on the understanding, critical analysis, and integrity of those who contribute to the assignment of its value.''