Brain-wiki - Wkład użytkownika [pl]

Wnioskowanie Statystyczne - ćwiczenia

2024-05-17T09:43:21Z

Atartas: /* Zasady zaliczenia — punktacja: */

[[Category:Przedmioty specjalizacyjne]]

#[[WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych |Zmienne losowe i generatory liczb pseudolosowych ]]
#[[WnioskowanieStatystyczne/ Przedziały ufności| Przedziały ufności]]
#[[WnioskowanieStatystyczne/ Testowanie hipotez| Testowanie hipotez]]
#[[WnioskowanieStatystyczne/ Regresja liniowa i test chi2| Regresja liniowa i test <math>\chi^2</math>]]

autor dr Jarosław Żygierewicz



==Zasady zaliczenia — punktacja:==
*'''Kartkówki (16 pkt)''': 4 kartkówki po 4 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Prace domowe/Aktywność (4 pkt)'''
*'''Kolokwium (20 pkt)'''
**data: '''3.06.2024''', w godz. 10:00 – 13:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''25.06.2024''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* > 50% z 50 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''xxx''', godz. '''xxx''') lub w sesji jesiennej ('''xxx''').
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z '''wyzerowaniem punktów z całego semestru'''.

Wnioskowanie Statystyczne - ćwiczenia

2024-05-17T09:43:04Z

Atartas: /* Zasady zaliczenia — punktacja: */

[[Category:Przedmioty specjalizacyjne]]

#[[WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych |Zmienne losowe i generatory liczb pseudolosowych ]]
#[[WnioskowanieStatystyczne/ Przedziały ufności| Przedziały ufności]]
#[[WnioskowanieStatystyczne/ Testowanie hipotez| Testowanie hipotez]]
#[[WnioskowanieStatystyczne/ Regresja liniowa i test chi2| Regresja liniowa i test <math>\chi^2</math>]]

autor dr Jarosław Żygierewicz



==Zasady zaliczenia — punktacja:==
*'''Kartkówki (16 pkt)''': 4 kartkówki po 4 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Prace domowe/Aktywność (4 pkt)'''
*'''Kolokwium (20 pkt)'''
**data: '''3.06.2024''', w godz. 10:00 – 13:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''24.06.2024''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* > 50% z 50 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''xxx''', godz. '''xxx''') lub w sesji jesiennej ('''xxx''').
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z '''wyzerowaniem punktów z całego semestru'''.

Wnioskowanie Statystyczne - ćwiczenia

2024-05-17T09:41:57Z

Atartas: /* Zasady zaliczenia — punktacja: */

Wnioskowanie Statystyczne - ćwiczenia

2024-02-21T13:17:26Z

Atartas: /* Zasady zaliczenia — punktacja: */

[[Category:Przedmioty specjalizacyjne]]

#[[WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych |Zmienne losowe i generatory liczb pseudolosowych ]]
#[[WnioskowanieStatystyczne/ Przedziały ufności| Przedziały ufności]]
#[[WnioskowanieStatystyczne/ Testowanie hipotez| Testowanie hipotez]]
#[[WnioskowanieStatystyczne/ Regresja liniowa i test chi2| Regresja liniowa i test <math>\chi^2</math>]]

autor dr Jarosław Żygierewicz



==Zasady zaliczenia — punktacja:==
*'''Kartkówki (16 pkt)''': 4 kartkówki po 4 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Prace domowe/Aktywność (4 pkt)'''
*'''Kolokwium (20 pkt)'''
**data: '''3.06.2024''', w godz. 10:00 – 13:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''xxx''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* > 50% z 50 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''xxx''', godz. '''xxx''') lub w sesji jesiennej ('''xxx''').
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z '''wyzerowaniem punktów z całego semestru'''.

Wnioskowanie Statystyczne - ćwiczenia

2023-06-13T12:12:05Z

Atartas: /* Zasady zaliczenia — punktacja: */

[[Category:Przedmioty specjalizacyjne]]

#[[WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych |Zmienne losowe i generatory liczb pseudolosowych ]]
#[[WnioskowanieStatystyczne/ Przedziały ufności| Przedziały ufności]]
#[[WnioskowanieStatystyczne/ Testowanie hipotez| Testowanie hipotez]]
#[[WnioskowanieStatystyczne/ Regresja liniowa i test chi2| Regresja liniowa i test <math>\chi^2</math>]]

autor dr Jarosław Żygierewicz



==Zasady zaliczenia — punktacja:==
*'''Kartkówki (16 pkt)''': 4 kartkówki po 4 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Prace domowe/Aktywność (4 pkt)'''
*'''Kolokwium (20 pkt)'''
**data: '''29.05.2023''', w godz. 09:30 – 12:30
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''xxx''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* > 50% z 50 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''28.06.2023''', godz. '''12:30 - 16:00''') lub w sesji jesiennej ('''xxx''').
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z '''wyzerowaniem punktów z całego semestru'''.

Wnioskowanie Statystyczne - ćwiczenia

2023-06-13T12:11:30Z

Atartas: /* Zasady zaliczenia — punktacja: */

[[Category:Przedmioty specjalizacyjne]]

#[[WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych |Zmienne losowe i generatory liczb pseudolosowych ]]
#[[WnioskowanieStatystyczne/ Przedziały ufności| Przedziały ufności]]
#[[WnioskowanieStatystyczne/ Testowanie hipotez| Testowanie hipotez]]
#[[WnioskowanieStatystyczne/ Regresja liniowa i test chi2| Regresja liniowa i test <math>\chi^2</math>]]

autor dr Jarosław Żygierewicz



==Zasady zaliczenia — punktacja:==
*'''Kartkówki (16 pkt)''': 4 kartkówki po 4 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Prace domowe/Aktywność (4 pkt)'''
*'''Kolokwium (20 pkt)'''
**data: '''29.05.2023''', w godz. 09:30 – 12:30
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''xxx''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* > 50% z 50 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''28.06.2023, godz. 12:30 - 16:00''') lub w sesji jesiennej ('''xxx''').
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z '''wyzerowaniem punktów z całego semestru'''.

Wnioskowanie Statystyczne - ćwiczenia

2023-06-13T12:11:04Z

Atartas: /* Zasady zaliczenia — punktacja: */

[[Category:Przedmioty specjalizacyjne]]

#[[WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych |Zmienne losowe i generatory liczb pseudolosowych ]]
#[[WnioskowanieStatystyczne/ Przedziały ufności| Przedziały ufności]]
#[[WnioskowanieStatystyczne/ Testowanie hipotez| Testowanie hipotez]]
#[[WnioskowanieStatystyczne/ Regresja liniowa i test chi2| Regresja liniowa i test <math>\chi^2</math>]]

autor dr Jarosław Żygierewicz



==Zasady zaliczenia — punktacja:==
*'''Kartkówki (16 pkt)''': 4 kartkówki po 4 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Prace domowe/Aktywność (4 pkt)'''
*'''Kolokwium (20 pkt)'''
**data: '''29.05.2023''', w godz. 09:30 – 12:30
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''xxx''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* > 50% z 50 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''28.06.2023''') lub w sesji jesiennej ('''xxx''').
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z '''wyzerowaniem punktów z całego semestru'''.

Wnioskowanie Statystyczne - ćwiczenia

2023-03-01T13:50:00Z

Atartas: /* Zasady zaliczenia — punktacja: */

[[Category:Przedmioty specjalizacyjne]]

#[[WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych |Zmienne losowe i generatory liczb pseudolosowych ]]
#[[WnioskowanieStatystyczne/ Przedziały ufności| Przedziały ufności]]
#[[WnioskowanieStatystyczne/ Testowanie hipotez| Testowanie hipotez]]
#[[WnioskowanieStatystyczne/ Regresja liniowa i test chi2| Regresja liniowa i test <math>\chi^2</math>]]

autor dr Jarosław Żygierewicz



==Zasady zaliczenia — punktacja:==
*'''Kartkówki (16 pkt)''': 4 kartkówki po 4 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Prace domowe/Aktywność (4 pkt)'''
*'''Kolokwium (20 pkt)'''
**data: '''29.05.2023''', w godz. 09:30 – 12:30
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''xxx''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* > 50% z 50 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''xx''') lub w sesji jesiennej ('''xxx''').
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z '''wyzerowaniem punktów z całego semestru'''.

Wnioskowanie Statystyczne - wykład

2022-06-18T22:17:01Z

Atartas: /* zasady zaliczenia przedmiotu */

[[Category:Przedmioty specjalizacyjne]]


=Wnioskowanie statystyczne (wykład)=

'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''



#
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
## [[WnioskowanieStatystyczne/Momenty|Wariancja, mediana...]]
## [[WnioskowanieStatystyczne/Rozklady-przyklady|Przykładowe rozkłady]]
#
## [[WnioskowanieStatystyczne/CLT|Centralne Twierdzenie Graniczne]]
#
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
#
## [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
#
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
#
##
#
## [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
#
#
## [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
#
## [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
## [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
#
## [[WnioskowanieStatystyczne/Interpretacja współczynnika korelacji|Interpretacja współczynnika korelacji]]
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
#
## [[WnioskowanieStatystyczne/Bonferroni|TP/FP, ROC. Problem porównań wielokrotnych — miejskie legendy i przepowiednie]]
#
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
#
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
#
## [[Sztuczne sieci neuronowe (ANN )|Sztuczne sieci neuronowe]]
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]

{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
Autor: [http://durka.name Piotr Durka].

[https://drive.google.com/drive/folders/1yPKnOfmO3dEp0SeslNXwSfOoPzQFSanc?usp=sharing slajdy z wykładów]

===zasady zaliczenia przedmiotu===

Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
*'''Kartkówki (16 pkt)''': 4 kartkówki po 4 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Prace domowe/Aktywność (4 pkt)'''
*'''Kolokwium (20 pkt)'''
**data: '''30.05.2022''', w godz. 9:00 - 12:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''22.06.2022''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* > 50% z 50 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''24.06.2022''') lub w sesji jesiennej ('''x''').
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z '''wyzerowaniem punktów z całego semestru'''.

Zaliczenie wykładu:
* Egzamin pisemny w sali. Tematy do przemyślenia przed egzaminem == przerobiony na wykładzie program. Dla ustalenia uwagi, na przykład:
** Sformułuj Centralne Twierdzenie Graniczne.
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0.
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0
** Co to jest <math>\chi^2</math>?
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
** Co to jest i jak obliczamy moc testu?
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.


Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.

Wnioskowanie Statystyczne - wykład

2022-06-18T22:16:30Z

Atartas: /* zasady zaliczenia przedmiotu */

[[Category:Przedmioty specjalizacyjne]]


=Wnioskowanie statystyczne (wykład)=

'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''



#
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
## [[WnioskowanieStatystyczne/Momenty|Wariancja, mediana...]]
## [[WnioskowanieStatystyczne/Rozklady-przyklady|Przykładowe rozkłady]]
#
## [[WnioskowanieStatystyczne/CLT|Centralne Twierdzenie Graniczne]]
#
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
#
## [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
#
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
#
##
#
## [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
#
#
## [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
#
## [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
## [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
#
## [[WnioskowanieStatystyczne/Interpretacja współczynnika korelacji|Interpretacja współczynnika korelacji]]
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
#
## [[WnioskowanieStatystyczne/Bonferroni|TP/FP, ROC. Problem porównań wielokrotnych — miejskie legendy i przepowiednie]]
#
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
#
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
#
## [[Sztuczne sieci neuronowe (ANN )|Sztuczne sieci neuronowe]]
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]

{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
Autor: [http://durka.name Piotr Durka].

[https://drive.google.com/drive/folders/1yPKnOfmO3dEp0SeslNXwSfOoPzQFSanc?usp=sharing slajdy z wykładów]

===zasady zaliczenia przedmiotu===

Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
*'''Kartkówki (16 pkt)''': 4 kartkówki po 4 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Prace domowe/Aktywność (4 pkt)'''
*'''Kolokwium (20 pkt)'''
**data: '''30.05.2022''', w godz. 9:00 - 12:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''22.06.2022''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* Ponad 50% z 50 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''24.06.2022''') lub w sesji jesiennej ('''x''').
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z '''wyzerowaniem punktów z całego semestru'''.

Zaliczenie wykładu:
* Egzamin pisemny w sali. Tematy do przemyślenia przed egzaminem == przerobiony na wykładzie program. Dla ustalenia uwagi, na przykład:
** Sformułuj Centralne Twierdzenie Graniczne.
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0.
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0
** Co to jest <math>\chi^2</math>?
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
** Co to jest i jak obliczamy moc testu?
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.


Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.

Wnioskowanie Statystyczne - wykład

2022-02-28T10:54:14Z

Atartas: /* zasady zaliczenia przedmiotu */

[[Category:Przedmioty specjalizacyjne]]


=Wnioskowanie statystyczne (wykład)=

'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''

Zajęcia zdalne w roku 2021 odbywają się pod adresem https://kampus.come.uw.edu.pl/course/view.php?id=5295

#
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
## [[WnioskowanieStatystyczne/Momenty|Wariancja, mediana...]]
## [[WnioskowanieStatystyczne/Rozklady-przyklady|Przykładowe rozkłady]]
#
## [[WnioskowanieStatystyczne/CLT|Centralne Twierdzenie Graniczne]]
#
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
#
## [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
#
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
#
##
#
## [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
#
#
## [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
#
## [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
## [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
#
## [[WnioskowanieStatystyczne/Interpretacja współczynnika korelacji|Interpretacja współczynnika korelacji]]
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
#
## [[WnioskowanieStatystyczne/Bonferroni|Problem porównań wielokrotnych -- miejskie legendy i przepowiednie]]
#
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
#
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
#
## [[Sztuczne sieci neuronowe (ANN )|Sztuczne sieci neuronowe]]
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]

{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
Autor: [http://durka.name Piotr Durka].

[https://drive.google.com/drive/folders/1yPKnOfmO3dEp0SeslNXwSfOoPzQFSanc?usp=sharing slajdy z wykładów]

===zasady zaliczenia przedmiotu===

Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
*'''Kartkówki (16 pkt)''': 4 kartkówki po 4 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Prace domowe/Aktywność (4 pkt)'''
*'''Kolokwium (20 pkt)'''
**data: '''30.05.2022''', w godz. 9:00 - 12:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''22.06.2022''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* Minimum 26 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''24.06.2022''') lub w sesji jesiennej ('''x''').
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z '''wyzerowaniem punktów z całego semestru'''.

Zaliczenie wykładu:
Egzamin pisemny i ustny — szczegóły w zależności od stanu pandemii. Tematy do przemyślenia przed egzaminem == przerobony program. Dla ustalenia uwagi, na przykład:
** Sformułuj Centralne Twierdzenie Graniczne.
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0.
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0
** Co to jest <math>\chi^2</math>?
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
** Co to jest i jak obliczamy moc testu?
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.
* Jeśli będzie egzamin ustny, to będzie obejmował tematy omawiane na wykładzie, jak np. powyższe.
* W obu przypadkach na ocenę końcową mogą wpływać również punkty za aktywność na zajęciach.

W ocenie końcowej będą brane pod uwagę aktywność na zajęciach oraz prace domowe, dostępne na platformie Kampus.

Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.

Wnioskowanie Statystyczne - wykład

2021-08-22T16:16:28Z

Atartas: /* zasady zaliczenia przedmiotu */

[[Category:Przedmioty specjalizacyjne]]


=Wnioskowanie statystyczne (wykład)=

'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''

Zajęcia zdalne w roku 2021 odbywają się pod adresem https://kampus.come.uw.edu.pl/course/view.php?id=5295

#
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
## [[WnioskowanieStatystyczne/Momenty|Wariancja, mediana...]]
## [[WnioskowanieStatystyczne/Rozklady-przyklady|Przykładowe rozkłady]]
#
## [[WnioskowanieStatystyczne/CLT|Centralne Twierdzenie Graniczne]]
#
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
#
## [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
#
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
#
##
#
## [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
#
#
## [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
#
## [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
## [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
#
## [[WnioskowanieStatystyczne/Interpretacja współczynnika korelacji|Interpretacja współczynnika korelacji]]
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
#
## [[WnioskowanieStatystyczne/Bonferroni|Problem porównań wielokrotnych -- miejskie legendy i przepowiednie]]
#
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
#
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
#
## [[Sztuczne sieci neuronowe (ANN )|Sztuczne sieci neuronowe]]
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]

{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
Autor: [http://durka.name Piotr Durka].

[https://drive.google.com/drive/folders/1yPKnOfmO3dEp0SeslNXwSfOoPzQFSanc?usp=sharing slajdy z wykładów]

===zasady zaliczenia przedmiotu===

Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
*'''Kartkówki (20 pkt)''': 4 kartkówki po 5 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Kolokwium (20 pkt)'''
**data: '''17.05.2021''', w godz. 9:00 - 12:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''22.06.2021''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* Minimum 25 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''23.06.2021''') lub w sesji jesiennej ('''07.09.2021''').
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z '''wyzerowaniem punktów z całego semestru'''.

Zaliczenie wykładu:
Egzamin pisemny i ustny — szczegóły w zależności od stanu pandemii. Tematy do przemyślenia przed egzaminem == przerobony program. Dla ustalenia uwagi, na przykład:
** Sformułuj Centralne Twierdzenie Graniczne.
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0.
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0
** Co to jest <math>\chi^2</math>?
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
** Co to jest i jak obliczamy moc testu?
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.
* Jeśli będzie egzamin ustny, to będzie obejmował tematy omawiane na wykładzie, jak np. powyższe.
* W obu przypadkach na ocenę końcową mogą wpływać również punkty za aktywność na zajęciach.

W ocenie końcowej będą brane pod uwagę aktywność na zajęciach oraz prace domowe, dostępne na platformie Kampus.

Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.

Wnioskowanie Statystyczne - wykład

2021-08-22T16:15:03Z

Atartas: /* zasady zaliczenia przedmiotu */

[[Category:Przedmioty specjalizacyjne]]


=Wnioskowanie statystyczne (wykład)=

'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''

Zajęcia zdalne w roku 2021 odbywają się pod adresem https://kampus.come.uw.edu.pl/course/view.php?id=5295

#
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
## [[WnioskowanieStatystyczne/Momenty|Wariancja, mediana...]]
## [[WnioskowanieStatystyczne/Rozklady-przyklady|Przykładowe rozkłady]]
#
## [[WnioskowanieStatystyczne/CLT|Centralne Twierdzenie Graniczne]]
#
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
#
## [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
#
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
#
##
#
## [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
#
#
## [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
#
## [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
## [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
#
## [[WnioskowanieStatystyczne/Interpretacja współczynnika korelacji|Interpretacja współczynnika korelacji]]
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
#
## [[WnioskowanieStatystyczne/Bonferroni|Problem porównań wielokrotnych -- miejskie legendy i przepowiednie]]
#
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
#
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
#
## [[Sztuczne sieci neuronowe (ANN )|Sztuczne sieci neuronowe]]
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]

{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
Autor: [http://durka.name Piotr Durka].

[https://drive.google.com/drive/folders/1yPKnOfmO3dEp0SeslNXwSfOoPzQFSanc?usp=sharing slajdy z wykładów]

===zasady zaliczenia przedmiotu===

Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
*'''Kartkówki (20 pkt)''': 4 kartkówki po 5 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Kolokwium (20 pkt)'''
**data: '''17.05.2021''', w godz. 9:00 - 12:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''22.06.2021''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* Minimum 25 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''23.06.2021''') lub w sesji jesiennej ('''07.09.2021''').
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z wyzerowaniem punktów z całego semestru.

Zaliczenie wykładu:
Egzamin pisemny i ustny — szczegóły w zależności od stanu pandemii. Tematy do przemyślenia przed egzaminem == przerobony program. Dla ustalenia uwagi, na przykład:
** Sformułuj Centralne Twierdzenie Graniczne.
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0.
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0
** Co to jest <math>\chi^2</math>?
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
** Co to jest i jak obliczamy moc testu?
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.
* Jeśli będzie egzamin ustny, to będzie obejmował tematy omawiane na wykładzie, jak np. powyższe.
* W obu przypadkach na ocenę końcową mogą wpływać również punkty za aktywność na zajęciach.

W ocenie końcowej będą brane pod uwagę aktywność na zajęciach oraz prace domowe, dostępne na platformie Kampus.

Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.

Wnioskowanie Statystyczne - wykład

2021-07-01T12:26:49Z

Atartas: /* zasady zaliczenia przedmiotu */

[[Category:Przedmioty specjalizacyjne]]


=Wnioskowanie statystyczne (wykład)=

'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''

Zajęcia zdalne w roku 2021 odbywają się pod adresem https://kampus.come.uw.edu.pl/course/view.php?id=5295

#
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
## [[WnioskowanieStatystyczne/Momenty|Wariancja, mediana...]]
## [[WnioskowanieStatystyczne/Rozklady-przyklady|Przykładowe rozkłady]]
#
## [[WnioskowanieStatystyczne/CLT|Centralne Twierdzenie Graniczne]]
#
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
#
## [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
#
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
#
##
#
## [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
#
#
## [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
#
## [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
## [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
#
## [[WnioskowanieStatystyczne/Interpretacja współczynnika korelacji|Interpretacja współczynnika korelacji]]
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
#
## [[WnioskowanieStatystyczne/Bonferroni|Problem porównań wielokrotnych -- miejskie legendy i przepowiednie]]
#
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
#
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
#
## [[Sztuczne sieci neuronowe (ANN )|Sztuczne sieci neuronowe]]
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]

{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
Autor: [http://durka.name Piotr Durka].

[https://drive.google.com/drive/folders/1yPKnOfmO3dEp0SeslNXwSfOoPzQFSanc?usp=sharing slajdy z wykładów]

===zasady zaliczenia przedmiotu===

Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
*'''Kartkówki (20 pkt)''': 4 kartkówki po 5 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Kolokwium (20 pkt)'''
**data: '''17.05.2021''', w godz. 9:00 - 12:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''22.06.2021''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* Minimum 25 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''23.06.2021''') lub w sesji jesiennej ('''07.09.2021''').

Zaliczenie wykładu:
Egzamin pisemny i ustny — szczegóły w zależności od stanu pandemii. Tematy do przemyślenia przed egzaminem == przerobony program. Dla ustalenia uwagi, na przykład:
** Sformułuj Centralne Twierdzenie Graniczne.
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0.
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0
** Co to jest <math>\chi^2</math>?
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
** Co to jest i jak obliczamy moc testu?
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.
* Jeśli będzie egzamin ustny, to będzie obejmował tematy omawiane na wykładzie, jak np. powyższe.
* W obu przypadkach na ocenę końcową mogą wpływać również punkty za aktywność na zajęciach.

W ocenie końcowej będą brane pod uwagę aktywność na zajęciach oraz prace domowe, dostępne na platformie Kampus.

Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.

Wnioskowanie Statystyczne - wykład

2021-02-26T14:08:42Z

Atartas: /* zasady zaliczenia przedmiotu */

[[Category:Przedmioty specjalizacyjne]]


=Wnioskowanie statystyczne (wykład)=

'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''

#
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
## [[WnioskowanieStatystyczne/Momenty|Wariancja, mediana...]]
## [[WnioskowanieStatystyczne/Rozklady-przyklady|Przykładowe rozkłady]]
#
## [[WnioskowanieStatystyczne/CLT|Centralne Twierdzenie Graniczne]]
#
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
#
## [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]
#
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
#
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
## [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
#
## [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
#
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
#
## [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
## [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
## [[WnioskowanieStatystyczne/Interpretacja współczynnika korelacji|Interpretacja współczynnika korelacji]]
#
## [[WnioskowanieStatystyczne/Bonferroni|Problem porównań wielokrotnych -- miejskie legendy i przepowiednie]]
#
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
#
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
#
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
#
## [[Sztuczne sieci neuronowe (ANN )|Sztuczne sieci neuronowe]]
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]

{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
Autor: [http://durka.name Piotr Durka].

[https://drive.google.com/drive/folders/1yPKnOfmO3dEp0SeslNXwSfOoPzQFSanc?usp=sharing slajdy z wykładów]

===zasady zaliczenia przedmiotu===

Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
*'''Kartkówki (20 pkt)''': 4 kartkówki po 5 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Kolokwium (20 pkt)'''
**data: '''17.05.2021''', w godz. 9:00 - 12:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''22.06.2021''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*'''Obecność'''
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* Minimum 25 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''23.06.2021''') lub w sesji jesiennej.

Zaliczenie wykładu:
Egzamin pisemny i ustny — szczegóły w zależności od stanu pandemii.
*Jeśli będzie egzamin pisemny, to będzie się składać z dwóch części: pytań zamkniętych jednokrotnego wyboru (analogicznie jak na egzaminie z TI) oraz pytań otwartych, na przykład:
** Sformułuj Centralne Twierdzenie Graniczne.
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0.
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0
** Co to jest <math>\chi^2</math>?
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
** Co to jest i jak obliczamy moc testu?
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.
* Jeśli będzie egzamin ustny, to będzie obejmował tematy omawiane na wykładzie, jak np. powyższe.
* W obu przypadkach na ocenę końcową będą wpływać oceny z zadawanych na bieżąco prac domowych i punkty za aktywność.

W ocenie końcowej będą brane pod uwagę aktywność na zajęciach oraz prace domowe, dostępne na platformie Kampus: [https://kampus.come.uw.edu.pl/course/view.php?id=4039]

Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.

Wnioskowanie Statystyczne - wykład

2021-02-26T14:08:24Z

Atartas: /* zasady zaliczenia przedmiotu */

[[Category:Przedmioty specjalizacyjne]]


=Wnioskowanie statystyczne (wykład)=

'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''

#
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
## [[WnioskowanieStatystyczne/Momenty|Wariancja, mediana...]]
## [[WnioskowanieStatystyczne/Rozklady-przyklady|Przykładowe rozkłady]]
#
## [[WnioskowanieStatystyczne/CLT|Centralne Twierdzenie Graniczne]]
#
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
#
## [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]
#
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
#
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
## [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
#
## [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
#
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
#
## [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
## [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
## [[WnioskowanieStatystyczne/Interpretacja współczynnika korelacji|Interpretacja współczynnika korelacji]]
#
## [[WnioskowanieStatystyczne/Bonferroni|Problem porównań wielokrotnych -- miejskie legendy i przepowiednie]]
#
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
#
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
#
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
#
## [[Sztuczne sieci neuronowe (ANN )|Sztuczne sieci neuronowe]]
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]

{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
Autor: [http://durka.name Piotr Durka].

[https://drive.google.com/drive/folders/1yPKnOfmO3dEp0SeslNXwSfOoPzQFSanc?usp=sharing slajdy z wykładów]

===zasady zaliczenia przedmiotu===

Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
*'''Kartkówki (20 pkt)''': 4 kartkówki po 5 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Kolokwium (20 pkt)'''
**data: '''17.05.2021''', w godz. 9:00 - 12:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''22.06.2021''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*Obecności
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* Minimum 25 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''23.06.2021''') lub w sesji jesiennej.

Zaliczenie wykładu:
Egzamin pisemny i ustny — szczegóły w zależności od stanu pandemii.
*Jeśli będzie egzamin pisemny, to będzie się składać z dwóch części: pytań zamkniętych jednokrotnego wyboru (analogicznie jak na egzaminie z TI) oraz pytań otwartych, na przykład:
** Sformułuj Centralne Twierdzenie Graniczne.
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0.
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0
** Co to jest <math>\chi^2</math>?
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
** Co to jest i jak obliczamy moc testu?
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.
* Jeśli będzie egzamin ustny, to będzie obejmował tematy omawiane na wykładzie, jak np. powyższe.
* W obu przypadkach na ocenę końcową będą wpływać oceny z zadawanych na bieżąco prac domowych i punkty za aktywność.

W ocenie końcowej będą brane pod uwagę aktywność na zajęciach oraz prace domowe, dostępne na platformie Kampus: [https://kampus.come.uw.edu.pl/course/view.php?id=4039]

Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.

Wnioskowanie Statystyczne - wykład

2021-02-26T14:07:20Z

Atartas: /* zasady zaliczenia przedmiotu */

[[Category:Przedmioty specjalizacyjne]]


=Wnioskowanie statystyczne (wykład)=

'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''

#
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
## [[WnioskowanieStatystyczne/Momenty|Wariancja, mediana...]]
## [[WnioskowanieStatystyczne/Rozklady-przyklady|Przykładowe rozkłady]]
#
## [[WnioskowanieStatystyczne/CLT|Centralne Twierdzenie Graniczne]]
#
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
#
## [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]
#
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
#
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
## [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
#
## [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
#
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
#
## [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
## [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
## [[WnioskowanieStatystyczne/Interpretacja współczynnika korelacji|Interpretacja współczynnika korelacji]]
#
## [[WnioskowanieStatystyczne/Bonferroni|Problem porównań wielokrotnych -- miejskie legendy i przepowiednie]]
#
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
#
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
#
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
#
## [[Sztuczne sieci neuronowe (ANN )|Sztuczne sieci neuronowe]]
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]

{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
Autor: [http://durka.name Piotr Durka].

[https://drive.google.com/drive/folders/1yPKnOfmO3dEp0SeslNXwSfOoPzQFSanc?usp=sharing slajdy z wykładów]

===zasady zaliczenia przedmiotu===

Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
*'''Kartkówki (20 pkt)''' 4 kartkówki po 5 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Kolokwium (20 pkt)'''
**data: '''17.05.2021''', w godz. 9:00 - 12:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''22.06.2021''')
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*Obecności
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* Minimum 25 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''23.06.2021''') lub w sesji jesiennej.

Zaliczenie wykładu:
Egzamin pisemny i ustny — szczegóły w zależności od stanu pandemii.
*Jeśli będzie egzamin pisemny, to będzie się składać z dwóch części: pytań zamkniętych jednokrotnego wyboru (analogicznie jak na egzaminie z TI) oraz pytań otwartych, na przykład:
** Sformułuj Centralne Twierdzenie Graniczne.
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0.
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0
** Co to jest <math>\chi^2</math>?
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
** Co to jest i jak obliczamy moc testu?
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.
* Jeśli będzie egzamin ustny, to będzie obejmował tematy omawiane na wykładzie, jak np. powyższe.
* W obu przypadkach na ocenę końcową będą wpływać oceny z zadawanych na bieżąco prac domowych i punkty za aktywność.

W ocenie końcowej będą brane pod uwagę aktywność na zajęciach oraz prace domowe, dostępne na platformie Kampus: [https://kampus.come.uw.edu.pl/course/view.php?id=4039]

Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.

Wnioskowanie Statystyczne - wykład

2021-02-26T14:07:01Z

Atartas: /* zasady zaliczenia przedmiotu */

[[Category:Przedmioty specjalizacyjne]]


=Wnioskowanie statystyczne (wykład)=

'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''

#
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
## [[WnioskowanieStatystyczne/Momenty|Wariancja, mediana...]]
## [[WnioskowanieStatystyczne/Rozklady-przyklady|Przykładowe rozkłady]]
#
## [[WnioskowanieStatystyczne/CLT|Centralne Twierdzenie Graniczne]]
#
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
#
## [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]
#
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
#
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
## [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
#
## [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
#
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
#
## [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
## [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
## [[WnioskowanieStatystyczne/Interpretacja współczynnika korelacji|Interpretacja współczynnika korelacji]]
#
## [[WnioskowanieStatystyczne/Bonferroni|Problem porównań wielokrotnych -- miejskie legendy i przepowiednie]]
#
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
#
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
#
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
#
## [[Sztuczne sieci neuronowe (ANN )|Sztuczne sieci neuronowe]]
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]

{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
Autor: [http://durka.name Piotr Durka].

[https://drive.google.com/drive/folders/1yPKnOfmO3dEp0SeslNXwSfOoPzQFSanc?usp=sharing slajdy z wykładów]

===zasady zaliczenia przedmiotu===

Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
*'''Kartkówki (20 pkt)''' 4 kartkówki po 5 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Kolokwium (20 pkt)'''
**data: '''17.05.2021''', w godz. 9:00 - 12:00
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do 22.06.2021)
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*Obecności
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* Minimum 25 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu (23.06.2021) lub w sesji jesiennej.

Zaliczenie wykładu:
Egzamin pisemny i ustny — szczegóły w zależności od stanu pandemii.
*Jeśli będzie egzamin pisemny, to będzie się składać z dwóch części: pytań zamkniętych jednokrotnego wyboru (analogicznie jak na egzaminie z TI) oraz pytań otwartych, na przykład:
** Sformułuj Centralne Twierdzenie Graniczne.
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0.
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0
** Co to jest <math>\chi^2</math>?
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
** Co to jest i jak obliczamy moc testu?
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.
* Jeśli będzie egzamin ustny, to będzie obejmował tematy omawiane na wykładzie, jak np. powyższe.
* W obu przypadkach na ocenę końcową będą wpływać oceny z zadawanych na bieżąco prac domowych i punkty za aktywność.

W ocenie końcowej będą brane pod uwagę aktywność na zajęciach oraz prace domowe, dostępne na platformie Kampus: [https://kampus.come.uw.edu.pl/course/view.php?id=4039]

Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.

Wnioskowanie Statystyczne - wykład

2021-02-18T12:56:06Z

Atartas: /* zasady zaliczenia przedmiotu */

[[Category:Przedmioty specjalizacyjne]]


=Wnioskowanie statystyczne (wykład)=

'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''

#
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
## [[WnioskowanieStatystyczne/Momenty|Wariancja, mediana...]]
## [[WnioskowanieStatystyczne/Rozklady-przyklady|Przykładowe rozkłady]]
#
## [[WnioskowanieStatystyczne/CLT|Centralne Twierdzenie Graniczne]]
#
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
#
## [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]
#
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
#
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
## [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
#
## [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
#
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
#
## [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
## [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
## [[WnioskowanieStatystyczne/Interpretacja współczynnika korelacji|Interpretacja współczynnika korelacji]]
#
## [[WnioskowanieStatystyczne/Bonferroni|Problem porównań wielokrotnych -- miejskie legendy i przepowiednie]]
#
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
#
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
#
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
#
## [[Sztuczne sieci neuronowe (ANN )|Sztuczne sieci neuronowe]]
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]

{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
Autor: [http://durka.name Piotr Durka].

[https://drive.google.com/drive/folders/1yPKnOfmO3dEp0SeslNXwSfOoPzQFSanc?usp=sharing slajdy z wykładów]

===zasady zaliczenia przedmiotu===

Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
*'''Kartkówki (20 pkt)''' 4 kartkówki po 5 pkt w trakcie semestru
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Kolokwium (20 pkt)'''
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
*'''Projekt (10 pkt)'''
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do 22.06.2021)
**zakres: chi2
**propozycje zadań zostaną podane w trakcie semestru
*Obecności
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:
* Minimum 25 pkt łącznie
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu (23.06.2021) lub w sesji jesiennej.

Zaliczenie wykładu:
Egzamin pisemny i ustny — szczegóły w zależności od stanu pandemii.
*Jeśli będzie egzamin pisemny, to będzie się składać z dwóch części: pytań zamkniętych jednokrotnego wyboru (analogicznie jak na egzaminie z TI) oraz pytań otwartych, na przykład:
** Sformułuj Centralne Twierdzenie Graniczne.
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0.
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(''x'') = 0,5 dla <math>0\leq x\leq 2</math> i p(''x'') = 0 dla ''x''>2 lub ''x''<0
** Co to jest <math>\chi^2</math>?
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
** Co to jest i jak obliczamy moc testu?
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.
* Jeśli będzie egzamin ustny, to będzie obejmował tematy omawiane na wykładzie, jak np. powyższe.
* W obu przypadkach na ocenę końcową będą wpływać oceny z zadawanych na bieżąco prac domowych i punkty za aktywność.

W ocenie końcowej będą brane pod uwagę aktywność na zajęciach oraz prace domowe, dostępne na platformie Kampus: [https://kampus.come.uw.edu.pl/course/view.php?id=4039]

Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.

WnioskowanieStatystyczne/ Przedziały ufności

2021-02-18T10:27:38Z

Atartas: /* Zadania */

==Wstęp ==
Średnia (lub inny parametr) estymowany na podstawie próby pobranej z populacji nie jest równa rzeczywistej wartości tego parametru w populacji.
* Wylosuj 10 razy 100 liczb z rozkładu normalnego <math>N(0,1)</math> i oblicz średnią. Czy udało ci się zaobserwować wartość 0?
<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st

for i in range(10):
x=st.norm.rvs(size=100)
print(np.mean(x))
</source>
Rozbieżność między uzyskanym wynikiem a rzeczywistą średnią populacji zależy od wielkości badanej grupy oraz zmienności badanej cechy w jej obrębie. Jeśli badana grupa jest niewielka i ma dużą zmienność analizowanej cechy wówczas rozbieżność między średnią uzyskaną, a rzeczywistą może być znaczna. Natomiast, jeśli badana grupa jest duża z niewielką zmiennością danych, wówczas uzyskana średnia będzie prawdopodobnie bardzo bliska średniej populacyjnej. Przedział ufności ({{ang|confidence interval — CI}}) odzwierciedla zarówno wielkość badanej grupy jak i zmienność analizowanej cechy wewnątrz tej grupy.
Przedział ufności jest określany z różnym procentem &bdquo;zaufania”, np. 90 czy też 95%. Najczęściej używa się 95% przedziału ufności. Oznacza to, że jeśli grupa badana była zgromadzona w sposób losowy to rzeczywisty parametr populacji z 95% pewnością znajduje się w tym przedziale. Innymi słowy, możemy sobie wyobrazić, że mamy dostępne wyniki dowolnie wielu badań analogicznych do analizowanego. Oczekujemy, że w 95% przypadków badana cecha znajduje się wewnątrz wyznaczonego przez nas przedziału ufności.

Pewnych problemów koncepcyjnych nastręcza konstrukcja przedziałów ufności. Dla danej znanej populacji możemy obliczyć średnią populacji oraz prawdopodobieństwo uzyskania konkretnej wartości średniej przy losowaniu próby o zadanej liczebności z tejże populacji, możemy więc określić prawdopodobieństwo <math>P</math>, że odległość średniej z próby i średniej z populacji jest <math>D</math>. Mając do dyspozycji tylko próbę możemy albo założyć, że pochodzi ona z jakiegoś znanego rozkładu i wyliczyć z niego wartości krytyczne albo zakładając, że jest ona reprezentatywna możemy metodą bootstrapu &bdquo;wytworzyć” wiele innych prób z badanej populacji i oszacować jakie są granice, w które wpada żądana frakcja średnich (np.:90%, 95%).

''Bootstrap'' jest związany z pobieraniem próby. Najkorzystniejszą sytuacją jest ta, w której dla oszacowania różnych parametrów statystycznych populacji mamy możliwość pobierania z tej populacji wielu prób. Jeśli jest to niemożliwe możemy posłużyć się pobieraniem wielokrotnie prób z tej próby, którą posiadamy. Postępowanie takie jest sensowne pod warunkiem, że próba, która służy nam do generowania innych możliwych pobrań próby jest ''reprezentatywna''. '''W bootstrapie losujemy ze zwracaniem''' (dlaczego?). 

== Przedział ufności dla średniej ==
=== Przypadek 1: znana wariancja rozkładu ===
Rozważamy zmienną losową podlegającą rozkładowi <math>N(\mu,\sigma^2)</math> czyli rozkładowi normalnemu o średniej <math> \mu</math> i znanym odchyleniu standardowym <math> \sigma</math>.
Pobieramy próby tych zmiennych losowych o rozmiarze <math>n</math>. Przypomnijmy, że średnia z takiej próby też może być traktowana jako zmienna losowa. [http://brain.fuw.edu.pl/edu/STAT:Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej Podlega ona rozkładowi] normalnemu o średniej <math> \mu</math> i standardowym odchyleniu <math>\frac{\sigma}{\sqrt{n}}</math> czyli <math>N\left( \mu,\frac{\sigma^2}{n} \right)</math>.

Oznacza to, że zmienna <math>\frac{\bar x - \mu}{\sigma/\sqrt{n}} </math> podlega rozkładowi <math> N(0,1)</math> czyli <math> Z</math>. Konstrukcja przedziału ufności dla średniej polega zatem na znalezieniu takich wartości <math>z_{\alpha/2}</math>, że:
: <math> P \left( \left|\frac{\bar x - \mu}{\sigma/\sqrt{n}} \right| \le z_{\alpha/2}\right) = 1-\alpha </math>
Zatem przedział ufności <math> (1-\alpha)*100</math>% :
: <math> \left[ \bar x - z_{\alpha/2}\frac{\sigma}{\sqrt n} ,\;\;\; \bar x+ z_{\alpha/2}\frac{\sigma}{\sqrt n} \right] </math>.

==== Przykład ====
Wyciągamy losową próbę <math> (n = 25)</math> z populacji o rozkładzie normalnym. Dostajemy średnią z próby <math> \bar x = 122</math>. Załóżmy, że znamy standardowe odchylenie populacji <math> \sigma = 20</math>.
* Oblicz przedział ufności 95% dla średniej populacji <math> \mu</math>.
* Co zrobić aby zmniejszyć obliczony przedział 10-krotnie?

Korzystając z tablic znajdujemy <math> z_{\alpha/2} = z_{2,5\%} = -1,96</math>.

: Wartość tą możemy uzyskać wołając w pythonie:
: <source lang =python>st.norm.ppf(0.025)</source>

<math>
\bar x \pm 1,96 \frac{\sigma}{\sqrt{n}} = 122 \pm 1,96\cdot\frac{20}{\sqrt{25}} = 122 \pm 7,84 = [\mathrm{114,16} \;\;\; 129,84]</math>

Możemy być pewni na 95%, że nieznana średnia populacji <math> \mu</math> znajduje się pomiędzy 114,16 a 129,84. Jeśli chcemy zmniejszyć przedział ufności 10-krotnie, musimy pobrać 100 razy większą próbę tj. ''n'' = 2500.

: Pracując z modułem scipy.stats mamy do dyspozycji rozkłady normalne <math>N(\mu,\sigma)</math> o dowolnych parametrach <math>\mu</math> i <math>\sigma</math>.
: Możemy więc uzyskać interesujący nas przedział ufności przy pomocy pojedynczego wywołania:
: <source lang =python>st.norm.ppf([0.025, 0.975],loc = 122, scale = 20.0/25**0.5)</source> gdzie <tt>loc = </tt> <math>\mu</math> oraz <tt>scale = </tt><math>\sigma</math>.

==== Zadanie ====
Importer win musi zbadać średnią zawartość alkoholu w nowej partii win francuskich. Z doświadczenia z poprzednimi gatunkami wina, przyjmuje on, że standardowe odchylenie w populacji wynosi 1,2%. Importer wybrał losową próbę 60 butelek nowego wina i otrzymał średnią z próby 9,3%. Znaleźć przedział ufności 90% dla średniej zawartości alkoholu w nowej partii win.

''Odp.'': [9,0452 9,5548].


===Przypadek 2: nieznana wariancja rozkładu ===
Sytuacja zmienia się jeśli zakładamy, że próba pochodzi z rozkładu normalnego o śreniej <math>\mu</math> i nieznanej wariancji.
Musimy wówczas zamiast wariancji posłużyć się jej estymatorem <math>s^2 = \frac{1}{n-1} \sum_{i=1}^n {\left(x_i-\mu\right)^2}</math>.
Zmienna losowa <math>\frac{\bar x - \mu}{s/\sqrt{n}} </math> podlega rozkładowi <math>t_{n-1}</math> (czytaj: rozkładowi ''t'' o ''n''−1 stopniach swobody). Konstrukcja przedziału ufności dla średniej polega zatem na znalezieniu takich wartości <math>t_{\alpha/2}</math> w rozkładzie ''t'' o ''n''−1 stopniach swobody, że:
: <math> P \left( \left|\frac{\bar x - \mu}{s/\sqrt{n}} \right| \le t_{\alpha/2}\right) = 1-\alpha </math>

Zatem przedział ufności <math> (1-\alpha)\cdot 100</math>% dla średniej <math>\mu</math>, gdy nie znamy odchylenia standardowego <math>\sigma</math>, a jedynie jego estymatę:
:: <math>
\left[
\bar x- t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}, \,\,\,\,\, \bar x+ t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}\right]
</math>
:gdzie <math> t_{\alpha/2}</math> jest wartością, która odcina obszar α/2 z rozkładu <math> t</math> z ''n''−1 stopniami swobody.

;Uwaga: w Pythonie możemy skorzystać z funkcji modułu <tt>numpy</tt> do obliczania wartości estymatorów:
:* ''s'' <tt>numpy.std</tt>
:* <math>\bar x</math> <tt>numpy.mean</tt>
==== Przykład ====
Lekarz chce zbadać średni czas trwania kuracji tj. od podania leku do ustąpienia objawów w pewnej chorobie. Losowa próba 15 pacjentów dała średni czas <math>\bar x = 10,37</math> dnia i odchylenie standardowe <math>s = 3,5</math> dnia. Zakładając normalny rozkład w populacji czasów trwania kuracji znaleźć 95% przedział ufności dla średniego czasu trwania kuracji.

Znajdujemy wartość z rozkładu <math> t</math> o ''n''−1 (=14) stopniach swobody, która odcina obszar <math> \alpha/2 = 0,025</math>. <math> t_{0,025} = 2,145</math>.
: w pythonie: <source lang =python>st.t.ppf(0.025,14)</source>
Dostajemy więc <math> \bar x \pm t_{\alpha/2}\frac{s}{\sqrt{n}} = 10,37 \pm 2,145\cdot\frac{3,5}{\sqrt{15}} = [8,\!43\ 12,\!31]</math>.

: Podobnie jak w poprzednim przykładzie możemy też skorzystać z tego, że w scipy.stats definiowane są rozkłady <math>t</math> o dowolnych parametrach i wykonać całe obliczenia jednym wywołaniem funkcji:
: <source lang =python>st.t.ppf([0.025, 0.975], 14, loc = 10.37, scale = 3.5/15**0.5)</source>

Lekarz może być pewny, że w 95% przypadków od podania leku do ustąpienia objawów upłynie czas pomiędzy 8,43 a 12,31 dnia.

==== Zadanie ====
Producent opon rowerowych chce oszacować średni dystans jaki można przejechać na oponie pewnego rodzaju zanim opona się zużyje. Pobrano losową próbę 32 opon, opona jest używana aż do przetarcia i odległość przejechana na każdej oponie jest rejestrowana. Dane (w tysiącach kilometrów) są następujące:

32, 33, 28, 37, 29, 30, 25, 27, 39, 40, 26, 26, 27, 30, 25, 30, 31, 29, 24, 36, 25, 37, 37, 20, 22, 35, 23, 28, 30, 36, 40, 41

Znaleźć 99% przedział ufności dla średniego przebiegu opon tego rodzaju. Zadanie rozwiązać analogicznie jak powyższy przykład.

''Odp'': [ 27,76 33,36].



== Przedział ufności dla wariancji ==
Zauważmy, że:
:<math> \frac{\sum_{i=1}^N\left(x_i-\bar{x}\right)^2}{\sigma^2}</math>
podlega rozkładowi <math> \chi^2_{N-1}</math> o ''N''−1 stopniach swobody, zaś nieobciążony estymator wariancji to
:<math> s^2=\frac{1}{N-1}\sum_{i=1}^N \left(x_i-\bar{x}\right)^2 </math>
Zatem zmienna losowa
:<math> \frac{s^2(N-1)}{\sigma^2}</math>
także podlega rozkładowi <math> \chi^2_{N-1}</math>.

Aby znaleźć <math>(1-\alpha) </math>100% przedział ufności dla wariancji, musimy wyznaczyć
takie wartości krytyczne <math> \chi^2_{N-1,\alpha/2}</math>
oraz <math> \chi^2_{N-1,1-\alpha/2}</math> aby:
:<math>P\left( \chi^2_{N-1,\alpha/2} < \frac{s^2(N-1)}{\sigma^2}< \chi^2_{N-1,1-\alpha/2} \right) = 1-\alpha</math>

<math>\chi^2_{N-1,\alpha/2}</math> jest wartością, która odcina na lewo obszar α/2 z rozkładu chi-kwadrat z ''n''−1 stopniami swobody. <math>\chi^2_{N-1,1-\alpha/2}</math> jest wartością, która odcina na prawo obszar α/2 z rozkładu chi-kwadrat z ''n''−1 stopniami swobody (lub równoważnie: odcina na lewo obszar 1−α/2).

Powyższe wyrażenie jest równoważne:
:<math>P\left( \frac{(N-1)s^2}{\chi^2_{N-1,1-\alpha/2}} < \sigma^2< \frac{(N-1)s^2}{\chi^2_{n-1,\alpha/2}} \right) = 1-\alpha</math>

Zatem przedział ufności <math>(1-\alpha)*100</math> % dla wariancji populacji <math> \sigma^2</math>, gdy rozkład populacji jest normalny:
:<math>
\left[\frac{(n-1)s^2}{\chi^2_{N-1,1-\alpha/2}}, \;\; \frac{(n-1)s^2}{\chi^2_{N-1,\alpha/2}} \right]
</math>

=== Zadanie ===
Automat do kawy nalewa kawę do kubków. Jeśli średnia porcja kawy w kubku odbiega od normy, maszynę można wyregulować. Jeśli jednak wariancja porcji kawy jest zbyt duża, maszyna wymaga reperacji. Od czasu do czasu przeprowadzana jest kontrola wariancji porcji kawy. Odbywa się to poprzez wybór losowej próby napełnionych kubków i policzenie wariancji próby. Losowa próba 30 kubków dała wariancję próby <math> s^2 = 18,54</math>. Obliczyć 95% przedział ufności dla wariancji populacji <math> \sigma^2</math>.

''Wskazówka: rozkład'' <math>\chi^2</math> ''dostępny jest w module scipy.stats jako '' <tt>chi2</tt>

''Odp'': [11,759 33,505].


== Rozmiar próby ==

Gdy pobieramy próbę, często chcielibyśmy znać minimalny rozmiar próby, który zapewni nam żądaną precyzję wyniku.

Musimy odpowiedzieć sobie na trzy pytania:
* Jak nasze oszacowanie nieznanego parametru ma być bliskie prawdziwej wartości? Odpowiedź oznaczmy <math> D</math> (dystans).
* Jaki chcemy mieć poziom ufności, że nasze oszacowanie i prawdziwa wartość parametru są od siebie oddalone o nie więcej niż ''D''?
* Jakie jest oszacowanie wariancji w populacji?

Jeśli nie znamy odpowiedzi na pkt. 3 przeprowadzamy tzw. ''pilot study'' i szacujemy <math> \sigma</math> na podstawie odchylenia std. próby.

Średnia <math>\bar x</math> podlega rozkładowi normalnemu <math>N(\mu,\sigma^2/\sqrt{n})</math>.
Wymagana odległość pomiędzy <math>\bar x -\mu =D</math>. Korzystając z transformacji do rozkładu standardowego ''Z'' możemy zapisać <math>\bar x = \mu +z \sigma/\sqrt{n}</math>. Podstawiając do poprzedniego wyrażenia otrzymujemy
minimalny rozmiar próby potrzebny do oszacowania średniej populacji <math> \mu</math>, który wynosi:
:<math>
n=\frac{z_{\alpha/2}^2\sigma^2}{D^2}
</math>
W przypadku nieznajomości <math>\sigma</math> korzystamy z jej [http://brain.fuw.edu.pl/edu/index.php/WnioskowanieStatystyczne/Statystyki_i_estymatory nieobciążonego estymatora] <math>s</math>.

=== Zadanie ===
Biuro podróży chce oszacować średnią ilość pieniędzy wydaną na wakacje przez osoby korzystające z jego usług. Ludzie przeprowadzający analizę chcieliby móc oszacować średni koszt wakacji z dokładnością do 200 zł na poziomie ufności 95%. Z poprzednich doświadczeń tego biura podróży wynika, że odchylenie standardowe w populacji wynosi <math> \sigma = 400</math> zł. Jaka będzie minimalna wielkość próby?

''Odp'': <math> n = 15,366</math> więc wielkość próby wynosi 16 (zaokrąglamy w górę).


== Przykład z bootstrapem ==
Rozważmy sondę przedwyborczą, mamy dwóch kandydatów na prezydenta. Ankietowano 1500 osób. 840 osób deklarowało poparcie dla kandydata A zaś 660 dla kandydata B. Na ile pewny może być kandydat A swojego zwycięstwa?
* Jak dokładnie brzmi pytanie? W terminologii przedziałów ufności możemy je sformułować następująco: Jaki jest 95% przedział ufności dla poparcia kandydata A w całej populacji? Czy też innymi słowami: W jakim przedziale na 95% znajduje się proporcja glosujących popierających kandydata A.
* Nasze najlepsze mniemanie o własnościach &bdquo;świata” z którego pochodzą dane otrzymujemy ze zwykłej proporcji. Wynika z niej, że kandydat A ma poparcie 56% zaś kandydat B poparcie 44% wyborców.
* Przypiszmy do kandydata A &bdquo;1” zaś do B &bdquo;0” (w ten sposób tworzymy zmienną losową: oddany głos).
* Pobranie ankiety modelujemy przez pobranie losowo 1500 próbek z modelu naszego &bdquo;świata” czyli wektora złożonego z 56 jedynek i 44 zer. Wynikiem jednej ankiety jest proporcja popierających kandydata A (lub B)
* Zbieramy rozkład proporcji - musimy w tym celu &bdquo;przeprowadzić” wielokrotnie ankietę. Narysujmy histogram.
* Chcemy znaleźć 95% przedział ufności musimy znaleźć kwantyl 2,5 oraz 97,5.
Liczby te stanowią poszukiwany przedział ufności.

<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

alfa = 0.05
x=np.ones(100)
x[56:]=0
Nboot=10000
A=np.zeros(Nboot)
for i in range(Nboot):
ankieta=randsample(x,1500)
A[i]=np.sum(ankieta)/1500.0
lo = st.scoreatpercentile(A, per = alfa/2*100)
hi = st.scoreatpercentile(A, per = (1-alfa/2)*100)
print('przedzial ufnosci: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+11*szer_binu, szer_binu)
(n,x,patch) = py.hist(A,bins = biny )
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')
py.show()
</source>

== Zadania ==
=== Przyrost masy w nowej diecie ===
Producent karmy dla zwierząt chciał przetestować nowy rodzaj karmy. Próbki podawał 12 zwierzakom przez 4 tygodnie. Po tym czasie zanotował następujące przyrosty masy:

15.43, 16.92, 14.43, 12.94, 15.92, 17.42, 18.91, 16.92, 14.93, 14.49, 15.92, 15.43 kg

średni przyrost wynosi 15.80 kg. Producent widzi jednak, że w próbie jest dość znaczny rozrzut pomiędzy poszczególnymi zwierzętami 12,94-18,91 i nie jest pewien czy można reklamować nowy produkt podając średni przyrost 15,8 kg. Podejrzewa, że inna grupa zwierząt może mieć zupełnie inną średnią.
* Używając powyższych danych znajdź 95% przedział ufności na średni przyrost masy.
* Wynik zilustruj przy pomocy histogramu.
* Jaki byłby wynik przy założeniu, że masy zwierząt pochodzą z rozkładu normalnego?

''Odp:''
: zakładając, że ''x'' pochodzi z rozkładu normalnego:
: [14,80 16,81];
: bootstrap: 14,94-16,67.


=== Zawartość aluminium w Tebańskich naczyniach. ===
Zawartość procentowa aluminium w 18 antycznych naczyniach z Teb była następująca: 
11.4, 13.4, 13.5, 13.8, 13.9, 14.4, 14.5, 15, 15.1, 15.8, 16, 16.3, 16.5, 16.9, 17, 17.2, 17.5, 19.0 
Jaka jest mediana procentowej zawartości aluminium i jaki jest 95% przedział ufności?

''Odp'':
:mediana 15,45 i przedział ufności: 14,20 16,70.

=== Średnica drzew ===
Ogrodnik eksperymentuje z nowym gatunkiem drzew. Posadził 20 sztuk i po dwóch latach zmierzył następujące średnice pni (w cm):
8.5, 7.6, 9.3, 5.5, 11.4, 6.9, 6.5, 12.9, 8.7, 4.8, 4.2, 8.1, 6.5, 5.8, 6.7, 2.4, 11.1, 7.1, 8.8, 7.2
* Proszę znaleźć średnią średnicę i 90% przedział ufności dla średniej.
* Proszę znaleźć medianę i 90% przedział ufności dla mediany.
* Obydwa wyniki zilustrować przy pomocy histogramów.
''Odp:''
: średnia: 7,50 i przedzial ufnosci dla średniej: [6,61 8,41];
: mediana 7,15 i przedzial ufnosci dla mediany: [6,50 8,50].


=== Przedział ufności dla proporcji ===
W badaniach nad cholesterolem u ludzi stwierdzono, że w grupie 135 badanych z wysokim poziomem cholesterolu 10 osób przeszło zawał serca.

''Pytanie'': Jaki jest 95% przedział ufności dla proporcji 10/135?

* Proszę wykorzystać metodę bootstrapu.
* Proszę wykorzystać rozkład dwumianowy.

''Odp'': proporcja 10/135 = 0,07 i jej 95% przedział ufności [0,03 0,12].

=== Bezrobotni ===
W próbce 200 osób 7 procent jest bezrobotnych. Określić 95% przedział ufności dla odsetka bezrobotnych w populacji.

''Odp'': Średnia 7% i jej 95% przedział ufności [3,50 10,50].

=== Żywotność baterii ===
W próbce 20 testowanych baterii stwierdzono średni czas życia 28,85 miesiąca. Określić 95% przedział ufności dla średniej. Wartości dla badanej próbki były następujące: 
30, 32, 31, 28, 31, 29, 29, 24, 30, 31, 28, 28, 32, 31, 24, 23, 31, 27, 27, 31 miesięcy 
Obejrzeć rozkład przy pomocy <tt>histfit</tt> i zbadać jaki wpływ na przedział ufności ma przyjęcie założenia o normalności rozkładu czasów życia.

''Odp'': Średnia 28,85 i jej 95% przedział ufności [27,65 29,95].



=== Pomiary ===
Mamy 10 pomiarów pewnej wielkości: 
0.02, 0.026, 0.023, 0.017, 0.022, 0.019, 0.018, 0.018, 0.017, 0.022 
Proszę znaleźć średnią i 95% przedział ufności.

''Odp'':Średnia 0,020 i jej 95% przedział ufności [0,0185 0,0220].

Czy pomiarów jest wystarczająco dużo aby sensownie wyznaczyć średnią i przedział ufności?

''Wskazówka'': Obliczyć średnie dla 1 000 000 powtórzeń i obejrzeć histogramy dla 10, 20, 30, 100, i 200 przedziałów.

WnioskowanieStatystyczne/ Przedziały ufności

2021-02-18T10:26:24Z

Atartas: /* Zadanie */

==Wstęp ==
Średnia (lub inny parametr) estymowany na podstawie próby pobranej z populacji nie jest równa rzeczywistej wartości tego parametru w populacji.
* Wylosuj 10 razy 100 liczb z rozkładu normalnego <math>N(0,1)</math> i oblicz średnią. Czy udało ci się zaobserwować wartość 0?
<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st

for i in range(10):
x=st.norm.rvs(size=100)
print(np.mean(x))
</source>
Rozbieżność między uzyskanym wynikiem a rzeczywistą średnią populacji zależy od wielkości badanej grupy oraz zmienności badanej cechy w jej obrębie. Jeśli badana grupa jest niewielka i ma dużą zmienność analizowanej cechy wówczas rozbieżność między średnią uzyskaną, a rzeczywistą może być znaczna. Natomiast, jeśli badana grupa jest duża z niewielką zmiennością danych, wówczas uzyskana średnia będzie prawdopodobnie bardzo bliska średniej populacyjnej. Przedział ufności ({{ang|confidence interval — CI}}) odzwierciedla zarówno wielkość badanej grupy jak i zmienność analizowanej cechy wewnątrz tej grupy.
Przedział ufności jest określany z różnym procentem &bdquo;zaufania”, np. 90 czy też 95%. Najczęściej używa się 95% przedziału ufności. Oznacza to, że jeśli grupa badana była zgromadzona w sposób losowy to rzeczywisty parametr populacji z 95% pewnością znajduje się w tym przedziale. Innymi słowy, możemy sobie wyobrazić, że mamy dostępne wyniki dowolnie wielu badań analogicznych do analizowanego. Oczekujemy, że w 95% przypadków badana cecha znajduje się wewnątrz wyznaczonego przez nas przedziału ufności.

Pewnych problemów koncepcyjnych nastręcza konstrukcja przedziałów ufności. Dla danej znanej populacji możemy obliczyć średnią populacji oraz prawdopodobieństwo uzyskania konkretnej wartości średniej przy losowaniu próby o zadanej liczebności z tejże populacji, możemy więc określić prawdopodobieństwo <math>P</math>, że odległość średniej z próby i średniej z populacji jest <math>D</math>. Mając do dyspozycji tylko próbę możemy albo założyć, że pochodzi ona z jakiegoś znanego rozkładu i wyliczyć z niego wartości krytyczne albo zakładając, że jest ona reprezentatywna możemy metodą bootstrapu &bdquo;wytworzyć” wiele innych prób z badanej populacji i oszacować jakie są granice, w które wpada żądana frakcja średnich (np.:90%, 95%).

''Bootstrap'' jest związany z pobieraniem próby. Najkorzystniejszą sytuacją jest ta, w której dla oszacowania różnych parametrów statystycznych populacji mamy możliwość pobierania z tej populacji wielu prób. Jeśli jest to niemożliwe możemy posłużyć się pobieraniem wielokrotnie prób z tej próby, którą posiadamy. Postępowanie takie jest sensowne pod warunkiem, że próba, która służy nam do generowania innych możliwych pobrań próby jest ''reprezentatywna''. '''W bootstrapie losujemy ze zwracaniem''' (dlaczego?). 

== Przedział ufności dla średniej ==
=== Przypadek 1: znana wariancja rozkładu ===
Rozważamy zmienną losową podlegającą rozkładowi <math>N(\mu,\sigma^2)</math> czyli rozkładowi normalnemu o średniej <math> \mu</math> i znanym odchyleniu standardowym <math> \sigma</math>.
Pobieramy próby tych zmiennych losowych o rozmiarze <math>n</math>. Przypomnijmy, że średnia z takiej próby też może być traktowana jako zmienna losowa. [http://brain.fuw.edu.pl/edu/STAT:Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej Podlega ona rozkładowi] normalnemu o średniej <math> \mu</math> i standardowym odchyleniu <math>\frac{\sigma}{\sqrt{n}}</math> czyli <math>N\left( \mu,\frac{\sigma^2}{n} \right)</math>.

Oznacza to, że zmienna <math>\frac{\bar x - \mu}{\sigma/\sqrt{n}} </math> podlega rozkładowi <math> N(0,1)</math> czyli <math> Z</math>. Konstrukcja przedziału ufności dla średniej polega zatem na znalezieniu takich wartości <math>z_{\alpha/2}</math>, że:
: <math> P \left( \left|\frac{\bar x - \mu}{\sigma/\sqrt{n}} \right| \le z_{\alpha/2}\right) = 1-\alpha </math>
Zatem przedział ufności <math> (1-\alpha)*100</math>% :
: <math> \left[ \bar x - z_{\alpha/2}\frac{\sigma}{\sqrt n} ,\;\;\; \bar x+ z_{\alpha/2}\frac{\sigma}{\sqrt n} \right] </math>.

==== Przykład ====
Wyciągamy losową próbę <math> (n = 25)</math> z populacji o rozkładzie normalnym. Dostajemy średnią z próby <math> \bar x = 122</math>. Załóżmy, że znamy standardowe odchylenie populacji <math> \sigma = 20</math>.
* Oblicz przedział ufności 95% dla średniej populacji <math> \mu</math>.
* Co zrobić aby zmniejszyć obliczony przedział 10-krotnie?

Korzystając z tablic znajdujemy <math> z_{\alpha/2} = z_{2,5\%} = -1,96</math>.

: Wartość tą możemy uzyskać wołając w pythonie:
: <source lang =python>st.norm.ppf(0.025)</source>

<math>
\bar x \pm 1,96 \frac{\sigma}{\sqrt{n}} = 122 \pm 1,96\cdot\frac{20}{\sqrt{25}} = 122 \pm 7,84 = [\mathrm{114,16} \;\;\; 129,84]</math>

Możemy być pewni na 95%, że nieznana średnia populacji <math> \mu</math> znajduje się pomiędzy 114,16 a 129,84. Jeśli chcemy zmniejszyć przedział ufności 10-krotnie, musimy pobrać 100 razy większą próbę tj. ''n'' = 2500.

: Pracując z modułem scipy.stats mamy do dyspozycji rozkłady normalne <math>N(\mu,\sigma)</math> o dowolnych parametrach <math>\mu</math> i <math>\sigma</math>.
: Możemy więc uzyskać interesujący nas przedział ufności przy pomocy pojedynczego wywołania:
: <source lang =python>st.norm.ppf([0.025, 0.975],loc = 122, scale = 20.0/25**0.5)</source> gdzie <tt>loc = </tt> <math>\mu</math> oraz <tt>scale = </tt><math>\sigma</math>.

==== Zadanie ====
Importer win musi zbadać średnią zawartość alkoholu w nowej partii win francuskich. Z doświadczenia z poprzednimi gatunkami wina, przyjmuje on, że standardowe odchylenie w populacji wynosi 1,2%. Importer wybrał losową próbę 60 butelek nowego wina i otrzymał średnią z próby 9,3%. Znaleźć przedział ufności 90% dla średniej zawartości alkoholu w nowej partii win.

''Odp.'': [9,0452 9,5548].


===Przypadek 2: nieznana wariancja rozkładu ===
Sytuacja zmienia się jeśli zakładamy, że próba pochodzi z rozkładu normalnego o śreniej <math>\mu</math> i nieznanej wariancji.
Musimy wówczas zamiast wariancji posłużyć się jej estymatorem <math>s^2 = \frac{1}{n-1} \sum_{i=1}^n {\left(x_i-\mu\right)^2}</math>.
Zmienna losowa <math>\frac{\bar x - \mu}{s/\sqrt{n}} </math> podlega rozkładowi <math>t_{n-1}</math> (czytaj: rozkładowi ''t'' o ''n''−1 stopniach swobody). Konstrukcja przedziału ufności dla średniej polega zatem na znalezieniu takich wartości <math>t_{\alpha/2}</math> w rozkładzie ''t'' o ''n''−1 stopniach swobody, że:
: <math> P \left( \left|\frac{\bar x - \mu}{s/\sqrt{n}} \right| \le t_{\alpha/2}\right) = 1-\alpha </math>

Zatem przedział ufności <math> (1-\alpha)\cdot 100</math>% dla średniej <math>\mu</math>, gdy nie znamy odchylenia standardowego <math>\sigma</math>, a jedynie jego estymatę:
:: <math>
\left[
\bar x- t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}, \,\,\,\,\, \bar x+ t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}\right]
</math>
:gdzie <math> t_{\alpha/2}</math> jest wartością, która odcina obszar α/2 z rozkładu <math> t</math> z ''n''−1 stopniami swobody.

;Uwaga: w Pythonie możemy skorzystać z funkcji modułu <tt>numpy</tt> do obliczania wartości estymatorów:
:* ''s'' <tt>numpy.std</tt>
:* <math>\bar x</math> <tt>numpy.mean</tt>
==== Przykład ====
Lekarz chce zbadać średni czas trwania kuracji tj. od podania leku do ustąpienia objawów w pewnej chorobie. Losowa próba 15 pacjentów dała średni czas <math>\bar x = 10,37</math> dnia i odchylenie standardowe <math>s = 3,5</math> dnia. Zakładając normalny rozkład w populacji czasów trwania kuracji znaleźć 95% przedział ufności dla średniego czasu trwania kuracji.

Znajdujemy wartość z rozkładu <math> t</math> o ''n''−1 (=14) stopniach swobody, która odcina obszar <math> \alpha/2 = 0,025</math>. <math> t_{0,025} = 2,145</math>.
: w pythonie: <source lang =python>st.t.ppf(0.025,14)</source>
Dostajemy więc <math> \bar x \pm t_{\alpha/2}\frac{s}{\sqrt{n}} = 10,37 \pm 2,145\cdot\frac{3,5}{\sqrt{15}} = [8,\!43\ 12,\!31]</math>.

: Podobnie jak w poprzednim przykładzie możemy też skorzystać z tego, że w scipy.stats definiowane są rozkłady <math>t</math> o dowolnych parametrach i wykonać całe obliczenia jednym wywołaniem funkcji:
: <source lang =python>st.t.ppf([0.025, 0.975], 14, loc = 10.37, scale = 3.5/15**0.5)</source>

Lekarz może być pewny, że w 95% przypadków od podania leku do ustąpienia objawów upłynie czas pomiędzy 8,43 a 12,31 dnia.

==== Zadanie ====
Producent opon rowerowych chce oszacować średni dystans jaki można przejechać na oponie pewnego rodzaju zanim opona się zużyje. Pobrano losową próbę 32 opon, opona jest używana aż do przetarcia i odległość przejechana na każdej oponie jest rejestrowana. Dane (w tysiącach kilometrów) są następujące:

32, 33, 28, 37, 29, 30, 25, 27, 39, 40, 26, 26, 27, 30, 25, 30, 31, 29, 24, 36, 25, 37, 37, 20, 22, 35, 23, 28, 30, 36, 40, 41

Znaleźć 99% przedział ufności dla średniego przebiegu opon tego rodzaju. Zadanie rozwiązać analogicznie jak powyższy przykład.

''Odp'': [ 27,76 33,36].



== Przedział ufności dla wariancji ==
Zauważmy, że:
:<math> \frac{\sum_{i=1}^N\left(x_i-\bar{x}\right)^2}{\sigma^2}</math>
podlega rozkładowi <math> \chi^2_{N-1}</math> o ''N''−1 stopniach swobody, zaś nieobciążony estymator wariancji to
:<math> s^2=\frac{1}{N-1}\sum_{i=1}^N \left(x_i-\bar{x}\right)^2 </math>
Zatem zmienna losowa
:<math> \frac{s^2(N-1)}{\sigma^2}</math>
także podlega rozkładowi <math> \chi^2_{N-1}</math>.

Aby znaleźć <math>(1-\alpha) </math>100% przedział ufności dla wariancji, musimy wyznaczyć
takie wartości krytyczne <math> \chi^2_{N-1,\alpha/2}</math>
oraz <math> \chi^2_{N-1,1-\alpha/2}</math> aby:
:<math>P\left( \chi^2_{N-1,\alpha/2} < \frac{s^2(N-1)}{\sigma^2}< \chi^2_{N-1,1-\alpha/2} \right) = 1-\alpha</math>

<math>\chi^2_{N-1,\alpha/2}</math> jest wartością, która odcina na lewo obszar α/2 z rozkładu chi-kwadrat z ''n''−1 stopniami swobody. <math>\chi^2_{N-1,1-\alpha/2}</math> jest wartością, która odcina na prawo obszar α/2 z rozkładu chi-kwadrat z ''n''−1 stopniami swobody (lub równoważnie: odcina na lewo obszar 1−α/2).

Powyższe wyrażenie jest równoważne:
:<math>P\left( \frac{(N-1)s^2}{\chi^2_{N-1,1-\alpha/2}} < \sigma^2< \frac{(N-1)s^2}{\chi^2_{n-1,\alpha/2}} \right) = 1-\alpha</math>

Zatem przedział ufności <math>(1-\alpha)*100</math> % dla wariancji populacji <math> \sigma^2</math>, gdy rozkład populacji jest normalny:
:<math>
\left[\frac{(n-1)s^2}{\chi^2_{N-1,1-\alpha/2}}, \;\; \frac{(n-1)s^2}{\chi^2_{N-1,\alpha/2}} \right]
</math>

=== Zadanie ===
Automat do kawy nalewa kawę do kubków. Jeśli średnia porcja kawy w kubku odbiega od normy, maszynę można wyregulować. Jeśli jednak wariancja porcji kawy jest zbyt duża, maszyna wymaga reperacji. Od czasu do czasu przeprowadzana jest kontrola wariancji porcji kawy. Odbywa się to poprzez wybór losowej próby napełnionych kubków i policzenie wariancji próby. Losowa próba 30 kubków dała wariancję próby <math> s^2 = 18,54</math>. Obliczyć 95% przedział ufności dla wariancji populacji <math> \sigma^2</math>.

''Wskazówka: rozkład'' <math>\chi^2</math> ''dostępny jest w module scipy.stats jako '' <tt>chi2</tt>

''Odp'': [11,759 33,505].


== Rozmiar próby ==

Gdy pobieramy próbę, często chcielibyśmy znać minimalny rozmiar próby, który zapewni nam żądaną precyzję wyniku.

Musimy odpowiedzieć sobie na trzy pytania:
* Jak nasze oszacowanie nieznanego parametru ma być bliskie prawdziwej wartości? Odpowiedź oznaczmy <math> D</math> (dystans).
* Jaki chcemy mieć poziom ufności, że nasze oszacowanie i prawdziwa wartość parametru są od siebie oddalone o nie więcej niż ''D''?
* Jakie jest oszacowanie wariancji w populacji?

Jeśli nie znamy odpowiedzi na pkt. 3 przeprowadzamy tzw. ''pilot study'' i szacujemy <math> \sigma</math> na podstawie odchylenia std. próby.

Średnia <math>\bar x</math> podlega rozkładowi normalnemu <math>N(\mu,\sigma^2/\sqrt{n})</math>.
Wymagana odległość pomiędzy <math>\bar x -\mu =D</math>. Korzystając z transformacji do rozkładu standardowego ''Z'' możemy zapisać <math>\bar x = \mu +z \sigma/\sqrt{n}</math>. Podstawiając do poprzedniego wyrażenia otrzymujemy
minimalny rozmiar próby potrzebny do oszacowania średniej populacji <math> \mu</math>, który wynosi:
:<math>
n=\frac{z_{\alpha/2}^2\sigma^2}{D^2}
</math>
W przypadku nieznajomości <math>\sigma</math> korzystamy z jej [http://brain.fuw.edu.pl/edu/index.php/WnioskowanieStatystyczne/Statystyki_i_estymatory nieobciążonego estymatora] <math>s</math>.

=== Zadanie ===
Biuro podróży chce oszacować średnią ilość pieniędzy wydaną na wakacje przez osoby korzystające z jego usług. Ludzie przeprowadzający analizę chcieliby móc oszacować średni koszt wakacji z dokładnością do 200 zł na poziomie ufności 95%. Z poprzednich doświadczeń tego biura podróży wynika, że odchylenie standardowe w populacji wynosi <math> \sigma = 400</math> zł. Jaka będzie minimalna wielkość próby?

''Odp'': <math> n = 15,366</math> więc wielkość próby wynosi 16 (zaokrąglamy w górę).


== Przykład z bootstrapem ==
Rozważmy sondę przedwyborczą, mamy dwóch kandydatów na prezydenta. Ankietowano 1500 osób. 840 osób deklarowało poparcie dla kandydata A zaś 660 dla kandydata B. Na ile pewny może być kandydat A swojego zwycięstwa?
* Jak dokładnie brzmi pytanie? W terminologii przedziałów ufności możemy je sformułować następująco: Jaki jest 95% przedział ufności dla poparcia kandydata A w całej populacji? Czy też innymi słowami: W jakim przedziale na 95% znajduje się proporcja glosujących popierających kandydata A.
* Nasze najlepsze mniemanie o własnościach &bdquo;świata” z którego pochodzą dane otrzymujemy ze zwykłej proporcji. Wynika z niej, że kandydat A ma poparcie 56% zaś kandydat B poparcie 44% wyborców.
* Przypiszmy do kandydata A &bdquo;1” zaś do B &bdquo;0” (w ten sposób tworzymy zmienną losową: oddany głos).
* Pobranie ankiety modelujemy przez pobranie losowo 1500 próbek z modelu naszego &bdquo;świata” czyli wektora złożonego z 56 jedynek i 44 zer. Wynikiem jednej ankiety jest proporcja popierających kandydata A (lub B)
* Zbieramy rozkład proporcji - musimy w tym celu &bdquo;przeprowadzić” wielokrotnie ankietę. Narysujmy histogram.
* Chcemy znaleźć 95% przedział ufności musimy znaleźć kwantyl 2,5 oraz 97,5.
Liczby te stanowią poszukiwany przedział ufności.

<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

alfa = 0.05
x=np.ones(100)
x[56:]=0
Nboot=10000
A=np.zeros(Nboot)
for i in range(Nboot):
ankieta=randsample(x,1500)
A[i]=np.sum(ankieta)/1500.0
lo = st.scoreatpercentile(A, per = alfa/2*100)
hi = st.scoreatpercentile(A, per = (1-alfa/2)*100)
print('przedzial ufnosci: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+11*szer_binu, szer_binu)
(n,x,patch) = py.hist(A,bins = biny )
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')
py.show()
</source>

== Zadania ==
=== Przyrost masy w nowej diecie ===
Producent karmy dla zwierząt chciał przetestować nowy rodzaj karmy. Próbki podawał 12 zwierzakom przez 4 tygodnie. Po tym czasie zanotował następujące przyrosty masy:

15.43, 16.92, 14.43, 12.94, 15.92, 17.42, 18.91, 16.92, 14.93, 14.49, 15.92, 15.43 kg

średni przyrost wynosi 15.80 kg. Producent widzi jednak, że w próbie jest dość znaczny rozrzut pomiędzy poszczególnymi zwierzętami 12,94-18,91 i nie jest pewien czy można reklamować nowy produkt podając średni przyrost 15,8 kg. Podejrzewa, że inna grupa zwierząt może mieć zupełnie inną średnią.
* Używając powyższych danych znajdź 95% przedział ufności na średni przyrost masy.
* Wynik zilustruj przy pomocy histogramu.
* Jaki byłby wynik przy założeniu, że masy zwierząt pochodzą z rozkładu normalnego?

''Odp:''
: zakładając, że ''x'' pochodzi z rozkładu normalnego:
: [14,80 16,81];
: bootstrap: 14,94-16,67.

<source lang = python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.array([15.43, 16.92, 14.43, 12.94, 15.92, 17.42, 18.91, 16.92, 14.93, 14.49, 15.92, 15.43])

alfa = 0.05
Nboot=int(1e5)

Xsr=X.mean()
s=X.std(ddof=1)
N=len(X)
print("średnia",Xsr)

M=np.zeros(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
M[i]=xb.mean()

lo,hi = st.t.ppf([alfa/2,1-alfa/2],df=N-1,loc=Xsr,scale=s/N**0.5)
print('przedzial ufnosci z założenia o normalności: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

lo = st.scoreatpercentile(M, per = alfa/2*100)
hi = st.scoreatpercentile(M, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,x,patch)=py.hist(M,bins=biny)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

py.show()
</source>

=== Zawartość aluminium w Tebańskich naczyniach. ===
Zawartość procentowa aluminium w 18 antycznych naczyniach z Teb była następująca: 
11.4, 13.4, 13.5, 13.8, 13.9, 14.4, 14.5, 15, 15.1, 15.8, 16, 16.3, 16.5, 16.9, 17, 17.2, 17.5, 19.0 
Jaka jest mediana procentowej zawartości aluminium i jaki jest 95% przedział ufności?

''Odp'':
:mediana 15,45 i przedział ufności: 14,20 16,70.

<source lang = python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.array([11.4, 13.4, 13.5, 13.8, 13.9, 14.4, 14.5, 15, 15.1, 15.8, 16, 16.3, 16.5, 16.9, 17, 17.2, 17.5, 19.0])

alfa = 0.05
Nboot=int(1e5)

Xmed=np.median(X)
N=len(X)
print("mediana probki",Xmed)

M=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
M[i]=np.median(xb)

lo = st.scoreatpercentile(M, per = alfa/2*100)
hi = st.scoreatpercentile(M, per = (1-alfa/2)*100)
print('przedzial ufnosci dla mediany (z bootstrapu): %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
(n,x,patch)=py.hist(M,bins=10)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')
py.show()

</source>

=== Średnica drzew ===
Ogrodnik eksperymentuje z nowym gatunkiem drzew. Posadził 20 sztuk i po dwóch latach zmierzył następujące średnice pni (w cm):
8.5, 7.6, 9.3, 5.5, 11.4, 6.9, 6.5, 12.9, 8.7, 4.8, 4.2, 8.1, 6.5, 5.8, 6.7, 2.4, 11.1, 7.1, 8.8, 7.2
* Proszę znaleźć średnią średnicę i 90% przedział ufności dla średniej.
* Proszę znaleźć medianę i 90% przedział ufności dla mediany.
* Obydwa wyniki zilustrować przy pomocy histogramów.
''Odp:''
: średnia: 7,50 i przedzial ufnosci dla średniej: [6,61 8,41];
: mediana 7,15 i przedzial ufnosci dla mediany: [6,50 8,50].

<source lang = python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

def hist_z_przedzialem(x,hi,lo):
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,bin_x,patch) = py.hist(x,bins = biny );
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

X=np.array([8.5, 7.6, 9.3, 5.5, 11.4, 6.9, 6.5, 12.9, 8.7, 4.8, 4.2, 8.1, 6.5, 5.8, 6.7, 2.4, 11.1, 7.1, 8.8, 7.2])

alfa = 0.1
Nboot=int(1e5)

N=len(X)
print("Średnia próbki",np.mean(X))
print("Mediana próbki",np.median(X))
print("Liczebność próbki",N)

Sr=np.empty(Nboot)
Med=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
Med[i]=np.median(xb)
Sr[i]=np.mean(xb)

lo = st.scoreatpercentile(Sr, per = alfa/2*100)
hi = st.scoreatpercentile(Sr, per = (1-alfa/2)*100)
print('przedzial ufnosci dla średniej: %(lo).3f - %(hi).3f'%{'lo':lo,'hi':hi})
py.subplot(2,1,1)
hist_z_przedzialem(Sr,hi,lo)

lo = st.scoreatpercentile(Med, per = alfa/2*100)
hi = st.scoreatpercentile(Med, per = (1-alfa/2)*100)
print('przedzial ufnosci dla mediany: %(lo).3f - %(hi).3f'%{'lo':lo,'hi':hi})
py.subplot(2,1,2)
hist_z_przedzialem(Med,hi,lo)

py.show()
</source>

=== Przedział ufności dla proporcji ===
W badaniach nad cholesterolem u ludzi stwierdzono, że w grupie 135 badanych z wysokim poziomem cholesterolu 10 osób przeszło zawał serca.

''Pytanie'': Jaki jest 95% przedział ufności dla proporcji 10/135?

* Proszę wykorzystać metodę bootstrapu.
* Proszę wykorzystać rozkład dwumianowy.

''Odp'': proporcja 10/135 = 0,07 i jej 95% przedział ufności [0,03 0,12].

<source lang =python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.zeros(135)
X[:10]=1

alfa = 0.05
Nboot=int(1e5)

N=len(X)

Proporcja=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
Proporcja[i]=np.sum(xb)/N

lo = st.scoreatpercentile(Proporcja, per = alfa/2*100)
hi = st.scoreatpercentile(Proporcja, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
(n,x,patch)=py.hist(Proporcja,bins=np.arange(0,1,1/135)-1/270)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

p=10/135
lo,hi = st.binom.ppf([alfa/2,1-alfa/2],N,p)/N
print('przedzial ufnosci z rozkładu dwumianowego: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

py.show()
</source>

=== Bezrobotni ===
W próbce 200 osób 7 procent jest bezrobotnych. Określić 95% przedział ufności dla odsetka bezrobotnych w populacji.

''Odp'': Średnia 7% i jej 95% przedział ufności [3,50 10,50].

<source lang =python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.zeros(100)
X[:7]=1

alfa = 0.05
Nboot=int(1e5)

N=200

Proporcja=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
Proporcja[i]=np.sum(xb)/N*100 #chcemy procenty i dlatego mnożymy przez 100

lo = st.scoreatpercentile(Proporcja, per = alfa/2*100)
hi = st.scoreatpercentile(Proporcja, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
(n,x,patch)=py.hist(Proporcja,bins=30)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

p=7/100
lo,hi = st.binom.ppf([alfa/2,1-alfa/2],N,p)/N*100
print('przedzial ufnosci z rozkładu dwumianowego: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

py.show()
</source>

=== Żywotność baterii ===
W próbce 20 testowanych baterii stwierdzono średni czas życia 28,85 miesiąca. Określić 95% przedział ufności dla średniej. Wartości dla badanej próbki były następujące: 
30, 32, 31, 28, 31, 29, 29, 24, 30, 31, 28, 28, 32, 31, 24, 23, 31, 27, 27, 31 miesięcy 
Obejrzeć rozkład przy pomocy <tt>histfit</tt> i zbadać jaki wpływ na przedział ufności ma przyjęcie założenia o normalności rozkładu czasów życia.

''Odp'': Średnia 28,85 i jej 95% przedział ufności [27,65 29,95].

<source lang =python>
def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Tu w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[:-1]+bins[1:])
# wytwarzamy array z centrami binów korzystając z granic słupków
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej mi i wariancji sigma**2 dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

<source lang =python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

def hist_z_przedzialem(x,hi,lo):
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,bin_x,patch) = py.hist(x,bins = biny );
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Tu w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[:-1]+bins[1:])
# wytwarzamy array z centrami binów korzystając z granic słupków
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej mi i wariancji sigma**2 dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

X=np.array([30, 32, 31, 28, 31, 29, 29, 24, 30, 31, 28, 28, 32, 31, 24, 23, 31, 27, 27, 31])

print("Średnia próbki",np.mean(X))

alfa = 0.05
Nboot=int(1e5)

Xsr=X.mean()
s=X.std(ddof=1)
N=len(X)

M=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
M[i]=xb.mean()

lo,hi = st.t.ppf([alfa/2,1-alfa/2],df=N-1,loc=Xsr,scale=s/N**0.5)
print('przedzial ufnosci z założenia o normalności: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

lo = st.scoreatpercentile(M, per = alfa/2*100)
hi = st.scoreatpercentile(M, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
hist_z_przedzialem(M,hi,lo)

py.figure()
histfit(M,20)

py.show()
</source>

=== Pomiary ===
Mamy 10 pomiarów pewnej wielkości: 
0.02, 0.026, 0.023, 0.017, 0.022, 0.019, 0.018, 0.018, 0.017, 0.022 
Proszę znaleźć średnią i 95% przedział ufności.

''Odp'':Średnia 0,020 i jej 95% przedział ufności [0,0185 0,0220].

Czy pomiarów jest wystarczająco dużo aby sensownie wyznaczyć średnią i przedział ufności?

''Wskazówka'': Obliczyć średnie dla 1 000 000 powtórzeń i obejrzeć histogramy dla 10, 20, 30, 100, i 200 przedziałów.

<source lang = python>
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = n)
y = x[ind]
return y

dane = np.array([0.02, 0.026, 0.023, 0.017, 0.022, 0.019, 0.018, 0.018, 0.017, 0.022]);

N_rep = 1000000
srednie = np.zeros(N_rep)

for i in range(N_rep):
proba = randsample(dane)
srednie[i] = np.mean(proba)

ci_d = st.scoreatpercentile(srednie, 2.5)
ci_g = st.scoreatpercentile(srednie, 97.5)
print('Średnia %(prop).4f i jej 95proc. przedział ufności [%(d).4f %(g).4f]'%{'prop':np.mean(dane),'d':ci_d, 'g': ci_g})
py.subplot(5,1,1)
py.hist(srednie,10)
py.subplot(5,1,2)
py.hist(srednie,20)
py.subplot(5,1,3)
py.hist(srednie,30)
py.subplot(5,1,4)
py.hist(srednie,100)
py.subplot(5,1,5)
py.hist(srednie,200)

py.show()
</source>

WnioskowanieStatystyczne/ Przedziały ufności

2021-02-18T10:26:17Z

Atartas: /* Zadanie */

==Wstęp ==
Średnia (lub inny parametr) estymowany na podstawie próby pobranej z populacji nie jest równa rzeczywistej wartości tego parametru w populacji.
* Wylosuj 10 razy 100 liczb z rozkładu normalnego <math>N(0,1)</math> i oblicz średnią. Czy udało ci się zaobserwować wartość 0?
<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st

for i in range(10):
x=st.norm.rvs(size=100)
print(np.mean(x))
</source>
Rozbieżność między uzyskanym wynikiem a rzeczywistą średnią populacji zależy od wielkości badanej grupy oraz zmienności badanej cechy w jej obrębie. Jeśli badana grupa jest niewielka i ma dużą zmienność analizowanej cechy wówczas rozbieżność między średnią uzyskaną, a rzeczywistą może być znaczna. Natomiast, jeśli badana grupa jest duża z niewielką zmiennością danych, wówczas uzyskana średnia będzie prawdopodobnie bardzo bliska średniej populacyjnej. Przedział ufności ({{ang|confidence interval — CI}}) odzwierciedla zarówno wielkość badanej grupy jak i zmienność analizowanej cechy wewnątrz tej grupy.
Przedział ufności jest określany z różnym procentem &bdquo;zaufania”, np. 90 czy też 95%. Najczęściej używa się 95% przedziału ufności. Oznacza to, że jeśli grupa badana była zgromadzona w sposób losowy to rzeczywisty parametr populacji z 95% pewnością znajduje się w tym przedziale. Innymi słowy, możemy sobie wyobrazić, że mamy dostępne wyniki dowolnie wielu badań analogicznych do analizowanego. Oczekujemy, że w 95% przypadków badana cecha znajduje się wewnątrz wyznaczonego przez nas przedziału ufności.

Pewnych problemów koncepcyjnych nastręcza konstrukcja przedziałów ufności. Dla danej znanej populacji możemy obliczyć średnią populacji oraz prawdopodobieństwo uzyskania konkretnej wartości średniej przy losowaniu próby o zadanej liczebności z tejże populacji, możemy więc określić prawdopodobieństwo <math>P</math>, że odległość średniej z próby i średniej z populacji jest <math>D</math>. Mając do dyspozycji tylko próbę możemy albo założyć, że pochodzi ona z jakiegoś znanego rozkładu i wyliczyć z niego wartości krytyczne albo zakładając, że jest ona reprezentatywna możemy metodą bootstrapu &bdquo;wytworzyć” wiele innych prób z badanej populacji i oszacować jakie są granice, w które wpada żądana frakcja średnich (np.:90%, 95%).

''Bootstrap'' jest związany z pobieraniem próby. Najkorzystniejszą sytuacją jest ta, w której dla oszacowania różnych parametrów statystycznych populacji mamy możliwość pobierania z tej populacji wielu prób. Jeśli jest to niemożliwe możemy posłużyć się pobieraniem wielokrotnie prób z tej próby, którą posiadamy. Postępowanie takie jest sensowne pod warunkiem, że próba, która służy nam do generowania innych możliwych pobrań próby jest ''reprezentatywna''. '''W bootstrapie losujemy ze zwracaniem''' (dlaczego?). 

== Przedział ufności dla średniej ==
=== Przypadek 1: znana wariancja rozkładu ===
Rozważamy zmienną losową podlegającą rozkładowi <math>N(\mu,\sigma^2)</math> czyli rozkładowi normalnemu o średniej <math> \mu</math> i znanym odchyleniu standardowym <math> \sigma</math>.
Pobieramy próby tych zmiennych losowych o rozmiarze <math>n</math>. Przypomnijmy, że średnia z takiej próby też może być traktowana jako zmienna losowa. [http://brain.fuw.edu.pl/edu/STAT:Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej Podlega ona rozkładowi] normalnemu o średniej <math> \mu</math> i standardowym odchyleniu <math>\frac{\sigma}{\sqrt{n}}</math> czyli <math>N\left( \mu,\frac{\sigma^2}{n} \right)</math>.

Oznacza to, że zmienna <math>\frac{\bar x - \mu}{\sigma/\sqrt{n}} </math> podlega rozkładowi <math> N(0,1)</math> czyli <math> Z</math>. Konstrukcja przedziału ufności dla średniej polega zatem na znalezieniu takich wartości <math>z_{\alpha/2}</math>, że:
: <math> P \left( \left|\frac{\bar x - \mu}{\sigma/\sqrt{n}} \right| \le z_{\alpha/2}\right) = 1-\alpha </math>
Zatem przedział ufności <math> (1-\alpha)*100</math>% :
: <math> \left[ \bar x - z_{\alpha/2}\frac{\sigma}{\sqrt n} ,\;\;\; \bar x+ z_{\alpha/2}\frac{\sigma}{\sqrt n} \right] </math>.

==== Przykład ====
Wyciągamy losową próbę <math> (n = 25)</math> z populacji o rozkładzie normalnym. Dostajemy średnią z próby <math> \bar x = 122</math>. Załóżmy, że znamy standardowe odchylenie populacji <math> \sigma = 20</math>.
* Oblicz przedział ufności 95% dla średniej populacji <math> \mu</math>.
* Co zrobić aby zmniejszyć obliczony przedział 10-krotnie?

Korzystając z tablic znajdujemy <math> z_{\alpha/2} = z_{2,5\%} = -1,96</math>.

: Wartość tą możemy uzyskać wołając w pythonie:
: <source lang =python>st.norm.ppf(0.025)</source>

<math>
\bar x \pm 1,96 \frac{\sigma}{\sqrt{n}} = 122 \pm 1,96\cdot\frac{20}{\sqrt{25}} = 122 \pm 7,84 = [\mathrm{114,16} \;\;\; 129,84]</math>

Możemy być pewni na 95%, że nieznana średnia populacji <math> \mu</math> znajduje się pomiędzy 114,16 a 129,84. Jeśli chcemy zmniejszyć przedział ufności 10-krotnie, musimy pobrać 100 razy większą próbę tj. ''n'' = 2500.

: Pracując z modułem scipy.stats mamy do dyspozycji rozkłady normalne <math>N(\mu,\sigma)</math> o dowolnych parametrach <math>\mu</math> i <math>\sigma</math>.
: Możemy więc uzyskać interesujący nas przedział ufności przy pomocy pojedynczego wywołania:
: <source lang =python>st.norm.ppf([0.025, 0.975],loc = 122, scale = 20.0/25**0.5)</source> gdzie <tt>loc = </tt> <math>\mu</math> oraz <tt>scale = </tt><math>\sigma</math>.

==== Zadanie ====
Importer win musi zbadać średnią zawartość alkoholu w nowej partii win francuskich. Z doświadczenia z poprzednimi gatunkami wina, przyjmuje on, że standardowe odchylenie w populacji wynosi 1,2%. Importer wybrał losową próbę 60 butelek nowego wina i otrzymał średnią z próby 9,3%. Znaleźć przedział ufności 90% dla średniej zawartości alkoholu w nowej partii win.

''Odp.'': [9,0452 9,5548].


===Przypadek 2: nieznana wariancja rozkładu ===
Sytuacja zmienia się jeśli zakładamy, że próba pochodzi z rozkładu normalnego o śreniej <math>\mu</math> i nieznanej wariancji.
Musimy wówczas zamiast wariancji posłużyć się jej estymatorem <math>s^2 = \frac{1}{n-1} \sum_{i=1}^n {\left(x_i-\mu\right)^2}</math>.
Zmienna losowa <math>\frac{\bar x - \mu}{s/\sqrt{n}} </math> podlega rozkładowi <math>t_{n-1}</math> (czytaj: rozkładowi ''t'' o ''n''−1 stopniach swobody). Konstrukcja przedziału ufności dla średniej polega zatem na znalezieniu takich wartości <math>t_{\alpha/2}</math> w rozkładzie ''t'' o ''n''−1 stopniach swobody, że:
: <math> P \left( \left|\frac{\bar x - \mu}{s/\sqrt{n}} \right| \le t_{\alpha/2}\right) = 1-\alpha </math>

Zatem przedział ufności <math> (1-\alpha)\cdot 100</math>% dla średniej <math>\mu</math>, gdy nie znamy odchylenia standardowego <math>\sigma</math>, a jedynie jego estymatę:
:: <math>
\left[
\bar x- t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}, \,\,\,\,\, \bar x+ t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}\right]
</math>
:gdzie <math> t_{\alpha/2}</math> jest wartością, która odcina obszar α/2 z rozkładu <math> t</math> z ''n''−1 stopniami swobody.

;Uwaga: w Pythonie możemy skorzystać z funkcji modułu <tt>numpy</tt> do obliczania wartości estymatorów:
:* ''s'' <tt>numpy.std</tt>
:* <math>\bar x</math> <tt>numpy.mean</tt>
==== Przykład ====
Lekarz chce zbadać średni czas trwania kuracji tj. od podania leku do ustąpienia objawów w pewnej chorobie. Losowa próba 15 pacjentów dała średni czas <math>\bar x = 10,37</math> dnia i odchylenie standardowe <math>s = 3,5</math> dnia. Zakładając normalny rozkład w populacji czasów trwania kuracji znaleźć 95% przedział ufności dla średniego czasu trwania kuracji.

Znajdujemy wartość z rozkładu <math> t</math> o ''n''−1 (=14) stopniach swobody, która odcina obszar <math> \alpha/2 = 0,025</math>. <math> t_{0,025} = 2,145</math>.
: w pythonie: <source lang =python>st.t.ppf(0.025,14)</source>
Dostajemy więc <math> \bar x \pm t_{\alpha/2}\frac{s}{\sqrt{n}} = 10,37 \pm 2,145\cdot\frac{3,5}{\sqrt{15}} = [8,\!43\ 12,\!31]</math>.

: Podobnie jak w poprzednim przykładzie możemy też skorzystać z tego, że w scipy.stats definiowane są rozkłady <math>t</math> o dowolnych parametrach i wykonać całe obliczenia jednym wywołaniem funkcji:
: <source lang =python>st.t.ppf([0.025, 0.975], 14, loc = 10.37, scale = 3.5/15**0.5)</source>

Lekarz może być pewny, że w 95% przypadków od podania leku do ustąpienia objawów upłynie czas pomiędzy 8,43 a 12,31 dnia.

==== Zadanie ====
Producent opon rowerowych chce oszacować średni dystans jaki można przejechać na oponie pewnego rodzaju zanim opona się zużyje. Pobrano losową próbę 32 opon, opona jest używana aż do przetarcia i odległość przejechana na każdej oponie jest rejestrowana. Dane (w tysiącach kilometrów) są następujące:

32, 33, 28, 37, 29, 30, 25, 27, 39, 40, 26, 26, 27, 30, 25, 30, 31, 29, 24, 36, 25, 37, 37, 20, 22, 35, 23, 28, 30, 36, 40, 41

Znaleźć 99% przedział ufności dla średniego przebiegu opon tego rodzaju. Zadanie rozwiązać analogicznie jak powyższy przykład.

''Odp'': [ 27,76 33,36].



== Przedział ufności dla wariancji ==
Zauważmy, że:
:<math> \frac{\sum_{i=1}^N\left(x_i-\bar{x}\right)^2}{\sigma^2}</math>
podlega rozkładowi <math> \chi^2_{N-1}</math> o ''N''−1 stopniach swobody, zaś nieobciążony estymator wariancji to
:<math> s^2=\frac{1}{N-1}\sum_{i=1}^N \left(x_i-\bar{x}\right)^2 </math>
Zatem zmienna losowa
:<math> \frac{s^2(N-1)}{\sigma^2}</math>
także podlega rozkładowi <math> \chi^2_{N-1}</math>.

Aby znaleźć <math>(1-\alpha) </math>100% przedział ufności dla wariancji, musimy wyznaczyć
takie wartości krytyczne <math> \chi^2_{N-1,\alpha/2}</math>
oraz <math> \chi^2_{N-1,1-\alpha/2}</math> aby:
:<math>P\left( \chi^2_{N-1,\alpha/2} < \frac{s^2(N-1)}{\sigma^2}< \chi^2_{N-1,1-\alpha/2} \right) = 1-\alpha</math>

<math>\chi^2_{N-1,\alpha/2}</math> jest wartością, która odcina na lewo obszar α/2 z rozkładu chi-kwadrat z ''n''−1 stopniami swobody. <math>\chi^2_{N-1,1-\alpha/2}</math> jest wartością, która odcina na prawo obszar α/2 z rozkładu chi-kwadrat z ''n''−1 stopniami swobody (lub równoważnie: odcina na lewo obszar 1−α/2).

Powyższe wyrażenie jest równoważne:
:<math>P\left( \frac{(N-1)s^2}{\chi^2_{N-1,1-\alpha/2}} < \sigma^2< \frac{(N-1)s^2}{\chi^2_{n-1,\alpha/2}} \right) = 1-\alpha</math>

Zatem przedział ufności <math>(1-\alpha)*100</math> % dla wariancji populacji <math> \sigma^2</math>, gdy rozkład populacji jest normalny:
:<math>
\left[\frac{(n-1)s^2}{\chi^2_{N-1,1-\alpha/2}}, \;\; \frac{(n-1)s^2}{\chi^2_{N-1,\alpha/2}} \right]
</math>

=== Zadanie ===
Automat do kawy nalewa kawę do kubków. Jeśli średnia porcja kawy w kubku odbiega od normy, maszynę można wyregulować. Jeśli jednak wariancja porcji kawy jest zbyt duża, maszyna wymaga reperacji. Od czasu do czasu przeprowadzana jest kontrola wariancji porcji kawy. Odbywa się to poprzez wybór losowej próby napełnionych kubków i policzenie wariancji próby. Losowa próba 30 kubków dała wariancję próby <math> s^2 = 18,54</math>. Obliczyć 95% przedział ufności dla wariancji populacji <math> \sigma^2</math>.

''Wskazówka: rozkład'' <math>\chi^2</math> ''dostępny jest w module scipy.stats jako '' <tt>chi2</tt>

''Odp'': [11,759 33,505].


== Rozmiar próby ==

Gdy pobieramy próbę, często chcielibyśmy znać minimalny rozmiar próby, który zapewni nam żądaną precyzję wyniku.

Musimy odpowiedzieć sobie na trzy pytania:
* Jak nasze oszacowanie nieznanego parametru ma być bliskie prawdziwej wartości? Odpowiedź oznaczmy <math> D</math> (dystans).
* Jaki chcemy mieć poziom ufności, że nasze oszacowanie i prawdziwa wartość parametru są od siebie oddalone o nie więcej niż ''D''?
* Jakie jest oszacowanie wariancji w populacji?

Jeśli nie znamy odpowiedzi na pkt. 3 przeprowadzamy tzw. ''pilot study'' i szacujemy <math> \sigma</math> na podstawie odchylenia std. próby.

Średnia <math>\bar x</math> podlega rozkładowi normalnemu <math>N(\mu,\sigma^2/\sqrt{n})</math>.
Wymagana odległość pomiędzy <math>\bar x -\mu =D</math>. Korzystając z transformacji do rozkładu standardowego ''Z'' możemy zapisać <math>\bar x = \mu +z \sigma/\sqrt{n}</math>. Podstawiając do poprzedniego wyrażenia otrzymujemy
minimalny rozmiar próby potrzebny do oszacowania średniej populacji <math> \mu</math>, który wynosi:
:<math>
n=\frac{z_{\alpha/2}^2\sigma^2}{D^2}
</math>
W przypadku nieznajomości <math>\sigma</math> korzystamy z jej [http://brain.fuw.edu.pl/edu/index.php/WnioskowanieStatystyczne/Statystyki_i_estymatory nieobciążonego estymatora] <math>s</math>.

=== Zadanie ===
Biuro podróży chce oszacować średnią ilość pieniędzy wydaną na wakacje przez osoby korzystające z jego usług. Ludzie przeprowadzający analizę chcieliby móc oszacować średni koszt wakacji z dokładnością do 200 zł na poziomie ufności 95%. Z poprzednich doświadczeń tego biura podróży wynika, że odchylenie standardowe w populacji wynosi <math> \sigma = 400</math> zł. Jaka będzie minimalna wielkość próby?

''Odp'': <math> n = 15,366</math> więc wielkość próby wynosi 16 (zaokrąglamy w górę).

<source lang=python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

alfa = 0.05
x=np.ones(100)
x[56:]=0
Nboot=100000
A=np.zeros(Nboot)
for i in range(Nboot):
ankieta=randsample(x,1500)
A[i]=np.sum(ankieta)/1500.0
lo = st.scoreatpercentile(A, per = alfa/2*100)
hi = st.scoreatpercentile(A, per = (1-alfa/2)*100)
print('przedzial ufnosci: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,x,patch) = py.hist(A,bins = biny )
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')
py.show()
</source>

== Przykład z bootstrapem ==
Rozważmy sondę przedwyborczą, mamy dwóch kandydatów na prezydenta. Ankietowano 1500 osób. 840 osób deklarowało poparcie dla kandydata A zaś 660 dla kandydata B. Na ile pewny może być kandydat A swojego zwycięstwa?
* Jak dokładnie brzmi pytanie? W terminologii przedziałów ufności możemy je sformułować następująco: Jaki jest 95% przedział ufności dla poparcia kandydata A w całej populacji? Czy też innymi słowami: W jakim przedziale na 95% znajduje się proporcja glosujących popierających kandydata A.
* Nasze najlepsze mniemanie o własnościach &bdquo;świata” z którego pochodzą dane otrzymujemy ze zwykłej proporcji. Wynika z niej, że kandydat A ma poparcie 56% zaś kandydat B poparcie 44% wyborców.
* Przypiszmy do kandydata A &bdquo;1” zaś do B &bdquo;0” (w ten sposób tworzymy zmienną losową: oddany głos).
* Pobranie ankiety modelujemy przez pobranie losowo 1500 próbek z modelu naszego &bdquo;świata” czyli wektora złożonego z 56 jedynek i 44 zer. Wynikiem jednej ankiety jest proporcja popierających kandydata A (lub B)
* Zbieramy rozkład proporcji - musimy w tym celu &bdquo;przeprowadzić” wielokrotnie ankietę. Narysujmy histogram.
* Chcemy znaleźć 95% przedział ufności musimy znaleźć kwantyl 2,5 oraz 97,5.
Liczby te stanowią poszukiwany przedział ufności.

<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

alfa = 0.05
x=np.ones(100)
x[56:]=0
Nboot=10000
A=np.zeros(Nboot)
for i in range(Nboot):
ankieta=randsample(x,1500)
A[i]=np.sum(ankieta)/1500.0
lo = st.scoreatpercentile(A, per = alfa/2*100)
hi = st.scoreatpercentile(A, per = (1-alfa/2)*100)
print('przedzial ufnosci: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+11*szer_binu, szer_binu)
(n,x,patch) = py.hist(A,bins = biny )
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')
py.show()
</source>

== Zadania ==
=== Przyrost masy w nowej diecie ===
Producent karmy dla zwierząt chciał przetestować nowy rodzaj karmy. Próbki podawał 12 zwierzakom przez 4 tygodnie. Po tym czasie zanotował następujące przyrosty masy:

15.43, 16.92, 14.43, 12.94, 15.92, 17.42, 18.91, 16.92, 14.93, 14.49, 15.92, 15.43 kg

średni przyrost wynosi 15.80 kg. Producent widzi jednak, że w próbie jest dość znaczny rozrzut pomiędzy poszczególnymi zwierzętami 12,94-18,91 i nie jest pewien czy można reklamować nowy produkt podając średni przyrost 15,8 kg. Podejrzewa, że inna grupa zwierząt może mieć zupełnie inną średnią.
* Używając powyższych danych znajdź 95% przedział ufności na średni przyrost masy.
* Wynik zilustruj przy pomocy histogramu.
* Jaki byłby wynik przy założeniu, że masy zwierząt pochodzą z rozkładu normalnego?

''Odp:''
: zakładając, że ''x'' pochodzi z rozkładu normalnego:
: [14,80 16,81];
: bootstrap: 14,94-16,67.

<source lang = python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.array([15.43, 16.92, 14.43, 12.94, 15.92, 17.42, 18.91, 16.92, 14.93, 14.49, 15.92, 15.43])

alfa = 0.05
Nboot=int(1e5)

Xsr=X.mean()
s=X.std(ddof=1)
N=len(X)
print("średnia",Xsr)

M=np.zeros(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
M[i]=xb.mean()

lo,hi = st.t.ppf([alfa/2,1-alfa/2],df=N-1,loc=Xsr,scale=s/N**0.5)
print('przedzial ufnosci z założenia o normalności: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

lo = st.scoreatpercentile(M, per = alfa/2*100)
hi = st.scoreatpercentile(M, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,x,patch)=py.hist(M,bins=biny)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

py.show()
</source>

=== Zawartość aluminium w Tebańskich naczyniach. ===
Zawartość procentowa aluminium w 18 antycznych naczyniach z Teb była następująca: 
11.4, 13.4, 13.5, 13.8, 13.9, 14.4, 14.5, 15, 15.1, 15.8, 16, 16.3, 16.5, 16.9, 17, 17.2, 17.5, 19.0 
Jaka jest mediana procentowej zawartości aluminium i jaki jest 95% przedział ufności?

''Odp'':
:mediana 15,45 i przedział ufności: 14,20 16,70.

<source lang = python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.array([11.4, 13.4, 13.5, 13.8, 13.9, 14.4, 14.5, 15, 15.1, 15.8, 16, 16.3, 16.5, 16.9, 17, 17.2, 17.5, 19.0])

alfa = 0.05
Nboot=int(1e5)

Xmed=np.median(X)
N=len(X)
print("mediana probki",Xmed)

M=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
M[i]=np.median(xb)

lo = st.scoreatpercentile(M, per = alfa/2*100)
hi = st.scoreatpercentile(M, per = (1-alfa/2)*100)
print('przedzial ufnosci dla mediany (z bootstrapu): %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
(n,x,patch)=py.hist(M,bins=10)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')
py.show()

</source>

=== Średnica drzew ===
Ogrodnik eksperymentuje z nowym gatunkiem drzew. Posadził 20 sztuk i po dwóch latach zmierzył następujące średnice pni (w cm):
8.5, 7.6, 9.3, 5.5, 11.4, 6.9, 6.5, 12.9, 8.7, 4.8, 4.2, 8.1, 6.5, 5.8, 6.7, 2.4, 11.1, 7.1, 8.8, 7.2
* Proszę znaleźć średnią średnicę i 90% przedział ufności dla średniej.
* Proszę znaleźć medianę i 90% przedział ufności dla mediany.
* Obydwa wyniki zilustrować przy pomocy histogramów.
''Odp:''
: średnia: 7,50 i przedzial ufnosci dla średniej: [6,61 8,41];
: mediana 7,15 i przedzial ufnosci dla mediany: [6,50 8,50].

<source lang = python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

def hist_z_przedzialem(x,hi,lo):
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,bin_x,patch) = py.hist(x,bins = biny );
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

X=np.array([8.5, 7.6, 9.3, 5.5, 11.4, 6.9, 6.5, 12.9, 8.7, 4.8, 4.2, 8.1, 6.5, 5.8, 6.7, 2.4, 11.1, 7.1, 8.8, 7.2])

alfa = 0.1
Nboot=int(1e5)

N=len(X)
print("Średnia próbki",np.mean(X))
print("Mediana próbki",np.median(X))
print("Liczebność próbki",N)

Sr=np.empty(Nboot)
Med=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
Med[i]=np.median(xb)
Sr[i]=np.mean(xb)

lo = st.scoreatpercentile(Sr, per = alfa/2*100)
hi = st.scoreatpercentile(Sr, per = (1-alfa/2)*100)
print('przedzial ufnosci dla średniej: %(lo).3f - %(hi).3f'%{'lo':lo,'hi':hi})
py.subplot(2,1,1)
hist_z_przedzialem(Sr,hi,lo)

lo = st.scoreatpercentile(Med, per = alfa/2*100)
hi = st.scoreatpercentile(Med, per = (1-alfa/2)*100)
print('przedzial ufnosci dla mediany: %(lo).3f - %(hi).3f'%{'lo':lo,'hi':hi})
py.subplot(2,1,2)
hist_z_przedzialem(Med,hi,lo)

py.show()
</source>

=== Przedział ufności dla proporcji ===
W badaniach nad cholesterolem u ludzi stwierdzono, że w grupie 135 badanych z wysokim poziomem cholesterolu 10 osób przeszło zawał serca.

''Pytanie'': Jaki jest 95% przedział ufności dla proporcji 10/135?

* Proszę wykorzystać metodę bootstrapu.
* Proszę wykorzystać rozkład dwumianowy.

''Odp'': proporcja 10/135 = 0,07 i jej 95% przedział ufności [0,03 0,12].

<source lang =python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.zeros(135)
X[:10]=1

alfa = 0.05
Nboot=int(1e5)

N=len(X)

Proporcja=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
Proporcja[i]=np.sum(xb)/N

lo = st.scoreatpercentile(Proporcja, per = alfa/2*100)
hi = st.scoreatpercentile(Proporcja, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
(n,x,patch)=py.hist(Proporcja,bins=np.arange(0,1,1/135)-1/270)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

p=10/135
lo,hi = st.binom.ppf([alfa/2,1-alfa/2],N,p)/N
print('przedzial ufnosci z rozkładu dwumianowego: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

py.show()
</source>

=== Bezrobotni ===
W próbce 200 osób 7 procent jest bezrobotnych. Określić 95% przedział ufności dla odsetka bezrobotnych w populacji.

''Odp'': Średnia 7% i jej 95% przedział ufności [3,50 10,50].

<source lang =python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.zeros(100)
X[:7]=1

alfa = 0.05
Nboot=int(1e5)

N=200

Proporcja=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
Proporcja[i]=np.sum(xb)/N*100 #chcemy procenty i dlatego mnożymy przez 100

lo = st.scoreatpercentile(Proporcja, per = alfa/2*100)
hi = st.scoreatpercentile(Proporcja, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
(n,x,patch)=py.hist(Proporcja,bins=30)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

p=7/100
lo,hi = st.binom.ppf([alfa/2,1-alfa/2],N,p)/N*100
print('przedzial ufnosci z rozkładu dwumianowego: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

py.show()
</source>

=== Żywotność baterii ===
W próbce 20 testowanych baterii stwierdzono średni czas życia 28,85 miesiąca. Określić 95% przedział ufności dla średniej. Wartości dla badanej próbki były następujące: 
30, 32, 31, 28, 31, 29, 29, 24, 30, 31, 28, 28, 32, 31, 24, 23, 31, 27, 27, 31 miesięcy 
Obejrzeć rozkład przy pomocy <tt>histfit</tt> i zbadać jaki wpływ na przedział ufności ma przyjęcie założenia o normalności rozkładu czasów życia.

''Odp'': Średnia 28,85 i jej 95% przedział ufności [27,65 29,95].

<source lang =python>
def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Tu w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[:-1]+bins[1:])
# wytwarzamy array z centrami binów korzystając z granic słupków
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej mi i wariancji sigma**2 dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

<source lang =python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

def hist_z_przedzialem(x,hi,lo):
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,bin_x,patch) = py.hist(x,bins = biny );
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Tu w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[:-1]+bins[1:])
# wytwarzamy array z centrami binów korzystając z granic słupków
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej mi i wariancji sigma**2 dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

X=np.array([30, 32, 31, 28, 31, 29, 29, 24, 30, 31, 28, 28, 32, 31, 24, 23, 31, 27, 27, 31])

print("Średnia próbki",np.mean(X))

alfa = 0.05
Nboot=int(1e5)

Xsr=X.mean()
s=X.std(ddof=1)
N=len(X)

M=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
M[i]=xb.mean()

lo,hi = st.t.ppf([alfa/2,1-alfa/2],df=N-1,loc=Xsr,scale=s/N**0.5)
print('przedzial ufnosci z założenia o normalności: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

lo = st.scoreatpercentile(M, per = alfa/2*100)
hi = st.scoreatpercentile(M, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
hist_z_przedzialem(M,hi,lo)

py.figure()
histfit(M,20)

py.show()
</source>

=== Pomiary ===
Mamy 10 pomiarów pewnej wielkości: 
0.02, 0.026, 0.023, 0.017, 0.022, 0.019, 0.018, 0.018, 0.017, 0.022 
Proszę znaleźć średnią i 95% przedział ufności.

''Odp'':Średnia 0,020 i jej 95% przedział ufności [0,0185 0,0220].

Czy pomiarów jest wystarczająco dużo aby sensownie wyznaczyć średnią i przedział ufności?

''Wskazówka'': Obliczyć średnie dla 1 000 000 powtórzeń i obejrzeć histogramy dla 10, 20, 30, 100, i 200 przedziałów.

<source lang = python>
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = n)
y = x[ind]
return y

dane = np.array([0.02, 0.026, 0.023, 0.017, 0.022, 0.019, 0.018, 0.018, 0.017, 0.022]);

N_rep = 1000000
srednie = np.zeros(N_rep)

for i in range(N_rep):
proba = randsample(dane)
srednie[i] = np.mean(proba)

ci_d = st.scoreatpercentile(srednie, 2.5)
ci_g = st.scoreatpercentile(srednie, 97.5)
print('Średnia %(prop).4f i jej 95proc. przedział ufności [%(d).4f %(g).4f]'%{'prop':np.mean(dane),'d':ci_d, 'g': ci_g})
py.subplot(5,1,1)
py.hist(srednie,10)
py.subplot(5,1,2)
py.hist(srednie,20)
py.subplot(5,1,3)
py.hist(srednie,30)
py.subplot(5,1,4)
py.hist(srednie,100)
py.subplot(5,1,5)
py.hist(srednie,200)

py.show()
</source>

WnioskowanieStatystyczne/ Przedziały ufności

2021-02-18T10:26:08Z

Atartas: /* Zadanie */

==Wstęp ==
Średnia (lub inny parametr) estymowany na podstawie próby pobranej z populacji nie jest równa rzeczywistej wartości tego parametru w populacji.
* Wylosuj 10 razy 100 liczb z rozkładu normalnego <math>N(0,1)</math> i oblicz średnią. Czy udało ci się zaobserwować wartość 0?
<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st

for i in range(10):
x=st.norm.rvs(size=100)
print(np.mean(x))
</source>
Rozbieżność między uzyskanym wynikiem a rzeczywistą średnią populacji zależy od wielkości badanej grupy oraz zmienności badanej cechy w jej obrębie. Jeśli badana grupa jest niewielka i ma dużą zmienność analizowanej cechy wówczas rozbieżność między średnią uzyskaną, a rzeczywistą może być znaczna. Natomiast, jeśli badana grupa jest duża z niewielką zmiennością danych, wówczas uzyskana średnia będzie prawdopodobnie bardzo bliska średniej populacyjnej. Przedział ufności ({{ang|confidence interval — CI}}) odzwierciedla zarówno wielkość badanej grupy jak i zmienność analizowanej cechy wewnątrz tej grupy.
Przedział ufności jest określany z różnym procentem &bdquo;zaufania”, np. 90 czy też 95%. Najczęściej używa się 95% przedziału ufności. Oznacza to, że jeśli grupa badana była zgromadzona w sposób losowy to rzeczywisty parametr populacji z 95% pewnością znajduje się w tym przedziale. Innymi słowy, możemy sobie wyobrazić, że mamy dostępne wyniki dowolnie wielu badań analogicznych do analizowanego. Oczekujemy, że w 95% przypadków badana cecha znajduje się wewnątrz wyznaczonego przez nas przedziału ufności.

Pewnych problemów koncepcyjnych nastręcza konstrukcja przedziałów ufności. Dla danej znanej populacji możemy obliczyć średnią populacji oraz prawdopodobieństwo uzyskania konkretnej wartości średniej przy losowaniu próby o zadanej liczebności z tejże populacji, możemy więc określić prawdopodobieństwo <math>P</math>, że odległość średniej z próby i średniej z populacji jest <math>D</math>. Mając do dyspozycji tylko próbę możemy albo założyć, że pochodzi ona z jakiegoś znanego rozkładu i wyliczyć z niego wartości krytyczne albo zakładając, że jest ona reprezentatywna możemy metodą bootstrapu &bdquo;wytworzyć” wiele innych prób z badanej populacji i oszacować jakie są granice, w które wpada żądana frakcja średnich (np.:90%, 95%).

''Bootstrap'' jest związany z pobieraniem próby. Najkorzystniejszą sytuacją jest ta, w której dla oszacowania różnych parametrów statystycznych populacji mamy możliwość pobierania z tej populacji wielu prób. Jeśli jest to niemożliwe możemy posłużyć się pobieraniem wielokrotnie prób z tej próby, którą posiadamy. Postępowanie takie jest sensowne pod warunkiem, że próba, która służy nam do generowania innych możliwych pobrań próby jest ''reprezentatywna''. '''W bootstrapie losujemy ze zwracaniem''' (dlaczego?). 

== Przedział ufności dla średniej ==
=== Przypadek 1: znana wariancja rozkładu ===
Rozważamy zmienną losową podlegającą rozkładowi <math>N(\mu,\sigma^2)</math> czyli rozkładowi normalnemu o średniej <math> \mu</math> i znanym odchyleniu standardowym <math> \sigma</math>.
Pobieramy próby tych zmiennych losowych o rozmiarze <math>n</math>. Przypomnijmy, że średnia z takiej próby też może być traktowana jako zmienna losowa. [http://brain.fuw.edu.pl/edu/STAT:Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej Podlega ona rozkładowi] normalnemu o średniej <math> \mu</math> i standardowym odchyleniu <math>\frac{\sigma}{\sqrt{n}}</math> czyli <math>N\left( \mu,\frac{\sigma^2}{n} \right)</math>.

Oznacza to, że zmienna <math>\frac{\bar x - \mu}{\sigma/\sqrt{n}} </math> podlega rozkładowi <math> N(0,1)</math> czyli <math> Z</math>. Konstrukcja przedziału ufności dla średniej polega zatem na znalezieniu takich wartości <math>z_{\alpha/2}</math>, że:
: <math> P \left( \left|\frac{\bar x - \mu}{\sigma/\sqrt{n}} \right| \le z_{\alpha/2}\right) = 1-\alpha </math>
Zatem przedział ufności <math> (1-\alpha)*100</math>% :
: <math> \left[ \bar x - z_{\alpha/2}\frac{\sigma}{\sqrt n} ,\;\;\; \bar x+ z_{\alpha/2}\frac{\sigma}{\sqrt n} \right] </math>.

==== Przykład ====
Wyciągamy losową próbę <math> (n = 25)</math> z populacji o rozkładzie normalnym. Dostajemy średnią z próby <math> \bar x = 122</math>. Załóżmy, że znamy standardowe odchylenie populacji <math> \sigma = 20</math>.
* Oblicz przedział ufności 95% dla średniej populacji <math> \mu</math>.
* Co zrobić aby zmniejszyć obliczony przedział 10-krotnie?

Korzystając z tablic znajdujemy <math> z_{\alpha/2} = z_{2,5\%} = -1,96</math>.

: Wartość tą możemy uzyskać wołając w pythonie:
: <source lang =python>st.norm.ppf(0.025)</source>

<math>
\bar x \pm 1,96 \frac{\sigma}{\sqrt{n}} = 122 \pm 1,96\cdot\frac{20}{\sqrt{25}} = 122 \pm 7,84 = [\mathrm{114,16} \;\;\; 129,84]</math>

Możemy być pewni na 95%, że nieznana średnia populacji <math> \mu</math> znajduje się pomiędzy 114,16 a 129,84. Jeśli chcemy zmniejszyć przedział ufności 10-krotnie, musimy pobrać 100 razy większą próbę tj. ''n'' = 2500.

: Pracując z modułem scipy.stats mamy do dyspozycji rozkłady normalne <math>N(\mu,\sigma)</math> o dowolnych parametrach <math>\mu</math> i <math>\sigma</math>.
: Możemy więc uzyskać interesujący nas przedział ufności przy pomocy pojedynczego wywołania:
: <source lang =python>st.norm.ppf([0.025, 0.975],loc = 122, scale = 20.0/25**0.5)</source> gdzie <tt>loc = </tt> <math>\mu</math> oraz <tt>scale = </tt><math>\sigma</math>.

==== Zadanie ====
Importer win musi zbadać średnią zawartość alkoholu w nowej partii win francuskich. Z doświadczenia z poprzednimi gatunkami wina, przyjmuje on, że standardowe odchylenie w populacji wynosi 1,2%. Importer wybrał losową próbę 60 butelek nowego wina i otrzymał średnią z próby 9,3%. Znaleźć przedział ufności 90% dla średniej zawartości alkoholu w nowej partii win.

''Odp.'': [9,0452 9,5548].


===Przypadek 2: nieznana wariancja rozkładu ===
Sytuacja zmienia się jeśli zakładamy, że próba pochodzi z rozkładu normalnego o śreniej <math>\mu</math> i nieznanej wariancji.
Musimy wówczas zamiast wariancji posłużyć się jej estymatorem <math>s^2 = \frac{1}{n-1} \sum_{i=1}^n {\left(x_i-\mu\right)^2}</math>.
Zmienna losowa <math>\frac{\bar x - \mu}{s/\sqrt{n}} </math> podlega rozkładowi <math>t_{n-1}</math> (czytaj: rozkładowi ''t'' o ''n''−1 stopniach swobody). Konstrukcja przedziału ufności dla średniej polega zatem na znalezieniu takich wartości <math>t_{\alpha/2}</math> w rozkładzie ''t'' o ''n''−1 stopniach swobody, że:
: <math> P \left( \left|\frac{\bar x - \mu}{s/\sqrt{n}} \right| \le t_{\alpha/2}\right) = 1-\alpha </math>

Zatem przedział ufności <math> (1-\alpha)\cdot 100</math>% dla średniej <math>\mu</math>, gdy nie znamy odchylenia standardowego <math>\sigma</math>, a jedynie jego estymatę:
:: <math>
\left[
\bar x- t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}, \,\,\,\,\, \bar x+ t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}\right]
</math>
:gdzie <math> t_{\alpha/2}</math> jest wartością, która odcina obszar α/2 z rozkładu <math> t</math> z ''n''−1 stopniami swobody.

;Uwaga: w Pythonie możemy skorzystać z funkcji modułu <tt>numpy</tt> do obliczania wartości estymatorów:
:* ''s'' <tt>numpy.std</tt>
:* <math>\bar x</math> <tt>numpy.mean</tt>
==== Przykład ====
Lekarz chce zbadać średni czas trwania kuracji tj. od podania leku do ustąpienia objawów w pewnej chorobie. Losowa próba 15 pacjentów dała średni czas <math>\bar x = 10,37</math> dnia i odchylenie standardowe <math>s = 3,5</math> dnia. Zakładając normalny rozkład w populacji czasów trwania kuracji znaleźć 95% przedział ufności dla średniego czasu trwania kuracji.

Znajdujemy wartość z rozkładu <math> t</math> o ''n''−1 (=14) stopniach swobody, która odcina obszar <math> \alpha/2 = 0,025</math>. <math> t_{0,025} = 2,145</math>.
: w pythonie: <source lang =python>st.t.ppf(0.025,14)</source>
Dostajemy więc <math> \bar x \pm t_{\alpha/2}\frac{s}{\sqrt{n}} = 10,37 \pm 2,145\cdot\frac{3,5}{\sqrt{15}} = [8,\!43\ 12,\!31]</math>.

: Podobnie jak w poprzednim przykładzie możemy też skorzystać z tego, że w scipy.stats definiowane są rozkłady <math>t</math> o dowolnych parametrach i wykonać całe obliczenia jednym wywołaniem funkcji:
: <source lang =python>st.t.ppf([0.025, 0.975], 14, loc = 10.37, scale = 3.5/15**0.5)</source>

Lekarz może być pewny, że w 95% przypadków od podania leku do ustąpienia objawów upłynie czas pomiędzy 8,43 a 12,31 dnia.

==== Zadanie ====
Producent opon rowerowych chce oszacować średni dystans jaki można przejechać na oponie pewnego rodzaju zanim opona się zużyje. Pobrano losową próbę 32 opon, opona jest używana aż do przetarcia i odległość przejechana na każdej oponie jest rejestrowana. Dane (w tysiącach kilometrów) są następujące:

32, 33, 28, 37, 29, 30, 25, 27, 39, 40, 26, 26, 27, 30, 25, 30, 31, 29, 24, 36, 25, 37, 37, 20, 22, 35, 23, 28, 30, 36, 40, 41

Znaleźć 99% przedział ufności dla średniego przebiegu opon tego rodzaju. Zadanie rozwiązać analogicznie jak powyższy przykład.

''Odp'': [ 27,76 33,36].



== Przedział ufności dla wariancji ==
Zauważmy, że:
:<math> \frac{\sum_{i=1}^N\left(x_i-\bar{x}\right)^2}{\sigma^2}</math>
podlega rozkładowi <math> \chi^2_{N-1}</math> o ''N''−1 stopniach swobody, zaś nieobciążony estymator wariancji to
:<math> s^2=\frac{1}{N-1}\sum_{i=1}^N \left(x_i-\bar{x}\right)^2 </math>
Zatem zmienna losowa
:<math> \frac{s^2(N-1)}{\sigma^2}</math>
także podlega rozkładowi <math> \chi^2_{N-1}</math>.

Aby znaleźć <math>(1-\alpha) </math>100% przedział ufności dla wariancji, musimy wyznaczyć
takie wartości krytyczne <math> \chi^2_{N-1,\alpha/2}</math>
oraz <math> \chi^2_{N-1,1-\alpha/2}</math> aby:
:<math>P\left( \chi^2_{N-1,\alpha/2} < \frac{s^2(N-1)}{\sigma^2}< \chi^2_{N-1,1-\alpha/2} \right) = 1-\alpha</math>

<math>\chi^2_{N-1,\alpha/2}</math> jest wartością, która odcina na lewo obszar α/2 z rozkładu chi-kwadrat z ''n''−1 stopniami swobody. <math>\chi^2_{N-1,1-\alpha/2}</math> jest wartością, która odcina na prawo obszar α/2 z rozkładu chi-kwadrat z ''n''−1 stopniami swobody (lub równoważnie: odcina na lewo obszar 1−α/2).

Powyższe wyrażenie jest równoważne:
:<math>P\left( \frac{(N-1)s^2}{\chi^2_{N-1,1-\alpha/2}} < \sigma^2< \frac{(N-1)s^2}{\chi^2_{n-1,\alpha/2}} \right) = 1-\alpha</math>

Zatem przedział ufności <math>(1-\alpha)*100</math> % dla wariancji populacji <math> \sigma^2</math>, gdy rozkład populacji jest normalny:
:<math>
\left[\frac{(n-1)s^2}{\chi^2_{N-1,1-\alpha/2}}, \;\; \frac{(n-1)s^2}{\chi^2_{N-1,\alpha/2}} \right]
</math>

=== Zadanie ===
Automat do kawy nalewa kawę do kubków. Jeśli średnia porcja kawy w kubku odbiega od normy, maszynę można wyregulować. Jeśli jednak wariancja porcji kawy jest zbyt duża, maszyna wymaga reperacji. Od czasu do czasu przeprowadzana jest kontrola wariancji porcji kawy. Odbywa się to poprzez wybór losowej próby napełnionych kubków i policzenie wariancji próby. Losowa próba 30 kubków dała wariancję próby <math> s^2 = 18,54</math>. Obliczyć 95% przedział ufności dla wariancji populacji <math> \sigma^2</math>.

''Wskazówka: rozkład'' <math>\chi^2</math> ''dostępny jest w module scipy.stats jako '' <tt>chi2</tt>

''Odp'': [11,759 33,505].

<source lang=python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st

n = 30
s2 = 18.54
alfa = 0.05

chi_kryt_d = st.chi2.ppf(1-alfa/2, df=n-1)
chi_kryt_g = st.chi2.ppf(alfa/2, df=n-1)

ci_d = (n-1)*s2/chi_kryt_d
ci_g = (n-1)*s2/chi_kryt_g
print('przedział ufności: %(d).3f %(g).3f'%{'d':ci_d, 'g':ci_g})
</source>

== Rozmiar próby ==

Gdy pobieramy próbę, często chcielibyśmy znać minimalny rozmiar próby, który zapewni nam żądaną precyzję wyniku.

Musimy odpowiedzieć sobie na trzy pytania:
* Jak nasze oszacowanie nieznanego parametru ma być bliskie prawdziwej wartości? Odpowiedź oznaczmy <math> D</math> (dystans).
* Jaki chcemy mieć poziom ufności, że nasze oszacowanie i prawdziwa wartość parametru są od siebie oddalone o nie więcej niż ''D''?
* Jakie jest oszacowanie wariancji w populacji?

Jeśli nie znamy odpowiedzi na pkt. 3 przeprowadzamy tzw. ''pilot study'' i szacujemy <math> \sigma</math> na podstawie odchylenia std. próby.

Średnia <math>\bar x</math> podlega rozkładowi normalnemu <math>N(\mu,\sigma^2/\sqrt{n})</math>.
Wymagana odległość pomiędzy <math>\bar x -\mu =D</math>. Korzystając z transformacji do rozkładu standardowego ''Z'' możemy zapisać <math>\bar x = \mu +z \sigma/\sqrt{n}</math>. Podstawiając do poprzedniego wyrażenia otrzymujemy
minimalny rozmiar próby potrzebny do oszacowania średniej populacji <math> \mu</math>, który wynosi:
:<math>
n=\frac{z_{\alpha/2}^2\sigma^2}{D^2}
</math>
W przypadku nieznajomości <math>\sigma</math> korzystamy z jej [http://brain.fuw.edu.pl/edu/index.php/WnioskowanieStatystyczne/Statystyki_i_estymatory nieobciążonego estymatora] <math>s</math>.

=== Zadanie ===
Biuro podróży chce oszacować średnią ilość pieniędzy wydaną na wakacje przez osoby korzystające z jego usług. Ludzie przeprowadzający analizę chcieliby móc oszacować średni koszt wakacji z dokładnością do 200 zł na poziomie ufności 95%. Z poprzednich doświadczeń tego biura podróży wynika, że odchylenie standardowe w populacji wynosi <math> \sigma = 400</math> zł. Jaka będzie minimalna wielkość próby?

''Odp'': <math> n = 15,366</math> więc wielkość próby wynosi 16 (zaokrąglamy w górę).

<source lang=python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

alfa = 0.05
x=np.ones(100)
x[56:]=0
Nboot=100000
A=np.zeros(Nboot)
for i in range(Nboot):
ankieta=randsample(x,1500)
A[i]=np.sum(ankieta)/1500.0
lo = st.scoreatpercentile(A, per = alfa/2*100)
hi = st.scoreatpercentile(A, per = (1-alfa/2)*100)
print('przedzial ufnosci: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,x,patch) = py.hist(A,bins = biny )
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')
py.show()
</source>

== Przykład z bootstrapem ==
Rozważmy sondę przedwyborczą, mamy dwóch kandydatów na prezydenta. Ankietowano 1500 osób. 840 osób deklarowało poparcie dla kandydata A zaś 660 dla kandydata B. Na ile pewny może być kandydat A swojego zwycięstwa?
* Jak dokładnie brzmi pytanie? W terminologii przedziałów ufności możemy je sformułować następująco: Jaki jest 95% przedział ufności dla poparcia kandydata A w całej populacji? Czy też innymi słowami: W jakim przedziale na 95% znajduje się proporcja glosujących popierających kandydata A.
* Nasze najlepsze mniemanie o własnościach &bdquo;świata” z którego pochodzą dane otrzymujemy ze zwykłej proporcji. Wynika z niej, że kandydat A ma poparcie 56% zaś kandydat B poparcie 44% wyborców.
* Przypiszmy do kandydata A &bdquo;1” zaś do B &bdquo;0” (w ten sposób tworzymy zmienną losową: oddany głos).
* Pobranie ankiety modelujemy przez pobranie losowo 1500 próbek z modelu naszego &bdquo;świata” czyli wektora złożonego z 56 jedynek i 44 zer. Wynikiem jednej ankiety jest proporcja popierających kandydata A (lub B)
* Zbieramy rozkład proporcji - musimy w tym celu &bdquo;przeprowadzić” wielokrotnie ankietę. Narysujmy histogram.
* Chcemy znaleźć 95% przedział ufności musimy znaleźć kwantyl 2,5 oraz 97,5.
Liczby te stanowią poszukiwany przedział ufności.

<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

alfa = 0.05
x=np.ones(100)
x[56:]=0
Nboot=10000
A=np.zeros(Nboot)
for i in range(Nboot):
ankieta=randsample(x,1500)
A[i]=np.sum(ankieta)/1500.0
lo = st.scoreatpercentile(A, per = alfa/2*100)
hi = st.scoreatpercentile(A, per = (1-alfa/2)*100)
print('przedzial ufnosci: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+11*szer_binu, szer_binu)
(n,x,patch) = py.hist(A,bins = biny )
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')
py.show()
</source>

== Zadania ==
=== Przyrost masy w nowej diecie ===
Producent karmy dla zwierząt chciał przetestować nowy rodzaj karmy. Próbki podawał 12 zwierzakom przez 4 tygodnie. Po tym czasie zanotował następujące przyrosty masy:

15.43, 16.92, 14.43, 12.94, 15.92, 17.42, 18.91, 16.92, 14.93, 14.49, 15.92, 15.43 kg

średni przyrost wynosi 15.80 kg. Producent widzi jednak, że w próbie jest dość znaczny rozrzut pomiędzy poszczególnymi zwierzętami 12,94-18,91 i nie jest pewien czy można reklamować nowy produkt podając średni przyrost 15,8 kg. Podejrzewa, że inna grupa zwierząt może mieć zupełnie inną średnią.
* Używając powyższych danych znajdź 95% przedział ufności na średni przyrost masy.
* Wynik zilustruj przy pomocy histogramu.
* Jaki byłby wynik przy założeniu, że masy zwierząt pochodzą z rozkładu normalnego?

''Odp:''
: zakładając, że ''x'' pochodzi z rozkładu normalnego:
: [14,80 16,81];
: bootstrap: 14,94-16,67.

<source lang = python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.array([15.43, 16.92, 14.43, 12.94, 15.92, 17.42, 18.91, 16.92, 14.93, 14.49, 15.92, 15.43])

alfa = 0.05
Nboot=int(1e5)

Xsr=X.mean()
s=X.std(ddof=1)
N=len(X)
print("średnia",Xsr)

M=np.zeros(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
M[i]=xb.mean()

lo,hi = st.t.ppf([alfa/2,1-alfa/2],df=N-1,loc=Xsr,scale=s/N**0.5)
print('przedzial ufnosci z założenia o normalności: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

lo = st.scoreatpercentile(M, per = alfa/2*100)
hi = st.scoreatpercentile(M, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,x,patch)=py.hist(M,bins=biny)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

py.show()
</source>

=== Zawartość aluminium w Tebańskich naczyniach. ===
Zawartość procentowa aluminium w 18 antycznych naczyniach z Teb była następująca: 
11.4, 13.4, 13.5, 13.8, 13.9, 14.4, 14.5, 15, 15.1, 15.8, 16, 16.3, 16.5, 16.9, 17, 17.2, 17.5, 19.0 
Jaka jest mediana procentowej zawartości aluminium i jaki jest 95% przedział ufności?

''Odp'':
:mediana 15,45 i przedział ufności: 14,20 16,70.

<source lang = python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.array([11.4, 13.4, 13.5, 13.8, 13.9, 14.4, 14.5, 15, 15.1, 15.8, 16, 16.3, 16.5, 16.9, 17, 17.2, 17.5, 19.0])

alfa = 0.05
Nboot=int(1e5)

Xmed=np.median(X)
N=len(X)
print("mediana probki",Xmed)

M=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
M[i]=np.median(xb)

lo = st.scoreatpercentile(M, per = alfa/2*100)
hi = st.scoreatpercentile(M, per = (1-alfa/2)*100)
print('przedzial ufnosci dla mediany (z bootstrapu): %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
(n,x,patch)=py.hist(M,bins=10)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')
py.show()

</source>

=== Średnica drzew ===
Ogrodnik eksperymentuje z nowym gatunkiem drzew. Posadził 20 sztuk i po dwóch latach zmierzył następujące średnice pni (w cm):
8.5, 7.6, 9.3, 5.5, 11.4, 6.9, 6.5, 12.9, 8.7, 4.8, 4.2, 8.1, 6.5, 5.8, 6.7, 2.4, 11.1, 7.1, 8.8, 7.2
* Proszę znaleźć średnią średnicę i 90% przedział ufności dla średniej.
* Proszę znaleźć medianę i 90% przedział ufności dla mediany.
* Obydwa wyniki zilustrować przy pomocy histogramów.
''Odp:''
: średnia: 7,50 i przedzial ufnosci dla średniej: [6,61 8,41];
: mediana 7,15 i przedzial ufnosci dla mediany: [6,50 8,50].

<source lang = python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

def hist_z_przedzialem(x,hi,lo):
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,bin_x,patch) = py.hist(x,bins = biny );
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

X=np.array([8.5, 7.6, 9.3, 5.5, 11.4, 6.9, 6.5, 12.9, 8.7, 4.8, 4.2, 8.1, 6.5, 5.8, 6.7, 2.4, 11.1, 7.1, 8.8, 7.2])

alfa = 0.1
Nboot=int(1e5)

N=len(X)
print("Średnia próbki",np.mean(X))
print("Mediana próbki",np.median(X))
print("Liczebność próbki",N)

Sr=np.empty(Nboot)
Med=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
Med[i]=np.median(xb)
Sr[i]=np.mean(xb)

lo = st.scoreatpercentile(Sr, per = alfa/2*100)
hi = st.scoreatpercentile(Sr, per = (1-alfa/2)*100)
print('przedzial ufnosci dla średniej: %(lo).3f - %(hi).3f'%{'lo':lo,'hi':hi})
py.subplot(2,1,1)
hist_z_przedzialem(Sr,hi,lo)

lo = st.scoreatpercentile(Med, per = alfa/2*100)
hi = st.scoreatpercentile(Med, per = (1-alfa/2)*100)
print('przedzial ufnosci dla mediany: %(lo).3f - %(hi).3f'%{'lo':lo,'hi':hi})
py.subplot(2,1,2)
hist_z_przedzialem(Med,hi,lo)

py.show()
</source>

=== Przedział ufności dla proporcji ===
W badaniach nad cholesterolem u ludzi stwierdzono, że w grupie 135 badanych z wysokim poziomem cholesterolu 10 osób przeszło zawał serca.

''Pytanie'': Jaki jest 95% przedział ufności dla proporcji 10/135?

* Proszę wykorzystać metodę bootstrapu.
* Proszę wykorzystać rozkład dwumianowy.

''Odp'': proporcja 10/135 = 0,07 i jej 95% przedział ufności [0,03 0,12].

<source lang =python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.zeros(135)
X[:10]=1

alfa = 0.05
Nboot=int(1e5)

N=len(X)

Proporcja=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
Proporcja[i]=np.sum(xb)/N

lo = st.scoreatpercentile(Proporcja, per = alfa/2*100)
hi = st.scoreatpercentile(Proporcja, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
(n,x,patch)=py.hist(Proporcja,bins=np.arange(0,1,1/135)-1/270)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

p=10/135
lo,hi = st.binom.ppf([alfa/2,1-alfa/2],N,p)/N
print('przedzial ufnosci z rozkładu dwumianowego: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

py.show()
</source>

=== Bezrobotni ===
W próbce 200 osób 7 procent jest bezrobotnych. Określić 95% przedział ufności dla odsetka bezrobotnych w populacji.

''Odp'': Średnia 7% i jej 95% przedział ufności [3,50 10,50].

<source lang =python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.zeros(100)
X[:7]=1

alfa = 0.05
Nboot=int(1e5)

N=200

Proporcja=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
Proporcja[i]=np.sum(xb)/N*100 #chcemy procenty i dlatego mnożymy przez 100

lo = st.scoreatpercentile(Proporcja, per = alfa/2*100)
hi = st.scoreatpercentile(Proporcja, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
(n,x,patch)=py.hist(Proporcja,bins=30)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

p=7/100
lo,hi = st.binom.ppf([alfa/2,1-alfa/2],N,p)/N*100
print('przedzial ufnosci z rozkładu dwumianowego: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

py.show()
</source>

=== Żywotność baterii ===
W próbce 20 testowanych baterii stwierdzono średni czas życia 28,85 miesiąca. Określić 95% przedział ufności dla średniej. Wartości dla badanej próbki były następujące: 
30, 32, 31, 28, 31, 29, 29, 24, 30, 31, 28, 28, 32, 31, 24, 23, 31, 27, 27, 31 miesięcy 
Obejrzeć rozkład przy pomocy <tt>histfit</tt> i zbadać jaki wpływ na przedział ufności ma przyjęcie założenia o normalności rozkładu czasów życia.

''Odp'': Średnia 28,85 i jej 95% przedział ufności [27,65 29,95].

<source lang =python>
def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Tu w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[:-1]+bins[1:])
# wytwarzamy array z centrami binów korzystając z granic słupków
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej mi i wariancji sigma**2 dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

<source lang =python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

def hist_z_przedzialem(x,hi,lo):
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,bin_x,patch) = py.hist(x,bins = biny );
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Tu w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[:-1]+bins[1:])
# wytwarzamy array z centrami binów korzystając z granic słupków
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej mi i wariancji sigma**2 dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

X=np.array([30, 32, 31, 28, 31, 29, 29, 24, 30, 31, 28, 28, 32, 31, 24, 23, 31, 27, 27, 31])

print("Średnia próbki",np.mean(X))

alfa = 0.05
Nboot=int(1e5)

Xsr=X.mean()
s=X.std(ddof=1)
N=len(X)

M=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
M[i]=xb.mean()

lo,hi = st.t.ppf([alfa/2,1-alfa/2],df=N-1,loc=Xsr,scale=s/N**0.5)
print('przedzial ufnosci z założenia o normalności: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

lo = st.scoreatpercentile(M, per = alfa/2*100)
hi = st.scoreatpercentile(M, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
hist_z_przedzialem(M,hi,lo)

py.figure()
histfit(M,20)

py.show()
</source>

=== Pomiary ===
Mamy 10 pomiarów pewnej wielkości: 
0.02, 0.026, 0.023, 0.017, 0.022, 0.019, 0.018, 0.018, 0.017, 0.022 
Proszę znaleźć średnią i 95% przedział ufności.

''Odp'':Średnia 0,020 i jej 95% przedział ufności [0,0185 0,0220].

Czy pomiarów jest wystarczająco dużo aby sensownie wyznaczyć średnią i przedział ufności?

''Wskazówka'': Obliczyć średnie dla 1 000 000 powtórzeń i obejrzeć histogramy dla 10, 20, 30, 100, i 200 przedziałów.

<source lang = python>
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = n)
y = x[ind]
return y

dane = np.array([0.02, 0.026, 0.023, 0.017, 0.022, 0.019, 0.018, 0.018, 0.017, 0.022]);

N_rep = 1000000
srednie = np.zeros(N_rep)

for i in range(N_rep):
proba = randsample(dane)
srednie[i] = np.mean(proba)

ci_d = st.scoreatpercentile(srednie, 2.5)
ci_g = st.scoreatpercentile(srednie, 97.5)
print('Średnia %(prop).4f i jej 95proc. przedział ufności [%(d).4f %(g).4f]'%{'prop':np.mean(dane),'d':ci_d, 'g': ci_g})
py.subplot(5,1,1)
py.hist(srednie,10)
py.subplot(5,1,2)
py.hist(srednie,20)
py.subplot(5,1,3)
py.hist(srednie,30)
py.subplot(5,1,4)
py.hist(srednie,100)
py.subplot(5,1,5)
py.hist(srednie,200)

py.show()
</source>

WnioskowanieStatystyczne/ Przedziały ufności

2021-02-18T10:25:58Z

Atartas: /* Zadanie */

==Wstęp ==
Średnia (lub inny parametr) estymowany na podstawie próby pobranej z populacji nie jest równa rzeczywistej wartości tego parametru w populacji.
* Wylosuj 10 razy 100 liczb z rozkładu normalnego <math>N(0,1)</math> i oblicz średnią. Czy udało ci się zaobserwować wartość 0?
<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st

for i in range(10):
x=st.norm.rvs(size=100)
print(np.mean(x))
</source>
Rozbieżność między uzyskanym wynikiem a rzeczywistą średnią populacji zależy od wielkości badanej grupy oraz zmienności badanej cechy w jej obrębie. Jeśli badana grupa jest niewielka i ma dużą zmienność analizowanej cechy wówczas rozbieżność między średnią uzyskaną, a rzeczywistą może być znaczna. Natomiast, jeśli badana grupa jest duża z niewielką zmiennością danych, wówczas uzyskana średnia będzie prawdopodobnie bardzo bliska średniej populacyjnej. Przedział ufności ({{ang|confidence interval — CI}}) odzwierciedla zarówno wielkość badanej grupy jak i zmienność analizowanej cechy wewnątrz tej grupy.
Przedział ufności jest określany z różnym procentem &bdquo;zaufania”, np. 90 czy też 95%. Najczęściej używa się 95% przedziału ufności. Oznacza to, że jeśli grupa badana była zgromadzona w sposób losowy to rzeczywisty parametr populacji z 95% pewnością znajduje się w tym przedziale. Innymi słowy, możemy sobie wyobrazić, że mamy dostępne wyniki dowolnie wielu badań analogicznych do analizowanego. Oczekujemy, że w 95% przypadków badana cecha znajduje się wewnątrz wyznaczonego przez nas przedziału ufności.

Pewnych problemów koncepcyjnych nastręcza konstrukcja przedziałów ufności. Dla danej znanej populacji możemy obliczyć średnią populacji oraz prawdopodobieństwo uzyskania konkretnej wartości średniej przy losowaniu próby o zadanej liczebności z tejże populacji, możemy więc określić prawdopodobieństwo <math>P</math>, że odległość średniej z próby i średniej z populacji jest <math>D</math>. Mając do dyspozycji tylko próbę możemy albo założyć, że pochodzi ona z jakiegoś znanego rozkładu i wyliczyć z niego wartości krytyczne albo zakładając, że jest ona reprezentatywna możemy metodą bootstrapu &bdquo;wytworzyć” wiele innych prób z badanej populacji i oszacować jakie są granice, w które wpada żądana frakcja średnich (np.:90%, 95%).

''Bootstrap'' jest związany z pobieraniem próby. Najkorzystniejszą sytuacją jest ta, w której dla oszacowania różnych parametrów statystycznych populacji mamy możliwość pobierania z tej populacji wielu prób. Jeśli jest to niemożliwe możemy posłużyć się pobieraniem wielokrotnie prób z tej próby, którą posiadamy. Postępowanie takie jest sensowne pod warunkiem, że próba, która służy nam do generowania innych możliwych pobrań próby jest ''reprezentatywna''. '''W bootstrapie losujemy ze zwracaniem''' (dlaczego?). 

== Przedział ufności dla średniej ==
=== Przypadek 1: znana wariancja rozkładu ===
Rozważamy zmienną losową podlegającą rozkładowi <math>N(\mu,\sigma^2)</math> czyli rozkładowi normalnemu o średniej <math> \mu</math> i znanym odchyleniu standardowym <math> \sigma</math>.
Pobieramy próby tych zmiennych losowych o rozmiarze <math>n</math>. Przypomnijmy, że średnia z takiej próby też może być traktowana jako zmienna losowa. [http://brain.fuw.edu.pl/edu/STAT:Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej Podlega ona rozkładowi] normalnemu o średniej <math> \mu</math> i standardowym odchyleniu <math>\frac{\sigma}{\sqrt{n}}</math> czyli <math>N\left( \mu,\frac{\sigma^2}{n} \right)</math>.

Oznacza to, że zmienna <math>\frac{\bar x - \mu}{\sigma/\sqrt{n}} </math> podlega rozkładowi <math> N(0,1)</math> czyli <math> Z</math>. Konstrukcja przedziału ufności dla średniej polega zatem na znalezieniu takich wartości <math>z_{\alpha/2}</math>, że:
: <math> P \left( \left|\frac{\bar x - \mu}{\sigma/\sqrt{n}} \right| \le z_{\alpha/2}\right) = 1-\alpha </math>
Zatem przedział ufności <math> (1-\alpha)*100</math>% :
: <math> \left[ \bar x - z_{\alpha/2}\frac{\sigma}{\sqrt n} ,\;\;\; \bar x+ z_{\alpha/2}\frac{\sigma}{\sqrt n} \right] </math>.

==== Przykład ====
Wyciągamy losową próbę <math> (n = 25)</math> z populacji o rozkładzie normalnym. Dostajemy średnią z próby <math> \bar x = 122</math>. Załóżmy, że znamy standardowe odchylenie populacji <math> \sigma = 20</math>.
* Oblicz przedział ufności 95% dla średniej populacji <math> \mu</math>.
* Co zrobić aby zmniejszyć obliczony przedział 10-krotnie?

Korzystając z tablic znajdujemy <math> z_{\alpha/2} = z_{2,5\%} = -1,96</math>.

: Wartość tą możemy uzyskać wołając w pythonie:
: <source lang =python>st.norm.ppf(0.025)</source>

<math>
\bar x \pm 1,96 \frac{\sigma}{\sqrt{n}} = 122 \pm 1,96\cdot\frac{20}{\sqrt{25}} = 122 \pm 7,84 = [\mathrm{114,16} \;\;\; 129,84]</math>

Możemy być pewni na 95%, że nieznana średnia populacji <math> \mu</math> znajduje się pomiędzy 114,16 a 129,84. Jeśli chcemy zmniejszyć przedział ufności 10-krotnie, musimy pobrać 100 razy większą próbę tj. ''n'' = 2500.

: Pracując z modułem scipy.stats mamy do dyspozycji rozkłady normalne <math>N(\mu,\sigma)</math> o dowolnych parametrach <math>\mu</math> i <math>\sigma</math>.
: Możemy więc uzyskać interesujący nas przedział ufności przy pomocy pojedynczego wywołania:
: <source lang =python>st.norm.ppf([0.025, 0.975],loc = 122, scale = 20.0/25**0.5)</source> gdzie <tt>loc = </tt> <math>\mu</math> oraz <tt>scale = </tt><math>\sigma</math>.

==== Zadanie ====
Importer win musi zbadać średnią zawartość alkoholu w nowej partii win francuskich. Z doświadczenia z poprzednimi gatunkami wina, przyjmuje on, że standardowe odchylenie w populacji wynosi 1,2%. Importer wybrał losową próbę 60 butelek nowego wina i otrzymał średnią z próby 9,3%. Znaleźć przedział ufności 90% dla średniej zawartości alkoholu w nowej partii win.

''Odp.'': [9,0452 9,5548].


===Przypadek 2: nieznana wariancja rozkładu ===
Sytuacja zmienia się jeśli zakładamy, że próba pochodzi z rozkładu normalnego o śreniej <math>\mu</math> i nieznanej wariancji.
Musimy wówczas zamiast wariancji posłużyć się jej estymatorem <math>s^2 = \frac{1}{n-1} \sum_{i=1}^n {\left(x_i-\mu\right)^2}</math>.
Zmienna losowa <math>\frac{\bar x - \mu}{s/\sqrt{n}} </math> podlega rozkładowi <math>t_{n-1}</math> (czytaj: rozkładowi ''t'' o ''n''−1 stopniach swobody). Konstrukcja przedziału ufności dla średniej polega zatem na znalezieniu takich wartości <math>t_{\alpha/2}</math> w rozkładzie ''t'' o ''n''−1 stopniach swobody, że:
: <math> P \left( \left|\frac{\bar x - \mu}{s/\sqrt{n}} \right| \le t_{\alpha/2}\right) = 1-\alpha </math>

Zatem przedział ufności <math> (1-\alpha)\cdot 100</math>% dla średniej <math>\mu</math>, gdy nie znamy odchylenia standardowego <math>\sigma</math>, a jedynie jego estymatę:
:: <math>
\left[
\bar x- t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}, \,\,\,\,\, \bar x+ t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}\right]
</math>
:gdzie <math> t_{\alpha/2}</math> jest wartością, która odcina obszar α/2 z rozkładu <math> t</math> z ''n''−1 stopniami swobody.

;Uwaga: w Pythonie możemy skorzystać z funkcji modułu <tt>numpy</tt> do obliczania wartości estymatorów:
:* ''s'' <tt>numpy.std</tt>
:* <math>\bar x</math> <tt>numpy.mean</tt>
==== Przykład ====
Lekarz chce zbadać średni czas trwania kuracji tj. od podania leku do ustąpienia objawów w pewnej chorobie. Losowa próba 15 pacjentów dała średni czas <math>\bar x = 10,37</math> dnia i odchylenie standardowe <math>s = 3,5</math> dnia. Zakładając normalny rozkład w populacji czasów trwania kuracji znaleźć 95% przedział ufności dla średniego czasu trwania kuracji.

Znajdujemy wartość z rozkładu <math> t</math> o ''n''−1 (=14) stopniach swobody, która odcina obszar <math> \alpha/2 = 0,025</math>. <math> t_{0,025} = 2,145</math>.
: w pythonie: <source lang =python>st.t.ppf(0.025,14)</source>
Dostajemy więc <math> \bar x \pm t_{\alpha/2}\frac{s}{\sqrt{n}} = 10,37 \pm 2,145\cdot\frac{3,5}{\sqrt{15}} = [8,\!43\ 12,\!31]</math>.

: Podobnie jak w poprzednim przykładzie możemy też skorzystać z tego, że w scipy.stats definiowane są rozkłady <math>t</math> o dowolnych parametrach i wykonać całe obliczenia jednym wywołaniem funkcji:
: <source lang =python>st.t.ppf([0.025, 0.975], 14, loc = 10.37, scale = 3.5/15**0.5)</source>

Lekarz może być pewny, że w 95% przypadków od podania leku do ustąpienia objawów upłynie czas pomiędzy 8,43 a 12,31 dnia.

==== Zadanie ====
Producent opon rowerowych chce oszacować średni dystans jaki można przejechać na oponie pewnego rodzaju zanim opona się zużyje. Pobrano losową próbę 32 opon, opona jest używana aż do przetarcia i odległość przejechana na każdej oponie jest rejestrowana. Dane (w tysiącach kilometrów) są następujące:

32, 33, 28, 37, 29, 30, 25, 27, 39, 40, 26, 26, 27, 30, 25, 30, 31, 29, 24, 36, 25, 37, 37, 20, 22, 35, 23, 28, 30, 36, 40, 41

Znaleźć 99% przedział ufności dla średniego przebiegu opon tego rodzaju. Zadanie rozwiązać analogicznie jak powyższy przykład.

''Odp'': [ 27,76 33,36].

<source lang = python>
import scipy.stats as st
import numpy as np

X=np.array([32, 33, 28, 37, 29, 30, 25, 27, 39, 40, 26, 26, 27, 30, 25, 30, 31, 29, 24, 36, 25, 37, 37, 20, 22, 35, 23, 28, 30, 36, 40, 41])
alfa=0.01

N=len(X)
x_sr = X.mean()
s=X.std(ddof=1)
s_sr=s/N**0.5

print(st.t.ppf([alfa/2,1-alfa/2],df=N-1,loc=x_sr,scale=s_sr))
</source>

Zadanie to można rozwiązać także w oparciu o bootstrap, wykorzystując funkcję zwracającą wartość zadanego [http://brain.fuw.edu.pl/edu/WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Kwantyle kwantyla] dla danego rozkładu. Rozkład jest tu zadany empirycznie w postaci zbioru.
: <source lang = python> st.scoreatpercentile(zbiór, kwantyl) </source>
Proszę zwrócić uwagę na rozbieżności w wynikach. Z czego one wynikają?

<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st
# rozwiązanie przez bootstrap

def randsample(x):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = n)
y = x[ind]
return y

N_rep = 100000
x = np.array([32, 33, 28, 37, 29, 30, 25, 27, 39, 40, 26, 26, 27, 30, 25, 30, 31, 29, 24, 36,
25, 37, 37, 20, 22, 35, 23, 28, 30, 36, 40, 41])

r = np.zeros((N_rep,1))
for i in range(N_rep):
x_boot = randsample(x)
r[i] = np.mean(x_boot)
ci_d = st.scoreatpercentile(r, 0.5) #uwaga: ta funkcja jako arg. bierze procenty a nie ułamki dziesiętne!
ci_g = st.scoreatpercentile(r, 99.5)
print('Z bootstrapu: ', ci_d, '-', ci_g)
</source>

== Przedział ufności dla wariancji ==
Zauważmy, że:
:<math> \frac{\sum_{i=1}^N\left(x_i-\bar{x}\right)^2}{\sigma^2}</math>
podlega rozkładowi <math> \chi^2_{N-1}</math> o ''N''−1 stopniach swobody, zaś nieobciążony estymator wariancji to
:<math> s^2=\frac{1}{N-1}\sum_{i=1}^N \left(x_i-\bar{x}\right)^2 </math>
Zatem zmienna losowa
:<math> \frac{s^2(N-1)}{\sigma^2}</math>
także podlega rozkładowi <math> \chi^2_{N-1}</math>.

Aby znaleźć <math>(1-\alpha) </math>100% przedział ufności dla wariancji, musimy wyznaczyć
takie wartości krytyczne <math> \chi^2_{N-1,\alpha/2}</math>
oraz <math> \chi^2_{N-1,1-\alpha/2}</math> aby:
:<math>P\left( \chi^2_{N-1,\alpha/2} < \frac{s^2(N-1)}{\sigma^2}< \chi^2_{N-1,1-\alpha/2} \right) = 1-\alpha</math>

<math>\chi^2_{N-1,\alpha/2}</math> jest wartością, która odcina na lewo obszar α/2 z rozkładu chi-kwadrat z ''n''−1 stopniami swobody. <math>\chi^2_{N-1,1-\alpha/2}</math> jest wartością, która odcina na prawo obszar α/2 z rozkładu chi-kwadrat z ''n''−1 stopniami swobody (lub równoważnie: odcina na lewo obszar 1−α/2).

Powyższe wyrażenie jest równoważne:
:<math>P\left( \frac{(N-1)s^2}{\chi^2_{N-1,1-\alpha/2}} < \sigma^2< \frac{(N-1)s^2}{\chi^2_{n-1,\alpha/2}} \right) = 1-\alpha</math>

Zatem przedział ufności <math>(1-\alpha)*100</math> % dla wariancji populacji <math> \sigma^2</math>, gdy rozkład populacji jest normalny:
:<math>
\left[\frac{(n-1)s^2}{\chi^2_{N-1,1-\alpha/2}}, \;\; \frac{(n-1)s^2}{\chi^2_{N-1,\alpha/2}} \right]
</math>

=== Zadanie ===
Automat do kawy nalewa kawę do kubków. Jeśli średnia porcja kawy w kubku odbiega od normy, maszynę można wyregulować. Jeśli jednak wariancja porcji kawy jest zbyt duża, maszyna wymaga reperacji. Od czasu do czasu przeprowadzana jest kontrola wariancji porcji kawy. Odbywa się to poprzez wybór losowej próby napełnionych kubków i policzenie wariancji próby. Losowa próba 30 kubków dała wariancję próby <math> s^2 = 18,54</math>. Obliczyć 95% przedział ufności dla wariancji populacji <math> \sigma^2</math>.

''Wskazówka: rozkład'' <math>\chi^2</math> ''dostępny jest w module scipy.stats jako '' <tt>chi2</tt>

''Odp'': [11,759 33,505].

<source lang=python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st

n = 30
s2 = 18.54
alfa = 0.05

chi_kryt_d = st.chi2.ppf(1-alfa/2, df=n-1)
chi_kryt_g = st.chi2.ppf(alfa/2, df=n-1)

ci_d = (n-1)*s2/chi_kryt_d
ci_g = (n-1)*s2/chi_kryt_g
print('przedział ufności: %(d).3f %(g).3f'%{'d':ci_d, 'g':ci_g})
</source>

== Rozmiar próby ==

Gdy pobieramy próbę, często chcielibyśmy znać minimalny rozmiar próby, który zapewni nam żądaną precyzję wyniku.

Musimy odpowiedzieć sobie na trzy pytania:
* Jak nasze oszacowanie nieznanego parametru ma być bliskie prawdziwej wartości? Odpowiedź oznaczmy <math> D</math> (dystans).
* Jaki chcemy mieć poziom ufności, że nasze oszacowanie i prawdziwa wartość parametru są od siebie oddalone o nie więcej niż ''D''?
* Jakie jest oszacowanie wariancji w populacji?

Jeśli nie znamy odpowiedzi na pkt. 3 przeprowadzamy tzw. ''pilot study'' i szacujemy <math> \sigma</math> na podstawie odchylenia std. próby.

Średnia <math>\bar x</math> podlega rozkładowi normalnemu <math>N(\mu,\sigma^2/\sqrt{n})</math>.
Wymagana odległość pomiędzy <math>\bar x -\mu =D</math>. Korzystając z transformacji do rozkładu standardowego ''Z'' możemy zapisać <math>\bar x = \mu +z \sigma/\sqrt{n}</math>. Podstawiając do poprzedniego wyrażenia otrzymujemy
minimalny rozmiar próby potrzebny do oszacowania średniej populacji <math> \mu</math>, który wynosi:
:<math>
n=\frac{z_{\alpha/2}^2\sigma^2}{D^2}
</math>
W przypadku nieznajomości <math>\sigma</math> korzystamy z jej [http://brain.fuw.edu.pl/edu/index.php/WnioskowanieStatystyczne/Statystyki_i_estymatory nieobciążonego estymatora] <math>s</math>.

=== Zadanie ===
Biuro podróży chce oszacować średnią ilość pieniędzy wydaną na wakacje przez osoby korzystające z jego usług. Ludzie przeprowadzający analizę chcieliby móc oszacować średni koszt wakacji z dokładnością do 200 zł na poziomie ufności 95%. Z poprzednich doświadczeń tego biura podróży wynika, że odchylenie standardowe w populacji wynosi <math> \sigma = 400</math> zł. Jaka będzie minimalna wielkość próby?

''Odp'': <math> n = 15,366</math> więc wielkość próby wynosi 16 (zaokrąglamy w górę).

<source lang=python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

alfa = 0.05
x=np.ones(100)
x[56:]=0
Nboot=100000
A=np.zeros(Nboot)
for i in range(Nboot):
ankieta=randsample(x,1500)
A[i]=np.sum(ankieta)/1500.0
lo = st.scoreatpercentile(A, per = alfa/2*100)
hi = st.scoreatpercentile(A, per = (1-alfa/2)*100)
print('przedzial ufnosci: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,x,patch) = py.hist(A,bins = biny )
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')
py.show()
</source>

== Przykład z bootstrapem ==
Rozważmy sondę przedwyborczą, mamy dwóch kandydatów na prezydenta. Ankietowano 1500 osób. 840 osób deklarowało poparcie dla kandydata A zaś 660 dla kandydata B. Na ile pewny może być kandydat A swojego zwycięstwa?
* Jak dokładnie brzmi pytanie? W terminologii przedziałów ufności możemy je sformułować następująco: Jaki jest 95% przedział ufności dla poparcia kandydata A w całej populacji? Czy też innymi słowami: W jakim przedziale na 95% znajduje się proporcja glosujących popierających kandydata A.
* Nasze najlepsze mniemanie o własnościach &bdquo;świata” z którego pochodzą dane otrzymujemy ze zwykłej proporcji. Wynika z niej, że kandydat A ma poparcie 56% zaś kandydat B poparcie 44% wyborców.
* Przypiszmy do kandydata A &bdquo;1” zaś do B &bdquo;0” (w ten sposób tworzymy zmienną losową: oddany głos).
* Pobranie ankiety modelujemy przez pobranie losowo 1500 próbek z modelu naszego &bdquo;świata” czyli wektora złożonego z 56 jedynek i 44 zer. Wynikiem jednej ankiety jest proporcja popierających kandydata A (lub B)
* Zbieramy rozkład proporcji - musimy w tym celu &bdquo;przeprowadzić” wielokrotnie ankietę. Narysujmy histogram.
* Chcemy znaleźć 95% przedział ufności musimy znaleźć kwantyl 2,5 oraz 97,5.
Liczby te stanowią poszukiwany przedział ufności.

<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

alfa = 0.05
x=np.ones(100)
x[56:]=0
Nboot=10000
A=np.zeros(Nboot)
for i in range(Nboot):
ankieta=randsample(x,1500)
A[i]=np.sum(ankieta)/1500.0
lo = st.scoreatpercentile(A, per = alfa/2*100)
hi = st.scoreatpercentile(A, per = (1-alfa/2)*100)
print('przedzial ufnosci: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+11*szer_binu, szer_binu)
(n,x,patch) = py.hist(A,bins = biny )
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')
py.show()
</source>

== Zadania ==
=== Przyrost masy w nowej diecie ===
Producent karmy dla zwierząt chciał przetestować nowy rodzaj karmy. Próbki podawał 12 zwierzakom przez 4 tygodnie. Po tym czasie zanotował następujące przyrosty masy:

15.43, 16.92, 14.43, 12.94, 15.92, 17.42, 18.91, 16.92, 14.93, 14.49, 15.92, 15.43 kg

średni przyrost wynosi 15.80 kg. Producent widzi jednak, że w próbie jest dość znaczny rozrzut pomiędzy poszczególnymi zwierzętami 12,94-18,91 i nie jest pewien czy można reklamować nowy produkt podając średni przyrost 15,8 kg. Podejrzewa, że inna grupa zwierząt może mieć zupełnie inną średnią.
* Używając powyższych danych znajdź 95% przedział ufności na średni przyrost masy.
* Wynik zilustruj przy pomocy histogramu.
* Jaki byłby wynik przy założeniu, że masy zwierząt pochodzą z rozkładu normalnego?

''Odp:''
: zakładając, że ''x'' pochodzi z rozkładu normalnego:
: [14,80 16,81];
: bootstrap: 14,94-16,67.

<source lang = python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.array([15.43, 16.92, 14.43, 12.94, 15.92, 17.42, 18.91, 16.92, 14.93, 14.49, 15.92, 15.43])

alfa = 0.05
Nboot=int(1e5)

Xsr=X.mean()
s=X.std(ddof=1)
N=len(X)
print("średnia",Xsr)

M=np.zeros(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
M[i]=xb.mean()

lo,hi = st.t.ppf([alfa/2,1-alfa/2],df=N-1,loc=Xsr,scale=s/N**0.5)
print('przedzial ufnosci z założenia o normalności: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

lo = st.scoreatpercentile(M, per = alfa/2*100)
hi = st.scoreatpercentile(M, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,x,patch)=py.hist(M,bins=biny)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

py.show()
</source>

=== Zawartość aluminium w Tebańskich naczyniach. ===
Zawartość procentowa aluminium w 18 antycznych naczyniach z Teb była następująca: 
11.4, 13.4, 13.5, 13.8, 13.9, 14.4, 14.5, 15, 15.1, 15.8, 16, 16.3, 16.5, 16.9, 17, 17.2, 17.5, 19.0 
Jaka jest mediana procentowej zawartości aluminium i jaki jest 95% przedział ufności?

''Odp'':
:mediana 15,45 i przedział ufności: 14,20 16,70.

<source lang = python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.array([11.4, 13.4, 13.5, 13.8, 13.9, 14.4, 14.5, 15, 15.1, 15.8, 16, 16.3, 16.5, 16.9, 17, 17.2, 17.5, 19.0])

alfa = 0.05
Nboot=int(1e5)

Xmed=np.median(X)
N=len(X)
print("mediana probki",Xmed)

M=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
M[i]=np.median(xb)

lo = st.scoreatpercentile(M, per = alfa/2*100)
hi = st.scoreatpercentile(M, per = (1-alfa/2)*100)
print('przedzial ufnosci dla mediany (z bootstrapu): %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
(n,x,patch)=py.hist(M,bins=10)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')
py.show()

</source>

=== Średnica drzew ===
Ogrodnik eksperymentuje z nowym gatunkiem drzew. Posadził 20 sztuk i po dwóch latach zmierzył następujące średnice pni (w cm):
8.5, 7.6, 9.3, 5.5, 11.4, 6.9, 6.5, 12.9, 8.7, 4.8, 4.2, 8.1, 6.5, 5.8, 6.7, 2.4, 11.1, 7.1, 8.8, 7.2
* Proszę znaleźć średnią średnicę i 90% przedział ufności dla średniej.
* Proszę znaleźć medianę i 90% przedział ufności dla mediany.
* Obydwa wyniki zilustrować przy pomocy histogramów.
''Odp:''
: średnia: 7,50 i przedzial ufnosci dla średniej: [6,61 8,41];
: mediana 7,15 i przedzial ufnosci dla mediany: [6,50 8,50].

<source lang = python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

def hist_z_przedzialem(x,hi,lo):
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,bin_x,patch) = py.hist(x,bins = biny );
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

X=np.array([8.5, 7.6, 9.3, 5.5, 11.4, 6.9, 6.5, 12.9, 8.7, 4.8, 4.2, 8.1, 6.5, 5.8, 6.7, 2.4, 11.1, 7.1, 8.8, 7.2])

alfa = 0.1
Nboot=int(1e5)

N=len(X)
print("Średnia próbki",np.mean(X))
print("Mediana próbki",np.median(X))
print("Liczebność próbki",N)

Sr=np.empty(Nboot)
Med=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
Med[i]=np.median(xb)
Sr[i]=np.mean(xb)

lo = st.scoreatpercentile(Sr, per = alfa/2*100)
hi = st.scoreatpercentile(Sr, per = (1-alfa/2)*100)
print('przedzial ufnosci dla średniej: %(lo).3f - %(hi).3f'%{'lo':lo,'hi':hi})
py.subplot(2,1,1)
hist_z_przedzialem(Sr,hi,lo)

lo = st.scoreatpercentile(Med, per = alfa/2*100)
hi = st.scoreatpercentile(Med, per = (1-alfa/2)*100)
print('przedzial ufnosci dla mediany: %(lo).3f - %(hi).3f'%{'lo':lo,'hi':hi})
py.subplot(2,1,2)
hist_z_przedzialem(Med,hi,lo)

py.show()
</source>

=== Przedział ufności dla proporcji ===
W badaniach nad cholesterolem u ludzi stwierdzono, że w grupie 135 badanych z wysokim poziomem cholesterolu 10 osób przeszło zawał serca.

''Pytanie'': Jaki jest 95% przedział ufności dla proporcji 10/135?

* Proszę wykorzystać metodę bootstrapu.
* Proszę wykorzystać rozkład dwumianowy.

''Odp'': proporcja 10/135 = 0,07 i jej 95% przedział ufności [0,03 0,12].

<source lang =python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.zeros(135)
X[:10]=1

alfa = 0.05
Nboot=int(1e5)

N=len(X)

Proporcja=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
Proporcja[i]=np.sum(xb)/N

lo = st.scoreatpercentile(Proporcja, per = alfa/2*100)
hi = st.scoreatpercentile(Proporcja, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
(n,x,patch)=py.hist(Proporcja,bins=np.arange(0,1,1/135)-1/270)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

p=10/135
lo,hi = st.binom.ppf([alfa/2,1-alfa/2],N,p)/N
print('przedzial ufnosci z rozkładu dwumianowego: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

py.show()
</source>

=== Bezrobotni ===
W próbce 200 osób 7 procent jest bezrobotnych. Określić 95% przedział ufności dla odsetka bezrobotnych w populacji.

''Odp'': Średnia 7% i jej 95% przedział ufności [3,50 10,50].

<source lang =python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

X=np.zeros(100)
X[:7]=1

alfa = 0.05
Nboot=int(1e5)

N=200

Proporcja=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
Proporcja[i]=np.sum(xb)/N*100 #chcemy procenty i dlatego mnożymy przez 100

lo = st.scoreatpercentile(Proporcja, per = alfa/2*100)
hi = st.scoreatpercentile(Proporcja, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
(n,x,patch)=py.hist(Proporcja,bins=30)
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

p=7/100
lo,hi = st.binom.ppf([alfa/2,1-alfa/2],N,p)/N*100
print('przedzial ufnosci z rozkładu dwumianowego: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

py.show()
</source>

=== Żywotność baterii ===
W próbce 20 testowanych baterii stwierdzono średni czas życia 28,85 miesiąca. Określić 95% przedział ufności dla średniej. Wartości dla badanej próbki były następujące: 
30, 32, 31, 28, 31, 29, 29, 24, 30, 31, 28, 28, 32, 31, 24, 23, 31, 27, 27, 31 miesięcy 
Obejrzeć rozkład przy pomocy <tt>histfit</tt> i zbadać jaki wpływ na przedział ufności ma przyjęcie założenia o normalności rozkładu czasów życia.

''Odp'': Średnia 28,85 i jej 95% przedział ufności [27,65 29,95].

<source lang =python>
def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Tu w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[:-1]+bins[1:])
# wytwarzamy array z centrami binów korzystając z granic słupków
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej mi i wariancji sigma**2 dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

<source lang =python>
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

def hist_z_przedzialem(x,hi,lo):
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+10*szer_binu, szer_binu)
(n,bin_x,patch) = py.hist(x,bins = biny );
py.plot([lo, lo] , [0, np.max(n)] ,'r' )
py.plot([hi,hi],[0, np.max(n)],'r')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Tu w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[:-1]+bins[1:])
# wytwarzamy array z centrami binów korzystając z granic słupków
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej mi i wariancji sigma**2 dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

X=np.array([30, 32, 31, 28, 31, 29, 29, 24, 30, 31, 28, 28, 32, 31, 24, 23, 31, 27, 27, 31])

print("Średnia próbki",np.mean(X))

alfa = 0.05
Nboot=int(1e5)

Xsr=X.mean()
s=X.std(ddof=1)
N=len(X)

M=np.empty(Nboot)
for i in range(Nboot):
xb=randsample(X,N)
M[i]=xb.mean()

lo,hi = st.t.ppf([alfa/2,1-alfa/2],df=N-1,loc=Xsr,scale=s/N**0.5)
print('przedzial ufnosci z założenia o normalności: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})

lo = st.scoreatpercentile(M, per = alfa/2*100)
hi = st.scoreatpercentile(M, per = (1-alfa/2)*100)
print('przedzial ufnosci z bootstrapu: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
hist_z_przedzialem(M,hi,lo)

py.figure()
histfit(M,20)

py.show()
</source>

=== Pomiary ===
Mamy 10 pomiarów pewnej wielkości: 
0.02, 0.026, 0.023, 0.017, 0.022, 0.019, 0.018, 0.018, 0.017, 0.022 
Proszę znaleźć średnią i 95% przedział ufności.

''Odp'':Średnia 0,020 i jej 95% przedział ufności [0,0185 0,0220].

Czy pomiarów jest wystarczająco dużo aby sensownie wyznaczyć średnią i przedział ufności?

''Wskazówka'': Obliczyć średnie dla 1 000 000 powtórzeń i obejrzeć histogramy dla 10, 20, 30, 100, i 200 przedziałów.

<source lang = python>
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = n)
y = x[ind]
return y

dane = np.array([0.02, 0.026, 0.023, 0.017, 0.022, 0.019, 0.018, 0.018, 0.017, 0.022]);

N_rep = 1000000
srednie = np.zeros(N_rep)

for i in range(N_rep):
proba = randsample(dane)
srednie[i] = np.mean(proba)

ci_d = st.scoreatpercentile(srednie, 2.5)
ci_g = st.scoreatpercentile(srednie, 97.5)
print('Średnia %(prop).4f i jej 95proc. przedział ufności [%(d).4f %(g).4f]'%{'prop':np.mean(dane),'d':ci_d, 'g': ci_g})
py.subplot(5,1,1)
py.hist(srednie,10)
py.subplot(5,1,2)
py.hist(srednie,20)
py.subplot(5,1,3)
py.hist(srednie,30)
py.subplot(5,1,4)
py.hist(srednie,100)
py.subplot(5,1,5)
py.hist(srednie,200)

py.show()
</source>

WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych

2021-02-18T10:21:30Z

Atartas: /* Zadanie */

==Pojęcia wstępne==
=== Zmienna losowa===
;Intuicyjnie: Zmienna losowa to taka zmienna, która przyjmuje pewną konkretną wartość w wyniku przeprowadzenia pomiaru lub eksperymentu. Na przykład zmienną losową jest liczba oczek, która wypada na kostce do gry. Dopóki trzymamy kostkę w ręce to nie wiemy jaką wartość ta zmienna przyjmie, konkretną wartość zmienna ta przyjmuje po rzucie. Jednak w kolejnych rzutach nie wiemy jakie będą jej wartości.
;Bardziej formalnie: Zmienna losowa to funkcja przypisująca zdarzeniom elementarnym liczby.
;Zupełnie formalnie:
Do formalnej definicji potrzebne jest nam pojęcie przestrzeni probabilistycznej:
Przestrzeń probabilistyczna to układ trzech elementów <math>(\Omega, F,P)</math>, gdzie:
* <math>\Omega</math> jest pewnym zbiorem, zwanym przestrzenią zdarzeń elementarnych,
* <math>F</math> jest [http://pl.wikipedia.org/wiki/Sigma-ciało <math>\sigma</math>-ciałem] podzbiorów zbioru <math>\Omega</math>. Elementy tego <math>\sigma</math>-ciała nazywane są zdarzeniami losowymi,
* <math>P: F\rightarrow [0,1]</math> jest miarą probabilistyczną, tzn.
** <math>P(A) \ge 0 </math> dla każdego <math>A \in F</math>,
** <math>P(\Omega) = 1</math>,
** jeżeli zbiory <math>A_1, A_2,\dots,A_n \in F</math> są parami rozłączne, to <math>P\left( \bigcup\limits_{i=1}^{\infty} A_i \right ) = \sum_{i=1}^{\infty} P(A_i) </math>.

Niech <math>(\Omega, F,P)</math> będzie przestrzenią probabilistyczną. '''Zmienną losową''' nazywamy dowolna funkcję <math>X</math>, określoną na przestrzeni zdarzeń elementarnych <math>\Omega</math>, o wartościach ze zbioru liczb rzeczywistych i [http://pl.wikipedia.org/wiki/Funkcja_mierzalna mierzalną] względem przestrzeni <math>(\Omega, F,P)</math>. Zmienna losowa jest ciągła jeśli jej zbiór wartości jest ciągły, lub dyskretna, jeśli jej zbiór wartości jest dyskretny.

=== Rozkład prawdopodobieństwa===
Rozkład prawdopodobieństwa — (rozkład zmiennej losowej) miara probabilistyczna określona na <math>\sigma</math>-ciele podzbiorów zbioru wartości zmiennej losowej, pozwalająca przypisywać prawdopodobieństwa zbiorom wartości tej zmiennej, odpowiadającym zdarzeniom losowym.

Dla zmiennej losowej dyskretnej możemy wprowadzić pojęcie '''funkcji prawdopodobieństwa''':
<math>P(X=x_i) = p_i</math>

Przykład: Dla rzutów monetą funkcję prawdopodobieństwa można zobrazować jako tabelkę:
{| class="wikitable" border="1"
|-
|
! Zdarzenie:
! orzeł
! reszka
|-
|zmienna losowa
|<math>x_i</math>
|0
|1
|-
| prawdopodobieństwo
| <math>p_i</math>
| 1/2
| 1/2
|-
|}

Można też przedstawić ją na wykresie:

[[Plik:Rozklad_moneta_1.gif|600px]]

Dla zmiennej losowej ciągłej zamiast funkcji prawdopodobieństwa wprowadzamy '''funkcję gęstości prawdopodobieństwa'''. Jest to funkcja określona na zbiorze liczb rzeczywistych posiadająca następujące własności:
* jest nieujemna: <math>f(x) \ge 0 </math>
* prawdopodobieństwo tego, że zmienna losowa przyjmie wartość z przedziału <math>(a,b]</math>: <math> \int_a^b f(x) dx = P(a<X \le b) </math>
[[Plik:Funkcja_gestosci_prawdopodobienstwa.png]]
* Prawdopodobieństwo tego, że zmienna losowa przyjmie dowolną wartość: <math> \int_{-\infty}^{+\infty} f(x) dx = P(-\infty <X \le +\infty) = 1 </math>

=== Dystrybuanta ===
Dystrybuantą zmiennej losowej <math>X</math> nazywamy funkcję <math>F(x)</math> określoną na zbiorze liczb rzeczywistych jako:
<math>F(x) = P(X \le x)</math>

czyli wartość dystrybuanty w punkcie <math>x</math> jest prawdopodobieństwem, że zmienna losowa przyjmie wartość nie większą niż <math>x</math>.
* Dla zmiennej dyskretnej:
: <math>F(x)=P(X \le x) = \sum_{x_i<x}{P(X = x_i) } = \sum_{x_i<x}p_i</math>
* Dla zmiennej losowej ciągłej z funkcją gęstości prawdopodobieństwa <math>f</math>:
: <math>F(x) = P(X \le x)= \int_{-\infty}^x f(s) ds </math>

Zauważmy ścisły związek dystrybuanty z funkcją prawdopodobieństwa w przypadku dyskretnym i funkcją gęstości prawdopodobieństwa w przypadku ciągłym.

Przykład z monetą:

[[Plik:Rozklad_moneta.svg|600px]]

=== Momenty ===
Dla zmiennej losowej można obliczyć momenty zwykłe lub centralne.

;Moment zwykły: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi tej zmiennej. Oblicza się go tak:
* dla dyskretnej zmiennej losowej
: <math>m_k = E(X^k) = \sum_{i} {x_i^k p_i} </math>

: tu <math>p_i</math> oznacza prawdopodobieństwo, że <math>X = x_i</math>

* dla ciągłej zmiennej losowej
: <math> m_k = E(X^k) = \int\limits_{-\infty}^{\infty} {x^k f(x)dx}</math>

: tu <math>f(x)</math> jest funkcją gęstości prawdopodobieństwa.

Zauważmy, że pierwszy moment zwykły to średnia.

;Moment centralny: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi funkcji <math>[x_i - E(x_i)]</math>. Zatem możemy go obliczyć tak:
* dla dyskretnej zmiennej losowej
: <math>
\mu_k = E\left( \left[ X-E(X) \right] ^k \right) = \sum_{i} {\left[x_i-E(X)\right]^k p_i}
</math>

* dla ciągłej zmiennej losowej
: <math>
\mu_k = E\left(\left[X-E(X)\right]^k\right) = \int\limits_{-\infty}^{\infty} { \left[X-E(X)\right]^k f(x)dx}
</math>

Uwaga:
* Drugi moment centralny ma swoją nazwę. Jest to '''wariancja''', często oznaczana przez <math>\sigma^2</math>.
* Trzeci moment centralny przydaje się do badania symetrii rozkładu. Przyjmuje on wartość 0 dla zmiennych o rozkładzie symetrycznym, wartości ujemne dla zmiennych o rozkładzie wydłużonym w lewą stronę i wartości dodatnie dla zmiennych o rozkładzie wydłużonym w prawą stronę.
* Czwarty moment centralny jest przydatny do konstrukcji miary spłaszczenia rozkładu zmiennej losowej '''kurtozy'''. Definiuje się ją następująco:
: <math> \mathrm{Kurt} = \frac{\mu_4}{\mu_2^4} - 3 </math>
Rozkłady prawdopodobieństwa można podzielić ze względu na wartość kurtozy na rozkłady:
* mezokurtyczne — wartość kurtozy wynosi 0, spłaszczenie rozkładu jest podobne do spłaszczenia rozkładu normalnego (dla którego kurtoza wynosi dokładnie 0)
* leptokurtyczne — kurtoza jest dodatnia, wartości cechy bardziej skoncentrowane niż przy rozkładzie normalnym
* platokurtyczne — kurtoza jest ujemna, wartości cechy mniej skoncentrowane niż przy rozkładzie normalnym

=== Kwantyle ===
Kwantylem rzędu ''p'', gdzie <math>0 \leqslant p \leqslant 1</math>, w rozkładzie empirycznym <math> P_{X} </math> zmiennej losowej <math>X</math> nazywamy każdą liczbę <math>x_{p}</math>, dla której spełnione są nierówności

: <math>
P_X((-\infty, x_p]) \geqslant p
</math>

oraz

: <math>
P_X([x_p,\infty)) \geqslant 1-p.
</math>

W szczególności, kwantylem rzędu ''p'' jest taka wartość <math>x_{p}</math> zmiennej losowej, że wartości mniejsze lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej ''p'', zaś wartości większe lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej 1−''p''.

Możemy zatem myśleć o obliczaniu kwantyla tak:
* zaobserwowaliśmy ''n'' wartości zmiennej losowej,
* zapiszemy te wartości na liście,
* następnie listę tę sortujemy w porządku rosnącym,
* kwantylem rzędu ''p'' jest albo element znajdujący się na liście w pozycji ''np'' jeśli ''np'' jest całkowite albo średnią z elementów położonych najbliżej ''np'' w przeciwnym wypadku.
==== Nazwy poszczególnych kwantyli ====
Kwantyl rzędu 1/2 to inaczej mediana (ściślej zależy to od definicji mediany, przy jej obliczaniu z próbki o parzystej liczbie elementów często stosuje się średnią arytmetyczną dwóch środkowych elementów, szczegóły są w artykule). 
Kwantyle rzędu 1/4, 2/4, 3/4 są inaczej nazywane kwartylami. 
Kwantyle rzędu 1/5, 2/5, 3/5, 4/5 to inaczej kwintyle. 
Kwantyle rzędu 1/10, 2/10, ..., 9/10 to inaczej decyle. 
Kwantyle rzędu 1/100, 2/100, ..., 99/100 to inaczej percentyle. 

==Pseudolosowość==
W obliczeniach numerycznych często korzystamy z liczb &bdquo;losowych”. Tak naprawdę sekwencje liczb, których używamy są jedynie pseudolosowe,
tzn. są wytwarzane w deterministyczny (algorytmiczny) sposób, ale sekwencja generowanych wartości ma pewne cechy losowości. W idealnym przypadku cechą tą jest nieprzewidywalność: na podstawie obserwacji dotychczasowych wartości sekwencji niemożliwe jest podanie kolejnych wartości. W praktyce oznacza to nie możność ustalenie ziarna lub stanu wewnętrznego generatora na podstawie obserwacji dowolnie długiego ciągu wygenerowanych bitów.
Stan generatora przechowywany jest na zmiennych o skończonej precyzji. Jeśli stan jest przechowywany na <math>n</math> bitach to górną granicą na długość unikalnego ciągu liczb jest <math>2^n</math>. Zazwyczaj unikalna sekwencja jest jednak krótsza. Wynika stąd, że generatory liczb pseudolosowych mają okres, po którym sekwencja liczb powtarza się. Podstawowe generatory liczb pseudolosowych wytwarzają liczby podlegające rozkładowi jednostajnemu (płaskiemu).

Istnieją generatory &bdquo;prawdziwych” liczb losowych, które są osobnymi urządzeniami. Liczy przez nie dostarczane są pewnymi parametrami jakichś procesów fizycznych, przebiegających w tych urządzeniach (zależnie od producenta). Do naszych zastosowań w zupełności wystarczą liczby generowane przez algorytmy komputerowe.

Proste generatory liczb pseudolosowych można otrzymać jako funkcje używające operacji dzielenia modulo (generatory kongruencyjne):

<math>x_{n+1}=f(x_n,x_{n-1}, ..., x_{n-k})\mod M</math>.

Zakładamy, że argumentami funkcji <math>f</math> są liczby całkowite ze zbioru <math>{0, 1, ...,M-1}</math>. Dla ustalenia uwagi mogą to być generatory liniowe typu:

<math> x_{n+1}= (ax_{n} + c )\mod M</math>

===Przykład generatora liniowego ===
Dla przykładu zaimplementujmy jeden taki generator:

<source lang = python>
# -*- coding: utf-8 -*-

import numpy as np
import pylab as py
def gen(x,N=1):
'''Przykład generatora liniowego.
funkcja zwraca liczby pseudolosowe z przedziału [0,1)
x - ziarno,
N - ile liczb zwrócić'''
m=8191
a=101
c=1731
y=np.zeros(shape=(N,))
for i in range(N):
x=(a*x+c) % m
y[i]= x/m
return y
x=gen(23,100000)
py.hist(x)
py.show()
</source>
Liczby <tt> m, a, c</tt> są parametrami generatora. Liczba <tt>x</tt>, od której startuje generator nazywana jest ziarnem generatora {{ang|seed}}.
Funkcja <tt>py.hist()</tt> zlicza i wyrysowuje histogram (czy wiemy co to jest histogram?).
* Wywołaj funkcję <tt>gen</tt> dla tego samego ziarna kilka razy zaobserwuj powtarzalność wartości.

W module <tt>numpy</tt> mamy do dyspozycji generator liczb pseudolosowych oparty na algorytmie [http://pl.wikipedia.org/wiki/Mersenne_Twister Mersenne Twister ]
<source lang=python>
# -*- coding: utf-8 -*-
"""
kod demonstrujacy pseudolosowosc
"""
import numpy as np
seed=3
np.random.seed(seed)
x=np.random.random(5)

np.random.seed(seed)
y=np.random.random(5)
print('x:', x)
print('y:', y)
</source>
* Zaobserwuj powtarzalność wartości.
* Wygeneruj i wykreśl 200 kolejnych liczb pseudolosowych.
<source lang= python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
seed=3
np.random.seed(seed)
x=np.random.random(200)

py.plot(x,'.')
py.show()
</source>

===Testy jakości===
==== Zadanie ====
Dla wyżej wymienionych generatorów, proszę wykonać następujące testy:
* zobrazować rozkład prawdopodobieństwa (narysować histogram);

* test korelacji na rysunku: sporządzić wykres gdzie na jednej osi są wartości <math>x_n</math> na drugiej zaś wartości <math>x_{n+1}</math>.


Bardziej wyczerpujące baterie testów jakości generatorów można znaleźć na przykład w:
* http://csrc.nist.gov/groups/ST/toolkit/rng/index.html
* http://www.phy.duke.edu/~rgb/General/rand_rate.php

== Zmienne losowe w module <tt>scipy.stats</tt> ==
=== Wstęp ===
Zmienne losowe w module <tt>scipy.stats</tt> są zaimplementowane jako dwie klasy: <tt>stats.rv_continuous</tt> (bazuje na niej ponad 80 typów rozkładów ciągłych zmiennych losowych) i <tt>stats.rv_discrete</tt> (bazuje na niej 10 typów rozkładów dyskretnych zmiennych losowych). Aktualną listę dostępnych rozkładów można uzyskać np. przy pomocy następującego skryptu:
<source lang =python>
from scipy import stats
dc= [d for d in dir(stats) if isinstance(getattr(stats,d), stats.rv_continuous)]
print(dc)
</source>
Przykładowo: zmienne losowe o rozkładzie normalnym są reprezentowane przez klasę <tt>norm</tt>.

=== Funkcje przydatne do pracy ze zmiennymi losowymi dostępne są jako metody ===

Obiekty reprezentujące zmienne losowe podlegające konkretnym rozkładom posiadają następujące metody:
* <tt>rvs</tt>: '''generator zmiennych losowych''' danego typu;
* <tt>cdf</tt>: '''dystrybuanta''' (ang. Cumulative Distribution Function);
* <tt>ppf</tt>: '''funkcja odwrotna do dystrybuanty''' (ang. Percent Point Function (Inverse of CDF));
* <tt>stats</tt>: zwraca '''momenty centralne rozkładu''' (średnią, wariancję, skośność i kurtozę);
* <tt>moment</tt>: zwraca niecentralne momenty rozkładu.
* <tt>pdf</tt>: '''funkcja gęstości prawdopodobieństwa''' (ang. Probability Density Function);
* <tt>pmf</tt> dla rozkładów dyskretnych <tt>pdf</tt> jest zamienione na '''funkcję prawdopodobieństwa''' (ang. probability mass function; ''masa'' przez analogię z gęstością masy i masą punktową);
* <tt>sf</tt>: funkcja przeżycia (ang. Survival Function) (1−CDF);
* <tt>isf</tt>: funkcja odwrotna do funkcji przetrwania (ang. Inverse Survival Function (Inverse of SF));

====Przykład====
Zobaczmy działanie tych metod dla zmiennych losowych z rozkładu normalnego:
<source lang =python>
import scipy.stats as st
import pylab as py
import numpy as np

# generowanie 10000 liczb z rozkładu normalnego
x = st.norm.rvs(size=10000)
py.subplot(2,2,4)
bins=np.linspace(-3,3,50)
py.hist(x,bins=bins)
py.title('Histogram')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'ilość zliczeń')

# wykreślenie gęstości prawdopodobieństwa
os_x = np.arange(-3,3,0.01)
y=st.norm.pdf(os_x)
py.subplot(2,2,3)
py.plot(os_x,y)
py.title(u'rozkład gęstości prawdopodobieństwa: pdf')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'gęstość prawdopodobieństwa')

# wykreślenie dystrybuanty
z= st.norm.cdf(os_x)
py.subplot(2,2,1)
py.plot(os_x,z)
py.title(u'Dystrybuanta: cdf')

py.xlabel(u'wartość zmiennej')
py.ylabel(u'prawdopodobieństwo')

# wykreślenie funkcji odwrotnej do dystrybuanty
os_p = np.arange(0,1,0.01)
f=st.norm.ppf(os_p)
py.subplot(2,2,2)
py.plot(os_p,f)
py.title(u'funkcja odwrotna do dystrybuanty: ppf')
py.ylabel(u'wartość zmiennej')
py.xlabel(u'prawdopodobieństwo')
py.show()

</source>

Zmienne losowe mogą być używane na jeden z dwóch sposobów: można podawać wszystkie parametry opisujące rozkład w każdym wywołaniu metody, albo wytworzyć obiekt reprezentujący rozkład o konkretnych parametrach (w dokumentacji <tt>scipy</tt> jest to nazywane zamrażaniem parametrów rozkładu, ang. ''freezing'')
Jako przykład zobaczmy funkcję odwrotną do dystrybuanty rozkładu normalnego N(2, 9):

>>> import scipy.stats as st
>>> print(st.norm.ppf(0.05, loc=2, scale=3))
-2.93456088085
>>> my_norm = st.norm(loc=2,scale=3)
>>> print(my_norm.ppf(0.05))
-2.93456088085

=== Pomoc do poszczególnych rozkładów ===
Pełną dokumentację każdego rozkładu mamy dostępną w postaci docstringów. Dla przykładu:
<source lang = python>
help(st.nct)
</source>
wypisuje pełną informację z docstring o niecentralnym rozkładzie ''t''.
Podstawowe informacje można uzyskać wypisując treść pola <tt>extradoc</tt>

>>> print(st.nct.extradoc)
Non-central Student T distribution
df**(df/2) * gamma(df+1)
nct.pdf(x,df,nc) = --------------------------------------------------
2**df*exp(nc**2/2)*(df+x**2)**(df/2) * gamma(df/2)
for df > 0, nc > 0.

==== Zadanie ====
Wypisz pomoc dla (centralnego) rozkładu ''t'' i sprawdź jakie parametry on przyjmuje. Wybierz dowolnie ich wartości, a następnie posiłkując się [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład|przykładem]]:
# Wygeneruj 10000 liczb z rozkładu ''t'' i narysuj ich histogram.
# Wykreśl gęstość prawdopodobieństwa tego rozkładu.
# Wykreśl dystrybuantę.
# Wykreśl funkcję odwrotną do dystrybuanty.



=== Statystyki i estymatory ===
Estymator jest statystyką służącą do szacowania pewnej wielkości (np. parametru) na podstawie próby losowej (np. danych eksperymentalnych). Na wykładzie poznaliśmy m.in. takie statystki jak [[WnioskowanieStatystyczne/Momenty|wartość oczekiwana, wariancja i mediana]], z których ostatnia jest szczególnym przypadkiem [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Kwantyle|kwantylu]]. Moduły numpy oraz scipy.stats umożliwiają łatwe estymowanie niektórych statystyk, a także obliczanie ich rzeczywistych wartości, jeśli znamy parametry rozkładu.

====Przykład====
Jako przykład niech posłuży poniższy kod, w którym szukamy wartości estymatorów wartości oczekiwanej oraz wariancji rozkładu normalnego na podstawie próby losowej, a wynik porównujemy z wartościami rzeczywistymi:
<source lang =python>
import numpy as np
import scipy.stats as st

# definiujemy parametry rozkładu, a następnie sam rozkład
m=2
s=0.5
rozklad = st.norm(m,s) #definiujemy rozkład normalny

#określamy wielkość próby losowej
N = 10000

#obliczamy statystyki korzystając z metod obiektu 'rozklad'
mu = rozklad.mean() # rzeczywista wartość oczekiwana naszego rozkładu
var = rozklad.var() # rzeczywiste odchylenie standardow

#losujemy próbę o rozmiarze N
x = rozklad.rvs(size=N)

#estymujemy statystyki
mu_est = np.mean(x) # estymowana wartość oczekiwana
var_est = np.var(x) # estymowana wariancja

# wypisujemy wyniki z dokładnością do 5 cyfr znaczących
print("Wartość oczekiwana rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(mu,mu_est))
print("Wariancja rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(var,var_est))
</source>

==== Zadanie ====
Posiłkując się powyższym przykładem wygeneruj próby losowe dla następujących rozkładów:
# Rozkład normalny <math>\mu</math> = 100, <math>\sigma</math> = 2.
# Rozkład dwumianowy p = 0.4, n =10.
# Rozkład poissona <math>\lambda</math> = 4.
# Rozkład jednostajny na przedziale [2, 6).
Następnie estymuj na ich podstawie wartości poniższych statystyk i porównaj je z wartościami obliczonymi na podstawie znanych parametrów rozkładu:
# Wartość oczekiwana.
# Odchylenie standardowe.
# Wariancja.
# Mediana.
# Kurtoza.



== Generowanie zmiennych losowych podlegającym różnym rozkładom prawdopodobieństwa ==
Podstawowe typy generatorów liczb losowych wytwarzają liczby losowe podlegające rozkładowi jednostajnemu. Zastanowimy sie teraz jak mając zmienne losowe z rozkładu jednostajnego wytworzyć zmienne losowe o innych rozkładach.
=== Rozkład dwumianowy ===
Zmienna losowa, która zlicza liczbę sukcesów <math>k</math> w <math>n</math> próbach, gdzie <math>p</math> jest prawdopodobieństwem sukcesu w pojedynczej próbie, podlega rozkładowi dwumianowemu
[[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_dwumianowy więcej o rozkładzie dwumianowym]]:

<math>P_n(k)=\left(
\begin{array}{c}
n \\
k
\end{array}
\right) p^kq^{n-k}=\frac{n!}{k!(n-k)!}p^kq^{n-k} </math>

''Jak z rozkładu jednostajnego wytworzyć zmienne losowe o rozkładzie dwumianowym?''
* Wykonać symulację!

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py

def gen_binom(n,p,N):
'''funkcja zwracająca zmienną losową z rozkładu dwumianowego:
ilość sukcesów w n próbach przy prawdopodobieństwie sukcesu p
parametry:
n: liczba prób
p: prawdopodobieństwo sukcesu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będącymi liczbami sukcesów
'''
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję n liczb z rozkładu jednostajnego [0,1) i jako sukcesy
#traktuję wylosowanie liczby nie większej niż p
r=np.random.rand(N,n)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
n=20
N=100000
p=0.8
x = gen_binom(n,p,N)
bins =range(22) #granice binów
py.hist(x,bins)
py.show()
</source>

====Zadanie====
Z oszacowań agencji wynika, że średnio 2 z 3 reklam spotyka się z pozytywnym odzewem. Akcja marketingowa obejmuje 12 reklam. Niech <math>X</math> oznacza liczbę reklam skutecznych. Czy <math>X</math> podlega rozkładowi dwumianowemu?
Jakie jest prawdopodobieństwo, że 10 reklam będzie skutecznych?
Prawdopodobieństwo obliczyć ze wzoru oraz korzystając z symulacji.

Wskazówka informacje o zmiennych z rozkładu dwumianowego (<tt>binom</tt>) można uzyskać tak:
# >>> print(st.binom.extradoc)
# Binomial distribution
#
# Counts the number of successes in *n* independent
# trials when the probability of success each time is *pr*.
#
# binom.pmf(k,n,p) = choose(n,k)*p**k*(1-p)**(n-k)
# for k in {0,1,...,n}
Odp: ''p'' = 0,127



====Zadanie====
Na egzaminie testowym jest 30 pytań. Na każde pytanie są podane cztery możliwe odpowiedzi, z czego tylko jedna jest prawdziwa. Za prawidłową odpowiedź student otrzymuje 1 punkt a za fałszywą −0,5 punktu. Próg zaliczenia wynosi 15 punktów. Oblicz prawdopodobieństwo, że udzielając czysto losowych odpowiedzi student zaliczy egzamin.


=== Rozkład Poissona ===

<math>
P(k)=\frac{\mu^k e^{-\mu}}{k!}
</math>
Rozkładowi Poissona podlegają zmienne losowe zliczające w jednostce czasu liczbę zdarzeń o niskim prawdopodobieństwie zajścia. Np. liczba rozpadów promieniotwórczych na jednostkę czasu [[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_Poissona więcej o rozkładzie Poissona]]

====Przykład====
Lekarz pełniący dyżur w szpitalu jest wzywany do pacjentów średnio 3 razy w ciągu nocy. Załóżmy, że liczba wezwań na noc podlega rozkładowi Poissona. Jakie jest prawdopodobieństwo, że noc upłynie lekarzowi spokojnie?
U nas <math>\mu=3</math>, <math>x=0</math> więc

<math>
P(0) = \frac{3^0e^{-3}}{0!} = e^{-3} = 0,0498
</math>

====Przykład====
Jak ze zmiennych podlegających rozkładowi jednostajnemu uzyskać zmienne podlegające rozkładowi Poissona?

Wykonać symulację wynikającą z następujących spostrzeżeń:

* Weźmy jednostkę czasu. Ma w niej zachodzić średnio <math>\mu</math> zdarzeń.
* Podzielmy jednostkę czasu na ''NT'' odcinków o jednakowej długości.
* Prawdopodobieństwo, że zdarzenie zajdzie w konkretnym odcinku jest <math>p=\frac{\mu}{NT}</math> Takie prawdopodobieństwo ma też wylosowanie przy pomocy generatora liczb z rozkładu jednostajnego [0,1) liczby nie większej niż ''p''.
* Zatem, aby wytworzyć jedną liczbę z rozkładu Poissona można policzyć ile spośród ''NT'' liczb z rozkładu jednostajnego [0,1) jest nie większych niż ''p''.

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

def gen_poiss(mi,NT,N):
'''funkcja zwracająca zmienne losowe z rozkładu poissona:
średnia ilość zdarzeń o niskim prawdopodobieństwie w jednostce czasu
parametry:
mi: średnia liczba zdarzeń
NT: liczba odcinków czasu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będących zliczeniami zdarzeń
'''
p = float(mi)/NT
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję NT liczb z rozkładu jednostajnego [0,1) i jako zajście zdarzenia
# traktuję wylosowanie liczby nie większej niż p. Ilość zdarzeń to liczba z rozkładu Poissona
r=np.random.rand(N,NT)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
mi=4
N=100000
NT = 10000
x = gen_poiss(mi,NT,N)
bins =np.arange(int(x.max()+1))-0.5
py.hist(x,bins,normed=True)

# porównanie z generatorami scipy.stats
p=mi/NT
k=np.arange(x.max()+1)
B=st.binom.pmf(k,NT,p)
py.plot(k,B,'ro')
P=st.poisson.pmf(k,mi)
py.plot(k,P,'go')
py.show()
</source>

=== Rozkład normalny i Centralne Twierdzenie Graniczne ===
Gęstość prawdopodobieństwa [[WnioskowanieStatystyczne/Rozklady-przyklady#Rozk.C5.82ad_Gaussa| rozkładu normalnego]] dana jest wzorem:

<math>f(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{ -\frac{(x-\mu)^2}{2 \sigma^2}}</math>
gdzie: <math>\mu</math> — średnia, <math>\sigma</math> — odchylenie standardowe (<math>\sigma^2</math> — wariancja).

Jeden ze sposóbw wytwarzania zmiennych losowych o rozkładzie normalnym polega na zastosowaniu [[WnioskowanieStatystyczne/CLT| Centralnego Twierdzenia Granicznego]].

<math>X=\frac{\sqrt{12}}{\sqrt{N}}\left(\sum_{n=1}^N Y_n -\frac{N}{2}\right)</math>

gdzie <math>Y</math> zmienna losowa z rozkładu jednostajnego <math>[0,1)</math>
W granicy dużych <math>N</math> rozkład zmiennej <math>X</math> dąży do rozkładu normalnego <math>N(0,1)</math>.

====Zadanie ====
Proszę:
* napisać funkcję <tt>gen_CTG_1(N)</tt>, która zwraca liczbę losową ''X'' otrzymaną zgodnie powyższym wzorem przez sumowanie <tt>N</tt> liczb z rozkładu jednostajnego.
* napisać funkcję <tt>gen_CTG(N, N_liczb)</tt> korzystającą z <tt>gen_CTG_1(N)</tt> i zwracającą zadaną ilość liczb <tt>N_liczb</tt>
* narysować histogramy 10 000 liczb <math>X</math> uzyskanych kolejno dla <math>N={1,2,...,12}</math>
* Jakie parametry charakteryzują rozkład do którego zbiegają sumy? Przy każdym z powyższych histogramów wypisz średnią i wariancję z próby (funkcje <tt>np.mean</tt> i <tt>np.var</tt>).



====Zadanie: transformacja rozkładu normalnego ====

Rozkład o średniej 0 i wariancji 1 (notacja <math>N(0,1)</math>) jest nazywany rozkładem standardowym i często jest oznaczany literą <math>Z</math>. Dokonując odpowiedniej transformacji można z rozkładu <math>Z</math> uzyskać dowolny inny rozkład normalny.

Proszę:
* wygenerować 100000 zmiennych losowych z rozkładu <math>N(0,1)</math> (skorzystać z funkcji <tt>st.norm.rvs(loc=0, scale=1, size=100000)</tt>)
* przetransformować je do zmiennych losowych <math>N(2,9)</math>.
* narysować histogramy zmiennych przed i po transformacji.
* narysować rozkład gęstości prawdopodobieństwa dla rozkładu <math>N(2,9)</math> (skorzystać z funkcji <tt>st.norm.pdf(...)</tt>) .



====Transformacja Boxa-Mullera====
To inna popularna metoda metoda generowania liczb losowych o rozkładzie normalnym, na podstawie dwóch wartości zmiennej o rozkładzie jednostajnym na przedziale [0,1) http://en.wikipedia.org/wiki/Box-Muller_transform, ale nie będziemy się nią tu szerzej zajmować.

====Przykład====
Producent silników twierdzi, że jego silniki mają średnią moc 220 KM, a odchylenie standardowe wynosi 15 KM. Potencjalny klient testuje 100 silników. Jakie jest prawdopodobieństwo, że średnia z próby będzie mniejsza niż 217 KM?

Przypomnijmy, że z CTG dla dużych liczebności próby <math>n</math> <math>\bar x \sim N(\mu,\sigma^2/n)</math> [[WnioskowanieStatystyczne/Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej|(dowód)]]. Zatem szukamy

<math>P(\bar x <217) =P\left( Z<\frac{217-\mu}{\frac{\sigma}{ \sqrt{n}}} \right) = P\left( Z<\frac{217-220}{\frac{15}{ \sqrt{100}}} \right)=P(Z<-2)=0,0228</math>

<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

# ze wzoru
p=st.norm.cdf(-2)
print('prawdopodobieństwo odczytane z dystrybuanty rozkładu normalnego: %(0).4f' %{'0':p})

# symulacja

mu=220
sig=15
N_prob=100

m_kryt=217

N_rep=int(1e4)
srednia=np.zeros(N_rep)
for i in range(N_rep):
seria=st.norm.rvs(loc=mu, scale=sig, size=N_prob)
srednia[i]=np.mean(seria)

h=py.hist(srednia,30);

py.plot([m_kryt, m_kryt],[0, max(h[0])],'r')
p1=np.sum(srednia<=m_kryt)/N_rep
print('prawdopodobieństwo uzyskane z symulacji: %(0).4f' %{'0':p1})
py.show()

</source>

====Zadania====
Teraz kilka najprostszych zadań dotyczących rozkładu normalnego:
* Znajdźmy prawdopodobieństwo, że ''Z'' < −2,47. Proszę zrobić to na dwa sposoby: raz z użyciem wygenerowanych zmiennych z rozkładu normalnego, drugi raz z użyciem dystrybuanty <tt>norm.cdf</tt>
[Odp: ''p'' = 0,0068]


=== Rozkład t ===

Gdy nie znamy wariancji populacji <math>\sigma^2</math> używamy w jego miejsce estymatora wariancji próby <math>s^2</math> danego wzorem:

<math>s^2 =\frac{\sum(\bar x - x_i)^2}{n-1} </math>
gdzie ''n'' — rozmiar próby

Wtedy rozkład <math>Y=\frac{\bar X -\mu}{\frac{s}{\sqrt{n}}}</math> nie podlega rozkładowi normalnemu. Jeśli populacja <math>X</math> podlega rozkładowi normalnemu to <math>Y</math> podlega [[WnioskowanieStatystyczne/Test_t |rozkładowi ''t'' ]] z ''n''−1 stopniami swobody.

Zobaczmy na symulacji co to zmienia. Proszę obejrzeć wyniki dla kilku wartości <tt>N</tt>

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

N=3
N_liczb=10000
mu=2
sigma=1

y_wyidealizowane=np.zeros(N_liczb)
m_populacji=np.zeros(N_liczb)
s_populacji=np.zeros(N_liczb)
y_estymowane=np.zeros(N_liczb)
m_estymowane=np.zeros(N_liczb)
s_estymowane=np.zeros(N_liczb)
for i in range(N_liczb):
x=st.norm.rvs(loc=mu,scale=sigma,size=N)
m_populacji[i]=mu
s_populacji[i]=sigma/np.sqrt(N)

m_estymowane[i]=np.mean(x)
s_estymowane[i]=np.std(x,ddof=1)/np.sqrt(N)

y_wyidealizowane[i]=(m_estymowane[i]-mu)/(s_populacji[i])
y_estymowane[i]=(m_estymowane[i]-mu)/(s_estymowane[i])

py.subplot(311)
py.title(u'średnia (wartość oczekiwana)')
py.plot(m_estymowane,label="estymowana")
py.plot(m_populacji,'r',label="populacji")
py.legend()

py.subplot(312)
py.title('odchylenie standardowe')
py.plot(s_estymowane,label="estymowane")
py.plot(s_populacji,'r',label='populacji')
py.legend()

py.subplot(325)
py.title(u'rozkład ilorazu Y dla wersji wyidealizowanej')
py.hist(y_wyidealizowane,30,(-4,4))

py.subplot(326)
py.title(u'rozkład ilorazu Y dla wersji estymowanej')
py.hist(y_estymowane,30,(-4,4))

py.show()
</source>

====Zadanie====
Dział kontroli jakości producenta silników testuje 10 egzemplarzy silnika nowego typu. Uzyskano wartość średnią 220 KM oraz odchylenie standardowe równe 15 KM. Jakie jest prawdopodobieństwo, że klient, który zamówi 100 silników, otrzyma partię, w której średnia będzie mniejsza niż 217 KM? Wykonaj obliczenia oraz symulację. Porównaj wynik z wcześniejszym [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład_5|przykładem]], gdzie znaliśmy odchylenie standardowe z innego źródła (nie było ono estymowane z próby).



=== Inne rozkłady uzyskiwane przez transformacje ===
====Metoda odwracania dystrybuanty====

Niech <math>\xi</math> będzie zmienną losową o rozkładzie jednostajnym na przedziale <math>[0,1)</math>. Jej dystrybuanta <math>J</math> dana jest więc worem:

<math>
J(x) = P(\xi \le x) = \left\{
\begin{array}{lrl}
0 & \mathrm{dla} & x<0\\
x & \mathrm{dla} & 0 \le x <1 \\
1 & \mathrm{dla} & 1 \le x
\end{array}
\right.
</math>

oraz niech <math>F</math> będzie dystrybuantą interesującego nas rozkładu. Jeśli <math>F</math> jest funkcją odwracalną to zmienna losowa zdefiniowana jako:

<math>\eta = F^{-1}(\xi) </math>

jest zmienną losową podlegającą rozkładowi o dystrybuancie <math> F</math>.
Własność tę łatwo sprawdzić. Ponieważ dla każdego <math>x \in R </math> mamy:

<math>
P(\eta \le x) = P(F^{-1} (\xi) \le x) = P(\xi \le F(x)) = F(x)
</math>
więc <math>F</math> jest dystrybuantą zmiennej losowej <math>\eta</math>.

Czyli jeśli znamy dystrybuantę interesującego nas rozkładu prawdopodobieństwa i dystrybuanta ta jest odwracalna, to możemy generować liczby z rozkładu o dystrybuancie <math>F</math>.

====Przykład====
Wygenerować liczby pseudolosowe z rozkładu wykładniczego o gęstości prawdopodobieństwa:

<math>f(x) = \lambda e^{-\lambda x} </math>

Rozwiązanie:
* Znajdujemy dystrybuantę tego rozkładu:

: <math>F(x) = 1-e^{-\lambda x} </math>

* Znajdujemy funkcję odwrotną do dystrybuanty:

: <math>G(u)=F^{-1}(u) = -\frac{1}{\lambda}\ln(1-u) </math>

* Generujemy liczby losowe <math>u</math> z przedziału <math>[0,1)</math> i stosujemy transformację <math>G(u)</math>
* Test generowanego rozkładu robimy przez porównanie dystrybuanty teoretycznej i empirycznej. Proszę zwrócić uwagę na funkcję estymującą dystrybuantę empiryczną

<source lang =python>
# -*- coding: utf-8 -*-
import pylab as py
import numpy as np

def gen_wykladniczy(lam, N):
'''funkcja zwraca N liczb z rozkładu wykładniczego o parametrze lam
korzystając z metody odwracania dystrybuanty
Dystrybuanta rozkładu wykładniczego: F(x) = 1- exp(-lam*x)
Funkcja do niej odwrotna: G(u) = -1/lam ln(1-u)'''

u = np.random.random(N)
return -1.0/lam* np.log(1.-u)

def dystrybuanta(X,od=0, do=4, krok=0.05):
'''funkcja zwraca dystrybuantę empiryczną
zmiennej X na przedziale (od, do) z krokiem krok'''

os_x = np.arange(od,do,krok)
nx = len(os_x)
N_liczb = len(X)
D=np.zeros(nx) #wyzerowany wektor na naszą dystrybuantę
for i in range(nx):
D[i] = sum(X <= os_x[i])/N_liczb
return (os_x, D)

# testujemy: narysujemy dystrybuantę oczekiwaną i empiryczną
lam=3
N=10000

x = np.arange(0,4,0.01)
F = 1-np.exp(-lam*x)
X = gen_wykladniczy(lam, N)
(os_x, F_emp) = dystrybuanta(X,od=0, do=4, krok=0.1)
py.plot(x,F,'r',label = 'dystrybuanta teoretyczna')
py.plot(os_x, F_emp,'.b', label = 'dystrybuanta empiryczna')
py.legend()
py.show()
</source>

Zauważmy, że nie zawsze jest łatwo wyznaczyć efektywnie <math>F^{-1}</math> — jest tak na przykład w przypadku rozkładu normalnego. W takich sytuacjach można szukać przybliżonej wartości <math>F^{-1}</math>, rozwiązując numerycznie równanie:
<math>F(x)=u</math>, co sprowadza się do znalezienia miejsc zerowych funkcji <math>H(x)=F(x)-u</math>.

==== Zadanie ====
Posiłkując się powyższym przykładem napisz funkcję ''MyGen(N)'' dla rozkładu, którego funkcja gęstości prawdopodobieństwa jest dana wzorem:
<math> f(x) = \frac{1}{\pi (1+x^{2})} </math>
Następnie narysuj dla niego dystrybuantę i dystrybuantę empiryczną na przedziale [-10, 10].

WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych

2021-02-18T10:21:12Z

Atartas: /* Zadania */

==Pojęcia wstępne==
=== Zmienna losowa===
;Intuicyjnie: Zmienna losowa to taka zmienna, która przyjmuje pewną konkretną wartość w wyniku przeprowadzenia pomiaru lub eksperymentu. Na przykład zmienną losową jest liczba oczek, która wypada na kostce do gry. Dopóki trzymamy kostkę w ręce to nie wiemy jaką wartość ta zmienna przyjmie, konkretną wartość zmienna ta przyjmuje po rzucie. Jednak w kolejnych rzutach nie wiemy jakie będą jej wartości.
;Bardziej formalnie: Zmienna losowa to funkcja przypisująca zdarzeniom elementarnym liczby.
;Zupełnie formalnie:
Do formalnej definicji potrzebne jest nam pojęcie przestrzeni probabilistycznej:
Przestrzeń probabilistyczna to układ trzech elementów <math>(\Omega, F,P)</math>, gdzie:
* <math>\Omega</math> jest pewnym zbiorem, zwanym przestrzenią zdarzeń elementarnych,
* <math>F</math> jest [http://pl.wikipedia.org/wiki/Sigma-ciało <math>\sigma</math>-ciałem] podzbiorów zbioru <math>\Omega</math>. Elementy tego <math>\sigma</math>-ciała nazywane są zdarzeniami losowymi,
* <math>P: F\rightarrow [0,1]</math> jest miarą probabilistyczną, tzn.
** <math>P(A) \ge 0 </math> dla każdego <math>A \in F</math>,
** <math>P(\Omega) = 1</math>,
** jeżeli zbiory <math>A_1, A_2,\dots,A_n \in F</math> są parami rozłączne, to <math>P\left( \bigcup\limits_{i=1}^{\infty} A_i \right ) = \sum_{i=1}^{\infty} P(A_i) </math>.

Niech <math>(\Omega, F,P)</math> będzie przestrzenią probabilistyczną. '''Zmienną losową''' nazywamy dowolna funkcję <math>X</math>, określoną na przestrzeni zdarzeń elementarnych <math>\Omega</math>, o wartościach ze zbioru liczb rzeczywistych i [http://pl.wikipedia.org/wiki/Funkcja_mierzalna mierzalną] względem przestrzeni <math>(\Omega, F,P)</math>. Zmienna losowa jest ciągła jeśli jej zbiór wartości jest ciągły, lub dyskretna, jeśli jej zbiór wartości jest dyskretny.

=== Rozkład prawdopodobieństwa===
Rozkład prawdopodobieństwa — (rozkład zmiennej losowej) miara probabilistyczna określona na <math>\sigma</math>-ciele podzbiorów zbioru wartości zmiennej losowej, pozwalająca przypisywać prawdopodobieństwa zbiorom wartości tej zmiennej, odpowiadającym zdarzeniom losowym.

Dla zmiennej losowej dyskretnej możemy wprowadzić pojęcie '''funkcji prawdopodobieństwa''':
<math>P(X=x_i) = p_i</math>

Przykład: Dla rzutów monetą funkcję prawdopodobieństwa można zobrazować jako tabelkę:
{| class="wikitable" border="1"
|-
|
! Zdarzenie:
! orzeł
! reszka
|-
|zmienna losowa
|<math>x_i</math>
|0
|1
|-
| prawdopodobieństwo
| <math>p_i</math>
| 1/2
| 1/2
|-
|}

Można też przedstawić ją na wykresie:

[[Plik:Rozklad_moneta_1.gif|600px]]

Dla zmiennej losowej ciągłej zamiast funkcji prawdopodobieństwa wprowadzamy '''funkcję gęstości prawdopodobieństwa'''. Jest to funkcja określona na zbiorze liczb rzeczywistych posiadająca następujące własności:
* jest nieujemna: <math>f(x) \ge 0 </math>
* prawdopodobieństwo tego, że zmienna losowa przyjmie wartość z przedziału <math>(a,b]</math>: <math> \int_a^b f(x) dx = P(a<X \le b) </math>
[[Plik:Funkcja_gestosci_prawdopodobienstwa.png]]
* Prawdopodobieństwo tego, że zmienna losowa przyjmie dowolną wartość: <math> \int_{-\infty}^{+\infty} f(x) dx = P(-\infty <X \le +\infty) = 1 </math>

=== Dystrybuanta ===
Dystrybuantą zmiennej losowej <math>X</math> nazywamy funkcję <math>F(x)</math> określoną na zbiorze liczb rzeczywistych jako:
<math>F(x) = P(X \le x)</math>

czyli wartość dystrybuanty w punkcie <math>x</math> jest prawdopodobieństwem, że zmienna losowa przyjmie wartość nie większą niż <math>x</math>.
* Dla zmiennej dyskretnej:
: <math>F(x)=P(X \le x) = \sum_{x_i<x}{P(X = x_i) } = \sum_{x_i<x}p_i</math>
* Dla zmiennej losowej ciągłej z funkcją gęstości prawdopodobieństwa <math>f</math>:
: <math>F(x) = P(X \le x)= \int_{-\infty}^x f(s) ds </math>

Zauważmy ścisły związek dystrybuanty z funkcją prawdopodobieństwa w przypadku dyskretnym i funkcją gęstości prawdopodobieństwa w przypadku ciągłym.

Przykład z monetą:

[[Plik:Rozklad_moneta.svg|600px]]

=== Momenty ===
Dla zmiennej losowej można obliczyć momenty zwykłe lub centralne.

;Moment zwykły: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi tej zmiennej. Oblicza się go tak:
* dla dyskretnej zmiennej losowej
: <math>m_k = E(X^k) = \sum_{i} {x_i^k p_i} </math>

: tu <math>p_i</math> oznacza prawdopodobieństwo, że <math>X = x_i</math>

* dla ciągłej zmiennej losowej
: <math> m_k = E(X^k) = \int\limits_{-\infty}^{\infty} {x^k f(x)dx}</math>

: tu <math>f(x)</math> jest funkcją gęstości prawdopodobieństwa.

Zauważmy, że pierwszy moment zwykły to średnia.

;Moment centralny: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi funkcji <math>[x_i - E(x_i)]</math>. Zatem możemy go obliczyć tak:
* dla dyskretnej zmiennej losowej
: <math>
\mu_k = E\left( \left[ X-E(X) \right] ^k \right) = \sum_{i} {\left[x_i-E(X)\right]^k p_i}
</math>

* dla ciągłej zmiennej losowej
: <math>
\mu_k = E\left(\left[X-E(X)\right]^k\right) = \int\limits_{-\infty}^{\infty} { \left[X-E(X)\right]^k f(x)dx}
</math>

Uwaga:
* Drugi moment centralny ma swoją nazwę. Jest to '''wariancja''', często oznaczana przez <math>\sigma^2</math>.
* Trzeci moment centralny przydaje się do badania symetrii rozkładu. Przyjmuje on wartość 0 dla zmiennych o rozkładzie symetrycznym, wartości ujemne dla zmiennych o rozkładzie wydłużonym w lewą stronę i wartości dodatnie dla zmiennych o rozkładzie wydłużonym w prawą stronę.
* Czwarty moment centralny jest przydatny do konstrukcji miary spłaszczenia rozkładu zmiennej losowej '''kurtozy'''. Definiuje się ją następująco:
: <math> \mathrm{Kurt} = \frac{\mu_4}{\mu_2^4} - 3 </math>
Rozkłady prawdopodobieństwa można podzielić ze względu na wartość kurtozy na rozkłady:
* mezokurtyczne — wartość kurtozy wynosi 0, spłaszczenie rozkładu jest podobne do spłaszczenia rozkładu normalnego (dla którego kurtoza wynosi dokładnie 0)
* leptokurtyczne — kurtoza jest dodatnia, wartości cechy bardziej skoncentrowane niż przy rozkładzie normalnym
* platokurtyczne — kurtoza jest ujemna, wartości cechy mniej skoncentrowane niż przy rozkładzie normalnym

=== Kwantyle ===
Kwantylem rzędu ''p'', gdzie <math>0 \leqslant p \leqslant 1</math>, w rozkładzie empirycznym <math> P_{X} </math> zmiennej losowej <math>X</math> nazywamy każdą liczbę <math>x_{p}</math>, dla której spełnione są nierówności

: <math>
P_X((-\infty, x_p]) \geqslant p
</math>

oraz

: <math>
P_X([x_p,\infty)) \geqslant 1-p.
</math>

W szczególności, kwantylem rzędu ''p'' jest taka wartość <math>x_{p}</math> zmiennej losowej, że wartości mniejsze lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej ''p'', zaś wartości większe lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej 1−''p''.

Możemy zatem myśleć o obliczaniu kwantyla tak:
* zaobserwowaliśmy ''n'' wartości zmiennej losowej,
* zapiszemy te wartości na liście,
* następnie listę tę sortujemy w porządku rosnącym,
* kwantylem rzędu ''p'' jest albo element znajdujący się na liście w pozycji ''np'' jeśli ''np'' jest całkowite albo średnią z elementów położonych najbliżej ''np'' w przeciwnym wypadku.
==== Nazwy poszczególnych kwantyli ====
Kwantyl rzędu 1/2 to inaczej mediana (ściślej zależy to od definicji mediany, przy jej obliczaniu z próbki o parzystej liczbie elementów często stosuje się średnią arytmetyczną dwóch środkowych elementów, szczegóły są w artykule). 
Kwantyle rzędu 1/4, 2/4, 3/4 są inaczej nazywane kwartylami. 
Kwantyle rzędu 1/5, 2/5, 3/5, 4/5 to inaczej kwintyle. 
Kwantyle rzędu 1/10, 2/10, ..., 9/10 to inaczej decyle. 
Kwantyle rzędu 1/100, 2/100, ..., 99/100 to inaczej percentyle. 

==Pseudolosowość==
W obliczeniach numerycznych często korzystamy z liczb &bdquo;losowych”. Tak naprawdę sekwencje liczb, których używamy są jedynie pseudolosowe,
tzn. są wytwarzane w deterministyczny (algorytmiczny) sposób, ale sekwencja generowanych wartości ma pewne cechy losowości. W idealnym przypadku cechą tą jest nieprzewidywalność: na podstawie obserwacji dotychczasowych wartości sekwencji niemożliwe jest podanie kolejnych wartości. W praktyce oznacza to nie możność ustalenie ziarna lub stanu wewnętrznego generatora na podstawie obserwacji dowolnie długiego ciągu wygenerowanych bitów.
Stan generatora przechowywany jest na zmiennych o skończonej precyzji. Jeśli stan jest przechowywany na <math>n</math> bitach to górną granicą na długość unikalnego ciągu liczb jest <math>2^n</math>. Zazwyczaj unikalna sekwencja jest jednak krótsza. Wynika stąd, że generatory liczb pseudolosowych mają okres, po którym sekwencja liczb powtarza się. Podstawowe generatory liczb pseudolosowych wytwarzają liczby podlegające rozkładowi jednostajnemu (płaskiemu).

Istnieją generatory &bdquo;prawdziwych” liczb losowych, które są osobnymi urządzeniami. Liczy przez nie dostarczane są pewnymi parametrami jakichś procesów fizycznych, przebiegających w tych urządzeniach (zależnie od producenta). Do naszych zastosowań w zupełności wystarczą liczby generowane przez algorytmy komputerowe.

Proste generatory liczb pseudolosowych można otrzymać jako funkcje używające operacji dzielenia modulo (generatory kongruencyjne):

<math>x_{n+1}=f(x_n,x_{n-1}, ..., x_{n-k})\mod M</math>.

Zakładamy, że argumentami funkcji <math>f</math> są liczby całkowite ze zbioru <math>{0, 1, ...,M-1}</math>. Dla ustalenia uwagi mogą to być generatory liniowe typu:

<math> x_{n+1}= (ax_{n} + c )\mod M</math>

===Przykład generatora liniowego ===
Dla przykładu zaimplementujmy jeden taki generator:

<source lang = python>
# -*- coding: utf-8 -*-

import numpy as np
import pylab as py
def gen(x,N=1):
'''Przykład generatora liniowego.
funkcja zwraca liczby pseudolosowe z przedziału [0,1)
x - ziarno,
N - ile liczb zwrócić'''
m=8191
a=101
c=1731
y=np.zeros(shape=(N,))
for i in range(N):
x=(a*x+c) % m
y[i]= x/m
return y
x=gen(23,100000)
py.hist(x)
py.show()
</source>
Liczby <tt> m, a, c</tt> są parametrami generatora. Liczba <tt>x</tt>, od której startuje generator nazywana jest ziarnem generatora {{ang|seed}}.
Funkcja <tt>py.hist()</tt> zlicza i wyrysowuje histogram (czy wiemy co to jest histogram?).
* Wywołaj funkcję <tt>gen</tt> dla tego samego ziarna kilka razy zaobserwuj powtarzalność wartości.

W module <tt>numpy</tt> mamy do dyspozycji generator liczb pseudolosowych oparty na algorytmie [http://pl.wikipedia.org/wiki/Mersenne_Twister Mersenne Twister ]
<source lang=python>
# -*- coding: utf-8 -*-
"""
kod demonstrujacy pseudolosowosc
"""
import numpy as np
seed=3
np.random.seed(seed)
x=np.random.random(5)

np.random.seed(seed)
y=np.random.random(5)
print('x:', x)
print('y:', y)
</source>
* Zaobserwuj powtarzalność wartości.
* Wygeneruj i wykreśl 200 kolejnych liczb pseudolosowych.
<source lang= python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
seed=3
np.random.seed(seed)
x=np.random.random(200)

py.plot(x,'.')
py.show()
</source>

===Testy jakości===
==== Zadanie ====
Dla wyżej wymienionych generatorów, proszę wykonać następujące testy:
* zobrazować rozkład prawdopodobieństwa (narysować histogram);

* test korelacji na rysunku: sporządzić wykres gdzie na jednej osi są wartości <math>x_n</math> na drugiej zaś wartości <math>x_{n+1}</math>.


Bardziej wyczerpujące baterie testów jakości generatorów można znaleźć na przykład w:
* http://csrc.nist.gov/groups/ST/toolkit/rng/index.html
* http://www.phy.duke.edu/~rgb/General/rand_rate.php

== Zmienne losowe w module <tt>scipy.stats</tt> ==
=== Wstęp ===
Zmienne losowe w module <tt>scipy.stats</tt> są zaimplementowane jako dwie klasy: <tt>stats.rv_continuous</tt> (bazuje na niej ponad 80 typów rozkładów ciągłych zmiennych losowych) i <tt>stats.rv_discrete</tt> (bazuje na niej 10 typów rozkładów dyskretnych zmiennych losowych). Aktualną listę dostępnych rozkładów można uzyskać np. przy pomocy następującego skryptu:
<source lang =python>
from scipy import stats
dc= [d for d in dir(stats) if isinstance(getattr(stats,d), stats.rv_continuous)]
print(dc)
</source>
Przykładowo: zmienne losowe o rozkładzie normalnym są reprezentowane przez klasę <tt>norm</tt>.

=== Funkcje przydatne do pracy ze zmiennymi losowymi dostępne są jako metody ===

Obiekty reprezentujące zmienne losowe podlegające konkretnym rozkładom posiadają następujące metody:
* <tt>rvs</tt>: '''generator zmiennych losowych''' danego typu;
* <tt>cdf</tt>: '''dystrybuanta''' (ang. Cumulative Distribution Function);
* <tt>ppf</tt>: '''funkcja odwrotna do dystrybuanty''' (ang. Percent Point Function (Inverse of CDF));
* <tt>stats</tt>: zwraca '''momenty centralne rozkładu''' (średnią, wariancję, skośność i kurtozę);
* <tt>moment</tt>: zwraca niecentralne momenty rozkładu.
* <tt>pdf</tt>: '''funkcja gęstości prawdopodobieństwa''' (ang. Probability Density Function);
* <tt>pmf</tt> dla rozkładów dyskretnych <tt>pdf</tt> jest zamienione na '''funkcję prawdopodobieństwa''' (ang. probability mass function; ''masa'' przez analogię z gęstością masy i masą punktową);
* <tt>sf</tt>: funkcja przeżycia (ang. Survival Function) (1−CDF);
* <tt>isf</tt>: funkcja odwrotna do funkcji przetrwania (ang. Inverse Survival Function (Inverse of SF));

====Przykład====
Zobaczmy działanie tych metod dla zmiennych losowych z rozkładu normalnego:
<source lang =python>
import scipy.stats as st
import pylab as py
import numpy as np

# generowanie 10000 liczb z rozkładu normalnego
x = st.norm.rvs(size=10000)
py.subplot(2,2,4)
bins=np.linspace(-3,3,50)
py.hist(x,bins=bins)
py.title('Histogram')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'ilość zliczeń')

# wykreślenie gęstości prawdopodobieństwa
os_x = np.arange(-3,3,0.01)
y=st.norm.pdf(os_x)
py.subplot(2,2,3)
py.plot(os_x,y)
py.title(u'rozkład gęstości prawdopodobieństwa: pdf')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'gęstość prawdopodobieństwa')

# wykreślenie dystrybuanty
z= st.norm.cdf(os_x)
py.subplot(2,2,1)
py.plot(os_x,z)
py.title(u'Dystrybuanta: cdf')

py.xlabel(u'wartość zmiennej')
py.ylabel(u'prawdopodobieństwo')

# wykreślenie funkcji odwrotnej do dystrybuanty
os_p = np.arange(0,1,0.01)
f=st.norm.ppf(os_p)
py.subplot(2,2,2)
py.plot(os_p,f)
py.title(u'funkcja odwrotna do dystrybuanty: ppf')
py.ylabel(u'wartość zmiennej')
py.xlabel(u'prawdopodobieństwo')
py.show()

</source>

Zmienne losowe mogą być używane na jeden z dwóch sposobów: można podawać wszystkie parametry opisujące rozkład w każdym wywołaniu metody, albo wytworzyć obiekt reprezentujący rozkład o konkretnych parametrach (w dokumentacji <tt>scipy</tt> jest to nazywane zamrażaniem parametrów rozkładu, ang. ''freezing'')
Jako przykład zobaczmy funkcję odwrotną do dystrybuanty rozkładu normalnego N(2, 9):

>>> import scipy.stats as st
>>> print(st.norm.ppf(0.05, loc=2, scale=3))
-2.93456088085
>>> my_norm = st.norm(loc=2,scale=3)
>>> print(my_norm.ppf(0.05))
-2.93456088085

=== Pomoc do poszczególnych rozkładów ===
Pełną dokumentację każdego rozkładu mamy dostępną w postaci docstringów. Dla przykładu:
<source lang = python>
help(st.nct)
</source>
wypisuje pełną informację z docstring o niecentralnym rozkładzie ''t''.
Podstawowe informacje można uzyskać wypisując treść pola <tt>extradoc</tt>

>>> print(st.nct.extradoc)
Non-central Student T distribution
df**(df/2) * gamma(df+1)
nct.pdf(x,df,nc) = --------------------------------------------------
2**df*exp(nc**2/2)*(df+x**2)**(df/2) * gamma(df/2)
for df > 0, nc > 0.

==== Zadanie ====
Wypisz pomoc dla (centralnego) rozkładu ''t'' i sprawdź jakie parametry on przyjmuje. Wybierz dowolnie ich wartości, a następnie posiłkując się [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład|przykładem]]:
# Wygeneruj 10000 liczb z rozkładu ''t'' i narysuj ich histogram.
# Wykreśl gęstość prawdopodobieństwa tego rozkładu.
# Wykreśl dystrybuantę.
# Wykreśl funkcję odwrotną do dystrybuanty.



=== Statystyki i estymatory ===
Estymator jest statystyką służącą do szacowania pewnej wielkości (np. parametru) na podstawie próby losowej (np. danych eksperymentalnych). Na wykładzie poznaliśmy m.in. takie statystki jak [[WnioskowanieStatystyczne/Momenty|wartość oczekiwana, wariancja i mediana]], z których ostatnia jest szczególnym przypadkiem [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Kwantyle|kwantylu]]. Moduły numpy oraz scipy.stats umożliwiają łatwe estymowanie niektórych statystyk, a także obliczanie ich rzeczywistych wartości, jeśli znamy parametry rozkładu.

====Przykład====
Jako przykład niech posłuży poniższy kod, w którym szukamy wartości estymatorów wartości oczekiwanej oraz wariancji rozkładu normalnego na podstawie próby losowej, a wynik porównujemy z wartościami rzeczywistymi:
<source lang =python>
import numpy as np
import scipy.stats as st

# definiujemy parametry rozkładu, a następnie sam rozkład
m=2
s=0.5
rozklad = st.norm(m,s) #definiujemy rozkład normalny

#określamy wielkość próby losowej
N = 10000

#obliczamy statystyki korzystając z metod obiektu 'rozklad'
mu = rozklad.mean() # rzeczywista wartość oczekiwana naszego rozkładu
var = rozklad.var() # rzeczywiste odchylenie standardow

#losujemy próbę o rozmiarze N
x = rozklad.rvs(size=N)

#estymujemy statystyki
mu_est = np.mean(x) # estymowana wartość oczekiwana
var_est = np.var(x) # estymowana wariancja

# wypisujemy wyniki z dokładnością do 5 cyfr znaczących
print("Wartość oczekiwana rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(mu,mu_est))
print("Wariancja rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(var,var_est))
</source>

==== Zadanie ====
Posiłkując się powyższym przykładem wygeneruj próby losowe dla następujących rozkładów:
# Rozkład normalny <math>\mu</math> = 100, <math>\sigma</math> = 2.
# Rozkład dwumianowy p = 0.4, n =10.
# Rozkład poissona <math>\lambda</math> = 4.
# Rozkład jednostajny na przedziale [2, 6).
Następnie estymuj na ich podstawie wartości poniższych statystyk i porównaj je z wartościami obliczonymi na podstawie znanych parametrów rozkładu:
# Wartość oczekiwana.
# Odchylenie standardowe.
# Wariancja.
# Mediana.
# Kurtoza.



== Generowanie zmiennych losowych podlegającym różnym rozkładom prawdopodobieństwa ==
Podstawowe typy generatorów liczb losowych wytwarzają liczby losowe podlegające rozkładowi jednostajnemu. Zastanowimy sie teraz jak mając zmienne losowe z rozkładu jednostajnego wytworzyć zmienne losowe o innych rozkładach.
=== Rozkład dwumianowy ===
Zmienna losowa, która zlicza liczbę sukcesów <math>k</math> w <math>n</math> próbach, gdzie <math>p</math> jest prawdopodobieństwem sukcesu w pojedynczej próbie, podlega rozkładowi dwumianowemu
[[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_dwumianowy więcej o rozkładzie dwumianowym]]:

<math>P_n(k)=\left(
\begin{array}{c}
n \\
k
\end{array}
\right) p^kq^{n-k}=\frac{n!}{k!(n-k)!}p^kq^{n-k} </math>

''Jak z rozkładu jednostajnego wytworzyć zmienne losowe o rozkładzie dwumianowym?''
* Wykonać symulację!

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py

def gen_binom(n,p,N):
'''funkcja zwracająca zmienną losową z rozkładu dwumianowego:
ilość sukcesów w n próbach przy prawdopodobieństwie sukcesu p
parametry:
n: liczba prób
p: prawdopodobieństwo sukcesu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będącymi liczbami sukcesów
'''
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję n liczb z rozkładu jednostajnego [0,1) i jako sukcesy
#traktuję wylosowanie liczby nie większej niż p
r=np.random.rand(N,n)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
n=20
N=100000
p=0.8
x = gen_binom(n,p,N)
bins =range(22) #granice binów
py.hist(x,bins)
py.show()
</source>

====Zadanie====
Z oszacowań agencji wynika, że średnio 2 z 3 reklam spotyka się z pozytywnym odzewem. Akcja marketingowa obejmuje 12 reklam. Niech <math>X</math> oznacza liczbę reklam skutecznych. Czy <math>X</math> podlega rozkładowi dwumianowemu?
Jakie jest prawdopodobieństwo, że 10 reklam będzie skutecznych?
Prawdopodobieństwo obliczyć ze wzoru oraz korzystając z symulacji.

Wskazówka informacje o zmiennych z rozkładu dwumianowego (<tt>binom</tt>) można uzyskać tak:
# >>> print(st.binom.extradoc)
# Binomial distribution
#
# Counts the number of successes in *n* independent
# trials when the probability of success each time is *pr*.
#
# binom.pmf(k,n,p) = choose(n,k)*p**k*(1-p)**(n-k)
# for k in {0,1,...,n}
Odp: ''p'' = 0,127



====Zadanie====
Na egzaminie testowym jest 30 pytań. Na każde pytanie są podane cztery możliwe odpowiedzi, z czego tylko jedna jest prawdziwa. Za prawidłową odpowiedź student otrzymuje 1 punkt a za fałszywą −0,5 punktu. Próg zaliczenia wynosi 15 punktów. Oblicz prawdopodobieństwo, że udzielając czysto losowych odpowiedzi student zaliczy egzamin.


=== Rozkład Poissona ===

<math>
P(k)=\frac{\mu^k e^{-\mu}}{k!}
</math>
Rozkładowi Poissona podlegają zmienne losowe zliczające w jednostce czasu liczbę zdarzeń o niskim prawdopodobieństwie zajścia. Np. liczba rozpadów promieniotwórczych na jednostkę czasu [[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_Poissona więcej o rozkładzie Poissona]]

====Przykład====
Lekarz pełniący dyżur w szpitalu jest wzywany do pacjentów średnio 3 razy w ciągu nocy. Załóżmy, że liczba wezwań na noc podlega rozkładowi Poissona. Jakie jest prawdopodobieństwo, że noc upłynie lekarzowi spokojnie?
U nas <math>\mu=3</math>, <math>x=0</math> więc

<math>
P(0) = \frac{3^0e^{-3}}{0!} = e^{-3} = 0,0498
</math>

====Przykład====
Jak ze zmiennych podlegających rozkładowi jednostajnemu uzyskać zmienne podlegające rozkładowi Poissona?

Wykonać symulację wynikającą z następujących spostrzeżeń:

* Weźmy jednostkę czasu. Ma w niej zachodzić średnio <math>\mu</math> zdarzeń.
* Podzielmy jednostkę czasu na ''NT'' odcinków o jednakowej długości.
* Prawdopodobieństwo, że zdarzenie zajdzie w konkretnym odcinku jest <math>p=\frac{\mu}{NT}</math> Takie prawdopodobieństwo ma też wylosowanie przy pomocy generatora liczb z rozkładu jednostajnego [0,1) liczby nie większej niż ''p''.
* Zatem, aby wytworzyć jedną liczbę z rozkładu Poissona można policzyć ile spośród ''NT'' liczb z rozkładu jednostajnego [0,1) jest nie większych niż ''p''.

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

def gen_poiss(mi,NT,N):
'''funkcja zwracająca zmienne losowe z rozkładu poissona:
średnia ilość zdarzeń o niskim prawdopodobieństwie w jednostce czasu
parametry:
mi: średnia liczba zdarzeń
NT: liczba odcinków czasu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będących zliczeniami zdarzeń
'''
p = float(mi)/NT
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję NT liczb z rozkładu jednostajnego [0,1) i jako zajście zdarzenia
# traktuję wylosowanie liczby nie większej niż p. Ilość zdarzeń to liczba z rozkładu Poissona
r=np.random.rand(N,NT)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
mi=4
N=100000
NT = 10000
x = gen_poiss(mi,NT,N)
bins =np.arange(int(x.max()+1))-0.5
py.hist(x,bins,normed=True)

# porównanie z generatorami scipy.stats
p=mi/NT
k=np.arange(x.max()+1)
B=st.binom.pmf(k,NT,p)
py.plot(k,B,'ro')
P=st.poisson.pmf(k,mi)
py.plot(k,P,'go')
py.show()
</source>

=== Rozkład normalny i Centralne Twierdzenie Graniczne ===
Gęstość prawdopodobieństwa [[WnioskowanieStatystyczne/Rozklady-przyklady#Rozk.C5.82ad_Gaussa| rozkładu normalnego]] dana jest wzorem:

<math>f(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{ -\frac{(x-\mu)^2}{2 \sigma^2}}</math>
gdzie: <math>\mu</math> — średnia, <math>\sigma</math> — odchylenie standardowe (<math>\sigma^2</math> — wariancja).

Jeden ze sposóbw wytwarzania zmiennych losowych o rozkładzie normalnym polega na zastosowaniu [[WnioskowanieStatystyczne/CLT| Centralnego Twierdzenia Granicznego]].

<math>X=\frac{\sqrt{12}}{\sqrt{N}}\left(\sum_{n=1}^N Y_n -\frac{N}{2}\right)</math>

gdzie <math>Y</math> zmienna losowa z rozkładu jednostajnego <math>[0,1)</math>
W granicy dużych <math>N</math> rozkład zmiennej <math>X</math> dąży do rozkładu normalnego <math>N(0,1)</math>.

====Zadanie ====
Proszę:
* napisać funkcję <tt>gen_CTG_1(N)</tt>, która zwraca liczbę losową ''X'' otrzymaną zgodnie powyższym wzorem przez sumowanie <tt>N</tt> liczb z rozkładu jednostajnego.
* napisać funkcję <tt>gen_CTG(N, N_liczb)</tt> korzystającą z <tt>gen_CTG_1(N)</tt> i zwracającą zadaną ilość liczb <tt>N_liczb</tt>
* narysować histogramy 10 000 liczb <math>X</math> uzyskanych kolejno dla <math>N={1,2,...,12}</math>
* Jakie parametry charakteryzują rozkład do którego zbiegają sumy? Przy każdym z powyższych histogramów wypisz średnią i wariancję z próby (funkcje <tt>np.mean</tt> i <tt>np.var</tt>).



====Zadanie: transformacja rozkładu normalnego ====

Rozkład o średniej 0 i wariancji 1 (notacja <math>N(0,1)</math>) jest nazywany rozkładem standardowym i często jest oznaczany literą <math>Z</math>. Dokonując odpowiedniej transformacji można z rozkładu <math>Z</math> uzyskać dowolny inny rozkład normalny.

Proszę:
* wygenerować 100000 zmiennych losowych z rozkładu <math>N(0,1)</math> (skorzystać z funkcji <tt>st.norm.rvs(loc=0, scale=1, size=100000)</tt>)
* przetransformować je do zmiennych losowych <math>N(2,9)</math>.
* narysować histogramy zmiennych przed i po transformacji.
* narysować rozkład gęstości prawdopodobieństwa dla rozkładu <math>N(2,9)</math> (skorzystać z funkcji <tt>st.norm.pdf(...)</tt>) .



====Transformacja Boxa-Mullera====
To inna popularna metoda metoda generowania liczb losowych o rozkładzie normalnym, na podstawie dwóch wartości zmiennej o rozkładzie jednostajnym na przedziale [0,1) http://en.wikipedia.org/wiki/Box-Muller_transform, ale nie będziemy się nią tu szerzej zajmować.

====Przykład====
Producent silników twierdzi, że jego silniki mają średnią moc 220 KM, a odchylenie standardowe wynosi 15 KM. Potencjalny klient testuje 100 silników. Jakie jest prawdopodobieństwo, że średnia z próby będzie mniejsza niż 217 KM?

Przypomnijmy, że z CTG dla dużych liczebności próby <math>n</math> <math>\bar x \sim N(\mu,\sigma^2/n)</math> [[WnioskowanieStatystyczne/Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej|(dowód)]]. Zatem szukamy

<math>P(\bar x <217) =P\left( Z<\frac{217-\mu}{\frac{\sigma}{ \sqrt{n}}} \right) = P\left( Z<\frac{217-220}{\frac{15}{ \sqrt{100}}} \right)=P(Z<-2)=0,0228</math>

<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

# ze wzoru
p=st.norm.cdf(-2)
print('prawdopodobieństwo odczytane z dystrybuanty rozkładu normalnego: %(0).4f' %{'0':p})

# symulacja

mu=220
sig=15
N_prob=100

m_kryt=217

N_rep=int(1e4)
srednia=np.zeros(N_rep)
for i in range(N_rep):
seria=st.norm.rvs(loc=mu, scale=sig, size=N_prob)
srednia[i]=np.mean(seria)

h=py.hist(srednia,30);

py.plot([m_kryt, m_kryt],[0, max(h[0])],'r')
p1=np.sum(srednia<=m_kryt)/N_rep
print('prawdopodobieństwo uzyskane z symulacji: %(0).4f' %{'0':p1})
py.show()

</source>

====Zadania====
Teraz kilka najprostszych zadań dotyczących rozkładu normalnego:
* Znajdźmy prawdopodobieństwo, że ''Z'' < −2,47. Proszę zrobić to na dwa sposoby: raz z użyciem wygenerowanych zmiennych z rozkładu normalnego, drugi raz z użyciem dystrybuanty <tt>norm.cdf</tt>
[Odp: ''p'' = 0,0068]


=== Rozkład t ===

Gdy nie znamy wariancji populacji <math>\sigma^2</math> używamy w jego miejsce estymatora wariancji próby <math>s^2</math> danego wzorem:

<math>s^2 =\frac{\sum(\bar x - x_i)^2}{n-1} </math>
gdzie ''n'' — rozmiar próby

Wtedy rozkład <math>Y=\frac{\bar X -\mu}{\frac{s}{\sqrt{n}}}</math> nie podlega rozkładowi normalnemu. Jeśli populacja <math>X</math> podlega rozkładowi normalnemu to <math>Y</math> podlega [[WnioskowanieStatystyczne/Test_t |rozkładowi ''t'' ]] z ''n''−1 stopniami swobody.

Zobaczmy na symulacji co to zmienia. Proszę obejrzeć wyniki dla kilku wartości <tt>N</tt>

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

N=3
N_liczb=10000
mu=2
sigma=1

y_wyidealizowane=np.zeros(N_liczb)
m_populacji=np.zeros(N_liczb)
s_populacji=np.zeros(N_liczb)
y_estymowane=np.zeros(N_liczb)
m_estymowane=np.zeros(N_liczb)
s_estymowane=np.zeros(N_liczb)
for i in range(N_liczb):
x=st.norm.rvs(loc=mu,scale=sigma,size=N)
m_populacji[i]=mu
s_populacji[i]=sigma/np.sqrt(N)

m_estymowane[i]=np.mean(x)
s_estymowane[i]=np.std(x,ddof=1)/np.sqrt(N)

y_wyidealizowane[i]=(m_estymowane[i]-mu)/(s_populacji[i])
y_estymowane[i]=(m_estymowane[i]-mu)/(s_estymowane[i])

py.subplot(311)
py.title(u'średnia (wartość oczekiwana)')
py.plot(m_estymowane,label="estymowana")
py.plot(m_populacji,'r',label="populacji")
py.legend()

py.subplot(312)
py.title('odchylenie standardowe')
py.plot(s_estymowane,label="estymowane")
py.plot(s_populacji,'r',label='populacji')
py.legend()

py.subplot(325)
py.title(u'rozkład ilorazu Y dla wersji wyidealizowanej')
py.hist(y_wyidealizowane,30,(-4,4))

py.subplot(326)
py.title(u'rozkład ilorazu Y dla wersji estymowanej')
py.hist(y_estymowane,30,(-4,4))

py.show()
</source>

====Zadanie====
Dział kontroli jakości producenta silników testuje 10 egzemplarzy silnika nowego typu. Uzyskano wartość średnią 220 KM oraz odchylenie standardowe równe 15 KM. Jakie jest prawdopodobieństwo, że klient, który zamówi 100 silników, otrzyma partię, w której średnia będzie mniejsza niż 217 KM? Wykonaj obliczenia oraz symulację. Porównaj wynik z wcześniejszym [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład_5|przykładem]], gdzie znaliśmy odchylenie standardowe z innego źródła (nie było ono estymowane z próby).



=== Inne rozkłady uzyskiwane przez transformacje ===
====Metoda odwracania dystrybuanty====

Niech <math>\xi</math> będzie zmienną losową o rozkładzie jednostajnym na przedziale <math>[0,1)</math>. Jej dystrybuanta <math>J</math> dana jest więc worem:

<math>
J(x) = P(\xi \le x) = \left\{
\begin{array}{lrl}
0 & \mathrm{dla} & x<0\\
x & \mathrm{dla} & 0 \le x <1 \\
1 & \mathrm{dla} & 1 \le x
\end{array}
\right.
</math>

oraz niech <math>F</math> będzie dystrybuantą interesującego nas rozkładu. Jeśli <math>F</math> jest funkcją odwracalną to zmienna losowa zdefiniowana jako:

<math>\eta = F^{-1}(\xi) </math>

jest zmienną losową podlegającą rozkładowi o dystrybuancie <math> F</math>.
Własność tę łatwo sprawdzić. Ponieważ dla każdego <math>x \in R </math> mamy:

<math>
P(\eta \le x) = P(F^{-1} (\xi) \le x) = P(\xi \le F(x)) = F(x)
</math>
więc <math>F</math> jest dystrybuantą zmiennej losowej <math>\eta</math>.

Czyli jeśli znamy dystrybuantę interesującego nas rozkładu prawdopodobieństwa i dystrybuanta ta jest odwracalna, to możemy generować liczby z rozkładu o dystrybuancie <math>F</math>.

====Przykład====
Wygenerować liczby pseudolosowe z rozkładu wykładniczego o gęstości prawdopodobieństwa:

<math>f(x) = \lambda e^{-\lambda x} </math>

Rozwiązanie:
* Znajdujemy dystrybuantę tego rozkładu:

: <math>F(x) = 1-e^{-\lambda x} </math>

* Znajdujemy funkcję odwrotną do dystrybuanty:

: <math>G(u)=F^{-1}(u) = -\frac{1}{\lambda}\ln(1-u) </math>

* Generujemy liczby losowe <math>u</math> z przedziału <math>[0,1)</math> i stosujemy transformację <math>G(u)</math>
* Test generowanego rozkładu robimy przez porównanie dystrybuanty teoretycznej i empirycznej. Proszę zwrócić uwagę na funkcję estymującą dystrybuantę empiryczną

<source lang =python>
# -*- coding: utf-8 -*-
import pylab as py
import numpy as np

def gen_wykladniczy(lam, N):
'''funkcja zwraca N liczb z rozkładu wykładniczego o parametrze lam
korzystając z metody odwracania dystrybuanty
Dystrybuanta rozkładu wykładniczego: F(x) = 1- exp(-lam*x)
Funkcja do niej odwrotna: G(u) = -1/lam ln(1-u)'''

u = np.random.random(N)
return -1.0/lam* np.log(1.-u)

def dystrybuanta(X,od=0, do=4, krok=0.05):
'''funkcja zwraca dystrybuantę empiryczną
zmiennej X na przedziale (od, do) z krokiem krok'''

os_x = np.arange(od,do,krok)
nx = len(os_x)
N_liczb = len(X)
D=np.zeros(nx) #wyzerowany wektor na naszą dystrybuantę
for i in range(nx):
D[i] = sum(X <= os_x[i])/N_liczb
return (os_x, D)

# testujemy: narysujemy dystrybuantę oczekiwaną i empiryczną
lam=3
N=10000

x = np.arange(0,4,0.01)
F = 1-np.exp(-lam*x)
X = gen_wykladniczy(lam, N)
(os_x, F_emp) = dystrybuanta(X,od=0, do=4, krok=0.1)
py.plot(x,F,'r',label = 'dystrybuanta teoretyczna')
py.plot(os_x, F_emp,'.b', label = 'dystrybuanta empiryczna')
py.legend()
py.show()
</source>

Zauważmy, że nie zawsze jest łatwo wyznaczyć efektywnie <math>F^{-1}</math> — jest tak na przykład w przypadku rozkładu normalnego. W takich sytuacjach można szukać przybliżonej wartości <math>F^{-1}</math>, rozwiązując numerycznie równanie:
<math>F(x)=u</math>, co sprowadza się do znalezienia miejsc zerowych funkcji <math>H(x)=F(x)-u</math>.

==== Zadanie ====
Posiłkując się powyższym przykładem napisz funkcję ''MyGen(N)'' dla rozkładu, którego funkcja gęstości prawdopodobieństwa jest dana wzorem:
<math> f(x) = \frac{1}{\pi (1+x^{2})} </math>
Następnie narysuj dla niego dystrybuantę i dystrybuantę empiryczną na przedziale [-10, 10].

<source lang=python>
import numpy as np
import pylab as py

#f(x) = 1/(π(1+x²)) -- f. gęstości prawdopodobieństwa
#zatem F(x) = arctg(x)/π + 1/2 -- dystrybuanta
#zatem F⁻¹(x) = tg(π(x-1/2)) -- f. odwrotna do dystrybuanty

def MyGen(size=1):
x=np.random.random(size) # liczby z generatora jednostajnego na przedziale [0,1)
y=np.tan(np.pi*(x-1/2)) # korzystamy z metody odwracania dystrybuanty
return y

x=MyGen(int(1e6))
bins=np.linspace(-10,10,101)
py.subplot(211)
py.hist(x,bins,normed=True,histtype='step')
py.plot(bins,1./(np.pi*(1+bins**2)),'r')
py.subplot(212)
py.hist(x,bins,normed=True,histtype='step',cumulative=True)
py.plot(bins,np.arctan(bins)/np.pi+0.5,'r')
py.show()
</source>

WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych

2021-02-18T10:21:06Z

Atartas: /* Zadanie */

==Pojęcia wstępne==
=== Zmienna losowa===
;Intuicyjnie: Zmienna losowa to taka zmienna, która przyjmuje pewną konkretną wartość w wyniku przeprowadzenia pomiaru lub eksperymentu. Na przykład zmienną losową jest liczba oczek, która wypada na kostce do gry. Dopóki trzymamy kostkę w ręce to nie wiemy jaką wartość ta zmienna przyjmie, konkretną wartość zmienna ta przyjmuje po rzucie. Jednak w kolejnych rzutach nie wiemy jakie będą jej wartości.
;Bardziej formalnie: Zmienna losowa to funkcja przypisująca zdarzeniom elementarnym liczby.
;Zupełnie formalnie:
Do formalnej definicji potrzebne jest nam pojęcie przestrzeni probabilistycznej:
Przestrzeń probabilistyczna to układ trzech elementów <math>(\Omega, F,P)</math>, gdzie:
* <math>\Omega</math> jest pewnym zbiorem, zwanym przestrzenią zdarzeń elementarnych,
* <math>F</math> jest [http://pl.wikipedia.org/wiki/Sigma-ciało <math>\sigma</math>-ciałem] podzbiorów zbioru <math>\Omega</math>. Elementy tego <math>\sigma</math>-ciała nazywane są zdarzeniami losowymi,
* <math>P: F\rightarrow [0,1]</math> jest miarą probabilistyczną, tzn.
** <math>P(A) \ge 0 </math> dla każdego <math>A \in F</math>,
** <math>P(\Omega) = 1</math>,
** jeżeli zbiory <math>A_1, A_2,\dots,A_n \in F</math> są parami rozłączne, to <math>P\left( \bigcup\limits_{i=1}^{\infty} A_i \right ) = \sum_{i=1}^{\infty} P(A_i) </math>.

Niech <math>(\Omega, F,P)</math> będzie przestrzenią probabilistyczną. '''Zmienną losową''' nazywamy dowolna funkcję <math>X</math>, określoną na przestrzeni zdarzeń elementarnych <math>\Omega</math>, o wartościach ze zbioru liczb rzeczywistych i [http://pl.wikipedia.org/wiki/Funkcja_mierzalna mierzalną] względem przestrzeni <math>(\Omega, F,P)</math>. Zmienna losowa jest ciągła jeśli jej zbiór wartości jest ciągły, lub dyskretna, jeśli jej zbiór wartości jest dyskretny.

=== Rozkład prawdopodobieństwa===
Rozkład prawdopodobieństwa — (rozkład zmiennej losowej) miara probabilistyczna określona na <math>\sigma</math>-ciele podzbiorów zbioru wartości zmiennej losowej, pozwalająca przypisywać prawdopodobieństwa zbiorom wartości tej zmiennej, odpowiadającym zdarzeniom losowym.

Dla zmiennej losowej dyskretnej możemy wprowadzić pojęcie '''funkcji prawdopodobieństwa''':
<math>P(X=x_i) = p_i</math>

Przykład: Dla rzutów monetą funkcję prawdopodobieństwa można zobrazować jako tabelkę:
{| class="wikitable" border="1"
|-
|
! Zdarzenie:
! orzeł
! reszka
|-
|zmienna losowa
|<math>x_i</math>
|0
|1
|-
| prawdopodobieństwo
| <math>p_i</math>
| 1/2
| 1/2
|-
|}

Można też przedstawić ją na wykresie:

[[Plik:Rozklad_moneta_1.gif|600px]]

Dla zmiennej losowej ciągłej zamiast funkcji prawdopodobieństwa wprowadzamy '''funkcję gęstości prawdopodobieństwa'''. Jest to funkcja określona na zbiorze liczb rzeczywistych posiadająca następujące własności:
* jest nieujemna: <math>f(x) \ge 0 </math>
* prawdopodobieństwo tego, że zmienna losowa przyjmie wartość z przedziału <math>(a,b]</math>: <math> \int_a^b f(x) dx = P(a<X \le b) </math>
[[Plik:Funkcja_gestosci_prawdopodobienstwa.png]]
* Prawdopodobieństwo tego, że zmienna losowa przyjmie dowolną wartość: <math> \int_{-\infty}^{+\infty} f(x) dx = P(-\infty <X \le +\infty) = 1 </math>

=== Dystrybuanta ===
Dystrybuantą zmiennej losowej <math>X</math> nazywamy funkcję <math>F(x)</math> określoną na zbiorze liczb rzeczywistych jako:
<math>F(x) = P(X \le x)</math>

czyli wartość dystrybuanty w punkcie <math>x</math> jest prawdopodobieństwem, że zmienna losowa przyjmie wartość nie większą niż <math>x</math>.
* Dla zmiennej dyskretnej:
: <math>F(x)=P(X \le x) = \sum_{x_i<x}{P(X = x_i) } = \sum_{x_i<x}p_i</math>
* Dla zmiennej losowej ciągłej z funkcją gęstości prawdopodobieństwa <math>f</math>:
: <math>F(x) = P(X \le x)= \int_{-\infty}^x f(s) ds </math>

Zauważmy ścisły związek dystrybuanty z funkcją prawdopodobieństwa w przypadku dyskretnym i funkcją gęstości prawdopodobieństwa w przypadku ciągłym.

Przykład z monetą:

[[Plik:Rozklad_moneta.svg|600px]]

=== Momenty ===
Dla zmiennej losowej można obliczyć momenty zwykłe lub centralne.

;Moment zwykły: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi tej zmiennej. Oblicza się go tak:
* dla dyskretnej zmiennej losowej
: <math>m_k = E(X^k) = \sum_{i} {x_i^k p_i} </math>

: tu <math>p_i</math> oznacza prawdopodobieństwo, że <math>X = x_i</math>

* dla ciągłej zmiennej losowej
: <math> m_k = E(X^k) = \int\limits_{-\infty}^{\infty} {x^k f(x)dx}</math>

: tu <math>f(x)</math> jest funkcją gęstości prawdopodobieństwa.

Zauważmy, że pierwszy moment zwykły to średnia.

;Moment centralny: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi funkcji <math>[x_i - E(x_i)]</math>. Zatem możemy go obliczyć tak:
* dla dyskretnej zmiennej losowej
: <math>
\mu_k = E\left( \left[ X-E(X) \right] ^k \right) = \sum_{i} {\left[x_i-E(X)\right]^k p_i}
</math>

* dla ciągłej zmiennej losowej
: <math>
\mu_k = E\left(\left[X-E(X)\right]^k\right) = \int\limits_{-\infty}^{\infty} { \left[X-E(X)\right]^k f(x)dx}
</math>

Uwaga:
* Drugi moment centralny ma swoją nazwę. Jest to '''wariancja''', często oznaczana przez <math>\sigma^2</math>.
* Trzeci moment centralny przydaje się do badania symetrii rozkładu. Przyjmuje on wartość 0 dla zmiennych o rozkładzie symetrycznym, wartości ujemne dla zmiennych o rozkładzie wydłużonym w lewą stronę i wartości dodatnie dla zmiennych o rozkładzie wydłużonym w prawą stronę.
* Czwarty moment centralny jest przydatny do konstrukcji miary spłaszczenia rozkładu zmiennej losowej '''kurtozy'''. Definiuje się ją następująco:
: <math> \mathrm{Kurt} = \frac{\mu_4}{\mu_2^4} - 3 </math>
Rozkłady prawdopodobieństwa można podzielić ze względu na wartość kurtozy na rozkłady:
* mezokurtyczne — wartość kurtozy wynosi 0, spłaszczenie rozkładu jest podobne do spłaszczenia rozkładu normalnego (dla którego kurtoza wynosi dokładnie 0)
* leptokurtyczne — kurtoza jest dodatnia, wartości cechy bardziej skoncentrowane niż przy rozkładzie normalnym
* platokurtyczne — kurtoza jest ujemna, wartości cechy mniej skoncentrowane niż przy rozkładzie normalnym

=== Kwantyle ===
Kwantylem rzędu ''p'', gdzie <math>0 \leqslant p \leqslant 1</math>, w rozkładzie empirycznym <math> P_{X} </math> zmiennej losowej <math>X</math> nazywamy każdą liczbę <math>x_{p}</math>, dla której spełnione są nierówności

: <math>
P_X((-\infty, x_p]) \geqslant p
</math>

oraz

: <math>
P_X([x_p,\infty)) \geqslant 1-p.
</math>

W szczególności, kwantylem rzędu ''p'' jest taka wartość <math>x_{p}</math> zmiennej losowej, że wartości mniejsze lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej ''p'', zaś wartości większe lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej 1−''p''.

Możemy zatem myśleć o obliczaniu kwantyla tak:
* zaobserwowaliśmy ''n'' wartości zmiennej losowej,
* zapiszemy te wartości na liście,
* następnie listę tę sortujemy w porządku rosnącym,
* kwantylem rzędu ''p'' jest albo element znajdujący się na liście w pozycji ''np'' jeśli ''np'' jest całkowite albo średnią z elementów położonych najbliżej ''np'' w przeciwnym wypadku.
==== Nazwy poszczególnych kwantyli ====
Kwantyl rzędu 1/2 to inaczej mediana (ściślej zależy to od definicji mediany, przy jej obliczaniu z próbki o parzystej liczbie elementów często stosuje się średnią arytmetyczną dwóch środkowych elementów, szczegóły są w artykule). 
Kwantyle rzędu 1/4, 2/4, 3/4 są inaczej nazywane kwartylami. 
Kwantyle rzędu 1/5, 2/5, 3/5, 4/5 to inaczej kwintyle. 
Kwantyle rzędu 1/10, 2/10, ..., 9/10 to inaczej decyle. 
Kwantyle rzędu 1/100, 2/100, ..., 99/100 to inaczej percentyle. 

==Pseudolosowość==
W obliczeniach numerycznych często korzystamy z liczb &bdquo;losowych”. Tak naprawdę sekwencje liczb, których używamy są jedynie pseudolosowe,
tzn. są wytwarzane w deterministyczny (algorytmiczny) sposób, ale sekwencja generowanych wartości ma pewne cechy losowości. W idealnym przypadku cechą tą jest nieprzewidywalność: na podstawie obserwacji dotychczasowych wartości sekwencji niemożliwe jest podanie kolejnych wartości. W praktyce oznacza to nie możność ustalenie ziarna lub stanu wewnętrznego generatora na podstawie obserwacji dowolnie długiego ciągu wygenerowanych bitów.
Stan generatora przechowywany jest na zmiennych o skończonej precyzji. Jeśli stan jest przechowywany na <math>n</math> bitach to górną granicą na długość unikalnego ciągu liczb jest <math>2^n</math>. Zazwyczaj unikalna sekwencja jest jednak krótsza. Wynika stąd, że generatory liczb pseudolosowych mają okres, po którym sekwencja liczb powtarza się. Podstawowe generatory liczb pseudolosowych wytwarzają liczby podlegające rozkładowi jednostajnemu (płaskiemu).

Istnieją generatory &bdquo;prawdziwych” liczb losowych, które są osobnymi urządzeniami. Liczy przez nie dostarczane są pewnymi parametrami jakichś procesów fizycznych, przebiegających w tych urządzeniach (zależnie od producenta). Do naszych zastosowań w zupełności wystarczą liczby generowane przez algorytmy komputerowe.

Proste generatory liczb pseudolosowych można otrzymać jako funkcje używające operacji dzielenia modulo (generatory kongruencyjne):

<math>x_{n+1}=f(x_n,x_{n-1}, ..., x_{n-k})\mod M</math>.

Zakładamy, że argumentami funkcji <math>f</math> są liczby całkowite ze zbioru <math>{0, 1, ...,M-1}</math>. Dla ustalenia uwagi mogą to być generatory liniowe typu:

<math> x_{n+1}= (ax_{n} + c )\mod M</math>

===Przykład generatora liniowego ===
Dla przykładu zaimplementujmy jeden taki generator:

<source lang = python>
# -*- coding: utf-8 -*-

import numpy as np
import pylab as py
def gen(x,N=1):
'''Przykład generatora liniowego.
funkcja zwraca liczby pseudolosowe z przedziału [0,1)
x - ziarno,
N - ile liczb zwrócić'''
m=8191
a=101
c=1731
y=np.zeros(shape=(N,))
for i in range(N):
x=(a*x+c) % m
y[i]= x/m
return y
x=gen(23,100000)
py.hist(x)
py.show()
</source>
Liczby <tt> m, a, c</tt> są parametrami generatora. Liczba <tt>x</tt>, od której startuje generator nazywana jest ziarnem generatora {{ang|seed}}.
Funkcja <tt>py.hist()</tt> zlicza i wyrysowuje histogram (czy wiemy co to jest histogram?).
* Wywołaj funkcję <tt>gen</tt> dla tego samego ziarna kilka razy zaobserwuj powtarzalność wartości.

W module <tt>numpy</tt> mamy do dyspozycji generator liczb pseudolosowych oparty na algorytmie [http://pl.wikipedia.org/wiki/Mersenne_Twister Mersenne Twister ]
<source lang=python>
# -*- coding: utf-8 -*-
"""
kod demonstrujacy pseudolosowosc
"""
import numpy as np
seed=3
np.random.seed(seed)
x=np.random.random(5)

np.random.seed(seed)
y=np.random.random(5)
print('x:', x)
print('y:', y)
</source>
* Zaobserwuj powtarzalność wartości.
* Wygeneruj i wykreśl 200 kolejnych liczb pseudolosowych.
<source lang= python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
seed=3
np.random.seed(seed)
x=np.random.random(200)

py.plot(x,'.')
py.show()
</source>

===Testy jakości===
==== Zadanie ====
Dla wyżej wymienionych generatorów, proszę wykonać następujące testy:
* zobrazować rozkład prawdopodobieństwa (narysować histogram);

* test korelacji na rysunku: sporządzić wykres gdzie na jednej osi są wartości <math>x_n</math> na drugiej zaś wartości <math>x_{n+1}</math>.


Bardziej wyczerpujące baterie testów jakości generatorów można znaleźć na przykład w:
* http://csrc.nist.gov/groups/ST/toolkit/rng/index.html
* http://www.phy.duke.edu/~rgb/General/rand_rate.php

== Zmienne losowe w module <tt>scipy.stats</tt> ==
=== Wstęp ===
Zmienne losowe w module <tt>scipy.stats</tt> są zaimplementowane jako dwie klasy: <tt>stats.rv_continuous</tt> (bazuje na niej ponad 80 typów rozkładów ciągłych zmiennych losowych) i <tt>stats.rv_discrete</tt> (bazuje na niej 10 typów rozkładów dyskretnych zmiennych losowych). Aktualną listę dostępnych rozkładów można uzyskać np. przy pomocy następującego skryptu:
<source lang =python>
from scipy import stats
dc= [d for d in dir(stats) if isinstance(getattr(stats,d), stats.rv_continuous)]
print(dc)
</source>
Przykładowo: zmienne losowe o rozkładzie normalnym są reprezentowane przez klasę <tt>norm</tt>.

=== Funkcje przydatne do pracy ze zmiennymi losowymi dostępne są jako metody ===

Obiekty reprezentujące zmienne losowe podlegające konkretnym rozkładom posiadają następujące metody:
* <tt>rvs</tt>: '''generator zmiennych losowych''' danego typu;
* <tt>cdf</tt>: '''dystrybuanta''' (ang. Cumulative Distribution Function);
* <tt>ppf</tt>: '''funkcja odwrotna do dystrybuanty''' (ang. Percent Point Function (Inverse of CDF));
* <tt>stats</tt>: zwraca '''momenty centralne rozkładu''' (średnią, wariancję, skośność i kurtozę);
* <tt>moment</tt>: zwraca niecentralne momenty rozkładu.
* <tt>pdf</tt>: '''funkcja gęstości prawdopodobieństwa''' (ang. Probability Density Function);
* <tt>pmf</tt> dla rozkładów dyskretnych <tt>pdf</tt> jest zamienione na '''funkcję prawdopodobieństwa''' (ang. probability mass function; ''masa'' przez analogię z gęstością masy i masą punktową);
* <tt>sf</tt>: funkcja przeżycia (ang. Survival Function) (1−CDF);
* <tt>isf</tt>: funkcja odwrotna do funkcji przetrwania (ang. Inverse Survival Function (Inverse of SF));

====Przykład====
Zobaczmy działanie tych metod dla zmiennych losowych z rozkładu normalnego:
<source lang =python>
import scipy.stats as st
import pylab as py
import numpy as np

# generowanie 10000 liczb z rozkładu normalnego
x = st.norm.rvs(size=10000)
py.subplot(2,2,4)
bins=np.linspace(-3,3,50)
py.hist(x,bins=bins)
py.title('Histogram')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'ilość zliczeń')

# wykreślenie gęstości prawdopodobieństwa
os_x = np.arange(-3,3,0.01)
y=st.norm.pdf(os_x)
py.subplot(2,2,3)
py.plot(os_x,y)
py.title(u'rozkład gęstości prawdopodobieństwa: pdf')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'gęstość prawdopodobieństwa')

# wykreślenie dystrybuanty
z= st.norm.cdf(os_x)
py.subplot(2,2,1)
py.plot(os_x,z)
py.title(u'Dystrybuanta: cdf')

py.xlabel(u'wartość zmiennej')
py.ylabel(u'prawdopodobieństwo')

# wykreślenie funkcji odwrotnej do dystrybuanty
os_p = np.arange(0,1,0.01)
f=st.norm.ppf(os_p)
py.subplot(2,2,2)
py.plot(os_p,f)
py.title(u'funkcja odwrotna do dystrybuanty: ppf')
py.ylabel(u'wartość zmiennej')
py.xlabel(u'prawdopodobieństwo')
py.show()

</source>

Zmienne losowe mogą być używane na jeden z dwóch sposobów: można podawać wszystkie parametry opisujące rozkład w każdym wywołaniu metody, albo wytworzyć obiekt reprezentujący rozkład o konkretnych parametrach (w dokumentacji <tt>scipy</tt> jest to nazywane zamrażaniem parametrów rozkładu, ang. ''freezing'')
Jako przykład zobaczmy funkcję odwrotną do dystrybuanty rozkładu normalnego N(2, 9):

>>> import scipy.stats as st
>>> print(st.norm.ppf(0.05, loc=2, scale=3))
-2.93456088085
>>> my_norm = st.norm(loc=2,scale=3)
>>> print(my_norm.ppf(0.05))
-2.93456088085

=== Pomoc do poszczególnych rozkładów ===
Pełną dokumentację każdego rozkładu mamy dostępną w postaci docstringów. Dla przykładu:
<source lang = python>
help(st.nct)
</source>
wypisuje pełną informację z docstring o niecentralnym rozkładzie ''t''.
Podstawowe informacje można uzyskać wypisując treść pola <tt>extradoc</tt>

>>> print(st.nct.extradoc)
Non-central Student T distribution
df**(df/2) * gamma(df+1)
nct.pdf(x,df,nc) = --------------------------------------------------
2**df*exp(nc**2/2)*(df+x**2)**(df/2) * gamma(df/2)
for df > 0, nc > 0.

==== Zadanie ====
Wypisz pomoc dla (centralnego) rozkładu ''t'' i sprawdź jakie parametry on przyjmuje. Wybierz dowolnie ich wartości, a następnie posiłkując się [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład|przykładem]]:
# Wygeneruj 10000 liczb z rozkładu ''t'' i narysuj ich histogram.
# Wykreśl gęstość prawdopodobieństwa tego rozkładu.
# Wykreśl dystrybuantę.
# Wykreśl funkcję odwrotną do dystrybuanty.



=== Statystyki i estymatory ===
Estymator jest statystyką służącą do szacowania pewnej wielkości (np. parametru) na podstawie próby losowej (np. danych eksperymentalnych). Na wykładzie poznaliśmy m.in. takie statystki jak [[WnioskowanieStatystyczne/Momenty|wartość oczekiwana, wariancja i mediana]], z których ostatnia jest szczególnym przypadkiem [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Kwantyle|kwantylu]]. Moduły numpy oraz scipy.stats umożliwiają łatwe estymowanie niektórych statystyk, a także obliczanie ich rzeczywistych wartości, jeśli znamy parametry rozkładu.

====Przykład====
Jako przykład niech posłuży poniższy kod, w którym szukamy wartości estymatorów wartości oczekiwanej oraz wariancji rozkładu normalnego na podstawie próby losowej, a wynik porównujemy z wartościami rzeczywistymi:
<source lang =python>
import numpy as np
import scipy.stats as st

# definiujemy parametry rozkładu, a następnie sam rozkład
m=2
s=0.5
rozklad = st.norm(m,s) #definiujemy rozkład normalny

#określamy wielkość próby losowej
N = 10000

#obliczamy statystyki korzystając z metod obiektu 'rozklad'
mu = rozklad.mean() # rzeczywista wartość oczekiwana naszego rozkładu
var = rozklad.var() # rzeczywiste odchylenie standardow

#losujemy próbę o rozmiarze N
x = rozklad.rvs(size=N)

#estymujemy statystyki
mu_est = np.mean(x) # estymowana wartość oczekiwana
var_est = np.var(x) # estymowana wariancja

# wypisujemy wyniki z dokładnością do 5 cyfr znaczących
print("Wartość oczekiwana rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(mu,mu_est))
print("Wariancja rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(var,var_est))
</source>

==== Zadanie ====
Posiłkując się powyższym przykładem wygeneruj próby losowe dla następujących rozkładów:
# Rozkład normalny <math>\mu</math> = 100, <math>\sigma</math> = 2.
# Rozkład dwumianowy p = 0.4, n =10.
# Rozkład poissona <math>\lambda</math> = 4.
# Rozkład jednostajny na przedziale [2, 6).
Następnie estymuj na ich podstawie wartości poniższych statystyk i porównaj je z wartościami obliczonymi na podstawie znanych parametrów rozkładu:
# Wartość oczekiwana.
# Odchylenie standardowe.
# Wariancja.
# Mediana.
# Kurtoza.



== Generowanie zmiennych losowych podlegającym różnym rozkładom prawdopodobieństwa ==
Podstawowe typy generatorów liczb losowych wytwarzają liczby losowe podlegające rozkładowi jednostajnemu. Zastanowimy sie teraz jak mając zmienne losowe z rozkładu jednostajnego wytworzyć zmienne losowe o innych rozkładach.
=== Rozkład dwumianowy ===
Zmienna losowa, która zlicza liczbę sukcesów <math>k</math> w <math>n</math> próbach, gdzie <math>p</math> jest prawdopodobieństwem sukcesu w pojedynczej próbie, podlega rozkładowi dwumianowemu
[[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_dwumianowy więcej o rozkładzie dwumianowym]]:

<math>P_n(k)=\left(
\begin{array}{c}
n \\
k
\end{array}
\right) p^kq^{n-k}=\frac{n!}{k!(n-k)!}p^kq^{n-k} </math>

''Jak z rozkładu jednostajnego wytworzyć zmienne losowe o rozkładzie dwumianowym?''
* Wykonać symulację!

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py

def gen_binom(n,p,N):
'''funkcja zwracająca zmienną losową z rozkładu dwumianowego:
ilość sukcesów w n próbach przy prawdopodobieństwie sukcesu p
parametry:
n: liczba prób
p: prawdopodobieństwo sukcesu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będącymi liczbami sukcesów
'''
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję n liczb z rozkładu jednostajnego [0,1) i jako sukcesy
#traktuję wylosowanie liczby nie większej niż p
r=np.random.rand(N,n)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
n=20
N=100000
p=0.8
x = gen_binom(n,p,N)
bins =range(22) #granice binów
py.hist(x,bins)
py.show()
</source>

====Zadanie====
Z oszacowań agencji wynika, że średnio 2 z 3 reklam spotyka się z pozytywnym odzewem. Akcja marketingowa obejmuje 12 reklam. Niech <math>X</math> oznacza liczbę reklam skutecznych. Czy <math>X</math> podlega rozkładowi dwumianowemu?
Jakie jest prawdopodobieństwo, że 10 reklam będzie skutecznych?
Prawdopodobieństwo obliczyć ze wzoru oraz korzystając z symulacji.

Wskazówka informacje o zmiennych z rozkładu dwumianowego (<tt>binom</tt>) można uzyskać tak:
# >>> print(st.binom.extradoc)
# Binomial distribution
#
# Counts the number of successes in *n* independent
# trials when the probability of success each time is *pr*.
#
# binom.pmf(k,n,p) = choose(n,k)*p**k*(1-p)**(n-k)
# for k in {0,1,...,n}
Odp: ''p'' = 0,127



====Zadanie====
Na egzaminie testowym jest 30 pytań. Na każde pytanie są podane cztery możliwe odpowiedzi, z czego tylko jedna jest prawdziwa. Za prawidłową odpowiedź student otrzymuje 1 punkt a za fałszywą −0,5 punktu. Próg zaliczenia wynosi 15 punktów. Oblicz prawdopodobieństwo, że udzielając czysto losowych odpowiedzi student zaliczy egzamin.


=== Rozkład Poissona ===

<math>
P(k)=\frac{\mu^k e^{-\mu}}{k!}
</math>
Rozkładowi Poissona podlegają zmienne losowe zliczające w jednostce czasu liczbę zdarzeń o niskim prawdopodobieństwie zajścia. Np. liczba rozpadów promieniotwórczych na jednostkę czasu [[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_Poissona więcej o rozkładzie Poissona]]

====Przykład====
Lekarz pełniący dyżur w szpitalu jest wzywany do pacjentów średnio 3 razy w ciągu nocy. Załóżmy, że liczba wezwań na noc podlega rozkładowi Poissona. Jakie jest prawdopodobieństwo, że noc upłynie lekarzowi spokojnie?
U nas <math>\mu=3</math>, <math>x=0</math> więc

<math>
P(0) = \frac{3^0e^{-3}}{0!} = e^{-3} = 0,0498
</math>

====Przykład====
Jak ze zmiennych podlegających rozkładowi jednostajnemu uzyskać zmienne podlegające rozkładowi Poissona?

Wykonać symulację wynikającą z następujących spostrzeżeń:

* Weźmy jednostkę czasu. Ma w niej zachodzić średnio <math>\mu</math> zdarzeń.
* Podzielmy jednostkę czasu na ''NT'' odcinków o jednakowej długości.
* Prawdopodobieństwo, że zdarzenie zajdzie w konkretnym odcinku jest <math>p=\frac{\mu}{NT}</math> Takie prawdopodobieństwo ma też wylosowanie przy pomocy generatora liczb z rozkładu jednostajnego [0,1) liczby nie większej niż ''p''.
* Zatem, aby wytworzyć jedną liczbę z rozkładu Poissona można policzyć ile spośród ''NT'' liczb z rozkładu jednostajnego [0,1) jest nie większych niż ''p''.

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

def gen_poiss(mi,NT,N):
'''funkcja zwracająca zmienne losowe z rozkładu poissona:
średnia ilość zdarzeń o niskim prawdopodobieństwie w jednostce czasu
parametry:
mi: średnia liczba zdarzeń
NT: liczba odcinków czasu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będących zliczeniami zdarzeń
'''
p = float(mi)/NT
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję NT liczb z rozkładu jednostajnego [0,1) i jako zajście zdarzenia
# traktuję wylosowanie liczby nie większej niż p. Ilość zdarzeń to liczba z rozkładu Poissona
r=np.random.rand(N,NT)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
mi=4
N=100000
NT = 10000
x = gen_poiss(mi,NT,N)
bins =np.arange(int(x.max()+1))-0.5
py.hist(x,bins,normed=True)

# porównanie z generatorami scipy.stats
p=mi/NT
k=np.arange(x.max()+1)
B=st.binom.pmf(k,NT,p)
py.plot(k,B,'ro')
P=st.poisson.pmf(k,mi)
py.plot(k,P,'go')
py.show()
</source>

=== Rozkład normalny i Centralne Twierdzenie Graniczne ===
Gęstość prawdopodobieństwa [[WnioskowanieStatystyczne/Rozklady-przyklady#Rozk.C5.82ad_Gaussa| rozkładu normalnego]] dana jest wzorem:

<math>f(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{ -\frac{(x-\mu)^2}{2 \sigma^2}}</math>
gdzie: <math>\mu</math> — średnia, <math>\sigma</math> — odchylenie standardowe (<math>\sigma^2</math> — wariancja).

Jeden ze sposóbw wytwarzania zmiennych losowych o rozkładzie normalnym polega na zastosowaniu [[WnioskowanieStatystyczne/CLT| Centralnego Twierdzenia Granicznego]].

<math>X=\frac{\sqrt{12}}{\sqrt{N}}\left(\sum_{n=1}^N Y_n -\frac{N}{2}\right)</math>

gdzie <math>Y</math> zmienna losowa z rozkładu jednostajnego <math>[0,1)</math>
W granicy dużych <math>N</math> rozkład zmiennej <math>X</math> dąży do rozkładu normalnego <math>N(0,1)</math>.

====Zadanie ====
Proszę:
* napisać funkcję <tt>gen_CTG_1(N)</tt>, która zwraca liczbę losową ''X'' otrzymaną zgodnie powyższym wzorem przez sumowanie <tt>N</tt> liczb z rozkładu jednostajnego.
* napisać funkcję <tt>gen_CTG(N, N_liczb)</tt> korzystającą z <tt>gen_CTG_1(N)</tt> i zwracającą zadaną ilość liczb <tt>N_liczb</tt>
* narysować histogramy 10 000 liczb <math>X</math> uzyskanych kolejno dla <math>N={1,2,...,12}</math>
* Jakie parametry charakteryzują rozkład do którego zbiegają sumy? Przy każdym z powyższych histogramów wypisz średnią i wariancję z próby (funkcje <tt>np.mean</tt> i <tt>np.var</tt>).



====Zadanie: transformacja rozkładu normalnego ====

Rozkład o średniej 0 i wariancji 1 (notacja <math>N(0,1)</math>) jest nazywany rozkładem standardowym i często jest oznaczany literą <math>Z</math>. Dokonując odpowiedniej transformacji można z rozkładu <math>Z</math> uzyskać dowolny inny rozkład normalny.

Proszę:
* wygenerować 100000 zmiennych losowych z rozkładu <math>N(0,1)</math> (skorzystać z funkcji <tt>st.norm.rvs(loc=0, scale=1, size=100000)</tt>)
* przetransformować je do zmiennych losowych <math>N(2,9)</math>.
* narysować histogramy zmiennych przed i po transformacji.
* narysować rozkład gęstości prawdopodobieństwa dla rozkładu <math>N(2,9)</math> (skorzystać z funkcji <tt>st.norm.pdf(...)</tt>) .



====Transformacja Boxa-Mullera====
To inna popularna metoda metoda generowania liczb losowych o rozkładzie normalnym, na podstawie dwóch wartości zmiennej o rozkładzie jednostajnym na przedziale [0,1) http://en.wikipedia.org/wiki/Box-Muller_transform, ale nie będziemy się nią tu szerzej zajmować.

====Przykład====
Producent silników twierdzi, że jego silniki mają średnią moc 220 KM, a odchylenie standardowe wynosi 15 KM. Potencjalny klient testuje 100 silników. Jakie jest prawdopodobieństwo, że średnia z próby będzie mniejsza niż 217 KM?

Przypomnijmy, że z CTG dla dużych liczebności próby <math>n</math> <math>\bar x \sim N(\mu,\sigma^2/n)</math> [[WnioskowanieStatystyczne/Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej|(dowód)]]. Zatem szukamy

<math>P(\bar x <217) =P\left( Z<\frac{217-\mu}{\frac{\sigma}{ \sqrt{n}}} \right) = P\left( Z<\frac{217-220}{\frac{15}{ \sqrt{100}}} \right)=P(Z<-2)=0,0228</math>

<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

# ze wzoru
p=st.norm.cdf(-2)
print('prawdopodobieństwo odczytane z dystrybuanty rozkładu normalnego: %(0).4f' %{'0':p})

# symulacja

mu=220
sig=15
N_prob=100

m_kryt=217

N_rep=int(1e4)
srednia=np.zeros(N_rep)
for i in range(N_rep):
seria=st.norm.rvs(loc=mu, scale=sig, size=N_prob)
srednia[i]=np.mean(seria)

h=py.hist(srednia,30);

py.plot([m_kryt, m_kryt],[0, max(h[0])],'r')
p1=np.sum(srednia<=m_kryt)/N_rep
print('prawdopodobieństwo uzyskane z symulacji: %(0).4f' %{'0':p1})
py.show()

</source>

====Zadania====
Teraz kilka najprostszych zadań dotyczących rozkładu normalnego:
* Znajdźmy prawdopodobieństwo, że ''Z'' < −2,47. Proszę zrobić to na dwa sposoby: raz z użyciem wygenerowanych zmiennych z rozkładu normalnego, drugi raz z użyciem dystrybuanty <tt>norm.cdf</tt>
[Odp: ''p'' = 0,0068]

Rozwiązanie:
<source lang =python>
import scipy.stats as st

N=100000
z_crit = -2.47
Z=st.norm.rvs(loc=0, scale=1, size=N)
p= sum(Z < z_crit )/N
p_cdf = st.norm.cdf(z_crit, loc=0, scale=1)
print('symulowane p: %.4f' % p )
print('p z dystrybuanty: %.4f' % p_cdf)
</source>

* Znaleźć prawdopodobieństwo ''P''(|''Z''| < 2)
[Odp: ''p'' = 0,9545]

Rozwiązanie:
<source lang =python>
import scipy.stats as st
import numpy as np

N=100000
z_crit = 2
Z=st.norm.rvs(loc=0, scale=1, size=N)
p= sum(np.abs(Z) < z_crit )/N
p_cdf = st.norm.cdf( z_crit, loc=0, scale=1) - st.norm.cdf( -z_crit, loc=0, scale=1)
print('symulowane p: %.4f' % p )
print('p z dystrybuanty: %.4f' % p_cdf)
</source>

* Koncentracja zanieczyszczeń w półprzewodniku używanym do produkcji procesorów podlega rozkładowi normalnemu o średniej 127 cząsteczek na milion i odchyleniu standardowemu 22. Półprzewodnik może zostać użyty jedynie gdy koncentracja zanieczyszczeń spada poniżej 150 cząstek na milion. Jaka proporcja półprzewodników nadaje się do użycia?
Prawdopodobieństwo obliczyć korzystając z dystrybuanty rozkładu normalnego oraz z symulacji.
[Odp: ''p'' = 0,852]

Rozwiązanie:
<source lang =python>
import scipy.stats as st
import pylab as py
import numpy as np

mu=127
sig=22
m_kryt=150
p=st.norm.cdf(m_kryt, loc = mu, scale = sig )
print('proporcja odczytana z dystrybuanty rozkładu normalnego: %4g' %p)
# symulacja
N_prob=10000
seria=st.norm.rvs(loc=mu, scale=sig, size=N_prob)
p = sum(seria<=m_kryt)/N_prob
bins = np.arange(60,200,5)
h=py.hist(seria,bins);
py.plot([m_kryt, m_kryt],[0, max(h[0])],'r')
p1=np.sum(seria<=m_kryt)/N_prob
print('prawdopodobieństwo uzyskane z symulacji: %.4g' %p1)
py.show()
</source>

=== Rozkład t ===

Gdy nie znamy wariancji populacji <math>\sigma^2</math> używamy w jego miejsce estymatora wariancji próby <math>s^2</math> danego wzorem:

<math>s^2 =\frac{\sum(\bar x - x_i)^2}{n-1} </math>
gdzie ''n'' — rozmiar próby

Wtedy rozkład <math>Y=\frac{\bar X -\mu}{\frac{s}{\sqrt{n}}}</math> nie podlega rozkładowi normalnemu. Jeśli populacja <math>X</math> podlega rozkładowi normalnemu to <math>Y</math> podlega [[WnioskowanieStatystyczne/Test_t |rozkładowi ''t'' ]] z ''n''−1 stopniami swobody.

Zobaczmy na symulacji co to zmienia. Proszę obejrzeć wyniki dla kilku wartości <tt>N</tt>

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

N=3
N_liczb=10000
mu=2
sigma=1

y_wyidealizowane=np.zeros(N_liczb)
m_populacji=np.zeros(N_liczb)
s_populacji=np.zeros(N_liczb)
y_estymowane=np.zeros(N_liczb)
m_estymowane=np.zeros(N_liczb)
s_estymowane=np.zeros(N_liczb)
for i in range(N_liczb):
x=st.norm.rvs(loc=mu,scale=sigma,size=N)
m_populacji[i]=mu
s_populacji[i]=sigma/np.sqrt(N)

m_estymowane[i]=np.mean(x)
s_estymowane[i]=np.std(x,ddof=1)/np.sqrt(N)

y_wyidealizowane[i]=(m_estymowane[i]-mu)/(s_populacji[i])
y_estymowane[i]=(m_estymowane[i]-mu)/(s_estymowane[i])

py.subplot(311)
py.title(u'średnia (wartość oczekiwana)')
py.plot(m_estymowane,label="estymowana")
py.plot(m_populacji,'r',label="populacji")
py.legend()

py.subplot(312)
py.title('odchylenie standardowe')
py.plot(s_estymowane,label="estymowane")
py.plot(s_populacji,'r',label='populacji')
py.legend()

py.subplot(325)
py.title(u'rozkład ilorazu Y dla wersji wyidealizowanej')
py.hist(y_wyidealizowane,30,(-4,4))

py.subplot(326)
py.title(u'rozkład ilorazu Y dla wersji estymowanej')
py.hist(y_estymowane,30,(-4,4))

py.show()
</source>

====Zadanie====
Dział kontroli jakości producenta silników testuje 10 egzemplarzy silnika nowego typu. Uzyskano wartość średnią 220 KM oraz odchylenie standardowe równe 15 KM. Jakie jest prawdopodobieństwo, że klient, który zamówi 100 silników, otrzyma partię, w której średnia będzie mniejsza niż 217 KM? Wykonaj obliczenia oraz symulację. Porównaj wynik z wcześniejszym [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład_5|przykładem]], gdzie znaliśmy odchylenie standardowe z innego źródła (nie było ono estymowane z próby).



=== Inne rozkłady uzyskiwane przez transformacje ===
====Metoda odwracania dystrybuanty====

Niech <math>\xi</math> będzie zmienną losową o rozkładzie jednostajnym na przedziale <math>[0,1)</math>. Jej dystrybuanta <math>J</math> dana jest więc worem:

<math>
J(x) = P(\xi \le x) = \left\{
\begin{array}{lrl}
0 & \mathrm{dla} & x<0\\
x & \mathrm{dla} & 0 \le x <1 \\
1 & \mathrm{dla} & 1 \le x
\end{array}
\right.
</math>

oraz niech <math>F</math> będzie dystrybuantą interesującego nas rozkładu. Jeśli <math>F</math> jest funkcją odwracalną to zmienna losowa zdefiniowana jako:

<math>\eta = F^{-1}(\xi) </math>

jest zmienną losową podlegającą rozkładowi o dystrybuancie <math> F</math>.
Własność tę łatwo sprawdzić. Ponieważ dla każdego <math>x \in R </math> mamy:

<math>
P(\eta \le x) = P(F^{-1} (\xi) \le x) = P(\xi \le F(x)) = F(x)
</math>
więc <math>F</math> jest dystrybuantą zmiennej losowej <math>\eta</math>.

Czyli jeśli znamy dystrybuantę interesującego nas rozkładu prawdopodobieństwa i dystrybuanta ta jest odwracalna, to możemy generować liczby z rozkładu o dystrybuancie <math>F</math>.

====Przykład====
Wygenerować liczby pseudolosowe z rozkładu wykładniczego o gęstości prawdopodobieństwa:

<math>f(x) = \lambda e^{-\lambda x} </math>

Rozwiązanie:
* Znajdujemy dystrybuantę tego rozkładu:

: <math>F(x) = 1-e^{-\lambda x} </math>

* Znajdujemy funkcję odwrotną do dystrybuanty:

: <math>G(u)=F^{-1}(u) = -\frac{1}{\lambda}\ln(1-u) </math>

* Generujemy liczby losowe <math>u</math> z przedziału <math>[0,1)</math> i stosujemy transformację <math>G(u)</math>
* Test generowanego rozkładu robimy przez porównanie dystrybuanty teoretycznej i empirycznej. Proszę zwrócić uwagę na funkcję estymującą dystrybuantę empiryczną

<source lang =python>
# -*- coding: utf-8 -*-
import pylab as py
import numpy as np

def gen_wykladniczy(lam, N):
'''funkcja zwraca N liczb z rozkładu wykładniczego o parametrze lam
korzystając z metody odwracania dystrybuanty
Dystrybuanta rozkładu wykładniczego: F(x) = 1- exp(-lam*x)
Funkcja do niej odwrotna: G(u) = -1/lam ln(1-u)'''

u = np.random.random(N)
return -1.0/lam* np.log(1.-u)

def dystrybuanta(X,od=0, do=4, krok=0.05):
'''funkcja zwraca dystrybuantę empiryczną
zmiennej X na przedziale (od, do) z krokiem krok'''

os_x = np.arange(od,do,krok)
nx = len(os_x)
N_liczb = len(X)
D=np.zeros(nx) #wyzerowany wektor na naszą dystrybuantę
for i in range(nx):
D[i] = sum(X <= os_x[i])/N_liczb
return (os_x, D)

# testujemy: narysujemy dystrybuantę oczekiwaną i empiryczną
lam=3
N=10000

x = np.arange(0,4,0.01)
F = 1-np.exp(-lam*x)
X = gen_wykladniczy(lam, N)
(os_x, F_emp) = dystrybuanta(X,od=0, do=4, krok=0.1)
py.plot(x,F,'r',label = 'dystrybuanta teoretyczna')
py.plot(os_x, F_emp,'.b', label = 'dystrybuanta empiryczna')
py.legend()
py.show()
</source>

Zauważmy, że nie zawsze jest łatwo wyznaczyć efektywnie <math>F^{-1}</math> — jest tak na przykład w przypadku rozkładu normalnego. W takich sytuacjach można szukać przybliżonej wartości <math>F^{-1}</math>, rozwiązując numerycznie równanie:
<math>F(x)=u</math>, co sprowadza się do znalezienia miejsc zerowych funkcji <math>H(x)=F(x)-u</math>.

==== Zadanie ====
Posiłkując się powyższym przykładem napisz funkcję ''MyGen(N)'' dla rozkładu, którego funkcja gęstości prawdopodobieństwa jest dana wzorem:
<math> f(x) = \frac{1}{\pi (1+x^{2})} </math>
Następnie narysuj dla niego dystrybuantę i dystrybuantę empiryczną na przedziale [-10, 10].

<source lang=python>
import numpy as np
import pylab as py

#f(x) = 1/(π(1+x²)) -- f. gęstości prawdopodobieństwa
#zatem F(x) = arctg(x)/π + 1/2 -- dystrybuanta
#zatem F⁻¹(x) = tg(π(x-1/2)) -- f. odwrotna do dystrybuanty

def MyGen(size=1):
x=np.random.random(size) # liczby z generatora jednostajnego na przedziale [0,1)
y=np.tan(np.pi*(x-1/2)) # korzystamy z metody odwracania dystrybuanty
return y

x=MyGen(int(1e6))
bins=np.linspace(-10,10,101)
py.subplot(211)
py.hist(x,bins,normed=True,histtype='step')
py.plot(bins,1./(np.pi*(1+bins**2)),'r')
py.subplot(212)
py.hist(x,bins,normed=True,histtype='step',cumulative=True)
py.plot(bins,np.arctan(bins)/np.pi+0.5,'r')
py.show()
</source>

WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych

2021-02-18T10:20:59Z

Atartas: /* Zadanie */

==Pojęcia wstępne==
=== Zmienna losowa===
;Intuicyjnie: Zmienna losowa to taka zmienna, która przyjmuje pewną konkretną wartość w wyniku przeprowadzenia pomiaru lub eksperymentu. Na przykład zmienną losową jest liczba oczek, która wypada na kostce do gry. Dopóki trzymamy kostkę w ręce to nie wiemy jaką wartość ta zmienna przyjmie, konkretną wartość zmienna ta przyjmuje po rzucie. Jednak w kolejnych rzutach nie wiemy jakie będą jej wartości.
;Bardziej formalnie: Zmienna losowa to funkcja przypisująca zdarzeniom elementarnym liczby.
;Zupełnie formalnie:
Do formalnej definicji potrzebne jest nam pojęcie przestrzeni probabilistycznej:
Przestrzeń probabilistyczna to układ trzech elementów <math>(\Omega, F,P)</math>, gdzie:
* <math>\Omega</math> jest pewnym zbiorem, zwanym przestrzenią zdarzeń elementarnych,
* <math>F</math> jest [http://pl.wikipedia.org/wiki/Sigma-ciało <math>\sigma</math>-ciałem] podzbiorów zbioru <math>\Omega</math>. Elementy tego <math>\sigma</math>-ciała nazywane są zdarzeniami losowymi,
* <math>P: F\rightarrow [0,1]</math> jest miarą probabilistyczną, tzn.
** <math>P(A) \ge 0 </math> dla każdego <math>A \in F</math>,
** <math>P(\Omega) = 1</math>,
** jeżeli zbiory <math>A_1, A_2,\dots,A_n \in F</math> są parami rozłączne, to <math>P\left( \bigcup\limits_{i=1}^{\infty} A_i \right ) = \sum_{i=1}^{\infty} P(A_i) </math>.

Niech <math>(\Omega, F,P)</math> będzie przestrzenią probabilistyczną. '''Zmienną losową''' nazywamy dowolna funkcję <math>X</math>, określoną na przestrzeni zdarzeń elementarnych <math>\Omega</math>, o wartościach ze zbioru liczb rzeczywistych i [http://pl.wikipedia.org/wiki/Funkcja_mierzalna mierzalną] względem przestrzeni <math>(\Omega, F,P)</math>. Zmienna losowa jest ciągła jeśli jej zbiór wartości jest ciągły, lub dyskretna, jeśli jej zbiór wartości jest dyskretny.

=== Rozkład prawdopodobieństwa===
Rozkład prawdopodobieństwa — (rozkład zmiennej losowej) miara probabilistyczna określona na <math>\sigma</math>-ciele podzbiorów zbioru wartości zmiennej losowej, pozwalająca przypisywać prawdopodobieństwa zbiorom wartości tej zmiennej, odpowiadającym zdarzeniom losowym.

Dla zmiennej losowej dyskretnej możemy wprowadzić pojęcie '''funkcji prawdopodobieństwa''':
<math>P(X=x_i) = p_i</math>

Przykład: Dla rzutów monetą funkcję prawdopodobieństwa można zobrazować jako tabelkę:
{| class="wikitable" border="1"
|-
|
! Zdarzenie:
! orzeł
! reszka
|-
|zmienna losowa
|<math>x_i</math>
|0
|1
|-
| prawdopodobieństwo
| <math>p_i</math>
| 1/2
| 1/2
|-
|}

Można też przedstawić ją na wykresie:

[[Plik:Rozklad_moneta_1.gif|600px]]

Dla zmiennej losowej ciągłej zamiast funkcji prawdopodobieństwa wprowadzamy '''funkcję gęstości prawdopodobieństwa'''. Jest to funkcja określona na zbiorze liczb rzeczywistych posiadająca następujące własności:
* jest nieujemna: <math>f(x) \ge 0 </math>
* prawdopodobieństwo tego, że zmienna losowa przyjmie wartość z przedziału <math>(a,b]</math>: <math> \int_a^b f(x) dx = P(a<X \le b) </math>
[[Plik:Funkcja_gestosci_prawdopodobienstwa.png]]
* Prawdopodobieństwo tego, że zmienna losowa przyjmie dowolną wartość: <math> \int_{-\infty}^{+\infty} f(x) dx = P(-\infty <X \le +\infty) = 1 </math>

=== Dystrybuanta ===
Dystrybuantą zmiennej losowej <math>X</math> nazywamy funkcję <math>F(x)</math> określoną na zbiorze liczb rzeczywistych jako:
<math>F(x) = P(X \le x)</math>

czyli wartość dystrybuanty w punkcie <math>x</math> jest prawdopodobieństwem, że zmienna losowa przyjmie wartość nie większą niż <math>x</math>.
* Dla zmiennej dyskretnej:
: <math>F(x)=P(X \le x) = \sum_{x_i<x}{P(X = x_i) } = \sum_{x_i<x}p_i</math>
* Dla zmiennej losowej ciągłej z funkcją gęstości prawdopodobieństwa <math>f</math>:
: <math>F(x) = P(X \le x)= \int_{-\infty}^x f(s) ds </math>

Zauważmy ścisły związek dystrybuanty z funkcją prawdopodobieństwa w przypadku dyskretnym i funkcją gęstości prawdopodobieństwa w przypadku ciągłym.

Przykład z monetą:

[[Plik:Rozklad_moneta.svg|600px]]

=== Momenty ===
Dla zmiennej losowej można obliczyć momenty zwykłe lub centralne.

;Moment zwykły: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi tej zmiennej. Oblicza się go tak:
* dla dyskretnej zmiennej losowej
: <math>m_k = E(X^k) = \sum_{i} {x_i^k p_i} </math>

: tu <math>p_i</math> oznacza prawdopodobieństwo, że <math>X = x_i</math>

* dla ciągłej zmiennej losowej
: <math> m_k = E(X^k) = \int\limits_{-\infty}^{\infty} {x^k f(x)dx}</math>

: tu <math>f(x)</math> jest funkcją gęstości prawdopodobieństwa.

Zauważmy, że pierwszy moment zwykły to średnia.

;Moment centralny: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi funkcji <math>[x_i - E(x_i)]</math>. Zatem możemy go obliczyć tak:
* dla dyskretnej zmiennej losowej
: <math>
\mu_k = E\left( \left[ X-E(X) \right] ^k \right) = \sum_{i} {\left[x_i-E(X)\right]^k p_i}
</math>

* dla ciągłej zmiennej losowej
: <math>
\mu_k = E\left(\left[X-E(X)\right]^k\right) = \int\limits_{-\infty}^{\infty} { \left[X-E(X)\right]^k f(x)dx}
</math>

Uwaga:
* Drugi moment centralny ma swoją nazwę. Jest to '''wariancja''', często oznaczana przez <math>\sigma^2</math>.
* Trzeci moment centralny przydaje się do badania symetrii rozkładu. Przyjmuje on wartość 0 dla zmiennych o rozkładzie symetrycznym, wartości ujemne dla zmiennych o rozkładzie wydłużonym w lewą stronę i wartości dodatnie dla zmiennych o rozkładzie wydłużonym w prawą stronę.
* Czwarty moment centralny jest przydatny do konstrukcji miary spłaszczenia rozkładu zmiennej losowej '''kurtozy'''. Definiuje się ją następująco:
: <math> \mathrm{Kurt} = \frac{\mu_4}{\mu_2^4} - 3 </math>
Rozkłady prawdopodobieństwa można podzielić ze względu na wartość kurtozy na rozkłady:
* mezokurtyczne — wartość kurtozy wynosi 0, spłaszczenie rozkładu jest podobne do spłaszczenia rozkładu normalnego (dla którego kurtoza wynosi dokładnie 0)
* leptokurtyczne — kurtoza jest dodatnia, wartości cechy bardziej skoncentrowane niż przy rozkładzie normalnym
* platokurtyczne — kurtoza jest ujemna, wartości cechy mniej skoncentrowane niż przy rozkładzie normalnym

=== Kwantyle ===
Kwantylem rzędu ''p'', gdzie <math>0 \leqslant p \leqslant 1</math>, w rozkładzie empirycznym <math> P_{X} </math> zmiennej losowej <math>X</math> nazywamy każdą liczbę <math>x_{p}</math>, dla której spełnione są nierówności

: <math>
P_X((-\infty, x_p]) \geqslant p
</math>

oraz

: <math>
P_X([x_p,\infty)) \geqslant 1-p.
</math>

W szczególności, kwantylem rzędu ''p'' jest taka wartość <math>x_{p}</math> zmiennej losowej, że wartości mniejsze lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej ''p'', zaś wartości większe lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej 1−''p''.

Możemy zatem myśleć o obliczaniu kwantyla tak:
* zaobserwowaliśmy ''n'' wartości zmiennej losowej,
* zapiszemy te wartości na liście,
* następnie listę tę sortujemy w porządku rosnącym,
* kwantylem rzędu ''p'' jest albo element znajdujący się na liście w pozycji ''np'' jeśli ''np'' jest całkowite albo średnią z elementów położonych najbliżej ''np'' w przeciwnym wypadku.
==== Nazwy poszczególnych kwantyli ====
Kwantyl rzędu 1/2 to inaczej mediana (ściślej zależy to od definicji mediany, przy jej obliczaniu z próbki o parzystej liczbie elementów często stosuje się średnią arytmetyczną dwóch środkowych elementów, szczegóły są w artykule). 
Kwantyle rzędu 1/4, 2/4, 3/4 są inaczej nazywane kwartylami. 
Kwantyle rzędu 1/5, 2/5, 3/5, 4/5 to inaczej kwintyle. 
Kwantyle rzędu 1/10, 2/10, ..., 9/10 to inaczej decyle. 
Kwantyle rzędu 1/100, 2/100, ..., 99/100 to inaczej percentyle. 

==Pseudolosowość==
W obliczeniach numerycznych często korzystamy z liczb &bdquo;losowych”. Tak naprawdę sekwencje liczb, których używamy są jedynie pseudolosowe,
tzn. są wytwarzane w deterministyczny (algorytmiczny) sposób, ale sekwencja generowanych wartości ma pewne cechy losowości. W idealnym przypadku cechą tą jest nieprzewidywalność: na podstawie obserwacji dotychczasowych wartości sekwencji niemożliwe jest podanie kolejnych wartości. W praktyce oznacza to nie możność ustalenie ziarna lub stanu wewnętrznego generatora na podstawie obserwacji dowolnie długiego ciągu wygenerowanych bitów.
Stan generatora przechowywany jest na zmiennych o skończonej precyzji. Jeśli stan jest przechowywany na <math>n</math> bitach to górną granicą na długość unikalnego ciągu liczb jest <math>2^n</math>. Zazwyczaj unikalna sekwencja jest jednak krótsza. Wynika stąd, że generatory liczb pseudolosowych mają okres, po którym sekwencja liczb powtarza się. Podstawowe generatory liczb pseudolosowych wytwarzają liczby podlegające rozkładowi jednostajnemu (płaskiemu).

Istnieją generatory &bdquo;prawdziwych” liczb losowych, które są osobnymi urządzeniami. Liczy przez nie dostarczane są pewnymi parametrami jakichś procesów fizycznych, przebiegających w tych urządzeniach (zależnie od producenta). Do naszych zastosowań w zupełności wystarczą liczby generowane przez algorytmy komputerowe.

Proste generatory liczb pseudolosowych można otrzymać jako funkcje używające operacji dzielenia modulo (generatory kongruencyjne):

<math>x_{n+1}=f(x_n,x_{n-1}, ..., x_{n-k})\mod M</math>.

Zakładamy, że argumentami funkcji <math>f</math> są liczby całkowite ze zbioru <math>{0, 1, ...,M-1}</math>. Dla ustalenia uwagi mogą to być generatory liniowe typu:

<math> x_{n+1}= (ax_{n} + c )\mod M</math>

===Przykład generatora liniowego ===
Dla przykładu zaimplementujmy jeden taki generator:

<source lang = python>
# -*- coding: utf-8 -*-

import numpy as np
import pylab as py
def gen(x,N=1):
'''Przykład generatora liniowego.
funkcja zwraca liczby pseudolosowe z przedziału [0,1)
x - ziarno,
N - ile liczb zwrócić'''
m=8191
a=101
c=1731
y=np.zeros(shape=(N,))
for i in range(N):
x=(a*x+c) % m
y[i]= x/m
return y
x=gen(23,100000)
py.hist(x)
py.show()
</source>
Liczby <tt> m, a, c</tt> są parametrami generatora. Liczba <tt>x</tt>, od której startuje generator nazywana jest ziarnem generatora {{ang|seed}}.
Funkcja <tt>py.hist()</tt> zlicza i wyrysowuje histogram (czy wiemy co to jest histogram?).
* Wywołaj funkcję <tt>gen</tt> dla tego samego ziarna kilka razy zaobserwuj powtarzalność wartości.

W module <tt>numpy</tt> mamy do dyspozycji generator liczb pseudolosowych oparty na algorytmie [http://pl.wikipedia.org/wiki/Mersenne_Twister Mersenne Twister ]
<source lang=python>
# -*- coding: utf-8 -*-
"""
kod demonstrujacy pseudolosowosc
"""
import numpy as np
seed=3
np.random.seed(seed)
x=np.random.random(5)

np.random.seed(seed)
y=np.random.random(5)
print('x:', x)
print('y:', y)
</source>
* Zaobserwuj powtarzalność wartości.
* Wygeneruj i wykreśl 200 kolejnych liczb pseudolosowych.
<source lang= python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
seed=3
np.random.seed(seed)
x=np.random.random(200)

py.plot(x,'.')
py.show()
</source>

===Testy jakości===
==== Zadanie ====
Dla wyżej wymienionych generatorów, proszę wykonać następujące testy:
* zobrazować rozkład prawdopodobieństwa (narysować histogram);

* test korelacji na rysunku: sporządzić wykres gdzie na jednej osi są wartości <math>x_n</math> na drugiej zaś wartości <math>x_{n+1}</math>.


Bardziej wyczerpujące baterie testów jakości generatorów można znaleźć na przykład w:
* http://csrc.nist.gov/groups/ST/toolkit/rng/index.html
* http://www.phy.duke.edu/~rgb/General/rand_rate.php

== Zmienne losowe w module <tt>scipy.stats</tt> ==
=== Wstęp ===
Zmienne losowe w module <tt>scipy.stats</tt> są zaimplementowane jako dwie klasy: <tt>stats.rv_continuous</tt> (bazuje na niej ponad 80 typów rozkładów ciągłych zmiennych losowych) i <tt>stats.rv_discrete</tt> (bazuje na niej 10 typów rozkładów dyskretnych zmiennych losowych). Aktualną listę dostępnych rozkładów można uzyskać np. przy pomocy następującego skryptu:
<source lang =python>
from scipy import stats
dc= [d for d in dir(stats) if isinstance(getattr(stats,d), stats.rv_continuous)]
print(dc)
</source>
Przykładowo: zmienne losowe o rozkładzie normalnym są reprezentowane przez klasę <tt>norm</tt>.

=== Funkcje przydatne do pracy ze zmiennymi losowymi dostępne są jako metody ===

Obiekty reprezentujące zmienne losowe podlegające konkretnym rozkładom posiadają następujące metody:
* <tt>rvs</tt>: '''generator zmiennych losowych''' danego typu;
* <tt>cdf</tt>: '''dystrybuanta''' (ang. Cumulative Distribution Function);
* <tt>ppf</tt>: '''funkcja odwrotna do dystrybuanty''' (ang. Percent Point Function (Inverse of CDF));
* <tt>stats</tt>: zwraca '''momenty centralne rozkładu''' (średnią, wariancję, skośność i kurtozę);
* <tt>moment</tt>: zwraca niecentralne momenty rozkładu.
* <tt>pdf</tt>: '''funkcja gęstości prawdopodobieństwa''' (ang. Probability Density Function);
* <tt>pmf</tt> dla rozkładów dyskretnych <tt>pdf</tt> jest zamienione na '''funkcję prawdopodobieństwa''' (ang. probability mass function; ''masa'' przez analogię z gęstością masy i masą punktową);
* <tt>sf</tt>: funkcja przeżycia (ang. Survival Function) (1−CDF);
* <tt>isf</tt>: funkcja odwrotna do funkcji przetrwania (ang. Inverse Survival Function (Inverse of SF));

====Przykład====
Zobaczmy działanie tych metod dla zmiennych losowych z rozkładu normalnego:
<source lang =python>
import scipy.stats as st
import pylab as py
import numpy as np

# generowanie 10000 liczb z rozkładu normalnego
x = st.norm.rvs(size=10000)
py.subplot(2,2,4)
bins=np.linspace(-3,3,50)
py.hist(x,bins=bins)
py.title('Histogram')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'ilość zliczeń')

# wykreślenie gęstości prawdopodobieństwa
os_x = np.arange(-3,3,0.01)
y=st.norm.pdf(os_x)
py.subplot(2,2,3)
py.plot(os_x,y)
py.title(u'rozkład gęstości prawdopodobieństwa: pdf')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'gęstość prawdopodobieństwa')

# wykreślenie dystrybuanty
z= st.norm.cdf(os_x)
py.subplot(2,2,1)
py.plot(os_x,z)
py.title(u'Dystrybuanta: cdf')

py.xlabel(u'wartość zmiennej')
py.ylabel(u'prawdopodobieństwo')

# wykreślenie funkcji odwrotnej do dystrybuanty
os_p = np.arange(0,1,0.01)
f=st.norm.ppf(os_p)
py.subplot(2,2,2)
py.plot(os_p,f)
py.title(u'funkcja odwrotna do dystrybuanty: ppf')
py.ylabel(u'wartość zmiennej')
py.xlabel(u'prawdopodobieństwo')
py.show()

</source>

Zmienne losowe mogą być używane na jeden z dwóch sposobów: można podawać wszystkie parametry opisujące rozkład w każdym wywołaniu metody, albo wytworzyć obiekt reprezentujący rozkład o konkretnych parametrach (w dokumentacji <tt>scipy</tt> jest to nazywane zamrażaniem parametrów rozkładu, ang. ''freezing'')
Jako przykład zobaczmy funkcję odwrotną do dystrybuanty rozkładu normalnego N(2, 9):

>>> import scipy.stats as st
>>> print(st.norm.ppf(0.05, loc=2, scale=3))
-2.93456088085
>>> my_norm = st.norm(loc=2,scale=3)
>>> print(my_norm.ppf(0.05))
-2.93456088085

=== Pomoc do poszczególnych rozkładów ===
Pełną dokumentację każdego rozkładu mamy dostępną w postaci docstringów. Dla przykładu:
<source lang = python>
help(st.nct)
</source>
wypisuje pełną informację z docstring o niecentralnym rozkładzie ''t''.
Podstawowe informacje można uzyskać wypisując treść pola <tt>extradoc</tt>

>>> print(st.nct.extradoc)
Non-central Student T distribution
df**(df/2) * gamma(df+1)
nct.pdf(x,df,nc) = --------------------------------------------------
2**df*exp(nc**2/2)*(df+x**2)**(df/2) * gamma(df/2)
for df > 0, nc > 0.

==== Zadanie ====
Wypisz pomoc dla (centralnego) rozkładu ''t'' i sprawdź jakie parametry on przyjmuje. Wybierz dowolnie ich wartości, a następnie posiłkując się [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład|przykładem]]:
# Wygeneruj 10000 liczb z rozkładu ''t'' i narysuj ich histogram.
# Wykreśl gęstość prawdopodobieństwa tego rozkładu.
# Wykreśl dystrybuantę.
# Wykreśl funkcję odwrotną do dystrybuanty.



=== Statystyki i estymatory ===
Estymator jest statystyką służącą do szacowania pewnej wielkości (np. parametru) na podstawie próby losowej (np. danych eksperymentalnych). Na wykładzie poznaliśmy m.in. takie statystki jak [[WnioskowanieStatystyczne/Momenty|wartość oczekiwana, wariancja i mediana]], z których ostatnia jest szczególnym przypadkiem [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Kwantyle|kwantylu]]. Moduły numpy oraz scipy.stats umożliwiają łatwe estymowanie niektórych statystyk, a także obliczanie ich rzeczywistych wartości, jeśli znamy parametry rozkładu.

====Przykład====
Jako przykład niech posłuży poniższy kod, w którym szukamy wartości estymatorów wartości oczekiwanej oraz wariancji rozkładu normalnego na podstawie próby losowej, a wynik porównujemy z wartościami rzeczywistymi:
<source lang =python>
import numpy as np
import scipy.stats as st

# definiujemy parametry rozkładu, a następnie sam rozkład
m=2
s=0.5
rozklad = st.norm(m,s) #definiujemy rozkład normalny

#określamy wielkość próby losowej
N = 10000

#obliczamy statystyki korzystając z metod obiektu 'rozklad'
mu = rozklad.mean() # rzeczywista wartość oczekiwana naszego rozkładu
var = rozklad.var() # rzeczywiste odchylenie standardow

#losujemy próbę o rozmiarze N
x = rozklad.rvs(size=N)

#estymujemy statystyki
mu_est = np.mean(x) # estymowana wartość oczekiwana
var_est = np.var(x) # estymowana wariancja

# wypisujemy wyniki z dokładnością do 5 cyfr znaczących
print("Wartość oczekiwana rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(mu,mu_est))
print("Wariancja rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(var,var_est))
</source>

==== Zadanie ====
Posiłkując się powyższym przykładem wygeneruj próby losowe dla następujących rozkładów:
# Rozkład normalny <math>\mu</math> = 100, <math>\sigma</math> = 2.
# Rozkład dwumianowy p = 0.4, n =10.
# Rozkład poissona <math>\lambda</math> = 4.
# Rozkład jednostajny na przedziale [2, 6).
Następnie estymuj na ich podstawie wartości poniższych statystyk i porównaj je z wartościami obliczonymi na podstawie znanych parametrów rozkładu:
# Wartość oczekiwana.
# Odchylenie standardowe.
# Wariancja.
# Mediana.
# Kurtoza.



== Generowanie zmiennych losowych podlegającym różnym rozkładom prawdopodobieństwa ==
Podstawowe typy generatorów liczb losowych wytwarzają liczby losowe podlegające rozkładowi jednostajnemu. Zastanowimy sie teraz jak mając zmienne losowe z rozkładu jednostajnego wytworzyć zmienne losowe o innych rozkładach.
=== Rozkład dwumianowy ===
Zmienna losowa, która zlicza liczbę sukcesów <math>k</math> w <math>n</math> próbach, gdzie <math>p</math> jest prawdopodobieństwem sukcesu w pojedynczej próbie, podlega rozkładowi dwumianowemu
[[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_dwumianowy więcej o rozkładzie dwumianowym]]:

<math>P_n(k)=\left(
\begin{array}{c}
n \\
k
\end{array}
\right) p^kq^{n-k}=\frac{n!}{k!(n-k)!}p^kq^{n-k} </math>

''Jak z rozkładu jednostajnego wytworzyć zmienne losowe o rozkładzie dwumianowym?''
* Wykonać symulację!

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py

def gen_binom(n,p,N):
'''funkcja zwracająca zmienną losową z rozkładu dwumianowego:
ilość sukcesów w n próbach przy prawdopodobieństwie sukcesu p
parametry:
n: liczba prób
p: prawdopodobieństwo sukcesu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będącymi liczbami sukcesów
'''
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję n liczb z rozkładu jednostajnego [0,1) i jako sukcesy
#traktuję wylosowanie liczby nie większej niż p
r=np.random.rand(N,n)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
n=20
N=100000
p=0.8
x = gen_binom(n,p,N)
bins =range(22) #granice binów
py.hist(x,bins)
py.show()
</source>

====Zadanie====
Z oszacowań agencji wynika, że średnio 2 z 3 reklam spotyka się z pozytywnym odzewem. Akcja marketingowa obejmuje 12 reklam. Niech <math>X</math> oznacza liczbę reklam skutecznych. Czy <math>X</math> podlega rozkładowi dwumianowemu?
Jakie jest prawdopodobieństwo, że 10 reklam będzie skutecznych?
Prawdopodobieństwo obliczyć ze wzoru oraz korzystając z symulacji.

Wskazówka informacje o zmiennych z rozkładu dwumianowego (<tt>binom</tt>) można uzyskać tak:
# >>> print(st.binom.extradoc)
# Binomial distribution
#
# Counts the number of successes in *n* independent
# trials when the probability of success each time is *pr*.
#
# binom.pmf(k,n,p) = choose(n,k)*p**k*(1-p)**(n-k)
# for k in {0,1,...,n}
Odp: ''p'' = 0,127



====Zadanie====
Na egzaminie testowym jest 30 pytań. Na każde pytanie są podane cztery możliwe odpowiedzi, z czego tylko jedna jest prawdziwa. Za prawidłową odpowiedź student otrzymuje 1 punkt a za fałszywą −0,5 punktu. Próg zaliczenia wynosi 15 punktów. Oblicz prawdopodobieństwo, że udzielając czysto losowych odpowiedzi student zaliczy egzamin.


=== Rozkład Poissona ===

<math>
P(k)=\frac{\mu^k e^{-\mu}}{k!}
</math>
Rozkładowi Poissona podlegają zmienne losowe zliczające w jednostce czasu liczbę zdarzeń o niskim prawdopodobieństwie zajścia. Np. liczba rozpadów promieniotwórczych na jednostkę czasu [[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_Poissona więcej o rozkładzie Poissona]]

====Przykład====
Lekarz pełniący dyżur w szpitalu jest wzywany do pacjentów średnio 3 razy w ciągu nocy. Załóżmy, że liczba wezwań na noc podlega rozkładowi Poissona. Jakie jest prawdopodobieństwo, że noc upłynie lekarzowi spokojnie?
U nas <math>\mu=3</math>, <math>x=0</math> więc

<math>
P(0) = \frac{3^0e^{-3}}{0!} = e^{-3} = 0,0498
</math>

====Przykład====
Jak ze zmiennych podlegających rozkładowi jednostajnemu uzyskać zmienne podlegające rozkładowi Poissona?

Wykonać symulację wynikającą z następujących spostrzeżeń:

* Weźmy jednostkę czasu. Ma w niej zachodzić średnio <math>\mu</math> zdarzeń.
* Podzielmy jednostkę czasu na ''NT'' odcinków o jednakowej długości.
* Prawdopodobieństwo, że zdarzenie zajdzie w konkretnym odcinku jest <math>p=\frac{\mu}{NT}</math> Takie prawdopodobieństwo ma też wylosowanie przy pomocy generatora liczb z rozkładu jednostajnego [0,1) liczby nie większej niż ''p''.
* Zatem, aby wytworzyć jedną liczbę z rozkładu Poissona można policzyć ile spośród ''NT'' liczb z rozkładu jednostajnego [0,1) jest nie większych niż ''p''.

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

def gen_poiss(mi,NT,N):
'''funkcja zwracająca zmienne losowe z rozkładu poissona:
średnia ilość zdarzeń o niskim prawdopodobieństwie w jednostce czasu
parametry:
mi: średnia liczba zdarzeń
NT: liczba odcinków czasu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będących zliczeniami zdarzeń
'''
p = float(mi)/NT
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję NT liczb z rozkładu jednostajnego [0,1) i jako zajście zdarzenia
# traktuję wylosowanie liczby nie większej niż p. Ilość zdarzeń to liczba z rozkładu Poissona
r=np.random.rand(N,NT)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
mi=4
N=100000
NT = 10000
x = gen_poiss(mi,NT,N)
bins =np.arange(int(x.max()+1))-0.5
py.hist(x,bins,normed=True)

# porównanie z generatorami scipy.stats
p=mi/NT
k=np.arange(x.max()+1)
B=st.binom.pmf(k,NT,p)
py.plot(k,B,'ro')
P=st.poisson.pmf(k,mi)
py.plot(k,P,'go')
py.show()
</source>

=== Rozkład normalny i Centralne Twierdzenie Graniczne ===
Gęstość prawdopodobieństwa [[WnioskowanieStatystyczne/Rozklady-przyklady#Rozk.C5.82ad_Gaussa| rozkładu normalnego]] dana jest wzorem:

<math>f(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{ -\frac{(x-\mu)^2}{2 \sigma^2}}</math>
gdzie: <math>\mu</math> — średnia, <math>\sigma</math> — odchylenie standardowe (<math>\sigma^2</math> — wariancja).

Jeden ze sposóbw wytwarzania zmiennych losowych o rozkładzie normalnym polega na zastosowaniu [[WnioskowanieStatystyczne/CLT| Centralnego Twierdzenia Granicznego]].

<math>X=\frac{\sqrt{12}}{\sqrt{N}}\left(\sum_{n=1}^N Y_n -\frac{N}{2}\right)</math>

gdzie <math>Y</math> zmienna losowa z rozkładu jednostajnego <math>[0,1)</math>
W granicy dużych <math>N</math> rozkład zmiennej <math>X</math> dąży do rozkładu normalnego <math>N(0,1)</math>.

====Zadanie ====
Proszę:
* napisać funkcję <tt>gen_CTG_1(N)</tt>, która zwraca liczbę losową ''X'' otrzymaną zgodnie powyższym wzorem przez sumowanie <tt>N</tt> liczb z rozkładu jednostajnego.
* napisać funkcję <tt>gen_CTG(N, N_liczb)</tt> korzystającą z <tt>gen_CTG_1(N)</tt> i zwracającą zadaną ilość liczb <tt>N_liczb</tt>
* narysować histogramy 10 000 liczb <math>X</math> uzyskanych kolejno dla <math>N={1,2,...,12}</math>
* Jakie parametry charakteryzują rozkład do którego zbiegają sumy? Przy każdym z powyższych histogramów wypisz średnią i wariancję z próby (funkcje <tt>np.mean</tt> i <tt>np.var</tt>).

=====Rozwiązanie:=====
<source lang=python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import numpy.random as rnd

def gen_CTG_1(N):
'''Funkcja generująca pojedynczą zmienną losową będącą sumą N liczb z rozkładu jednostajnego [0,1)
pomnożoną przez czynnik normujący zapewniający wariancję równą 1.
parametry:
N: ile liczb sumować
funkcja zwraca:
jedną liczbę losową'''
X = np.sqrt(12/N) * (np.sum(rnd.random(N)) - N/2)
return X

def gen_CTG(N,N_liczb):
'''Funkcja zwraca wektor (tablicę) zmiennych losowych będących sumami N liczb z rozkładu jednostajnego [0,1).
parametry:
N: ile liczb sumować
N_liczb: ilość liczb do generowania
funkcja zwraca:
N_liczb losowych'''

X=np.zeros(N_liczb)

for i in range(N_liczb):
X[i] = gen_CTG_1(N)

return X

# kod testujący
N_liczb=10000
Nmax=12

for N in range(1,Nmax+1):
X=gen_CTG(N,N_liczb)
py.subplot(3,4,N)
bins = np.arange(-4,4,0.1)
py.hist(X,bins=bins,normed=True)
py.title("N=%i, µ=%.2g, σ²=%.2g"%(N, X.mean(), X.var(ddof=1)))

py.show()
</source>

====Zadanie: transformacja rozkładu normalnego ====

Rozkład o średniej 0 i wariancji 1 (notacja <math>N(0,1)</math>) jest nazywany rozkładem standardowym i często jest oznaczany literą <math>Z</math>. Dokonując odpowiedniej transformacji można z rozkładu <math>Z</math> uzyskać dowolny inny rozkład normalny.

Proszę:
* wygenerować 100000 zmiennych losowych z rozkładu <math>N(0,1)</math> (skorzystać z funkcji <tt>st.norm.rvs(loc=0, scale=1, size=100000)</tt>)
* przetransformować je do zmiennych losowych <math>N(2,9)</math>.
* narysować histogramy zmiennych przed i po transformacji.
* narysować rozkład gęstości prawdopodobieństwa dla rozkładu <math>N(2,9)</math> (skorzystać z funkcji <tt>st.norm.pdf(...)</tt>) .



====Transformacja Boxa-Mullera====
To inna popularna metoda metoda generowania liczb losowych o rozkładzie normalnym, na podstawie dwóch wartości zmiennej o rozkładzie jednostajnym na przedziale [0,1) http://en.wikipedia.org/wiki/Box-Muller_transform, ale nie będziemy się nią tu szerzej zajmować.

====Przykład====
Producent silników twierdzi, że jego silniki mają średnią moc 220 KM, a odchylenie standardowe wynosi 15 KM. Potencjalny klient testuje 100 silników. Jakie jest prawdopodobieństwo, że średnia z próby będzie mniejsza niż 217 KM?

Przypomnijmy, że z CTG dla dużych liczebności próby <math>n</math> <math>\bar x \sim N(\mu,\sigma^2/n)</math> [[WnioskowanieStatystyczne/Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej|(dowód)]]. Zatem szukamy

<math>P(\bar x <217) =P\left( Z<\frac{217-\mu}{\frac{\sigma}{ \sqrt{n}}} \right) = P\left( Z<\frac{217-220}{\frac{15}{ \sqrt{100}}} \right)=P(Z<-2)=0,0228</math>

<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

# ze wzoru
p=st.norm.cdf(-2)
print('prawdopodobieństwo odczytane z dystrybuanty rozkładu normalnego: %(0).4f' %{'0':p})

# symulacja

mu=220
sig=15
N_prob=100

m_kryt=217

N_rep=int(1e4)
srednia=np.zeros(N_rep)
for i in range(N_rep):
seria=st.norm.rvs(loc=mu, scale=sig, size=N_prob)
srednia[i]=np.mean(seria)

h=py.hist(srednia,30);

py.plot([m_kryt, m_kryt],[0, max(h[0])],'r')
p1=np.sum(srednia<=m_kryt)/N_rep
print('prawdopodobieństwo uzyskane z symulacji: %(0).4f' %{'0':p1})
py.show()

</source>

====Zadania====
Teraz kilka najprostszych zadań dotyczących rozkładu normalnego:
* Znajdźmy prawdopodobieństwo, że ''Z'' < −2,47. Proszę zrobić to na dwa sposoby: raz z użyciem wygenerowanych zmiennych z rozkładu normalnego, drugi raz z użyciem dystrybuanty <tt>norm.cdf</tt>
[Odp: ''p'' = 0,0068]

Rozwiązanie:
<source lang =python>
import scipy.stats as st

N=100000
z_crit = -2.47
Z=st.norm.rvs(loc=0, scale=1, size=N)
p= sum(Z < z_crit )/N
p_cdf = st.norm.cdf(z_crit, loc=0, scale=1)
print('symulowane p: %.4f' % p )
print('p z dystrybuanty: %.4f' % p_cdf)
</source>

* Znaleźć prawdopodobieństwo ''P''(|''Z''| < 2)
[Odp: ''p'' = 0,9545]

Rozwiązanie:
<source lang =python>
import scipy.stats as st
import numpy as np

N=100000
z_crit = 2
Z=st.norm.rvs(loc=0, scale=1, size=N)
p= sum(np.abs(Z) < z_crit )/N
p_cdf = st.norm.cdf( z_crit, loc=0, scale=1) - st.norm.cdf( -z_crit, loc=0, scale=1)
print('symulowane p: %.4f' % p )
print('p z dystrybuanty: %.4f' % p_cdf)
</source>

* Koncentracja zanieczyszczeń w półprzewodniku używanym do produkcji procesorów podlega rozkładowi normalnemu o średniej 127 cząsteczek na milion i odchyleniu standardowemu 22. Półprzewodnik może zostać użyty jedynie gdy koncentracja zanieczyszczeń spada poniżej 150 cząstek na milion. Jaka proporcja półprzewodników nadaje się do użycia?
Prawdopodobieństwo obliczyć korzystając z dystrybuanty rozkładu normalnego oraz z symulacji.
[Odp: ''p'' = 0,852]

Rozwiązanie:
<source lang =python>
import scipy.stats as st
import pylab as py
import numpy as np

mu=127
sig=22
m_kryt=150
p=st.norm.cdf(m_kryt, loc = mu, scale = sig )
print('proporcja odczytana z dystrybuanty rozkładu normalnego: %4g' %p)
# symulacja
N_prob=10000
seria=st.norm.rvs(loc=mu, scale=sig, size=N_prob)
p = sum(seria<=m_kryt)/N_prob
bins = np.arange(60,200,5)
h=py.hist(seria,bins);
py.plot([m_kryt, m_kryt],[0, max(h[0])],'r')
p1=np.sum(seria<=m_kryt)/N_prob
print('prawdopodobieństwo uzyskane z symulacji: %.4g' %p1)
py.show()
</source>

=== Rozkład t ===

Gdy nie znamy wariancji populacji <math>\sigma^2</math> używamy w jego miejsce estymatora wariancji próby <math>s^2</math> danego wzorem:

<math>s^2 =\frac{\sum(\bar x - x_i)^2}{n-1} </math>
gdzie ''n'' — rozmiar próby

Wtedy rozkład <math>Y=\frac{\bar X -\mu}{\frac{s}{\sqrt{n}}}</math> nie podlega rozkładowi normalnemu. Jeśli populacja <math>X</math> podlega rozkładowi normalnemu to <math>Y</math> podlega [[WnioskowanieStatystyczne/Test_t |rozkładowi ''t'' ]] z ''n''−1 stopniami swobody.

Zobaczmy na symulacji co to zmienia. Proszę obejrzeć wyniki dla kilku wartości <tt>N</tt>

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

N=3
N_liczb=10000
mu=2
sigma=1

y_wyidealizowane=np.zeros(N_liczb)
m_populacji=np.zeros(N_liczb)
s_populacji=np.zeros(N_liczb)
y_estymowane=np.zeros(N_liczb)
m_estymowane=np.zeros(N_liczb)
s_estymowane=np.zeros(N_liczb)
for i in range(N_liczb):
x=st.norm.rvs(loc=mu,scale=sigma,size=N)
m_populacji[i]=mu
s_populacji[i]=sigma/np.sqrt(N)

m_estymowane[i]=np.mean(x)
s_estymowane[i]=np.std(x,ddof=1)/np.sqrt(N)

y_wyidealizowane[i]=(m_estymowane[i]-mu)/(s_populacji[i])
y_estymowane[i]=(m_estymowane[i]-mu)/(s_estymowane[i])

py.subplot(311)
py.title(u'średnia (wartość oczekiwana)')
py.plot(m_estymowane,label="estymowana")
py.plot(m_populacji,'r',label="populacji")
py.legend()

py.subplot(312)
py.title('odchylenie standardowe')
py.plot(s_estymowane,label="estymowane")
py.plot(s_populacji,'r',label='populacji')
py.legend()

py.subplot(325)
py.title(u'rozkład ilorazu Y dla wersji wyidealizowanej')
py.hist(y_wyidealizowane,30,(-4,4))

py.subplot(326)
py.title(u'rozkład ilorazu Y dla wersji estymowanej')
py.hist(y_estymowane,30,(-4,4))

py.show()
</source>

====Zadanie====
Dział kontroli jakości producenta silników testuje 10 egzemplarzy silnika nowego typu. Uzyskano wartość średnią 220 KM oraz odchylenie standardowe równe 15 KM. Jakie jest prawdopodobieństwo, że klient, który zamówi 100 silników, otrzyma partię, w której średnia będzie mniejsza niż 217 KM? Wykonaj obliczenia oraz symulację. Porównaj wynik z wcześniejszym [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład_5|przykładem]], gdzie znaliśmy odchylenie standardowe z innego źródła (nie było ono estymowane z próby).



=== Inne rozkłady uzyskiwane przez transformacje ===
====Metoda odwracania dystrybuanty====

Niech <math>\xi</math> będzie zmienną losową o rozkładzie jednostajnym na przedziale <math>[0,1)</math>. Jej dystrybuanta <math>J</math> dana jest więc worem:

<math>
J(x) = P(\xi \le x) = \left\{
\begin{array}{lrl}
0 & \mathrm{dla} & x<0\\
x & \mathrm{dla} & 0 \le x <1 \\
1 & \mathrm{dla} & 1 \le x
\end{array}
\right.
</math>

oraz niech <math>F</math> będzie dystrybuantą interesującego nas rozkładu. Jeśli <math>F</math> jest funkcją odwracalną to zmienna losowa zdefiniowana jako:

<math>\eta = F^{-1}(\xi) </math>

jest zmienną losową podlegającą rozkładowi o dystrybuancie <math> F</math>.
Własność tę łatwo sprawdzić. Ponieważ dla każdego <math>x \in R </math> mamy:

<math>
P(\eta \le x) = P(F^{-1} (\xi) \le x) = P(\xi \le F(x)) = F(x)
</math>
więc <math>F</math> jest dystrybuantą zmiennej losowej <math>\eta</math>.

Czyli jeśli znamy dystrybuantę interesującego nas rozkładu prawdopodobieństwa i dystrybuanta ta jest odwracalna, to możemy generować liczby z rozkładu o dystrybuancie <math>F</math>.

====Przykład====
Wygenerować liczby pseudolosowe z rozkładu wykładniczego o gęstości prawdopodobieństwa:

<math>f(x) = \lambda e^{-\lambda x} </math>

Rozwiązanie:
* Znajdujemy dystrybuantę tego rozkładu:

: <math>F(x) = 1-e^{-\lambda x} </math>

* Znajdujemy funkcję odwrotną do dystrybuanty:

: <math>G(u)=F^{-1}(u) = -\frac{1}{\lambda}\ln(1-u) </math>

* Generujemy liczby losowe <math>u</math> z przedziału <math>[0,1)</math> i stosujemy transformację <math>G(u)</math>
* Test generowanego rozkładu robimy przez porównanie dystrybuanty teoretycznej i empirycznej. Proszę zwrócić uwagę na funkcję estymującą dystrybuantę empiryczną

<source lang =python>
# -*- coding: utf-8 -*-
import pylab as py
import numpy as np

def gen_wykladniczy(lam, N):
'''funkcja zwraca N liczb z rozkładu wykładniczego o parametrze lam
korzystając z metody odwracania dystrybuanty
Dystrybuanta rozkładu wykładniczego: F(x) = 1- exp(-lam*x)
Funkcja do niej odwrotna: G(u) = -1/lam ln(1-u)'''

u = np.random.random(N)
return -1.0/lam* np.log(1.-u)

def dystrybuanta(X,od=0, do=4, krok=0.05):
'''funkcja zwraca dystrybuantę empiryczną
zmiennej X na przedziale (od, do) z krokiem krok'''

os_x = np.arange(od,do,krok)
nx = len(os_x)
N_liczb = len(X)
D=np.zeros(nx) #wyzerowany wektor na naszą dystrybuantę
for i in range(nx):
D[i] = sum(X <= os_x[i])/N_liczb
return (os_x, D)

# testujemy: narysujemy dystrybuantę oczekiwaną i empiryczną
lam=3
N=10000

x = np.arange(0,4,0.01)
F = 1-np.exp(-lam*x)
X = gen_wykladniczy(lam, N)
(os_x, F_emp) = dystrybuanta(X,od=0, do=4, krok=0.1)
py.plot(x,F,'r',label = 'dystrybuanta teoretyczna')
py.plot(os_x, F_emp,'.b', label = 'dystrybuanta empiryczna')
py.legend()
py.show()
</source>

Zauważmy, że nie zawsze jest łatwo wyznaczyć efektywnie <math>F^{-1}</math> — jest tak na przykład w przypadku rozkładu normalnego. W takich sytuacjach można szukać przybliżonej wartości <math>F^{-1}</math>, rozwiązując numerycznie równanie:
<math>F(x)=u</math>, co sprowadza się do znalezienia miejsc zerowych funkcji <math>H(x)=F(x)-u</math>.

==== Zadanie ====
Posiłkując się powyższym przykładem napisz funkcję ''MyGen(N)'' dla rozkładu, którego funkcja gęstości prawdopodobieństwa jest dana wzorem:
<math> f(x) = \frac{1}{\pi (1+x^{2})} </math>
Następnie narysuj dla niego dystrybuantę i dystrybuantę empiryczną na przedziale [-10, 10].

<source lang=python>
import numpy as np
import pylab as py

#f(x) = 1/(π(1+x²)) -- f. gęstości prawdopodobieństwa
#zatem F(x) = arctg(x)/π + 1/2 -- dystrybuanta
#zatem F⁻¹(x) = tg(π(x-1/2)) -- f. odwrotna do dystrybuanty

def MyGen(size=1):
x=np.random.random(size) # liczby z generatora jednostajnego na przedziale [0,1)
y=np.tan(np.pi*(x-1/2)) # korzystamy z metody odwracania dystrybuanty
return y

x=MyGen(int(1e6))
bins=np.linspace(-10,10,101)
py.subplot(211)
py.hist(x,bins,normed=True,histtype='step')
py.plot(bins,1./(np.pi*(1+bins**2)),'r')
py.subplot(212)
py.hist(x,bins,normed=True,histtype='step',cumulative=True)
py.plot(bins,np.arctan(bins)/np.pi+0.5,'r')
py.show()
</source>

WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych

2021-02-18T10:20:51Z

Atartas: /* Zadanie */

==Pojęcia wstępne==
=== Zmienna losowa===
;Intuicyjnie: Zmienna losowa to taka zmienna, która przyjmuje pewną konkretną wartość w wyniku przeprowadzenia pomiaru lub eksperymentu. Na przykład zmienną losową jest liczba oczek, która wypada na kostce do gry. Dopóki trzymamy kostkę w ręce to nie wiemy jaką wartość ta zmienna przyjmie, konkretną wartość zmienna ta przyjmuje po rzucie. Jednak w kolejnych rzutach nie wiemy jakie będą jej wartości.
;Bardziej formalnie: Zmienna losowa to funkcja przypisująca zdarzeniom elementarnym liczby.
;Zupełnie formalnie:
Do formalnej definicji potrzebne jest nam pojęcie przestrzeni probabilistycznej:
Przestrzeń probabilistyczna to układ trzech elementów <math>(\Omega, F,P)</math>, gdzie:
* <math>\Omega</math> jest pewnym zbiorem, zwanym przestrzenią zdarzeń elementarnych,
* <math>F</math> jest [http://pl.wikipedia.org/wiki/Sigma-ciało <math>\sigma</math>-ciałem] podzbiorów zbioru <math>\Omega</math>. Elementy tego <math>\sigma</math>-ciała nazywane są zdarzeniami losowymi,
* <math>P: F\rightarrow [0,1]</math> jest miarą probabilistyczną, tzn.
** <math>P(A) \ge 0 </math> dla każdego <math>A \in F</math>,
** <math>P(\Omega) = 1</math>,
** jeżeli zbiory <math>A_1, A_2,\dots,A_n \in F</math> są parami rozłączne, to <math>P\left( \bigcup\limits_{i=1}^{\infty} A_i \right ) = \sum_{i=1}^{\infty} P(A_i) </math>.

Niech <math>(\Omega, F,P)</math> będzie przestrzenią probabilistyczną. '''Zmienną losową''' nazywamy dowolna funkcję <math>X</math>, określoną na przestrzeni zdarzeń elementarnych <math>\Omega</math>, o wartościach ze zbioru liczb rzeczywistych i [http://pl.wikipedia.org/wiki/Funkcja_mierzalna mierzalną] względem przestrzeni <math>(\Omega, F,P)</math>. Zmienna losowa jest ciągła jeśli jej zbiór wartości jest ciągły, lub dyskretna, jeśli jej zbiór wartości jest dyskretny.

=== Rozkład prawdopodobieństwa===
Rozkład prawdopodobieństwa — (rozkład zmiennej losowej) miara probabilistyczna określona na <math>\sigma</math>-ciele podzbiorów zbioru wartości zmiennej losowej, pozwalająca przypisywać prawdopodobieństwa zbiorom wartości tej zmiennej, odpowiadającym zdarzeniom losowym.

Dla zmiennej losowej dyskretnej możemy wprowadzić pojęcie '''funkcji prawdopodobieństwa''':
<math>P(X=x_i) = p_i</math>

Przykład: Dla rzutów monetą funkcję prawdopodobieństwa można zobrazować jako tabelkę:
{| class="wikitable" border="1"
|-
|
! Zdarzenie:
! orzeł
! reszka
|-
|zmienna losowa
|<math>x_i</math>
|0
|1
|-
| prawdopodobieństwo
| <math>p_i</math>
| 1/2
| 1/2
|-
|}

Można też przedstawić ją na wykresie:

[[Plik:Rozklad_moneta_1.gif|600px]]

Dla zmiennej losowej ciągłej zamiast funkcji prawdopodobieństwa wprowadzamy '''funkcję gęstości prawdopodobieństwa'''. Jest to funkcja określona na zbiorze liczb rzeczywistych posiadająca następujące własności:
* jest nieujemna: <math>f(x) \ge 0 </math>
* prawdopodobieństwo tego, że zmienna losowa przyjmie wartość z przedziału <math>(a,b]</math>: <math> \int_a^b f(x) dx = P(a<X \le b) </math>
[[Plik:Funkcja_gestosci_prawdopodobienstwa.png]]
* Prawdopodobieństwo tego, że zmienna losowa przyjmie dowolną wartość: <math> \int_{-\infty}^{+\infty} f(x) dx = P(-\infty <X \le +\infty) = 1 </math>

=== Dystrybuanta ===
Dystrybuantą zmiennej losowej <math>X</math> nazywamy funkcję <math>F(x)</math> określoną na zbiorze liczb rzeczywistych jako:
<math>F(x) = P(X \le x)</math>

czyli wartość dystrybuanty w punkcie <math>x</math> jest prawdopodobieństwem, że zmienna losowa przyjmie wartość nie większą niż <math>x</math>.
* Dla zmiennej dyskretnej:
: <math>F(x)=P(X \le x) = \sum_{x_i<x}{P(X = x_i) } = \sum_{x_i<x}p_i</math>
* Dla zmiennej losowej ciągłej z funkcją gęstości prawdopodobieństwa <math>f</math>:
: <math>F(x) = P(X \le x)= \int_{-\infty}^x f(s) ds </math>

Zauważmy ścisły związek dystrybuanty z funkcją prawdopodobieństwa w przypadku dyskretnym i funkcją gęstości prawdopodobieństwa w przypadku ciągłym.

Przykład z monetą:

[[Plik:Rozklad_moneta.svg|600px]]

=== Momenty ===
Dla zmiennej losowej można obliczyć momenty zwykłe lub centralne.

;Moment zwykły: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi tej zmiennej. Oblicza się go tak:
* dla dyskretnej zmiennej losowej
: <math>m_k = E(X^k) = \sum_{i} {x_i^k p_i} </math>

: tu <math>p_i</math> oznacza prawdopodobieństwo, że <math>X = x_i</math>

* dla ciągłej zmiennej losowej
: <math> m_k = E(X^k) = \int\limits_{-\infty}^{\infty} {x^k f(x)dx}</math>

: tu <math>f(x)</math> jest funkcją gęstości prawdopodobieństwa.

Zauważmy, że pierwszy moment zwykły to średnia.

;Moment centralny: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi funkcji <math>[x_i - E(x_i)]</math>. Zatem możemy go obliczyć tak:
* dla dyskretnej zmiennej losowej
: <math>
\mu_k = E\left( \left[ X-E(X) \right] ^k \right) = \sum_{i} {\left[x_i-E(X)\right]^k p_i}
</math>

* dla ciągłej zmiennej losowej
: <math>
\mu_k = E\left(\left[X-E(X)\right]^k\right) = \int\limits_{-\infty}^{\infty} { \left[X-E(X)\right]^k f(x)dx}
</math>

Uwaga:
* Drugi moment centralny ma swoją nazwę. Jest to '''wariancja''', często oznaczana przez <math>\sigma^2</math>.
* Trzeci moment centralny przydaje się do badania symetrii rozkładu. Przyjmuje on wartość 0 dla zmiennych o rozkładzie symetrycznym, wartości ujemne dla zmiennych o rozkładzie wydłużonym w lewą stronę i wartości dodatnie dla zmiennych o rozkładzie wydłużonym w prawą stronę.
* Czwarty moment centralny jest przydatny do konstrukcji miary spłaszczenia rozkładu zmiennej losowej '''kurtozy'''. Definiuje się ją następująco:
: <math> \mathrm{Kurt} = \frac{\mu_4}{\mu_2^4} - 3 </math>
Rozkłady prawdopodobieństwa można podzielić ze względu na wartość kurtozy na rozkłady:
* mezokurtyczne — wartość kurtozy wynosi 0, spłaszczenie rozkładu jest podobne do spłaszczenia rozkładu normalnego (dla którego kurtoza wynosi dokładnie 0)
* leptokurtyczne — kurtoza jest dodatnia, wartości cechy bardziej skoncentrowane niż przy rozkładzie normalnym
* platokurtyczne — kurtoza jest ujemna, wartości cechy mniej skoncentrowane niż przy rozkładzie normalnym

=== Kwantyle ===
Kwantylem rzędu ''p'', gdzie <math>0 \leqslant p \leqslant 1</math>, w rozkładzie empirycznym <math> P_{X} </math> zmiennej losowej <math>X</math> nazywamy każdą liczbę <math>x_{p}</math>, dla której spełnione są nierówności

: <math>
P_X((-\infty, x_p]) \geqslant p
</math>

oraz

: <math>
P_X([x_p,\infty)) \geqslant 1-p.
</math>

W szczególności, kwantylem rzędu ''p'' jest taka wartość <math>x_{p}</math> zmiennej losowej, że wartości mniejsze lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej ''p'', zaś wartości większe lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej 1−''p''.

Możemy zatem myśleć o obliczaniu kwantyla tak:
* zaobserwowaliśmy ''n'' wartości zmiennej losowej,
* zapiszemy te wartości na liście,
* następnie listę tę sortujemy w porządku rosnącym,
* kwantylem rzędu ''p'' jest albo element znajdujący się na liście w pozycji ''np'' jeśli ''np'' jest całkowite albo średnią z elementów położonych najbliżej ''np'' w przeciwnym wypadku.
==== Nazwy poszczególnych kwantyli ====
Kwantyl rzędu 1/2 to inaczej mediana (ściślej zależy to od definicji mediany, przy jej obliczaniu z próbki o parzystej liczbie elementów często stosuje się średnią arytmetyczną dwóch środkowych elementów, szczegóły są w artykule). 
Kwantyle rzędu 1/4, 2/4, 3/4 są inaczej nazywane kwartylami. 
Kwantyle rzędu 1/5, 2/5, 3/5, 4/5 to inaczej kwintyle. 
Kwantyle rzędu 1/10, 2/10, ..., 9/10 to inaczej decyle. 
Kwantyle rzędu 1/100, 2/100, ..., 99/100 to inaczej percentyle. 

==Pseudolosowość==
W obliczeniach numerycznych często korzystamy z liczb &bdquo;losowych”. Tak naprawdę sekwencje liczb, których używamy są jedynie pseudolosowe,
tzn. są wytwarzane w deterministyczny (algorytmiczny) sposób, ale sekwencja generowanych wartości ma pewne cechy losowości. W idealnym przypadku cechą tą jest nieprzewidywalność: na podstawie obserwacji dotychczasowych wartości sekwencji niemożliwe jest podanie kolejnych wartości. W praktyce oznacza to nie możność ustalenie ziarna lub stanu wewnętrznego generatora na podstawie obserwacji dowolnie długiego ciągu wygenerowanych bitów.
Stan generatora przechowywany jest na zmiennych o skończonej precyzji. Jeśli stan jest przechowywany na <math>n</math> bitach to górną granicą na długość unikalnego ciągu liczb jest <math>2^n</math>. Zazwyczaj unikalna sekwencja jest jednak krótsza. Wynika stąd, że generatory liczb pseudolosowych mają okres, po którym sekwencja liczb powtarza się. Podstawowe generatory liczb pseudolosowych wytwarzają liczby podlegające rozkładowi jednostajnemu (płaskiemu).

Istnieją generatory &bdquo;prawdziwych” liczb losowych, które są osobnymi urządzeniami. Liczy przez nie dostarczane są pewnymi parametrami jakichś procesów fizycznych, przebiegających w tych urządzeniach (zależnie od producenta). Do naszych zastosowań w zupełności wystarczą liczby generowane przez algorytmy komputerowe.

Proste generatory liczb pseudolosowych można otrzymać jako funkcje używające operacji dzielenia modulo (generatory kongruencyjne):

<math>x_{n+1}=f(x_n,x_{n-1}, ..., x_{n-k})\mod M</math>.

Zakładamy, że argumentami funkcji <math>f</math> są liczby całkowite ze zbioru <math>{0, 1, ...,M-1}</math>. Dla ustalenia uwagi mogą to być generatory liniowe typu:

<math> x_{n+1}= (ax_{n} + c )\mod M</math>

===Przykład generatora liniowego ===
Dla przykładu zaimplementujmy jeden taki generator:

<source lang = python>
# -*- coding: utf-8 -*-

import numpy as np
import pylab as py
def gen(x,N=1):
'''Przykład generatora liniowego.
funkcja zwraca liczby pseudolosowe z przedziału [0,1)
x - ziarno,
N - ile liczb zwrócić'''
m=8191
a=101
c=1731
y=np.zeros(shape=(N,))
for i in range(N):
x=(a*x+c) % m
y[i]= x/m
return y
x=gen(23,100000)
py.hist(x)
py.show()
</source>
Liczby <tt> m, a, c</tt> są parametrami generatora. Liczba <tt>x</tt>, od której startuje generator nazywana jest ziarnem generatora {{ang|seed}}.
Funkcja <tt>py.hist()</tt> zlicza i wyrysowuje histogram (czy wiemy co to jest histogram?).
* Wywołaj funkcję <tt>gen</tt> dla tego samego ziarna kilka razy zaobserwuj powtarzalność wartości.

W module <tt>numpy</tt> mamy do dyspozycji generator liczb pseudolosowych oparty na algorytmie [http://pl.wikipedia.org/wiki/Mersenne_Twister Mersenne Twister ]
<source lang=python>
# -*- coding: utf-8 -*-
"""
kod demonstrujacy pseudolosowosc
"""
import numpy as np
seed=3
np.random.seed(seed)
x=np.random.random(5)

np.random.seed(seed)
y=np.random.random(5)
print('x:', x)
print('y:', y)
</source>
* Zaobserwuj powtarzalność wartości.
* Wygeneruj i wykreśl 200 kolejnych liczb pseudolosowych.
<source lang= python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
seed=3
np.random.seed(seed)
x=np.random.random(200)

py.plot(x,'.')
py.show()
</source>

===Testy jakości===
==== Zadanie ====
Dla wyżej wymienionych generatorów, proszę wykonać następujące testy:
* zobrazować rozkład prawdopodobieństwa (narysować histogram);

* test korelacji na rysunku: sporządzić wykres gdzie na jednej osi są wartości <math>x_n</math> na drugiej zaś wartości <math>x_{n+1}</math>.


Bardziej wyczerpujące baterie testów jakości generatorów można znaleźć na przykład w:
* http://csrc.nist.gov/groups/ST/toolkit/rng/index.html
* http://www.phy.duke.edu/~rgb/General/rand_rate.php

== Zmienne losowe w module <tt>scipy.stats</tt> ==
=== Wstęp ===
Zmienne losowe w module <tt>scipy.stats</tt> są zaimplementowane jako dwie klasy: <tt>stats.rv_continuous</tt> (bazuje na niej ponad 80 typów rozkładów ciągłych zmiennych losowych) i <tt>stats.rv_discrete</tt> (bazuje na niej 10 typów rozkładów dyskretnych zmiennych losowych). Aktualną listę dostępnych rozkładów można uzyskać np. przy pomocy następującego skryptu:
<source lang =python>
from scipy import stats
dc= [d for d in dir(stats) if isinstance(getattr(stats,d), stats.rv_continuous)]
print(dc)
</source>
Przykładowo: zmienne losowe o rozkładzie normalnym są reprezentowane przez klasę <tt>norm</tt>.

=== Funkcje przydatne do pracy ze zmiennymi losowymi dostępne są jako metody ===

Obiekty reprezentujące zmienne losowe podlegające konkretnym rozkładom posiadają następujące metody:
* <tt>rvs</tt>: '''generator zmiennych losowych''' danego typu;
* <tt>cdf</tt>: '''dystrybuanta''' (ang. Cumulative Distribution Function);
* <tt>ppf</tt>: '''funkcja odwrotna do dystrybuanty''' (ang. Percent Point Function (Inverse of CDF));
* <tt>stats</tt>: zwraca '''momenty centralne rozkładu''' (średnią, wariancję, skośność i kurtozę);
* <tt>moment</tt>: zwraca niecentralne momenty rozkładu.
* <tt>pdf</tt>: '''funkcja gęstości prawdopodobieństwa''' (ang. Probability Density Function);
* <tt>pmf</tt> dla rozkładów dyskretnych <tt>pdf</tt> jest zamienione na '''funkcję prawdopodobieństwa''' (ang. probability mass function; ''masa'' przez analogię z gęstością masy i masą punktową);
* <tt>sf</tt>: funkcja przeżycia (ang. Survival Function) (1−CDF);
* <tt>isf</tt>: funkcja odwrotna do funkcji przetrwania (ang. Inverse Survival Function (Inverse of SF));

====Przykład====
Zobaczmy działanie tych metod dla zmiennych losowych z rozkładu normalnego:
<source lang =python>
import scipy.stats as st
import pylab as py
import numpy as np

# generowanie 10000 liczb z rozkładu normalnego
x = st.norm.rvs(size=10000)
py.subplot(2,2,4)
bins=np.linspace(-3,3,50)
py.hist(x,bins=bins)
py.title('Histogram')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'ilość zliczeń')

# wykreślenie gęstości prawdopodobieństwa
os_x = np.arange(-3,3,0.01)
y=st.norm.pdf(os_x)
py.subplot(2,2,3)
py.plot(os_x,y)
py.title(u'rozkład gęstości prawdopodobieństwa: pdf')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'gęstość prawdopodobieństwa')

# wykreślenie dystrybuanty
z= st.norm.cdf(os_x)
py.subplot(2,2,1)
py.plot(os_x,z)
py.title(u'Dystrybuanta: cdf')

py.xlabel(u'wartość zmiennej')
py.ylabel(u'prawdopodobieństwo')

# wykreślenie funkcji odwrotnej do dystrybuanty
os_p = np.arange(0,1,0.01)
f=st.norm.ppf(os_p)
py.subplot(2,2,2)
py.plot(os_p,f)
py.title(u'funkcja odwrotna do dystrybuanty: ppf')
py.ylabel(u'wartość zmiennej')
py.xlabel(u'prawdopodobieństwo')
py.show()

</source>

Zmienne losowe mogą być używane na jeden z dwóch sposobów: można podawać wszystkie parametry opisujące rozkład w każdym wywołaniu metody, albo wytworzyć obiekt reprezentujący rozkład o konkretnych parametrach (w dokumentacji <tt>scipy</tt> jest to nazywane zamrażaniem parametrów rozkładu, ang. ''freezing'')
Jako przykład zobaczmy funkcję odwrotną do dystrybuanty rozkładu normalnego N(2, 9):

>>> import scipy.stats as st
>>> print(st.norm.ppf(0.05, loc=2, scale=3))
-2.93456088085
>>> my_norm = st.norm(loc=2,scale=3)
>>> print(my_norm.ppf(0.05))
-2.93456088085

=== Pomoc do poszczególnych rozkładów ===
Pełną dokumentację każdego rozkładu mamy dostępną w postaci docstringów. Dla przykładu:
<source lang = python>
help(st.nct)
</source>
wypisuje pełną informację z docstring o niecentralnym rozkładzie ''t''.
Podstawowe informacje można uzyskać wypisując treść pola <tt>extradoc</tt>

>>> print(st.nct.extradoc)
Non-central Student T distribution
df**(df/2) * gamma(df+1)
nct.pdf(x,df,nc) = --------------------------------------------------
2**df*exp(nc**2/2)*(df+x**2)**(df/2) * gamma(df/2)
for df > 0, nc > 0.

==== Zadanie ====
Wypisz pomoc dla (centralnego) rozkładu ''t'' i sprawdź jakie parametry on przyjmuje. Wybierz dowolnie ich wartości, a następnie posiłkując się [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład|przykładem]]:
# Wygeneruj 10000 liczb z rozkładu ''t'' i narysuj ich histogram.
# Wykreśl gęstość prawdopodobieństwa tego rozkładu.
# Wykreśl dystrybuantę.
# Wykreśl funkcję odwrotną do dystrybuanty.



=== Statystyki i estymatory ===
Estymator jest statystyką służącą do szacowania pewnej wielkości (np. parametru) na podstawie próby losowej (np. danych eksperymentalnych). Na wykładzie poznaliśmy m.in. takie statystki jak [[WnioskowanieStatystyczne/Momenty|wartość oczekiwana, wariancja i mediana]], z których ostatnia jest szczególnym przypadkiem [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Kwantyle|kwantylu]]. Moduły numpy oraz scipy.stats umożliwiają łatwe estymowanie niektórych statystyk, a także obliczanie ich rzeczywistych wartości, jeśli znamy parametry rozkładu.

====Przykład====
Jako przykład niech posłuży poniższy kod, w którym szukamy wartości estymatorów wartości oczekiwanej oraz wariancji rozkładu normalnego na podstawie próby losowej, a wynik porównujemy z wartościami rzeczywistymi:
<source lang =python>
import numpy as np
import scipy.stats as st

# definiujemy parametry rozkładu, a następnie sam rozkład
m=2
s=0.5
rozklad = st.norm(m,s) #definiujemy rozkład normalny

#określamy wielkość próby losowej
N = 10000

#obliczamy statystyki korzystając z metod obiektu 'rozklad'
mu = rozklad.mean() # rzeczywista wartość oczekiwana naszego rozkładu
var = rozklad.var() # rzeczywiste odchylenie standardow

#losujemy próbę o rozmiarze N
x = rozklad.rvs(size=N)

#estymujemy statystyki
mu_est = np.mean(x) # estymowana wartość oczekiwana
var_est = np.var(x) # estymowana wariancja

# wypisujemy wyniki z dokładnością do 5 cyfr znaczących
print("Wartość oczekiwana rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(mu,mu_est))
print("Wariancja rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(var,var_est))
</source>

==== Zadanie ====
Posiłkując się powyższym przykładem wygeneruj próby losowe dla następujących rozkładów:
# Rozkład normalny <math>\mu</math> = 100, <math>\sigma</math> = 2.
# Rozkład dwumianowy p = 0.4, n =10.
# Rozkład poissona <math>\lambda</math> = 4.
# Rozkład jednostajny na przedziale [2, 6).
Następnie estymuj na ich podstawie wartości poniższych statystyk i porównaj je z wartościami obliczonymi na podstawie znanych parametrów rozkładu:
# Wartość oczekiwana.
# Odchylenie standardowe.
# Wariancja.
# Mediana.
# Kurtoza.



== Generowanie zmiennych losowych podlegającym różnym rozkładom prawdopodobieństwa ==
Podstawowe typy generatorów liczb losowych wytwarzają liczby losowe podlegające rozkładowi jednostajnemu. Zastanowimy sie teraz jak mając zmienne losowe z rozkładu jednostajnego wytworzyć zmienne losowe o innych rozkładach.
=== Rozkład dwumianowy ===
Zmienna losowa, która zlicza liczbę sukcesów <math>k</math> w <math>n</math> próbach, gdzie <math>p</math> jest prawdopodobieństwem sukcesu w pojedynczej próbie, podlega rozkładowi dwumianowemu
[[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_dwumianowy więcej o rozkładzie dwumianowym]]:

<math>P_n(k)=\left(
\begin{array}{c}
n \\
k
\end{array}
\right) p^kq^{n-k}=\frac{n!}{k!(n-k)!}p^kq^{n-k} </math>

''Jak z rozkładu jednostajnego wytworzyć zmienne losowe o rozkładzie dwumianowym?''
* Wykonać symulację!

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py

def gen_binom(n,p,N):
'''funkcja zwracająca zmienną losową z rozkładu dwumianowego:
ilość sukcesów w n próbach przy prawdopodobieństwie sukcesu p
parametry:
n: liczba prób
p: prawdopodobieństwo sukcesu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będącymi liczbami sukcesów
'''
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję n liczb z rozkładu jednostajnego [0,1) i jako sukcesy
#traktuję wylosowanie liczby nie większej niż p
r=np.random.rand(N,n)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
n=20
N=100000
p=0.8
x = gen_binom(n,p,N)
bins =range(22) #granice binów
py.hist(x,bins)
py.show()
</source>

====Zadanie====
Z oszacowań agencji wynika, że średnio 2 z 3 reklam spotyka się z pozytywnym odzewem. Akcja marketingowa obejmuje 12 reklam. Niech <math>X</math> oznacza liczbę reklam skutecznych. Czy <math>X</math> podlega rozkładowi dwumianowemu?
Jakie jest prawdopodobieństwo, że 10 reklam będzie skutecznych?
Prawdopodobieństwo obliczyć ze wzoru oraz korzystając z symulacji.

Wskazówka informacje o zmiennych z rozkładu dwumianowego (<tt>binom</tt>) można uzyskać tak:
# >>> print(st.binom.extradoc)
# Binomial distribution
#
# Counts the number of successes in *n* independent
# trials when the probability of success each time is *pr*.
#
# binom.pmf(k,n,p) = choose(n,k)*p**k*(1-p)**(n-k)
# for k in {0,1,...,n}
Odp: ''p'' = 0,127



====Zadanie====
Na egzaminie testowym jest 30 pytań. Na każde pytanie są podane cztery możliwe odpowiedzi, z czego tylko jedna jest prawdziwa. Za prawidłową odpowiedź student otrzymuje 1 punkt a za fałszywą −0,5 punktu. Próg zaliczenia wynosi 15 punktów. Oblicz prawdopodobieństwo, że udzielając czysto losowych odpowiedzi student zaliczy egzamin.

=====Rozwiązanie:=====
Liczba prawidłowych odpowiedzi w teście może być potraktowana jako liczba sukcesów k w n = 30 próbach. Prawdopodobieństwo sukcesu pojedynczego zdarzenia (prawidłowa odpowiedź na jedno pytanie) wynosi p = 1/4. Ze względu na obecność ujemnych punktów za fałszywe odpowiedzi zmienia się efektywna liczba punktów wymaganych do zaliczenia zgodnie z równaniem:
k-0.5*(30-k) = 15
co daje k = 20
Zatem problem redukuje się do wyznaczenia prawdopodobieństwa co najmniej 20 sukcesów w 30 próbach, przy czym prawdopodobieństwo sukcesu w 1 próbie wynosi p=1/4:
<source lang=python>

# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st

p = 1./4 #prawdopodobieństwo sukcesu w jednej próbie
n = 30 # liczba prób w jednej akcji reklamowej
k_kryt = 20
# ze wzoru
p_wz = np.sum(st.binom.pmf(range(k_kryt,n+1),n,p))
print(p_wz)

# z symulacji
N_powt =10000000 # liczba powtórzeń symulacji
r = np.random.random(size=(n,N_powt)) # symulowany test
k = np.sum(r<=p,0) # liczba sukcesów
p_sym = sum(k>=20)/N_powt
print(p_sym)

</source>

=== Rozkład Poissona ===

<math>
P(k)=\frac{\mu^k e^{-\mu}}{k!}
</math>
Rozkładowi Poissona podlegają zmienne losowe zliczające w jednostce czasu liczbę zdarzeń o niskim prawdopodobieństwie zajścia. Np. liczba rozpadów promieniotwórczych na jednostkę czasu [[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_Poissona więcej o rozkładzie Poissona]]

====Przykład====
Lekarz pełniący dyżur w szpitalu jest wzywany do pacjentów średnio 3 razy w ciągu nocy. Załóżmy, że liczba wezwań na noc podlega rozkładowi Poissona. Jakie jest prawdopodobieństwo, że noc upłynie lekarzowi spokojnie?
U nas <math>\mu=3</math>, <math>x=0</math> więc

<math>
P(0) = \frac{3^0e^{-3}}{0!} = e^{-3} = 0,0498
</math>

====Przykład====
Jak ze zmiennych podlegających rozkładowi jednostajnemu uzyskać zmienne podlegające rozkładowi Poissona?

Wykonać symulację wynikającą z następujących spostrzeżeń:

* Weźmy jednostkę czasu. Ma w niej zachodzić średnio <math>\mu</math> zdarzeń.
* Podzielmy jednostkę czasu na ''NT'' odcinków o jednakowej długości.
* Prawdopodobieństwo, że zdarzenie zajdzie w konkretnym odcinku jest <math>p=\frac{\mu}{NT}</math> Takie prawdopodobieństwo ma też wylosowanie przy pomocy generatora liczb z rozkładu jednostajnego [0,1) liczby nie większej niż ''p''.
* Zatem, aby wytworzyć jedną liczbę z rozkładu Poissona można policzyć ile spośród ''NT'' liczb z rozkładu jednostajnego [0,1) jest nie większych niż ''p''.

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

def gen_poiss(mi,NT,N):
'''funkcja zwracająca zmienne losowe z rozkładu poissona:
średnia ilość zdarzeń o niskim prawdopodobieństwie w jednostce czasu
parametry:
mi: średnia liczba zdarzeń
NT: liczba odcinków czasu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będących zliczeniami zdarzeń
'''
p = float(mi)/NT
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję NT liczb z rozkładu jednostajnego [0,1) i jako zajście zdarzenia
# traktuję wylosowanie liczby nie większej niż p. Ilość zdarzeń to liczba z rozkładu Poissona
r=np.random.rand(N,NT)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
mi=4
N=100000
NT = 10000
x = gen_poiss(mi,NT,N)
bins =np.arange(int(x.max()+1))-0.5
py.hist(x,bins,normed=True)

# porównanie z generatorami scipy.stats
p=mi/NT
k=np.arange(x.max()+1)
B=st.binom.pmf(k,NT,p)
py.plot(k,B,'ro')
P=st.poisson.pmf(k,mi)
py.plot(k,P,'go')
py.show()
</source>

=== Rozkład normalny i Centralne Twierdzenie Graniczne ===
Gęstość prawdopodobieństwa [[WnioskowanieStatystyczne/Rozklady-przyklady#Rozk.C5.82ad_Gaussa| rozkładu normalnego]] dana jest wzorem:

<math>f(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{ -\frac{(x-\mu)^2}{2 \sigma^2}}</math>
gdzie: <math>\mu</math> — średnia, <math>\sigma</math> — odchylenie standardowe (<math>\sigma^2</math> — wariancja).

Jeden ze sposóbw wytwarzania zmiennych losowych o rozkładzie normalnym polega na zastosowaniu [[WnioskowanieStatystyczne/CLT| Centralnego Twierdzenia Granicznego]].

<math>X=\frac{\sqrt{12}}{\sqrt{N}}\left(\sum_{n=1}^N Y_n -\frac{N}{2}\right)</math>

gdzie <math>Y</math> zmienna losowa z rozkładu jednostajnego <math>[0,1)</math>
W granicy dużych <math>N</math> rozkład zmiennej <math>X</math> dąży do rozkładu normalnego <math>N(0,1)</math>.

====Zadanie ====
Proszę:
* napisać funkcję <tt>gen_CTG_1(N)</tt>, która zwraca liczbę losową ''X'' otrzymaną zgodnie powyższym wzorem przez sumowanie <tt>N</tt> liczb z rozkładu jednostajnego.
* napisać funkcję <tt>gen_CTG(N, N_liczb)</tt> korzystającą z <tt>gen_CTG_1(N)</tt> i zwracającą zadaną ilość liczb <tt>N_liczb</tt>
* narysować histogramy 10 000 liczb <math>X</math> uzyskanych kolejno dla <math>N={1,2,...,12}</math>
* Jakie parametry charakteryzują rozkład do którego zbiegają sumy? Przy każdym z powyższych histogramów wypisz średnią i wariancję z próby (funkcje <tt>np.mean</tt> i <tt>np.var</tt>).

=====Rozwiązanie:=====
<source lang=python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import numpy.random as rnd

def gen_CTG_1(N):
'''Funkcja generująca pojedynczą zmienną losową będącą sumą N liczb z rozkładu jednostajnego [0,1)
pomnożoną przez czynnik normujący zapewniający wariancję równą 1.
parametry:
N: ile liczb sumować
funkcja zwraca:
jedną liczbę losową'''
X = np.sqrt(12/N) * (np.sum(rnd.random(N)) - N/2)
return X

def gen_CTG(N,N_liczb):
'''Funkcja zwraca wektor (tablicę) zmiennych losowych będących sumami N liczb z rozkładu jednostajnego [0,1).
parametry:
N: ile liczb sumować
N_liczb: ilość liczb do generowania
funkcja zwraca:
N_liczb losowych'''

X=np.zeros(N_liczb)

for i in range(N_liczb):
X[i] = gen_CTG_1(N)

return X

# kod testujący
N_liczb=10000
Nmax=12

for N in range(1,Nmax+1):
X=gen_CTG(N,N_liczb)
py.subplot(3,4,N)
bins = np.arange(-4,4,0.1)
py.hist(X,bins=bins,normed=True)
py.title("N=%i, µ=%.2g, σ²=%.2g"%(N, X.mean(), X.var(ddof=1)))

py.show()
</source>

====Zadanie: transformacja rozkładu normalnego ====

Rozkład o średniej 0 i wariancji 1 (notacja <math>N(0,1)</math>) jest nazywany rozkładem standardowym i często jest oznaczany literą <math>Z</math>. Dokonując odpowiedniej transformacji można z rozkładu <math>Z</math> uzyskać dowolny inny rozkład normalny.

Proszę:
* wygenerować 100000 zmiennych losowych z rozkładu <math>N(0,1)</math> (skorzystać z funkcji <tt>st.norm.rvs(loc=0, scale=1, size=100000)</tt>)
* przetransformować je do zmiennych losowych <math>N(2,9)</math>.
* narysować histogramy zmiennych przed i po transformacji.
* narysować rozkład gęstości prawdopodobieństwa dla rozkładu <math>N(2,9)</math> (skorzystać z funkcji <tt>st.norm.pdf(...)</tt>) .



====Transformacja Boxa-Mullera====
To inna popularna metoda metoda generowania liczb losowych o rozkładzie normalnym, na podstawie dwóch wartości zmiennej o rozkładzie jednostajnym na przedziale [0,1) http://en.wikipedia.org/wiki/Box-Muller_transform, ale nie będziemy się nią tu szerzej zajmować.

====Przykład====
Producent silników twierdzi, że jego silniki mają średnią moc 220 KM, a odchylenie standardowe wynosi 15 KM. Potencjalny klient testuje 100 silników. Jakie jest prawdopodobieństwo, że średnia z próby będzie mniejsza niż 217 KM?

Przypomnijmy, że z CTG dla dużych liczebności próby <math>n</math> <math>\bar x \sim N(\mu,\sigma^2/n)</math> [[WnioskowanieStatystyczne/Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej|(dowód)]]. Zatem szukamy

<math>P(\bar x <217) =P\left( Z<\frac{217-\mu}{\frac{\sigma}{ \sqrt{n}}} \right) = P\left( Z<\frac{217-220}{\frac{15}{ \sqrt{100}}} \right)=P(Z<-2)=0,0228</math>

<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

# ze wzoru
p=st.norm.cdf(-2)
print('prawdopodobieństwo odczytane z dystrybuanty rozkładu normalnego: %(0).4f' %{'0':p})

# symulacja

mu=220
sig=15
N_prob=100

m_kryt=217

N_rep=int(1e4)
srednia=np.zeros(N_rep)
for i in range(N_rep):
seria=st.norm.rvs(loc=mu, scale=sig, size=N_prob)
srednia[i]=np.mean(seria)

h=py.hist(srednia,30);

py.plot([m_kryt, m_kryt],[0, max(h[0])],'r')
p1=np.sum(srednia<=m_kryt)/N_rep
print('prawdopodobieństwo uzyskane z symulacji: %(0).4f' %{'0':p1})
py.show()

</source>

====Zadania====
Teraz kilka najprostszych zadań dotyczących rozkładu normalnego:
* Znajdźmy prawdopodobieństwo, że ''Z'' < −2,47. Proszę zrobić to na dwa sposoby: raz z użyciem wygenerowanych zmiennych z rozkładu normalnego, drugi raz z użyciem dystrybuanty <tt>norm.cdf</tt>
[Odp: ''p'' = 0,0068]

Rozwiązanie:
<source lang =python>
import scipy.stats as st

N=100000
z_crit = -2.47
Z=st.norm.rvs(loc=0, scale=1, size=N)
p= sum(Z < z_crit )/N
p_cdf = st.norm.cdf(z_crit, loc=0, scale=1)
print('symulowane p: %.4f' % p )
print('p z dystrybuanty: %.4f' % p_cdf)
</source>

* Znaleźć prawdopodobieństwo ''P''(|''Z''| < 2)
[Odp: ''p'' = 0,9545]

Rozwiązanie:
<source lang =python>
import scipy.stats as st
import numpy as np

N=100000
z_crit = 2
Z=st.norm.rvs(loc=0, scale=1, size=N)
p= sum(np.abs(Z) < z_crit )/N
p_cdf = st.norm.cdf( z_crit, loc=0, scale=1) - st.norm.cdf( -z_crit, loc=0, scale=1)
print('symulowane p: %.4f' % p )
print('p z dystrybuanty: %.4f' % p_cdf)
</source>

* Koncentracja zanieczyszczeń w półprzewodniku używanym do produkcji procesorów podlega rozkładowi normalnemu o średniej 127 cząsteczek na milion i odchyleniu standardowemu 22. Półprzewodnik może zostać użyty jedynie gdy koncentracja zanieczyszczeń spada poniżej 150 cząstek na milion. Jaka proporcja półprzewodników nadaje się do użycia?
Prawdopodobieństwo obliczyć korzystając z dystrybuanty rozkładu normalnego oraz z symulacji.
[Odp: ''p'' = 0,852]

Rozwiązanie:
<source lang =python>
import scipy.stats as st
import pylab as py
import numpy as np

mu=127
sig=22
m_kryt=150
p=st.norm.cdf(m_kryt, loc = mu, scale = sig )
print('proporcja odczytana z dystrybuanty rozkładu normalnego: %4g' %p)
# symulacja
N_prob=10000
seria=st.norm.rvs(loc=mu, scale=sig, size=N_prob)
p = sum(seria<=m_kryt)/N_prob
bins = np.arange(60,200,5)
h=py.hist(seria,bins);
py.plot([m_kryt, m_kryt],[0, max(h[0])],'r')
p1=np.sum(seria<=m_kryt)/N_prob
print('prawdopodobieństwo uzyskane z symulacji: %.4g' %p1)
py.show()
</source>

=== Rozkład t ===

Gdy nie znamy wariancji populacji <math>\sigma^2</math> używamy w jego miejsce estymatora wariancji próby <math>s^2</math> danego wzorem:

<math>s^2 =\frac{\sum(\bar x - x_i)^2}{n-1} </math>
gdzie ''n'' — rozmiar próby

Wtedy rozkład <math>Y=\frac{\bar X -\mu}{\frac{s}{\sqrt{n}}}</math> nie podlega rozkładowi normalnemu. Jeśli populacja <math>X</math> podlega rozkładowi normalnemu to <math>Y</math> podlega [[WnioskowanieStatystyczne/Test_t |rozkładowi ''t'' ]] z ''n''−1 stopniami swobody.

Zobaczmy na symulacji co to zmienia. Proszę obejrzeć wyniki dla kilku wartości <tt>N</tt>

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

N=3
N_liczb=10000
mu=2
sigma=1

y_wyidealizowane=np.zeros(N_liczb)
m_populacji=np.zeros(N_liczb)
s_populacji=np.zeros(N_liczb)
y_estymowane=np.zeros(N_liczb)
m_estymowane=np.zeros(N_liczb)
s_estymowane=np.zeros(N_liczb)
for i in range(N_liczb):
x=st.norm.rvs(loc=mu,scale=sigma,size=N)
m_populacji[i]=mu
s_populacji[i]=sigma/np.sqrt(N)

m_estymowane[i]=np.mean(x)
s_estymowane[i]=np.std(x,ddof=1)/np.sqrt(N)

y_wyidealizowane[i]=(m_estymowane[i]-mu)/(s_populacji[i])
y_estymowane[i]=(m_estymowane[i]-mu)/(s_estymowane[i])

py.subplot(311)
py.title(u'średnia (wartość oczekiwana)')
py.plot(m_estymowane,label="estymowana")
py.plot(m_populacji,'r',label="populacji")
py.legend()

py.subplot(312)
py.title('odchylenie standardowe')
py.plot(s_estymowane,label="estymowane")
py.plot(s_populacji,'r',label='populacji')
py.legend()

py.subplot(325)
py.title(u'rozkład ilorazu Y dla wersji wyidealizowanej')
py.hist(y_wyidealizowane,30,(-4,4))

py.subplot(326)
py.title(u'rozkład ilorazu Y dla wersji estymowanej')
py.hist(y_estymowane,30,(-4,4))

py.show()
</source>

====Zadanie====
Dział kontroli jakości producenta silników testuje 10 egzemplarzy silnika nowego typu. Uzyskano wartość średnią 220 KM oraz odchylenie standardowe równe 15 KM. Jakie jest prawdopodobieństwo, że klient, który zamówi 100 silników, otrzyma partię, w której średnia będzie mniejsza niż 217 KM? Wykonaj obliczenia oraz symulację. Porównaj wynik z wcześniejszym [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład_5|przykładem]], gdzie znaliśmy odchylenie standardowe z innego źródła (nie było ono estymowane z próby).



=== Inne rozkłady uzyskiwane przez transformacje ===
====Metoda odwracania dystrybuanty====

Niech <math>\xi</math> będzie zmienną losową o rozkładzie jednostajnym na przedziale <math>[0,1)</math>. Jej dystrybuanta <math>J</math> dana jest więc worem:

<math>
J(x) = P(\xi \le x) = \left\{
\begin{array}{lrl}
0 & \mathrm{dla} & x<0\\
x & \mathrm{dla} & 0 \le x <1 \\
1 & \mathrm{dla} & 1 \le x
\end{array}
\right.
</math>

oraz niech <math>F</math> będzie dystrybuantą interesującego nas rozkładu. Jeśli <math>F</math> jest funkcją odwracalną to zmienna losowa zdefiniowana jako:

<math>\eta = F^{-1}(\xi) </math>

jest zmienną losową podlegającą rozkładowi o dystrybuancie <math> F</math>.
Własność tę łatwo sprawdzić. Ponieważ dla każdego <math>x \in R </math> mamy:

<math>
P(\eta \le x) = P(F^{-1} (\xi) \le x) = P(\xi \le F(x)) = F(x)
</math>
więc <math>F</math> jest dystrybuantą zmiennej losowej <math>\eta</math>.

Czyli jeśli znamy dystrybuantę interesującego nas rozkładu prawdopodobieństwa i dystrybuanta ta jest odwracalna, to możemy generować liczby z rozkładu o dystrybuancie <math>F</math>.

====Przykład====
Wygenerować liczby pseudolosowe z rozkładu wykładniczego o gęstości prawdopodobieństwa:

<math>f(x) = \lambda e^{-\lambda x} </math>

Rozwiązanie:
* Znajdujemy dystrybuantę tego rozkładu:

: <math>F(x) = 1-e^{-\lambda x} </math>

* Znajdujemy funkcję odwrotną do dystrybuanty:

: <math>G(u)=F^{-1}(u) = -\frac{1}{\lambda}\ln(1-u) </math>

* Generujemy liczby losowe <math>u</math> z przedziału <math>[0,1)</math> i stosujemy transformację <math>G(u)</math>
* Test generowanego rozkładu robimy przez porównanie dystrybuanty teoretycznej i empirycznej. Proszę zwrócić uwagę na funkcję estymującą dystrybuantę empiryczną

<source lang =python>
# -*- coding: utf-8 -*-
import pylab as py
import numpy as np

def gen_wykladniczy(lam, N):
'''funkcja zwraca N liczb z rozkładu wykładniczego o parametrze lam
korzystając z metody odwracania dystrybuanty
Dystrybuanta rozkładu wykładniczego: F(x) = 1- exp(-lam*x)
Funkcja do niej odwrotna: G(u) = -1/lam ln(1-u)'''

u = np.random.random(N)
return -1.0/lam* np.log(1.-u)

def dystrybuanta(X,od=0, do=4, krok=0.05):
'''funkcja zwraca dystrybuantę empiryczną
zmiennej X na przedziale (od, do) z krokiem krok'''

os_x = np.arange(od,do,krok)
nx = len(os_x)
N_liczb = len(X)
D=np.zeros(nx) #wyzerowany wektor na naszą dystrybuantę
for i in range(nx):
D[i] = sum(X <= os_x[i])/N_liczb
return (os_x, D)

# testujemy: narysujemy dystrybuantę oczekiwaną i empiryczną
lam=3
N=10000

x = np.arange(0,4,0.01)
F = 1-np.exp(-lam*x)
X = gen_wykladniczy(lam, N)
(os_x, F_emp) = dystrybuanta(X,od=0, do=4, krok=0.1)
py.plot(x,F,'r',label = 'dystrybuanta teoretyczna')
py.plot(os_x, F_emp,'.b', label = 'dystrybuanta empiryczna')
py.legend()
py.show()
</source>

Zauważmy, że nie zawsze jest łatwo wyznaczyć efektywnie <math>F^{-1}</math> — jest tak na przykład w przypadku rozkładu normalnego. W takich sytuacjach można szukać przybliżonej wartości <math>F^{-1}</math>, rozwiązując numerycznie równanie:
<math>F(x)=u</math>, co sprowadza się do znalezienia miejsc zerowych funkcji <math>H(x)=F(x)-u</math>.

==== Zadanie ====
Posiłkując się powyższym przykładem napisz funkcję ''MyGen(N)'' dla rozkładu, którego funkcja gęstości prawdopodobieństwa jest dana wzorem:
<math> f(x) = \frac{1}{\pi (1+x^{2})} </math>
Następnie narysuj dla niego dystrybuantę i dystrybuantę empiryczną na przedziale [-10, 10].

<source lang=python>
import numpy as np
import pylab as py

#f(x) = 1/(π(1+x²)) -- f. gęstości prawdopodobieństwa
#zatem F(x) = arctg(x)/π + 1/2 -- dystrybuanta
#zatem F⁻¹(x) = tg(π(x-1/2)) -- f. odwrotna do dystrybuanty

def MyGen(size=1):
x=np.random.random(size) # liczby z generatora jednostajnego na przedziale [0,1)
y=np.tan(np.pi*(x-1/2)) # korzystamy z metody odwracania dystrybuanty
return y

x=MyGen(int(1e6))
bins=np.linspace(-10,10,101)
py.subplot(211)
py.hist(x,bins,normed=True,histtype='step')
py.plot(bins,1./(np.pi*(1+bins**2)),'r')
py.subplot(212)
py.hist(x,bins,normed=True,histtype='step',cumulative=True)
py.plot(bins,np.arctan(bins)/np.pi+0.5,'r')
py.show()
</source>

WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych

2021-02-18T10:20:43Z

Atartas: /* Zadanie */

==Pojęcia wstępne==
=== Zmienna losowa===
;Intuicyjnie: Zmienna losowa to taka zmienna, która przyjmuje pewną konkretną wartość w wyniku przeprowadzenia pomiaru lub eksperymentu. Na przykład zmienną losową jest liczba oczek, która wypada na kostce do gry. Dopóki trzymamy kostkę w ręce to nie wiemy jaką wartość ta zmienna przyjmie, konkretną wartość zmienna ta przyjmuje po rzucie. Jednak w kolejnych rzutach nie wiemy jakie będą jej wartości.
;Bardziej formalnie: Zmienna losowa to funkcja przypisująca zdarzeniom elementarnym liczby.
;Zupełnie formalnie:
Do formalnej definicji potrzebne jest nam pojęcie przestrzeni probabilistycznej:
Przestrzeń probabilistyczna to układ trzech elementów <math>(\Omega, F,P)</math>, gdzie:
* <math>\Omega</math> jest pewnym zbiorem, zwanym przestrzenią zdarzeń elementarnych,
* <math>F</math> jest [http://pl.wikipedia.org/wiki/Sigma-ciało <math>\sigma</math>-ciałem] podzbiorów zbioru <math>\Omega</math>. Elementy tego <math>\sigma</math>-ciała nazywane są zdarzeniami losowymi,
* <math>P: F\rightarrow [0,1]</math> jest miarą probabilistyczną, tzn.
** <math>P(A) \ge 0 </math> dla każdego <math>A \in F</math>,
** <math>P(\Omega) = 1</math>,
** jeżeli zbiory <math>A_1, A_2,\dots,A_n \in F</math> są parami rozłączne, to <math>P\left( \bigcup\limits_{i=1}^{\infty} A_i \right ) = \sum_{i=1}^{\infty} P(A_i) </math>.

Niech <math>(\Omega, F,P)</math> będzie przestrzenią probabilistyczną. '''Zmienną losową''' nazywamy dowolna funkcję <math>X</math>, określoną na przestrzeni zdarzeń elementarnych <math>\Omega</math>, o wartościach ze zbioru liczb rzeczywistych i [http://pl.wikipedia.org/wiki/Funkcja_mierzalna mierzalną] względem przestrzeni <math>(\Omega, F,P)</math>. Zmienna losowa jest ciągła jeśli jej zbiór wartości jest ciągły, lub dyskretna, jeśli jej zbiór wartości jest dyskretny.

=== Rozkład prawdopodobieństwa===
Rozkład prawdopodobieństwa — (rozkład zmiennej losowej) miara probabilistyczna określona na <math>\sigma</math>-ciele podzbiorów zbioru wartości zmiennej losowej, pozwalająca przypisywać prawdopodobieństwa zbiorom wartości tej zmiennej, odpowiadającym zdarzeniom losowym.

Dla zmiennej losowej dyskretnej możemy wprowadzić pojęcie '''funkcji prawdopodobieństwa''':
<math>P(X=x_i) = p_i</math>

Przykład: Dla rzutów monetą funkcję prawdopodobieństwa można zobrazować jako tabelkę:
{| class="wikitable" border="1"
|-
|
! Zdarzenie:
! orzeł
! reszka
|-
|zmienna losowa
|<math>x_i</math>
|0
|1
|-
| prawdopodobieństwo
| <math>p_i</math>
| 1/2
| 1/2
|-
|}

Można też przedstawić ją na wykresie:

[[Plik:Rozklad_moneta_1.gif|600px]]

Dla zmiennej losowej ciągłej zamiast funkcji prawdopodobieństwa wprowadzamy '''funkcję gęstości prawdopodobieństwa'''. Jest to funkcja określona na zbiorze liczb rzeczywistych posiadająca następujące własności:
* jest nieujemna: <math>f(x) \ge 0 </math>
* prawdopodobieństwo tego, że zmienna losowa przyjmie wartość z przedziału <math>(a,b]</math>: <math> \int_a^b f(x) dx = P(a<X \le b) </math>
[[Plik:Funkcja_gestosci_prawdopodobienstwa.png]]
* Prawdopodobieństwo tego, że zmienna losowa przyjmie dowolną wartość: <math> \int_{-\infty}^{+\infty} f(x) dx = P(-\infty <X \le +\infty) = 1 </math>

=== Dystrybuanta ===
Dystrybuantą zmiennej losowej <math>X</math> nazywamy funkcję <math>F(x)</math> określoną na zbiorze liczb rzeczywistych jako:
<math>F(x) = P(X \le x)</math>

czyli wartość dystrybuanty w punkcie <math>x</math> jest prawdopodobieństwem, że zmienna losowa przyjmie wartość nie większą niż <math>x</math>.
* Dla zmiennej dyskretnej:
: <math>F(x)=P(X \le x) = \sum_{x_i<x}{P(X = x_i) } = \sum_{x_i<x}p_i</math>
* Dla zmiennej losowej ciągłej z funkcją gęstości prawdopodobieństwa <math>f</math>:
: <math>F(x) = P(X \le x)= \int_{-\infty}^x f(s) ds </math>

Zauważmy ścisły związek dystrybuanty z funkcją prawdopodobieństwa w przypadku dyskretnym i funkcją gęstości prawdopodobieństwa w przypadku ciągłym.

Przykład z monetą:

[[Plik:Rozklad_moneta.svg|600px]]

=== Momenty ===
Dla zmiennej losowej można obliczyć momenty zwykłe lub centralne.

;Moment zwykły: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi tej zmiennej. Oblicza się go tak:
* dla dyskretnej zmiennej losowej
: <math>m_k = E(X^k) = \sum_{i} {x_i^k p_i} </math>

: tu <math>p_i</math> oznacza prawdopodobieństwo, że <math>X = x_i</math>

* dla ciągłej zmiennej losowej
: <math> m_k = E(X^k) = \int\limits_{-\infty}^{\infty} {x^k f(x)dx}</math>

: tu <math>f(x)</math> jest funkcją gęstości prawdopodobieństwa.

Zauważmy, że pierwszy moment zwykły to średnia.

;Moment centralny: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi funkcji <math>[x_i - E(x_i)]</math>. Zatem możemy go obliczyć tak:
* dla dyskretnej zmiennej losowej
: <math>
\mu_k = E\left( \left[ X-E(X) \right] ^k \right) = \sum_{i} {\left[x_i-E(X)\right]^k p_i}
</math>

* dla ciągłej zmiennej losowej
: <math>
\mu_k = E\left(\left[X-E(X)\right]^k\right) = \int\limits_{-\infty}^{\infty} { \left[X-E(X)\right]^k f(x)dx}
</math>

Uwaga:
* Drugi moment centralny ma swoją nazwę. Jest to '''wariancja''', często oznaczana przez <math>\sigma^2</math>.
* Trzeci moment centralny przydaje się do badania symetrii rozkładu. Przyjmuje on wartość 0 dla zmiennych o rozkładzie symetrycznym, wartości ujemne dla zmiennych o rozkładzie wydłużonym w lewą stronę i wartości dodatnie dla zmiennych o rozkładzie wydłużonym w prawą stronę.
* Czwarty moment centralny jest przydatny do konstrukcji miary spłaszczenia rozkładu zmiennej losowej '''kurtozy'''. Definiuje się ją następująco:
: <math> \mathrm{Kurt} = \frac{\mu_4}{\mu_2^4} - 3 </math>
Rozkłady prawdopodobieństwa można podzielić ze względu na wartość kurtozy na rozkłady:
* mezokurtyczne — wartość kurtozy wynosi 0, spłaszczenie rozkładu jest podobne do spłaszczenia rozkładu normalnego (dla którego kurtoza wynosi dokładnie 0)
* leptokurtyczne — kurtoza jest dodatnia, wartości cechy bardziej skoncentrowane niż przy rozkładzie normalnym
* platokurtyczne — kurtoza jest ujemna, wartości cechy mniej skoncentrowane niż przy rozkładzie normalnym

=== Kwantyle ===
Kwantylem rzędu ''p'', gdzie <math>0 \leqslant p \leqslant 1</math>, w rozkładzie empirycznym <math> P_{X} </math> zmiennej losowej <math>X</math> nazywamy każdą liczbę <math>x_{p}</math>, dla której spełnione są nierówności

: <math>
P_X((-\infty, x_p]) \geqslant p
</math>

oraz

: <math>
P_X([x_p,\infty)) \geqslant 1-p.
</math>

W szczególności, kwantylem rzędu ''p'' jest taka wartość <math>x_{p}</math> zmiennej losowej, że wartości mniejsze lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej ''p'', zaś wartości większe lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej 1−''p''.

Możemy zatem myśleć o obliczaniu kwantyla tak:
* zaobserwowaliśmy ''n'' wartości zmiennej losowej,
* zapiszemy te wartości na liście,
* następnie listę tę sortujemy w porządku rosnącym,
* kwantylem rzędu ''p'' jest albo element znajdujący się na liście w pozycji ''np'' jeśli ''np'' jest całkowite albo średnią z elementów położonych najbliżej ''np'' w przeciwnym wypadku.
==== Nazwy poszczególnych kwantyli ====
Kwantyl rzędu 1/2 to inaczej mediana (ściślej zależy to od definicji mediany, przy jej obliczaniu z próbki o parzystej liczbie elementów często stosuje się średnią arytmetyczną dwóch środkowych elementów, szczegóły są w artykule). 
Kwantyle rzędu 1/4, 2/4, 3/4 są inaczej nazywane kwartylami. 
Kwantyle rzędu 1/5, 2/5, 3/5, 4/5 to inaczej kwintyle. 
Kwantyle rzędu 1/10, 2/10, ..., 9/10 to inaczej decyle. 
Kwantyle rzędu 1/100, 2/100, ..., 99/100 to inaczej percentyle. 

==Pseudolosowość==
W obliczeniach numerycznych często korzystamy z liczb &bdquo;losowych”. Tak naprawdę sekwencje liczb, których używamy są jedynie pseudolosowe,
tzn. są wytwarzane w deterministyczny (algorytmiczny) sposób, ale sekwencja generowanych wartości ma pewne cechy losowości. W idealnym przypadku cechą tą jest nieprzewidywalność: na podstawie obserwacji dotychczasowych wartości sekwencji niemożliwe jest podanie kolejnych wartości. W praktyce oznacza to nie możność ustalenie ziarna lub stanu wewnętrznego generatora na podstawie obserwacji dowolnie długiego ciągu wygenerowanych bitów.
Stan generatora przechowywany jest na zmiennych o skończonej precyzji. Jeśli stan jest przechowywany na <math>n</math> bitach to górną granicą na długość unikalnego ciągu liczb jest <math>2^n</math>. Zazwyczaj unikalna sekwencja jest jednak krótsza. Wynika stąd, że generatory liczb pseudolosowych mają okres, po którym sekwencja liczb powtarza się. Podstawowe generatory liczb pseudolosowych wytwarzają liczby podlegające rozkładowi jednostajnemu (płaskiemu).

Istnieją generatory &bdquo;prawdziwych” liczb losowych, które są osobnymi urządzeniami. Liczy przez nie dostarczane są pewnymi parametrami jakichś procesów fizycznych, przebiegających w tych urządzeniach (zależnie od producenta). Do naszych zastosowań w zupełności wystarczą liczby generowane przez algorytmy komputerowe.

Proste generatory liczb pseudolosowych można otrzymać jako funkcje używające operacji dzielenia modulo (generatory kongruencyjne):

<math>x_{n+1}=f(x_n,x_{n-1}, ..., x_{n-k})\mod M</math>.

Zakładamy, że argumentami funkcji <math>f</math> są liczby całkowite ze zbioru <math>{0, 1, ...,M-1}</math>. Dla ustalenia uwagi mogą to być generatory liniowe typu:

<math> x_{n+1}= (ax_{n} + c )\mod M</math>

===Przykład generatora liniowego ===
Dla przykładu zaimplementujmy jeden taki generator:

<source lang = python>
# -*- coding: utf-8 -*-

import numpy as np
import pylab as py
def gen(x,N=1):
'''Przykład generatora liniowego.
funkcja zwraca liczby pseudolosowe z przedziału [0,1)
x - ziarno,
N - ile liczb zwrócić'''
m=8191
a=101
c=1731
y=np.zeros(shape=(N,))
for i in range(N):
x=(a*x+c) % m
y[i]= x/m
return y
x=gen(23,100000)
py.hist(x)
py.show()
</source>
Liczby <tt> m, a, c</tt> są parametrami generatora. Liczba <tt>x</tt>, od której startuje generator nazywana jest ziarnem generatora {{ang|seed}}.
Funkcja <tt>py.hist()</tt> zlicza i wyrysowuje histogram (czy wiemy co to jest histogram?).
* Wywołaj funkcję <tt>gen</tt> dla tego samego ziarna kilka razy zaobserwuj powtarzalność wartości.

W module <tt>numpy</tt> mamy do dyspozycji generator liczb pseudolosowych oparty na algorytmie [http://pl.wikipedia.org/wiki/Mersenne_Twister Mersenne Twister ]
<source lang=python>
# -*- coding: utf-8 -*-
"""
kod demonstrujacy pseudolosowosc
"""
import numpy as np
seed=3
np.random.seed(seed)
x=np.random.random(5)

np.random.seed(seed)
y=np.random.random(5)
print('x:', x)
print('y:', y)
</source>
* Zaobserwuj powtarzalność wartości.
* Wygeneruj i wykreśl 200 kolejnych liczb pseudolosowych.
<source lang= python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
seed=3
np.random.seed(seed)
x=np.random.random(200)

py.plot(x,'.')
py.show()
</source>

===Testy jakości===
==== Zadanie ====
Dla wyżej wymienionych generatorów, proszę wykonać następujące testy:
* zobrazować rozkład prawdopodobieństwa (narysować histogram);

* test korelacji na rysunku: sporządzić wykres gdzie na jednej osi są wartości <math>x_n</math> na drugiej zaś wartości <math>x_{n+1}</math>.


Bardziej wyczerpujące baterie testów jakości generatorów można znaleźć na przykład w:
* http://csrc.nist.gov/groups/ST/toolkit/rng/index.html
* http://www.phy.duke.edu/~rgb/General/rand_rate.php

== Zmienne losowe w module <tt>scipy.stats</tt> ==
=== Wstęp ===
Zmienne losowe w module <tt>scipy.stats</tt> są zaimplementowane jako dwie klasy: <tt>stats.rv_continuous</tt> (bazuje na niej ponad 80 typów rozkładów ciągłych zmiennych losowych) i <tt>stats.rv_discrete</tt> (bazuje na niej 10 typów rozkładów dyskretnych zmiennych losowych). Aktualną listę dostępnych rozkładów można uzyskać np. przy pomocy następującego skryptu:
<source lang =python>
from scipy import stats
dc= [d for d in dir(stats) if isinstance(getattr(stats,d), stats.rv_continuous)]
print(dc)
</source>
Przykładowo: zmienne losowe o rozkładzie normalnym są reprezentowane przez klasę <tt>norm</tt>.

=== Funkcje przydatne do pracy ze zmiennymi losowymi dostępne są jako metody ===

Obiekty reprezentujące zmienne losowe podlegające konkretnym rozkładom posiadają następujące metody:
* <tt>rvs</tt>: '''generator zmiennych losowych''' danego typu;
* <tt>cdf</tt>: '''dystrybuanta''' (ang. Cumulative Distribution Function);
* <tt>ppf</tt>: '''funkcja odwrotna do dystrybuanty''' (ang. Percent Point Function (Inverse of CDF));
* <tt>stats</tt>: zwraca '''momenty centralne rozkładu''' (średnią, wariancję, skośność i kurtozę);
* <tt>moment</tt>: zwraca niecentralne momenty rozkładu.
* <tt>pdf</tt>: '''funkcja gęstości prawdopodobieństwa''' (ang. Probability Density Function);
* <tt>pmf</tt> dla rozkładów dyskretnych <tt>pdf</tt> jest zamienione na '''funkcję prawdopodobieństwa''' (ang. probability mass function; ''masa'' przez analogię z gęstością masy i masą punktową);
* <tt>sf</tt>: funkcja przeżycia (ang. Survival Function) (1−CDF);
* <tt>isf</tt>: funkcja odwrotna do funkcji przetrwania (ang. Inverse Survival Function (Inverse of SF));

====Przykład====
Zobaczmy działanie tych metod dla zmiennych losowych z rozkładu normalnego:
<source lang =python>
import scipy.stats as st
import pylab as py
import numpy as np

# generowanie 10000 liczb z rozkładu normalnego
x = st.norm.rvs(size=10000)
py.subplot(2,2,4)
bins=np.linspace(-3,3,50)
py.hist(x,bins=bins)
py.title('Histogram')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'ilość zliczeń')

# wykreślenie gęstości prawdopodobieństwa
os_x = np.arange(-3,3,0.01)
y=st.norm.pdf(os_x)
py.subplot(2,2,3)
py.plot(os_x,y)
py.title(u'rozkład gęstości prawdopodobieństwa: pdf')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'gęstość prawdopodobieństwa')

# wykreślenie dystrybuanty
z= st.norm.cdf(os_x)
py.subplot(2,2,1)
py.plot(os_x,z)
py.title(u'Dystrybuanta: cdf')

py.xlabel(u'wartość zmiennej')
py.ylabel(u'prawdopodobieństwo')

# wykreślenie funkcji odwrotnej do dystrybuanty
os_p = np.arange(0,1,0.01)
f=st.norm.ppf(os_p)
py.subplot(2,2,2)
py.plot(os_p,f)
py.title(u'funkcja odwrotna do dystrybuanty: ppf')
py.ylabel(u'wartość zmiennej')
py.xlabel(u'prawdopodobieństwo')
py.show()

</source>

Zmienne losowe mogą być używane na jeden z dwóch sposobów: można podawać wszystkie parametry opisujące rozkład w każdym wywołaniu metody, albo wytworzyć obiekt reprezentujący rozkład o konkretnych parametrach (w dokumentacji <tt>scipy</tt> jest to nazywane zamrażaniem parametrów rozkładu, ang. ''freezing'')
Jako przykład zobaczmy funkcję odwrotną do dystrybuanty rozkładu normalnego N(2, 9):

>>> import scipy.stats as st
>>> print(st.norm.ppf(0.05, loc=2, scale=3))
-2.93456088085
>>> my_norm = st.norm(loc=2,scale=3)
>>> print(my_norm.ppf(0.05))
-2.93456088085

=== Pomoc do poszczególnych rozkładów ===
Pełną dokumentację każdego rozkładu mamy dostępną w postaci docstringów. Dla przykładu:
<source lang = python>
help(st.nct)
</source>
wypisuje pełną informację z docstring o niecentralnym rozkładzie ''t''.
Podstawowe informacje można uzyskać wypisując treść pola <tt>extradoc</tt>

>>> print(st.nct.extradoc)
Non-central Student T distribution
df**(df/2) * gamma(df+1)
nct.pdf(x,df,nc) = --------------------------------------------------
2**df*exp(nc**2/2)*(df+x**2)**(df/2) * gamma(df/2)
for df > 0, nc > 0.

==== Zadanie ====
Wypisz pomoc dla (centralnego) rozkładu ''t'' i sprawdź jakie parametry on przyjmuje. Wybierz dowolnie ich wartości, a następnie posiłkując się [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład|przykładem]]:
# Wygeneruj 10000 liczb z rozkładu ''t'' i narysuj ich histogram.
# Wykreśl gęstość prawdopodobieństwa tego rozkładu.
# Wykreśl dystrybuantę.
# Wykreśl funkcję odwrotną do dystrybuanty.



=== Statystyki i estymatory ===
Estymator jest statystyką służącą do szacowania pewnej wielkości (np. parametru) na podstawie próby losowej (np. danych eksperymentalnych). Na wykładzie poznaliśmy m.in. takie statystki jak [[WnioskowanieStatystyczne/Momenty|wartość oczekiwana, wariancja i mediana]], z których ostatnia jest szczególnym przypadkiem [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Kwantyle|kwantylu]]. Moduły numpy oraz scipy.stats umożliwiają łatwe estymowanie niektórych statystyk, a także obliczanie ich rzeczywistych wartości, jeśli znamy parametry rozkładu.

====Przykład====
Jako przykład niech posłuży poniższy kod, w którym szukamy wartości estymatorów wartości oczekiwanej oraz wariancji rozkładu normalnego na podstawie próby losowej, a wynik porównujemy z wartościami rzeczywistymi:
<source lang =python>
import numpy as np
import scipy.stats as st

# definiujemy parametry rozkładu, a następnie sam rozkład
m=2
s=0.5
rozklad = st.norm(m,s) #definiujemy rozkład normalny

#określamy wielkość próby losowej
N = 10000

#obliczamy statystyki korzystając z metod obiektu 'rozklad'
mu = rozklad.mean() # rzeczywista wartość oczekiwana naszego rozkładu
var = rozklad.var() # rzeczywiste odchylenie standardow

#losujemy próbę o rozmiarze N
x = rozklad.rvs(size=N)

#estymujemy statystyki
mu_est = np.mean(x) # estymowana wartość oczekiwana
var_est = np.var(x) # estymowana wariancja

# wypisujemy wyniki z dokładnością do 5 cyfr znaczących
print("Wartość oczekiwana rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(mu,mu_est))
print("Wariancja rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(var,var_est))
</source>

==== Zadanie ====
Posiłkując się powyższym przykładem wygeneruj próby losowe dla następujących rozkładów:
# Rozkład normalny <math>\mu</math> = 100, <math>\sigma</math> = 2.
# Rozkład dwumianowy p = 0.4, n =10.
# Rozkład poissona <math>\lambda</math> = 4.
# Rozkład jednostajny na przedziale [2, 6).
Następnie estymuj na ich podstawie wartości poniższych statystyk i porównaj je z wartościami obliczonymi na podstawie znanych parametrów rozkładu:
# Wartość oczekiwana.
# Odchylenie standardowe.
# Wariancja.
# Mediana.
# Kurtoza.

===== Rozwiązanie =====
Poniżej znajduje się przykładowe rozwiązanie dla rozkładu dwumianowego. Aby uzyskać rozwiązanie dla pozostałych rozkładów wystarczy dostosować pierwszą część kodu, gdzie definiowany jest rozkład.
<source lang=python>
import numpy as np
import scipy.stats as st

# definiujemy parametry rozkładu, a następnie sam rozkład
n=10
p=0.4
rozklad = st.binom(n,p) #definiujemy nasz rozkład

#określamy wielkość próby losowej
N = 10000

# dalsza część jest jest niezależna od rodzaju rozkładu, który zdefiniowaliśmy powyżej
###########################################################################################

#obliczamy statystyki korzystając z metod obiektu 'rozklad'
mu = rozklad.mean() # rzeczywista wartość oczekiwana naszego rozkładu
std = rozklad.std() # rzeczywiste odchylenie standardowe
var = rozklad.var() # rzeczywiste odchylenie standardowe
med = rozklad.median() # rzeczywista mediana
kurt = float(rozklad.stats('k'))# rzecz. kurtoza (funkcja zwraca jednoelementową tablicę
# numpy.ndarray, więc trzeba ją ręcznie zrzutować na float)

#losujemy próbę o rozmiarze N
x = rozklad.rvs(size=N)

#estymujemy statystyki
mu_est = np.mean(x) # estymowana wartość oczekiwana
std_est = np.std(x) # estymowane odchylenie standardowe
var_est = np.var(x) # estymowana wariancja
med_est = np.median(x) # estymowana mediana
kurt_est = st.kurtosis(x) # estymowana kurtoza

# wypisujemy wyniki z dokładnością do 5 cyfr znaczących
print("Wartość oczekiwana rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(mu,mu_est))
print("Odchylenie standardowe rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(std,std_est))
print("Wariancja rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(var,var_est))
print("Mediana rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(med,med_est))
print("Kurtoza rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(kurt,kurt_est))
</source>

== Generowanie zmiennych losowych podlegającym różnym rozkładom prawdopodobieństwa ==
Podstawowe typy generatorów liczb losowych wytwarzają liczby losowe podlegające rozkładowi jednostajnemu. Zastanowimy sie teraz jak mając zmienne losowe z rozkładu jednostajnego wytworzyć zmienne losowe o innych rozkładach.
=== Rozkład dwumianowy ===
Zmienna losowa, która zlicza liczbę sukcesów <math>k</math> w <math>n</math> próbach, gdzie <math>p</math> jest prawdopodobieństwem sukcesu w pojedynczej próbie, podlega rozkładowi dwumianowemu
[[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_dwumianowy więcej o rozkładzie dwumianowym]]:

<math>P_n(k)=\left(
\begin{array}{c}
n \\
k
\end{array}
\right) p^kq^{n-k}=\frac{n!}{k!(n-k)!}p^kq^{n-k} </math>

''Jak z rozkładu jednostajnego wytworzyć zmienne losowe o rozkładzie dwumianowym?''
* Wykonać symulację!

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py

def gen_binom(n,p,N):
'''funkcja zwracająca zmienną losową z rozkładu dwumianowego:
ilość sukcesów w n próbach przy prawdopodobieństwie sukcesu p
parametry:
n: liczba prób
p: prawdopodobieństwo sukcesu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będącymi liczbami sukcesów
'''
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję n liczb z rozkładu jednostajnego [0,1) i jako sukcesy
#traktuję wylosowanie liczby nie większej niż p
r=np.random.rand(N,n)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
n=20
N=100000
p=0.8
x = gen_binom(n,p,N)
bins =range(22) #granice binów
py.hist(x,bins)
py.show()
</source>

====Zadanie====
Z oszacowań agencji wynika, że średnio 2 z 3 reklam spotyka się z pozytywnym odzewem. Akcja marketingowa obejmuje 12 reklam. Niech <math>X</math> oznacza liczbę reklam skutecznych. Czy <math>X</math> podlega rozkładowi dwumianowemu?
Jakie jest prawdopodobieństwo, że 10 reklam będzie skutecznych?
Prawdopodobieństwo obliczyć ze wzoru oraz korzystając z symulacji.

Wskazówka informacje o zmiennych z rozkładu dwumianowego (<tt>binom</tt>) można uzyskać tak:
# >>> print(st.binom.extradoc)
# Binomial distribution
#
# Counts the number of successes in *n* independent
# trials when the probability of success each time is *pr*.
#
# binom.pmf(k,n,p) = choose(n,k)*p**k*(1-p)**(n-k)
# for k in {0,1,...,n}
Odp: ''p'' = 0,127



====Zadanie====
Na egzaminie testowym jest 30 pytań. Na każde pytanie są podane cztery możliwe odpowiedzi, z czego tylko jedna jest prawdziwa. Za prawidłową odpowiedź student otrzymuje 1 punkt a za fałszywą −0,5 punktu. Próg zaliczenia wynosi 15 punktów. Oblicz prawdopodobieństwo, że udzielając czysto losowych odpowiedzi student zaliczy egzamin.

=====Rozwiązanie:=====
Liczba prawidłowych odpowiedzi w teście może być potraktowana jako liczba sukcesów k w n = 30 próbach. Prawdopodobieństwo sukcesu pojedynczego zdarzenia (prawidłowa odpowiedź na jedno pytanie) wynosi p = 1/4. Ze względu na obecność ujemnych punktów za fałszywe odpowiedzi zmienia się efektywna liczba punktów wymaganych do zaliczenia zgodnie z równaniem:
k-0.5*(30-k) = 15
co daje k = 20
Zatem problem redukuje się do wyznaczenia prawdopodobieństwa co najmniej 20 sukcesów w 30 próbach, przy czym prawdopodobieństwo sukcesu w 1 próbie wynosi p=1/4:
<source lang=python>

# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st

p = 1./4 #prawdopodobieństwo sukcesu w jednej próbie
n = 30 # liczba prób w jednej akcji reklamowej
k_kryt = 20
# ze wzoru
p_wz = np.sum(st.binom.pmf(range(k_kryt,n+1),n,p))
print(p_wz)

# z symulacji
N_powt =10000000 # liczba powtórzeń symulacji
r = np.random.random(size=(n,N_powt)) # symulowany test
k = np.sum(r<=p,0) # liczba sukcesów
p_sym = sum(k>=20)/N_powt
print(p_sym)

</source>

=== Rozkład Poissona ===

<math>
P(k)=\frac{\mu^k e^{-\mu}}{k!}
</math>
Rozkładowi Poissona podlegają zmienne losowe zliczające w jednostce czasu liczbę zdarzeń o niskim prawdopodobieństwie zajścia. Np. liczba rozpadów promieniotwórczych na jednostkę czasu [[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_Poissona więcej o rozkładzie Poissona]]

====Przykład====
Lekarz pełniący dyżur w szpitalu jest wzywany do pacjentów średnio 3 razy w ciągu nocy. Załóżmy, że liczba wezwań na noc podlega rozkładowi Poissona. Jakie jest prawdopodobieństwo, że noc upłynie lekarzowi spokojnie?
U nas <math>\mu=3</math>, <math>x=0</math> więc

<math>
P(0) = \frac{3^0e^{-3}}{0!} = e^{-3} = 0,0498
</math>

====Przykład====
Jak ze zmiennych podlegających rozkładowi jednostajnemu uzyskać zmienne podlegające rozkładowi Poissona?

Wykonać symulację wynikającą z następujących spostrzeżeń:

* Weźmy jednostkę czasu. Ma w niej zachodzić średnio <math>\mu</math> zdarzeń.
* Podzielmy jednostkę czasu na ''NT'' odcinków o jednakowej długości.
* Prawdopodobieństwo, że zdarzenie zajdzie w konkretnym odcinku jest <math>p=\frac{\mu}{NT}</math> Takie prawdopodobieństwo ma też wylosowanie przy pomocy generatora liczb z rozkładu jednostajnego [0,1) liczby nie większej niż ''p''.
* Zatem, aby wytworzyć jedną liczbę z rozkładu Poissona można policzyć ile spośród ''NT'' liczb z rozkładu jednostajnego [0,1) jest nie większych niż ''p''.

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

def gen_poiss(mi,NT,N):
'''funkcja zwracająca zmienne losowe z rozkładu poissona:
średnia ilość zdarzeń o niskim prawdopodobieństwie w jednostce czasu
parametry:
mi: średnia liczba zdarzeń
NT: liczba odcinków czasu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będących zliczeniami zdarzeń
'''
p = float(mi)/NT
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję NT liczb z rozkładu jednostajnego [0,1) i jako zajście zdarzenia
# traktuję wylosowanie liczby nie większej niż p. Ilość zdarzeń to liczba z rozkładu Poissona
r=np.random.rand(N,NT)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
mi=4
N=100000
NT = 10000
x = gen_poiss(mi,NT,N)
bins =np.arange(int(x.max()+1))-0.5
py.hist(x,bins,normed=True)

# porównanie z generatorami scipy.stats
p=mi/NT
k=np.arange(x.max()+1)
B=st.binom.pmf(k,NT,p)
py.plot(k,B,'ro')
P=st.poisson.pmf(k,mi)
py.plot(k,P,'go')
py.show()
</source>

=== Rozkład normalny i Centralne Twierdzenie Graniczne ===
Gęstość prawdopodobieństwa [[WnioskowanieStatystyczne/Rozklady-przyklady#Rozk.C5.82ad_Gaussa| rozkładu normalnego]] dana jest wzorem:

<math>f(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{ -\frac{(x-\mu)^2}{2 \sigma^2}}</math>
gdzie: <math>\mu</math> — średnia, <math>\sigma</math> — odchylenie standardowe (<math>\sigma^2</math> — wariancja).

Jeden ze sposóbw wytwarzania zmiennych losowych o rozkładzie normalnym polega na zastosowaniu [[WnioskowanieStatystyczne/CLT| Centralnego Twierdzenia Granicznego]].

<math>X=\frac{\sqrt{12}}{\sqrt{N}}\left(\sum_{n=1}^N Y_n -\frac{N}{2}\right)</math>

gdzie <math>Y</math> zmienna losowa z rozkładu jednostajnego <math>[0,1)</math>
W granicy dużych <math>N</math> rozkład zmiennej <math>X</math> dąży do rozkładu normalnego <math>N(0,1)</math>.

====Zadanie ====
Proszę:
* napisać funkcję <tt>gen_CTG_1(N)</tt>, która zwraca liczbę losową ''X'' otrzymaną zgodnie powyższym wzorem przez sumowanie <tt>N</tt> liczb z rozkładu jednostajnego.
* napisać funkcję <tt>gen_CTG(N, N_liczb)</tt> korzystającą z <tt>gen_CTG_1(N)</tt> i zwracającą zadaną ilość liczb <tt>N_liczb</tt>
* narysować histogramy 10 000 liczb <math>X</math> uzyskanych kolejno dla <math>N={1,2,...,12}</math>
* Jakie parametry charakteryzują rozkład do którego zbiegają sumy? Przy każdym z powyższych histogramów wypisz średnią i wariancję z próby (funkcje <tt>np.mean</tt> i <tt>np.var</tt>).

=====Rozwiązanie:=====
<source lang=python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import numpy.random as rnd

def gen_CTG_1(N):
'''Funkcja generująca pojedynczą zmienną losową będącą sumą N liczb z rozkładu jednostajnego [0,1)
pomnożoną przez czynnik normujący zapewniający wariancję równą 1.
parametry:
N: ile liczb sumować
funkcja zwraca:
jedną liczbę losową'''
X = np.sqrt(12/N) * (np.sum(rnd.random(N)) - N/2)
return X

def gen_CTG(N,N_liczb):
'''Funkcja zwraca wektor (tablicę) zmiennych losowych będących sumami N liczb z rozkładu jednostajnego [0,1).
parametry:
N: ile liczb sumować
N_liczb: ilość liczb do generowania
funkcja zwraca:
N_liczb losowych'''

X=np.zeros(N_liczb)

for i in range(N_liczb):
X[i] = gen_CTG_1(N)

return X

# kod testujący
N_liczb=10000
Nmax=12

for N in range(1,Nmax+1):
X=gen_CTG(N,N_liczb)
py.subplot(3,4,N)
bins = np.arange(-4,4,0.1)
py.hist(X,bins=bins,normed=True)
py.title("N=%i, µ=%.2g, σ²=%.2g"%(N, X.mean(), X.var(ddof=1)))

py.show()
</source>

====Zadanie: transformacja rozkładu normalnego ====

Rozkład o średniej 0 i wariancji 1 (notacja <math>N(0,1)</math>) jest nazywany rozkładem standardowym i często jest oznaczany literą <math>Z</math>. Dokonując odpowiedniej transformacji można z rozkładu <math>Z</math> uzyskać dowolny inny rozkład normalny.

Proszę:
* wygenerować 100000 zmiennych losowych z rozkładu <math>N(0,1)</math> (skorzystać z funkcji <tt>st.norm.rvs(loc=0, scale=1, size=100000)</tt>)
* przetransformować je do zmiennych losowych <math>N(2,9)</math>.
* narysować histogramy zmiennych przed i po transformacji.
* narysować rozkład gęstości prawdopodobieństwa dla rozkładu <math>N(2,9)</math> (skorzystać z funkcji <tt>st.norm.pdf(...)</tt>) .



====Transformacja Boxa-Mullera====
To inna popularna metoda metoda generowania liczb losowych o rozkładzie normalnym, na podstawie dwóch wartości zmiennej o rozkładzie jednostajnym na przedziale [0,1) http://en.wikipedia.org/wiki/Box-Muller_transform, ale nie będziemy się nią tu szerzej zajmować.

====Przykład====
Producent silników twierdzi, że jego silniki mają średnią moc 220 KM, a odchylenie standardowe wynosi 15 KM. Potencjalny klient testuje 100 silników. Jakie jest prawdopodobieństwo, że średnia z próby będzie mniejsza niż 217 KM?

Przypomnijmy, że z CTG dla dużych liczebności próby <math>n</math> <math>\bar x \sim N(\mu,\sigma^2/n)</math> [[WnioskowanieStatystyczne/Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej|(dowód)]]. Zatem szukamy

<math>P(\bar x <217) =P\left( Z<\frac{217-\mu}{\frac{\sigma}{ \sqrt{n}}} \right) = P\left( Z<\frac{217-220}{\frac{15}{ \sqrt{100}}} \right)=P(Z<-2)=0,0228</math>

<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

# ze wzoru
p=st.norm.cdf(-2)
print('prawdopodobieństwo odczytane z dystrybuanty rozkładu normalnego: %(0).4f' %{'0':p})

# symulacja

mu=220
sig=15
N_prob=100

m_kryt=217

N_rep=int(1e4)
srednia=np.zeros(N_rep)
for i in range(N_rep):
seria=st.norm.rvs(loc=mu, scale=sig, size=N_prob)
srednia[i]=np.mean(seria)

h=py.hist(srednia,30);

py.plot([m_kryt, m_kryt],[0, max(h[0])],'r')
p1=np.sum(srednia<=m_kryt)/N_rep
print('prawdopodobieństwo uzyskane z symulacji: %(0).4f' %{'0':p1})
py.show()

</source>

====Zadania====
Teraz kilka najprostszych zadań dotyczących rozkładu normalnego:
* Znajdźmy prawdopodobieństwo, że ''Z'' < −2,47. Proszę zrobić to na dwa sposoby: raz z użyciem wygenerowanych zmiennych z rozkładu normalnego, drugi raz z użyciem dystrybuanty <tt>norm.cdf</tt>
[Odp: ''p'' = 0,0068]

Rozwiązanie:
<source lang =python>
import scipy.stats as st

N=100000
z_crit = -2.47
Z=st.norm.rvs(loc=0, scale=1, size=N)
p= sum(Z < z_crit )/N
p_cdf = st.norm.cdf(z_crit, loc=0, scale=1)
print('symulowane p: %.4f' % p )
print('p z dystrybuanty: %.4f' % p_cdf)
</source>

* Znaleźć prawdopodobieństwo ''P''(|''Z''| < 2)
[Odp: ''p'' = 0,9545]

Rozwiązanie:
<source lang =python>
import scipy.stats as st
import numpy as np

N=100000
z_crit = 2
Z=st.norm.rvs(loc=0, scale=1, size=N)
p= sum(np.abs(Z) < z_crit )/N
p_cdf = st.norm.cdf( z_crit, loc=0, scale=1) - st.norm.cdf( -z_crit, loc=0, scale=1)
print('symulowane p: %.4f' % p )
print('p z dystrybuanty: %.4f' % p_cdf)
</source>

* Koncentracja zanieczyszczeń w półprzewodniku używanym do produkcji procesorów podlega rozkładowi normalnemu o średniej 127 cząsteczek na milion i odchyleniu standardowemu 22. Półprzewodnik może zostać użyty jedynie gdy koncentracja zanieczyszczeń spada poniżej 150 cząstek na milion. Jaka proporcja półprzewodników nadaje się do użycia?
Prawdopodobieństwo obliczyć korzystając z dystrybuanty rozkładu normalnego oraz z symulacji.
[Odp: ''p'' = 0,852]

Rozwiązanie:
<source lang =python>
import scipy.stats as st
import pylab as py
import numpy as np

mu=127
sig=22
m_kryt=150
p=st.norm.cdf(m_kryt, loc = mu, scale = sig )
print('proporcja odczytana z dystrybuanty rozkładu normalnego: %4g' %p)
# symulacja
N_prob=10000
seria=st.norm.rvs(loc=mu, scale=sig, size=N_prob)
p = sum(seria<=m_kryt)/N_prob
bins = np.arange(60,200,5)
h=py.hist(seria,bins);
py.plot([m_kryt, m_kryt],[0, max(h[0])],'r')
p1=np.sum(seria<=m_kryt)/N_prob
print('prawdopodobieństwo uzyskane z symulacji: %.4g' %p1)
py.show()
</source>

=== Rozkład t ===

Gdy nie znamy wariancji populacji <math>\sigma^2</math> używamy w jego miejsce estymatora wariancji próby <math>s^2</math> danego wzorem:

<math>s^2 =\frac{\sum(\bar x - x_i)^2}{n-1} </math>
gdzie ''n'' — rozmiar próby

Wtedy rozkład <math>Y=\frac{\bar X -\mu}{\frac{s}{\sqrt{n}}}</math> nie podlega rozkładowi normalnemu. Jeśli populacja <math>X</math> podlega rozkładowi normalnemu to <math>Y</math> podlega [[WnioskowanieStatystyczne/Test_t |rozkładowi ''t'' ]] z ''n''−1 stopniami swobody.

Zobaczmy na symulacji co to zmienia. Proszę obejrzeć wyniki dla kilku wartości <tt>N</tt>

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

N=3
N_liczb=10000
mu=2
sigma=1

y_wyidealizowane=np.zeros(N_liczb)
m_populacji=np.zeros(N_liczb)
s_populacji=np.zeros(N_liczb)
y_estymowane=np.zeros(N_liczb)
m_estymowane=np.zeros(N_liczb)
s_estymowane=np.zeros(N_liczb)
for i in range(N_liczb):
x=st.norm.rvs(loc=mu,scale=sigma,size=N)
m_populacji[i]=mu
s_populacji[i]=sigma/np.sqrt(N)

m_estymowane[i]=np.mean(x)
s_estymowane[i]=np.std(x,ddof=1)/np.sqrt(N)

y_wyidealizowane[i]=(m_estymowane[i]-mu)/(s_populacji[i])
y_estymowane[i]=(m_estymowane[i]-mu)/(s_estymowane[i])

py.subplot(311)
py.title(u'średnia (wartość oczekiwana)')
py.plot(m_estymowane,label="estymowana")
py.plot(m_populacji,'r',label="populacji")
py.legend()

py.subplot(312)
py.title('odchylenie standardowe')
py.plot(s_estymowane,label="estymowane")
py.plot(s_populacji,'r',label='populacji')
py.legend()

py.subplot(325)
py.title(u'rozkład ilorazu Y dla wersji wyidealizowanej')
py.hist(y_wyidealizowane,30,(-4,4))

py.subplot(326)
py.title(u'rozkład ilorazu Y dla wersji estymowanej')
py.hist(y_estymowane,30,(-4,4))

py.show()
</source>

====Zadanie====
Dział kontroli jakości producenta silników testuje 10 egzemplarzy silnika nowego typu. Uzyskano wartość średnią 220 KM oraz odchylenie standardowe równe 15 KM. Jakie jest prawdopodobieństwo, że klient, który zamówi 100 silników, otrzyma partię, w której średnia będzie mniejsza niż 217 KM? Wykonaj obliczenia oraz symulację. Porównaj wynik z wcześniejszym [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład_5|przykładem]], gdzie znaliśmy odchylenie standardowe z innego źródła (nie było ono estymowane z próby).



=== Inne rozkłady uzyskiwane przez transformacje ===
====Metoda odwracania dystrybuanty====

Niech <math>\xi</math> będzie zmienną losową o rozkładzie jednostajnym na przedziale <math>[0,1)</math>. Jej dystrybuanta <math>J</math> dana jest więc worem:

<math>
J(x) = P(\xi \le x) = \left\{
\begin{array}{lrl}
0 & \mathrm{dla} & x<0\\
x & \mathrm{dla} & 0 \le x <1 \\
1 & \mathrm{dla} & 1 \le x
\end{array}
\right.
</math>

oraz niech <math>F</math> będzie dystrybuantą interesującego nas rozkładu. Jeśli <math>F</math> jest funkcją odwracalną to zmienna losowa zdefiniowana jako:

<math>\eta = F^{-1}(\xi) </math>

jest zmienną losową podlegającą rozkładowi o dystrybuancie <math> F</math>.
Własność tę łatwo sprawdzić. Ponieważ dla każdego <math>x \in R </math> mamy:

<math>
P(\eta \le x) = P(F^{-1} (\xi) \le x) = P(\xi \le F(x)) = F(x)
</math>
więc <math>F</math> jest dystrybuantą zmiennej losowej <math>\eta</math>.

Czyli jeśli znamy dystrybuantę interesującego nas rozkładu prawdopodobieństwa i dystrybuanta ta jest odwracalna, to możemy generować liczby z rozkładu o dystrybuancie <math>F</math>.

====Przykład====
Wygenerować liczby pseudolosowe z rozkładu wykładniczego o gęstości prawdopodobieństwa:

<math>f(x) = \lambda e^{-\lambda x} </math>

Rozwiązanie:
* Znajdujemy dystrybuantę tego rozkładu:

: <math>F(x) = 1-e^{-\lambda x} </math>

* Znajdujemy funkcję odwrotną do dystrybuanty:

: <math>G(u)=F^{-1}(u) = -\frac{1}{\lambda}\ln(1-u) </math>

* Generujemy liczby losowe <math>u</math> z przedziału <math>[0,1)</math> i stosujemy transformację <math>G(u)</math>
* Test generowanego rozkładu robimy przez porównanie dystrybuanty teoretycznej i empirycznej. Proszę zwrócić uwagę na funkcję estymującą dystrybuantę empiryczną

<source lang =python>
# -*- coding: utf-8 -*-
import pylab as py
import numpy as np

def gen_wykladniczy(lam, N):
'''funkcja zwraca N liczb z rozkładu wykładniczego o parametrze lam
korzystając z metody odwracania dystrybuanty
Dystrybuanta rozkładu wykładniczego: F(x) = 1- exp(-lam*x)
Funkcja do niej odwrotna: G(u) = -1/lam ln(1-u)'''

u = np.random.random(N)
return -1.0/lam* np.log(1.-u)

def dystrybuanta(X,od=0, do=4, krok=0.05):
'''funkcja zwraca dystrybuantę empiryczną
zmiennej X na przedziale (od, do) z krokiem krok'''

os_x = np.arange(od,do,krok)
nx = len(os_x)
N_liczb = len(X)
D=np.zeros(nx) #wyzerowany wektor na naszą dystrybuantę
for i in range(nx):
D[i] = sum(X <= os_x[i])/N_liczb
return (os_x, D)

# testujemy: narysujemy dystrybuantę oczekiwaną i empiryczną
lam=3
N=10000

x = np.arange(0,4,0.01)
F = 1-np.exp(-lam*x)
X = gen_wykladniczy(lam, N)
(os_x, F_emp) = dystrybuanta(X,od=0, do=4, krok=0.1)
py.plot(x,F,'r',label = 'dystrybuanta teoretyczna')
py.plot(os_x, F_emp,'.b', label = 'dystrybuanta empiryczna')
py.legend()
py.show()
</source>

Zauważmy, że nie zawsze jest łatwo wyznaczyć efektywnie <math>F^{-1}</math> — jest tak na przykład w przypadku rozkładu normalnego. W takich sytuacjach można szukać przybliżonej wartości <math>F^{-1}</math>, rozwiązując numerycznie równanie:
<math>F(x)=u</math>, co sprowadza się do znalezienia miejsc zerowych funkcji <math>H(x)=F(x)-u</math>.

==== Zadanie ====
Posiłkując się powyższym przykładem napisz funkcję ''MyGen(N)'' dla rozkładu, którego funkcja gęstości prawdopodobieństwa jest dana wzorem:
<math> f(x) = \frac{1}{\pi (1+x^{2})} </math>
Następnie narysuj dla niego dystrybuantę i dystrybuantę empiryczną na przedziale [-10, 10].

<source lang=python>
import numpy as np
import pylab as py

#f(x) = 1/(π(1+x²)) -- f. gęstości prawdopodobieństwa
#zatem F(x) = arctg(x)/π + 1/2 -- dystrybuanta
#zatem F⁻¹(x) = tg(π(x-1/2)) -- f. odwrotna do dystrybuanty

def MyGen(size=1):
x=np.random.random(size) # liczby z generatora jednostajnego na przedziale [0,1)
y=np.tan(np.pi*(x-1/2)) # korzystamy z metody odwracania dystrybuanty
return y

x=MyGen(int(1e6))
bins=np.linspace(-10,10,101)
py.subplot(211)
py.hist(x,bins,normed=True,histtype='step')
py.plot(bins,1./(np.pi*(1+bins**2)),'r')
py.subplot(212)
py.hist(x,bins,normed=True,histtype='step',cumulative=True)
py.plot(bins,np.arctan(bins)/np.pi+0.5,'r')
py.show()
</source>

WnioskowanieStatystyczne/Zmienne losowe i generatory liczb pseudolosowych

2021-02-18T10:20:27Z

Atartas: /* Zadanie */

==Pojęcia wstępne==
=== Zmienna losowa===
;Intuicyjnie: Zmienna losowa to taka zmienna, która przyjmuje pewną konkretną wartość w wyniku przeprowadzenia pomiaru lub eksperymentu. Na przykład zmienną losową jest liczba oczek, która wypada na kostce do gry. Dopóki trzymamy kostkę w ręce to nie wiemy jaką wartość ta zmienna przyjmie, konkretną wartość zmienna ta przyjmuje po rzucie. Jednak w kolejnych rzutach nie wiemy jakie będą jej wartości.
;Bardziej formalnie: Zmienna losowa to funkcja przypisująca zdarzeniom elementarnym liczby.
;Zupełnie formalnie:
Do formalnej definicji potrzebne jest nam pojęcie przestrzeni probabilistycznej:
Przestrzeń probabilistyczna to układ trzech elementów <math>(\Omega, F,P)</math>, gdzie:
* <math>\Omega</math> jest pewnym zbiorem, zwanym przestrzenią zdarzeń elementarnych,
* <math>F</math> jest [http://pl.wikipedia.org/wiki/Sigma-ciało <math>\sigma</math>-ciałem] podzbiorów zbioru <math>\Omega</math>. Elementy tego <math>\sigma</math>-ciała nazywane są zdarzeniami losowymi,
* <math>P: F\rightarrow [0,1]</math> jest miarą probabilistyczną, tzn.
** <math>P(A) \ge 0 </math> dla każdego <math>A \in F</math>,
** <math>P(\Omega) = 1</math>,
** jeżeli zbiory <math>A_1, A_2,\dots,A_n \in F</math> są parami rozłączne, to <math>P\left( \bigcup\limits_{i=1}^{\infty} A_i \right ) = \sum_{i=1}^{\infty} P(A_i) </math>.

Niech <math>(\Omega, F,P)</math> będzie przestrzenią probabilistyczną. '''Zmienną losową''' nazywamy dowolna funkcję <math>X</math>, określoną na przestrzeni zdarzeń elementarnych <math>\Omega</math>, o wartościach ze zbioru liczb rzeczywistych i [http://pl.wikipedia.org/wiki/Funkcja_mierzalna mierzalną] względem przestrzeni <math>(\Omega, F,P)</math>. Zmienna losowa jest ciągła jeśli jej zbiór wartości jest ciągły, lub dyskretna, jeśli jej zbiór wartości jest dyskretny.

=== Rozkład prawdopodobieństwa===
Rozkład prawdopodobieństwa — (rozkład zmiennej losowej) miara probabilistyczna określona na <math>\sigma</math>-ciele podzbiorów zbioru wartości zmiennej losowej, pozwalająca przypisywać prawdopodobieństwa zbiorom wartości tej zmiennej, odpowiadającym zdarzeniom losowym.

Dla zmiennej losowej dyskretnej możemy wprowadzić pojęcie '''funkcji prawdopodobieństwa''':
<math>P(X=x_i) = p_i</math>

Przykład: Dla rzutów monetą funkcję prawdopodobieństwa można zobrazować jako tabelkę:
{| class="wikitable" border="1"
|-
|
! Zdarzenie:
! orzeł
! reszka
|-
|zmienna losowa
|<math>x_i</math>
|0
|1
|-
| prawdopodobieństwo
| <math>p_i</math>
| 1/2
| 1/2
|-
|}

Można też przedstawić ją na wykresie:

[[Plik:Rozklad_moneta_1.gif|600px]]

Dla zmiennej losowej ciągłej zamiast funkcji prawdopodobieństwa wprowadzamy '''funkcję gęstości prawdopodobieństwa'''. Jest to funkcja określona na zbiorze liczb rzeczywistych posiadająca następujące własności:
* jest nieujemna: <math>f(x) \ge 0 </math>
* prawdopodobieństwo tego, że zmienna losowa przyjmie wartość z przedziału <math>(a,b]</math>: <math> \int_a^b f(x) dx = P(a<X \le b) </math>
[[Plik:Funkcja_gestosci_prawdopodobienstwa.png]]
* Prawdopodobieństwo tego, że zmienna losowa przyjmie dowolną wartość: <math> \int_{-\infty}^{+\infty} f(x) dx = P(-\infty <X \le +\infty) = 1 </math>

=== Dystrybuanta ===
Dystrybuantą zmiennej losowej <math>X</math> nazywamy funkcję <math>F(x)</math> określoną na zbiorze liczb rzeczywistych jako:
<math>F(x) = P(X \le x)</math>

czyli wartość dystrybuanty w punkcie <math>x</math> jest prawdopodobieństwem, że zmienna losowa przyjmie wartość nie większą niż <math>x</math>.
* Dla zmiennej dyskretnej:
: <math>F(x)=P(X \le x) = \sum_{x_i<x}{P(X = x_i) } = \sum_{x_i<x}p_i</math>
* Dla zmiennej losowej ciągłej z funkcją gęstości prawdopodobieństwa <math>f</math>:
: <math>F(x) = P(X \le x)= \int_{-\infty}^x f(s) ds </math>

Zauważmy ścisły związek dystrybuanty z funkcją prawdopodobieństwa w przypadku dyskretnym i funkcją gęstości prawdopodobieństwa w przypadku ciągłym.

Przykład z monetą:

[[Plik:Rozklad_moneta.svg|600px]]

=== Momenty ===
Dla zmiennej losowej można obliczyć momenty zwykłe lub centralne.

;Moment zwykły: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi tej zmiennej. Oblicza się go tak:
* dla dyskretnej zmiennej losowej
: <math>m_k = E(X^k) = \sum_{i} {x_i^k p_i} </math>

: tu <math>p_i</math> oznacza prawdopodobieństwo, że <math>X = x_i</math>

* dla ciągłej zmiennej losowej
: <math> m_k = E(X^k) = \int\limits_{-\infty}^{\infty} {x^k f(x)dx}</math>

: tu <math>f(x)</math> jest funkcją gęstości prawdopodobieństwa.

Zauważmy, że pierwszy moment zwykły to średnia.

;Moment centralny: rzędu <math>k</math> zmiennej losowej <math>X</math> to wartość oczekiwana <math>k</math>-tej potęgi funkcji <math>[x_i - E(x_i)]</math>. Zatem możemy go obliczyć tak:
* dla dyskretnej zmiennej losowej
: <math>
\mu_k = E\left( \left[ X-E(X) \right] ^k \right) = \sum_{i} {\left[x_i-E(X)\right]^k p_i}
</math>

* dla ciągłej zmiennej losowej
: <math>
\mu_k = E\left(\left[X-E(X)\right]^k\right) = \int\limits_{-\infty}^{\infty} { \left[X-E(X)\right]^k f(x)dx}
</math>

Uwaga:
* Drugi moment centralny ma swoją nazwę. Jest to '''wariancja''', często oznaczana przez <math>\sigma^2</math>.
* Trzeci moment centralny przydaje się do badania symetrii rozkładu. Przyjmuje on wartość 0 dla zmiennych o rozkładzie symetrycznym, wartości ujemne dla zmiennych o rozkładzie wydłużonym w lewą stronę i wartości dodatnie dla zmiennych o rozkładzie wydłużonym w prawą stronę.
* Czwarty moment centralny jest przydatny do konstrukcji miary spłaszczenia rozkładu zmiennej losowej '''kurtozy'''. Definiuje się ją następująco:
: <math> \mathrm{Kurt} = \frac{\mu_4}{\mu_2^4} - 3 </math>
Rozkłady prawdopodobieństwa można podzielić ze względu na wartość kurtozy na rozkłady:
* mezokurtyczne — wartość kurtozy wynosi 0, spłaszczenie rozkładu jest podobne do spłaszczenia rozkładu normalnego (dla którego kurtoza wynosi dokładnie 0)
* leptokurtyczne — kurtoza jest dodatnia, wartości cechy bardziej skoncentrowane niż przy rozkładzie normalnym
* platokurtyczne — kurtoza jest ujemna, wartości cechy mniej skoncentrowane niż przy rozkładzie normalnym

=== Kwantyle ===
Kwantylem rzędu ''p'', gdzie <math>0 \leqslant p \leqslant 1</math>, w rozkładzie empirycznym <math> P_{X} </math> zmiennej losowej <math>X</math> nazywamy każdą liczbę <math>x_{p}</math>, dla której spełnione są nierówności

: <math>
P_X((-\infty, x_p]) \geqslant p
</math>

oraz

: <math>
P_X([x_p,\infty)) \geqslant 1-p.
</math>

W szczególności, kwantylem rzędu ''p'' jest taka wartość <math>x_{p}</math> zmiennej losowej, że wartości mniejsze lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej ''p'', zaś wartości większe lub równe od <math>x_{p}</math> są przyjmowane z prawdopodobieństwem co najmniej 1−''p''.

Możemy zatem myśleć o obliczaniu kwantyla tak:
* zaobserwowaliśmy ''n'' wartości zmiennej losowej,
* zapiszemy te wartości na liście,
* następnie listę tę sortujemy w porządku rosnącym,
* kwantylem rzędu ''p'' jest albo element znajdujący się na liście w pozycji ''np'' jeśli ''np'' jest całkowite albo średnią z elementów położonych najbliżej ''np'' w przeciwnym wypadku.
==== Nazwy poszczególnych kwantyli ====
Kwantyl rzędu 1/2 to inaczej mediana (ściślej zależy to od definicji mediany, przy jej obliczaniu z próbki o parzystej liczbie elementów często stosuje się średnią arytmetyczną dwóch środkowych elementów, szczegóły są w artykule). 
Kwantyle rzędu 1/4, 2/4, 3/4 są inaczej nazywane kwartylami. 
Kwantyle rzędu 1/5, 2/5, 3/5, 4/5 to inaczej kwintyle. 
Kwantyle rzędu 1/10, 2/10, ..., 9/10 to inaczej decyle. 
Kwantyle rzędu 1/100, 2/100, ..., 99/100 to inaczej percentyle. 

==Pseudolosowość==
W obliczeniach numerycznych często korzystamy z liczb &bdquo;losowych”. Tak naprawdę sekwencje liczb, których używamy są jedynie pseudolosowe,
tzn. są wytwarzane w deterministyczny (algorytmiczny) sposób, ale sekwencja generowanych wartości ma pewne cechy losowości. W idealnym przypadku cechą tą jest nieprzewidywalność: na podstawie obserwacji dotychczasowych wartości sekwencji niemożliwe jest podanie kolejnych wartości. W praktyce oznacza to nie możność ustalenie ziarna lub stanu wewnętrznego generatora na podstawie obserwacji dowolnie długiego ciągu wygenerowanych bitów.
Stan generatora przechowywany jest na zmiennych o skończonej precyzji. Jeśli stan jest przechowywany na <math>n</math> bitach to górną granicą na długość unikalnego ciągu liczb jest <math>2^n</math>. Zazwyczaj unikalna sekwencja jest jednak krótsza. Wynika stąd, że generatory liczb pseudolosowych mają okres, po którym sekwencja liczb powtarza się. Podstawowe generatory liczb pseudolosowych wytwarzają liczby podlegające rozkładowi jednostajnemu (płaskiemu).

Istnieją generatory &bdquo;prawdziwych” liczb losowych, które są osobnymi urządzeniami. Liczy przez nie dostarczane są pewnymi parametrami jakichś procesów fizycznych, przebiegających w tych urządzeniach (zależnie od producenta). Do naszych zastosowań w zupełności wystarczą liczby generowane przez algorytmy komputerowe.

Proste generatory liczb pseudolosowych można otrzymać jako funkcje używające operacji dzielenia modulo (generatory kongruencyjne):

<math>x_{n+1}=f(x_n,x_{n-1}, ..., x_{n-k})\mod M</math>.

Zakładamy, że argumentami funkcji <math>f</math> są liczby całkowite ze zbioru <math>{0, 1, ...,M-1}</math>. Dla ustalenia uwagi mogą to być generatory liniowe typu:

<math> x_{n+1}= (ax_{n} + c )\mod M</math>

===Przykład generatora liniowego ===
Dla przykładu zaimplementujmy jeden taki generator:

<source lang = python>
# -*- coding: utf-8 -*-

import numpy as np
import pylab as py
def gen(x,N=1):
'''Przykład generatora liniowego.
funkcja zwraca liczby pseudolosowe z przedziału [0,1)
x - ziarno,
N - ile liczb zwrócić'''
m=8191
a=101
c=1731
y=np.zeros(shape=(N,))
for i in range(N):
x=(a*x+c) % m
y[i]= x/m
return y
x=gen(23,100000)
py.hist(x)
py.show()
</source>
Liczby <tt> m, a, c</tt> są parametrami generatora. Liczba <tt>x</tt>, od której startuje generator nazywana jest ziarnem generatora {{ang|seed}}.
Funkcja <tt>py.hist()</tt> zlicza i wyrysowuje histogram (czy wiemy co to jest histogram?).
* Wywołaj funkcję <tt>gen</tt> dla tego samego ziarna kilka razy zaobserwuj powtarzalność wartości.

W module <tt>numpy</tt> mamy do dyspozycji generator liczb pseudolosowych oparty na algorytmie [http://pl.wikipedia.org/wiki/Mersenne_Twister Mersenne Twister ]
<source lang=python>
# -*- coding: utf-8 -*-
"""
kod demonstrujacy pseudolosowosc
"""
import numpy as np
seed=3
np.random.seed(seed)
x=np.random.random(5)

np.random.seed(seed)
y=np.random.random(5)
print('x:', x)
print('y:', y)
</source>
* Zaobserwuj powtarzalność wartości.
* Wygeneruj i wykreśl 200 kolejnych liczb pseudolosowych.
<source lang= python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
seed=3
np.random.seed(seed)
x=np.random.random(200)

py.plot(x,'.')
py.show()
</source>

===Testy jakości===
==== Zadanie ====
Dla wyżej wymienionych generatorów, proszę wykonać następujące testy:
* zobrazować rozkład prawdopodobieństwa (narysować histogram);

* test korelacji na rysunku: sporządzić wykres gdzie na jednej osi są wartości <math>x_n</math> na drugiej zaś wartości <math>x_{n+1}</math>.


Bardziej wyczerpujące baterie testów jakości generatorów można znaleźć na przykład w:
* http://csrc.nist.gov/groups/ST/toolkit/rng/index.html
* http://www.phy.duke.edu/~rgb/General/rand_rate.php

== Zmienne losowe w module <tt>scipy.stats</tt> ==
=== Wstęp ===
Zmienne losowe w module <tt>scipy.stats</tt> są zaimplementowane jako dwie klasy: <tt>stats.rv_continuous</tt> (bazuje na niej ponad 80 typów rozkładów ciągłych zmiennych losowych) i <tt>stats.rv_discrete</tt> (bazuje na niej 10 typów rozkładów dyskretnych zmiennych losowych). Aktualną listę dostępnych rozkładów można uzyskać np. przy pomocy następującego skryptu:
<source lang =python>
from scipy import stats
dc= [d for d in dir(stats) if isinstance(getattr(stats,d), stats.rv_continuous)]
print(dc)
</source>
Przykładowo: zmienne losowe o rozkładzie normalnym są reprezentowane przez klasę <tt>norm</tt>.

=== Funkcje przydatne do pracy ze zmiennymi losowymi dostępne są jako metody ===

Obiekty reprezentujące zmienne losowe podlegające konkretnym rozkładom posiadają następujące metody:
* <tt>rvs</tt>: '''generator zmiennych losowych''' danego typu;
* <tt>cdf</tt>: '''dystrybuanta''' (ang. Cumulative Distribution Function);
* <tt>ppf</tt>: '''funkcja odwrotna do dystrybuanty''' (ang. Percent Point Function (Inverse of CDF));
* <tt>stats</tt>: zwraca '''momenty centralne rozkładu''' (średnią, wariancję, skośność i kurtozę);
* <tt>moment</tt>: zwraca niecentralne momenty rozkładu.
* <tt>pdf</tt>: '''funkcja gęstości prawdopodobieństwa''' (ang. Probability Density Function);
* <tt>pmf</tt> dla rozkładów dyskretnych <tt>pdf</tt> jest zamienione na '''funkcję prawdopodobieństwa''' (ang. probability mass function; ''masa'' przez analogię z gęstością masy i masą punktową);
* <tt>sf</tt>: funkcja przeżycia (ang. Survival Function) (1−CDF);
* <tt>isf</tt>: funkcja odwrotna do funkcji przetrwania (ang. Inverse Survival Function (Inverse of SF));

====Przykład====
Zobaczmy działanie tych metod dla zmiennych losowych z rozkładu normalnego:
<source lang =python>
import scipy.stats as st
import pylab as py
import numpy as np

# generowanie 10000 liczb z rozkładu normalnego
x = st.norm.rvs(size=10000)
py.subplot(2,2,4)
bins=np.linspace(-3,3,50)
py.hist(x,bins=bins)
py.title('Histogram')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'ilość zliczeń')

# wykreślenie gęstości prawdopodobieństwa
os_x = np.arange(-3,3,0.01)
y=st.norm.pdf(os_x)
py.subplot(2,2,3)
py.plot(os_x,y)
py.title(u'rozkład gęstości prawdopodobieństwa: pdf')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'gęstość prawdopodobieństwa')

# wykreślenie dystrybuanty
z= st.norm.cdf(os_x)
py.subplot(2,2,1)
py.plot(os_x,z)
py.title(u'Dystrybuanta: cdf')

py.xlabel(u'wartość zmiennej')
py.ylabel(u'prawdopodobieństwo')

# wykreślenie funkcji odwrotnej do dystrybuanty
os_p = np.arange(0,1,0.01)
f=st.norm.ppf(os_p)
py.subplot(2,2,2)
py.plot(os_p,f)
py.title(u'funkcja odwrotna do dystrybuanty: ppf')
py.ylabel(u'wartość zmiennej')
py.xlabel(u'prawdopodobieństwo')
py.show()

</source>

Zmienne losowe mogą być używane na jeden z dwóch sposobów: można podawać wszystkie parametry opisujące rozkład w każdym wywołaniu metody, albo wytworzyć obiekt reprezentujący rozkład o konkretnych parametrach (w dokumentacji <tt>scipy</tt> jest to nazywane zamrażaniem parametrów rozkładu, ang. ''freezing'')
Jako przykład zobaczmy funkcję odwrotną do dystrybuanty rozkładu normalnego N(2, 9):

>>> import scipy.stats as st
>>> print(st.norm.ppf(0.05, loc=2, scale=3))
-2.93456088085
>>> my_norm = st.norm(loc=2,scale=3)
>>> print(my_norm.ppf(0.05))
-2.93456088085

=== Pomoc do poszczególnych rozkładów ===
Pełną dokumentację każdego rozkładu mamy dostępną w postaci docstringów. Dla przykładu:
<source lang = python>
help(st.nct)
</source>
wypisuje pełną informację z docstring o niecentralnym rozkładzie ''t''.
Podstawowe informacje można uzyskać wypisując treść pola <tt>extradoc</tt>

>>> print(st.nct.extradoc)
Non-central Student T distribution
df**(df/2) * gamma(df+1)
nct.pdf(x,df,nc) = --------------------------------------------------
2**df*exp(nc**2/2)*(df+x**2)**(df/2) * gamma(df/2)
for df > 0, nc > 0.

==== Zadanie ====
Wypisz pomoc dla (centralnego) rozkładu ''t'' i sprawdź jakie parametry on przyjmuje. Wybierz dowolnie ich wartości, a następnie posiłkując się [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład|przykładem]]:
# Wygeneruj 10000 liczb z rozkładu ''t'' i narysuj ich histogram.
# Wykreśl gęstość prawdopodobieństwa tego rozkładu.
# Wykreśl dystrybuantę.
# Wykreśl funkcję odwrotną do dystrybuanty.

===== Rozwiązanie =====
<source lang=python>
import scipy.stats as st
import pylab as py
import numpy as np

N=10000 # ile liczb generujemy

# przykładowe parametry rozkładu
df = 3 # liczba stopni swobody

# generowanie 10000 liczb z rozkładu normalnego
py.subplot(2,2,4)
bins=np.linspace(-3,3,50)
x = st.t.rvs(size=N, df=df)
py.hist(x,bins=bins, histtype="step") #histtype="step" daje nam przezroczysty histogram
x = st.norm.rvs(size=N)
py.hist(x,bins=bins, histtype="step")

py.title('Histogram')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'ilość zliczeń')

# wykreślenie gęstości prawdopodobieństwa
os_x = np.arange(-3,3,0.01)
y=st.t.pdf(os_x, df=df)
py.subplot(2,2,3)
py.plot(os_x,y,'g')
y=st.norm.pdf(os_x)
py.plot(os_x,y)
py.title(u'rozkład gęstości prawdopodobieństwa: pdf')
py.xlabel(u'wartość zmiennej')
py.ylabel(u'gęstość prawdopodobieństwa')

# wykreślenie dystrybuanty
z= st.t.cdf(os_x, df=df)
py.subplot(2,2,1)
py.plot(os_x,z,'g')
z= st.norm.cdf(os_x)
py.plot(os_x,z)
py.title(u'Dystrybuanta: cdf')

py.xlabel(u'wartość zmiennej')
py.ylabel(u'prawdopodobieństwo')

# wykreślenie funkcji odwrotnej do dystrybuanty
os_p = np.arange(0,1,0.01)
f=st.t.ppf(os_p, df=df)
py.subplot(2,2,2)
py.plot(os_p,f,'g')
f=st.norm.ppf(os_p)
py.plot(os_p,f)
py.title(u'funkcja odwrotna do dystrybuanty: ppf')
py.ylabel(u'wartość zmiennej')
py.xlabel(u'prawdopodobieństwo')

py.legend(["Rozkład t-Studenta","Rozkład normalny"])
py.show()

</source>

=== Statystyki i estymatory ===
Estymator jest statystyką służącą do szacowania pewnej wielkości (np. parametru) na podstawie próby losowej (np. danych eksperymentalnych). Na wykładzie poznaliśmy m.in. takie statystki jak [[WnioskowanieStatystyczne/Momenty|wartość oczekiwana, wariancja i mediana]], z których ostatnia jest szczególnym przypadkiem [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Kwantyle|kwantylu]]. Moduły numpy oraz scipy.stats umożliwiają łatwe estymowanie niektórych statystyk, a także obliczanie ich rzeczywistych wartości, jeśli znamy parametry rozkładu.

====Przykład====
Jako przykład niech posłuży poniższy kod, w którym szukamy wartości estymatorów wartości oczekiwanej oraz wariancji rozkładu normalnego na podstawie próby losowej, a wynik porównujemy z wartościami rzeczywistymi:
<source lang =python>
import numpy as np
import scipy.stats as st

# definiujemy parametry rozkładu, a następnie sam rozkład
m=2
s=0.5
rozklad = st.norm(m,s) #definiujemy rozkład normalny

#określamy wielkość próby losowej
N = 10000

#obliczamy statystyki korzystając z metod obiektu 'rozklad'
mu = rozklad.mean() # rzeczywista wartość oczekiwana naszego rozkładu
var = rozklad.var() # rzeczywiste odchylenie standardow

#losujemy próbę o rozmiarze N
x = rozklad.rvs(size=N)

#estymujemy statystyki
mu_est = np.mean(x) # estymowana wartość oczekiwana
var_est = np.var(x) # estymowana wariancja

# wypisujemy wyniki z dokładnością do 5 cyfr znaczących
print("Wartość oczekiwana rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(mu,mu_est))
print("Wariancja rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(var,var_est))
</source>

==== Zadanie ====
Posiłkując się powyższym przykładem wygeneruj próby losowe dla następujących rozkładów:
# Rozkład normalny <math>\mu</math> = 100, <math>\sigma</math> = 2.
# Rozkład dwumianowy p = 0.4, n =10.
# Rozkład poissona <math>\lambda</math> = 4.
# Rozkład jednostajny na przedziale [2, 6).
Następnie estymuj na ich podstawie wartości poniższych statystyk i porównaj je z wartościami obliczonymi na podstawie znanych parametrów rozkładu:
# Wartość oczekiwana.
# Odchylenie standardowe.
# Wariancja.
# Mediana.
# Kurtoza.

===== Rozwiązanie =====
Poniżej znajduje się przykładowe rozwiązanie dla rozkładu dwumianowego. Aby uzyskać rozwiązanie dla pozostałych rozkładów wystarczy dostosować pierwszą część kodu, gdzie definiowany jest rozkład.
<source lang=python>
import numpy as np
import scipy.stats as st

# definiujemy parametry rozkładu, a następnie sam rozkład
n=10
p=0.4
rozklad = st.binom(n,p) #definiujemy nasz rozkład

#określamy wielkość próby losowej
N = 10000

# dalsza część jest jest niezależna od rodzaju rozkładu, który zdefiniowaliśmy powyżej
###########################################################################################

#obliczamy statystyki korzystając z metod obiektu 'rozklad'
mu = rozklad.mean() # rzeczywista wartość oczekiwana naszego rozkładu
std = rozklad.std() # rzeczywiste odchylenie standardowe
var = rozklad.var() # rzeczywiste odchylenie standardowe
med = rozklad.median() # rzeczywista mediana
kurt = float(rozklad.stats('k'))# rzecz. kurtoza (funkcja zwraca jednoelementową tablicę
# numpy.ndarray, więc trzeba ją ręcznie zrzutować na float)

#losujemy próbę o rozmiarze N
x = rozklad.rvs(size=N)

#estymujemy statystyki
mu_est = np.mean(x) # estymowana wartość oczekiwana
std_est = np.std(x) # estymowane odchylenie standardowe
var_est = np.var(x) # estymowana wariancja
med_est = np.median(x) # estymowana mediana
kurt_est = st.kurtosis(x) # estymowana kurtoza

# wypisujemy wyniki z dokładnością do 5 cyfr znaczących
print("Wartość oczekiwana rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(mu,mu_est))
print("Odchylenie standardowe rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(std,std_est))
print("Wariancja rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(var,var_est))
print("Mediana rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(med,med_est))
print("Kurtoza rozkładu wynosi {:.5g}, wartość estymowana z próby wynosi {:.5g}".format(kurt,kurt_est))
</source>

== Generowanie zmiennych losowych podlegającym różnym rozkładom prawdopodobieństwa ==
Podstawowe typy generatorów liczb losowych wytwarzają liczby losowe podlegające rozkładowi jednostajnemu. Zastanowimy sie teraz jak mając zmienne losowe z rozkładu jednostajnego wytworzyć zmienne losowe o innych rozkładach.
=== Rozkład dwumianowy ===
Zmienna losowa, która zlicza liczbę sukcesów <math>k</math> w <math>n</math> próbach, gdzie <math>p</math> jest prawdopodobieństwem sukcesu w pojedynczej próbie, podlega rozkładowi dwumianowemu
[[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_dwumianowy więcej o rozkładzie dwumianowym]]:

<math>P_n(k)=\left(
\begin{array}{c}
n \\
k
\end{array}
\right) p^kq^{n-k}=\frac{n!}{k!(n-k)!}p^kq^{n-k} </math>

''Jak z rozkładu jednostajnego wytworzyć zmienne losowe o rozkładzie dwumianowym?''
* Wykonać symulację!

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py

def gen_binom(n,p,N):
'''funkcja zwracająca zmienną losową z rozkładu dwumianowego:
ilość sukcesów w n próbach przy prawdopodobieństwie sukcesu p
parametry:
n: liczba prób
p: prawdopodobieństwo sukcesu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będącymi liczbami sukcesów
'''
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję n liczb z rozkładu jednostajnego [0,1) i jako sukcesy
#traktuję wylosowanie liczby nie większej niż p
r=np.random.rand(N,n)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
n=20
N=100000
p=0.8
x = gen_binom(n,p,N)
bins =range(22) #granice binów
py.hist(x,bins)
py.show()
</source>

====Zadanie====
Z oszacowań agencji wynika, że średnio 2 z 3 reklam spotyka się z pozytywnym odzewem. Akcja marketingowa obejmuje 12 reklam. Niech <math>X</math> oznacza liczbę reklam skutecznych. Czy <math>X</math> podlega rozkładowi dwumianowemu?
Jakie jest prawdopodobieństwo, że 10 reklam będzie skutecznych?
Prawdopodobieństwo obliczyć ze wzoru oraz korzystając z symulacji.

Wskazówka informacje o zmiennych z rozkładu dwumianowego (<tt>binom</tt>) można uzyskać tak:
# >>> print(st.binom.extradoc)
# Binomial distribution
#
# Counts the number of successes in *n* independent
# trials when the probability of success each time is *pr*.
#
# binom.pmf(k,n,p) = choose(n,k)*p**k*(1-p)**(n-k)
# for k in {0,1,...,n}
Odp: ''p'' = 0,127



====Zadanie====
Na egzaminie testowym jest 30 pytań. Na każde pytanie są podane cztery możliwe odpowiedzi, z czego tylko jedna jest prawdziwa. Za prawidłową odpowiedź student otrzymuje 1 punkt a za fałszywą −0,5 punktu. Próg zaliczenia wynosi 15 punktów. Oblicz prawdopodobieństwo, że udzielając czysto losowych odpowiedzi student zaliczy egzamin.

=====Rozwiązanie:=====
Liczba prawidłowych odpowiedzi w teście może być potraktowana jako liczba sukcesów k w n = 30 próbach. Prawdopodobieństwo sukcesu pojedynczego zdarzenia (prawidłowa odpowiedź na jedno pytanie) wynosi p = 1/4. Ze względu na obecność ujemnych punktów za fałszywe odpowiedzi zmienia się efektywna liczba punktów wymaganych do zaliczenia zgodnie z równaniem:
k-0.5*(30-k) = 15
co daje k = 20
Zatem problem redukuje się do wyznaczenia prawdopodobieństwa co najmniej 20 sukcesów w 30 próbach, przy czym prawdopodobieństwo sukcesu w 1 próbie wynosi p=1/4:
<source lang=python>

# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st

p = 1./4 #prawdopodobieństwo sukcesu w jednej próbie
n = 30 # liczba prób w jednej akcji reklamowej
k_kryt = 20
# ze wzoru
p_wz = np.sum(st.binom.pmf(range(k_kryt,n+1),n,p))
print(p_wz)

# z symulacji
N_powt =10000000 # liczba powtórzeń symulacji
r = np.random.random(size=(n,N_powt)) # symulowany test
k = np.sum(r<=p,0) # liczba sukcesów
p_sym = sum(k>=20)/N_powt
print(p_sym)

</source>

=== Rozkład Poissona ===

<math>
P(k)=\frac{\mu^k e^{-\mu}}{k!}
</math>
Rozkładowi Poissona podlegają zmienne losowe zliczające w jednostce czasu liczbę zdarzeń o niskim prawdopodobieństwie zajścia. Np. liczba rozpadów promieniotwórczych na jednostkę czasu [[http://brain.fuw.edu.pl/edu/STAT:Przyk%C5%82adowe_rozk%C5%82ady#Rozk.C5.82ad_Poissona więcej o rozkładzie Poissona]]

====Przykład====
Lekarz pełniący dyżur w szpitalu jest wzywany do pacjentów średnio 3 razy w ciągu nocy. Załóżmy, że liczba wezwań na noc podlega rozkładowi Poissona. Jakie jest prawdopodobieństwo, że noc upłynie lekarzowi spokojnie?
U nas <math>\mu=3</math>, <math>x=0</math> więc

<math>
P(0) = \frac{3^0e^{-3}}{0!} = e^{-3} = 0,0498
</math>

====Przykład====
Jak ze zmiennych podlegających rozkładowi jednostajnemu uzyskać zmienne podlegające rozkładowi Poissona?

Wykonać symulację wynikającą z następujących spostrzeżeń:

* Weźmy jednostkę czasu. Ma w niej zachodzić średnio <math>\mu</math> zdarzeń.
* Podzielmy jednostkę czasu na ''NT'' odcinków o jednakowej długości.
* Prawdopodobieństwo, że zdarzenie zajdzie w konkretnym odcinku jest <math>p=\frac{\mu}{NT}</math> Takie prawdopodobieństwo ma też wylosowanie przy pomocy generatora liczb z rozkładu jednostajnego [0,1) liczby nie większej niż ''p''.
* Zatem, aby wytworzyć jedną liczbę z rozkładu Poissona można policzyć ile spośród ''NT'' liczb z rozkładu jednostajnego [0,1) jest nie większych niż ''p''.

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

def gen_poiss(mi,NT,N):
'''funkcja zwracająca zmienne losowe z rozkładu poissona:
średnia ilość zdarzeń o niskim prawdopodobieństwie w jednostce czasu
parametry:
mi: średnia liczba zdarzeń
NT: liczba odcinków czasu
N: liczba liczb do generowania
funkcja zwraca:
N liczb będących zliczeniami zdarzeń
'''
p = float(mi)/NT
k = np.zeros(N)
# w pętli wytwarzam pojedyncze zmienne losowe
# losuję NT liczb z rozkładu jednostajnego [0,1) i jako zajście zdarzenia
# traktuję wylosowanie liczby nie większej niż p. Ilość zdarzeń to liczba z rozkładu Poissona
r=np.random.rand(N,NT)
k=np.sum(r<=p,axis=1)
return k

# kod testujący
mi=4
N=100000
NT = 10000
x = gen_poiss(mi,NT,N)
bins =np.arange(int(x.max()+1))-0.5
py.hist(x,bins,normed=True)

# porównanie z generatorami scipy.stats
p=mi/NT
k=np.arange(x.max()+1)
B=st.binom.pmf(k,NT,p)
py.plot(k,B,'ro')
P=st.poisson.pmf(k,mi)
py.plot(k,P,'go')
py.show()
</source>

=== Rozkład normalny i Centralne Twierdzenie Graniczne ===
Gęstość prawdopodobieństwa [[WnioskowanieStatystyczne/Rozklady-przyklady#Rozk.C5.82ad_Gaussa| rozkładu normalnego]] dana jest wzorem:

<math>f(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{ -\frac{(x-\mu)^2}{2 \sigma^2}}</math>
gdzie: <math>\mu</math> — średnia, <math>\sigma</math> — odchylenie standardowe (<math>\sigma^2</math> — wariancja).

Jeden ze sposóbw wytwarzania zmiennych losowych o rozkładzie normalnym polega na zastosowaniu [[WnioskowanieStatystyczne/CLT| Centralnego Twierdzenia Granicznego]].

<math>X=\frac{\sqrt{12}}{\sqrt{N}}\left(\sum_{n=1}^N Y_n -\frac{N}{2}\right)</math>

gdzie <math>Y</math> zmienna losowa z rozkładu jednostajnego <math>[0,1)</math>
W granicy dużych <math>N</math> rozkład zmiennej <math>X</math> dąży do rozkładu normalnego <math>N(0,1)</math>.

====Zadanie ====
Proszę:
* napisać funkcję <tt>gen_CTG_1(N)</tt>, która zwraca liczbę losową ''X'' otrzymaną zgodnie powyższym wzorem przez sumowanie <tt>N</tt> liczb z rozkładu jednostajnego.
* napisać funkcję <tt>gen_CTG(N, N_liczb)</tt> korzystającą z <tt>gen_CTG_1(N)</tt> i zwracającą zadaną ilość liczb <tt>N_liczb</tt>
* narysować histogramy 10 000 liczb <math>X</math> uzyskanych kolejno dla <math>N={1,2,...,12}</math>
* Jakie parametry charakteryzują rozkład do którego zbiegają sumy? Przy każdym z powyższych histogramów wypisz średnią i wariancję z próby (funkcje <tt>np.mean</tt> i <tt>np.var</tt>).

=====Rozwiązanie:=====
<source lang=python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import numpy.random as rnd

def gen_CTG_1(N):
'''Funkcja generująca pojedynczą zmienną losową będącą sumą N liczb z rozkładu jednostajnego [0,1)
pomnożoną przez czynnik normujący zapewniający wariancję równą 1.
parametry:
N: ile liczb sumować
funkcja zwraca:
jedną liczbę losową'''
X = np.sqrt(12/N) * (np.sum(rnd.random(N)) - N/2)
return X

def gen_CTG(N,N_liczb):
'''Funkcja zwraca wektor (tablicę) zmiennych losowych będących sumami N liczb z rozkładu jednostajnego [0,1).
parametry:
N: ile liczb sumować
N_liczb: ilość liczb do generowania
funkcja zwraca:
N_liczb losowych'''

X=np.zeros(N_liczb)

for i in range(N_liczb):
X[i] = gen_CTG_1(N)

return X

# kod testujący
N_liczb=10000
Nmax=12

for N in range(1,Nmax+1):
X=gen_CTG(N,N_liczb)
py.subplot(3,4,N)
bins = np.arange(-4,4,0.1)
py.hist(X,bins=bins,normed=True)
py.title("N=%i, µ=%.2g, σ²=%.2g"%(N, X.mean(), X.var(ddof=1)))

py.show()
</source>

====Zadanie: transformacja rozkładu normalnego ====

Rozkład o średniej 0 i wariancji 1 (notacja <math>N(0,1)</math>) jest nazywany rozkładem standardowym i często jest oznaczany literą <math>Z</math>. Dokonując odpowiedniej transformacji można z rozkładu <math>Z</math> uzyskać dowolny inny rozkład normalny.

Proszę:
* wygenerować 100000 zmiennych losowych z rozkładu <math>N(0,1)</math> (skorzystać z funkcji <tt>st.norm.rvs(loc=0, scale=1, size=100000)</tt>)
* przetransformować je do zmiennych losowych <math>N(2,9)</math>.
* narysować histogramy zmiennych przed i po transformacji.
* narysować rozkład gęstości prawdopodobieństwa dla rozkładu <math>N(2,9)</math> (skorzystać z funkcji <tt>st.norm.pdf(...)</tt>) .



====Transformacja Boxa-Mullera====
To inna popularna metoda metoda generowania liczb losowych o rozkładzie normalnym, na podstawie dwóch wartości zmiennej o rozkładzie jednostajnym na przedziale [0,1) http://en.wikipedia.org/wiki/Box-Muller_transform, ale nie będziemy się nią tu szerzej zajmować.

====Przykład====
Producent silników twierdzi, że jego silniki mają średnią moc 220 KM, a odchylenie standardowe wynosi 15 KM. Potencjalny klient testuje 100 silników. Jakie jest prawdopodobieństwo, że średnia z próby będzie mniejsza niż 217 KM?

Przypomnijmy, że z CTG dla dużych liczebności próby <math>n</math> <math>\bar x \sim N(\mu,\sigma^2/n)</math> [[WnioskowanieStatystyczne/Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej|(dowód)]]. Zatem szukamy

<math>P(\bar x <217) =P\left( Z<\frac{217-\mu}{\frac{\sigma}{ \sqrt{n}}} \right) = P\left( Z<\frac{217-220}{\frac{15}{ \sqrt{100}}} \right)=P(Z<-2)=0,0228</math>

<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

# ze wzoru
p=st.norm.cdf(-2)
print('prawdopodobieństwo odczytane z dystrybuanty rozkładu normalnego: %(0).4f' %{'0':p})

# symulacja

mu=220
sig=15
N_prob=100

m_kryt=217

N_rep=int(1e4)
srednia=np.zeros(N_rep)
for i in range(N_rep):
seria=st.norm.rvs(loc=mu, scale=sig, size=N_prob)
srednia[i]=np.mean(seria)

h=py.hist(srednia,30);

py.plot([m_kryt, m_kryt],[0, max(h[0])],'r')
p1=np.sum(srednia<=m_kryt)/N_rep
print('prawdopodobieństwo uzyskane z symulacji: %(0).4f' %{'0':p1})
py.show()

</source>

====Zadania====
Teraz kilka najprostszych zadań dotyczących rozkładu normalnego:
* Znajdźmy prawdopodobieństwo, że ''Z'' < −2,47. Proszę zrobić to na dwa sposoby: raz z użyciem wygenerowanych zmiennych z rozkładu normalnego, drugi raz z użyciem dystrybuanty <tt>norm.cdf</tt>
[Odp: ''p'' = 0,0068]

Rozwiązanie:
<source lang =python>
import scipy.stats as st

N=100000
z_crit = -2.47
Z=st.norm.rvs(loc=0, scale=1, size=N)
p= sum(Z < z_crit )/N
p_cdf = st.norm.cdf(z_crit, loc=0, scale=1)
print('symulowane p: %.4f' % p )
print('p z dystrybuanty: %.4f' % p_cdf)
</source>

* Znaleźć prawdopodobieństwo ''P''(|''Z''| < 2)
[Odp: ''p'' = 0,9545]

Rozwiązanie:
<source lang =python>
import scipy.stats as st
import numpy as np

N=100000
z_crit = 2
Z=st.norm.rvs(loc=0, scale=1, size=N)
p= sum(np.abs(Z) < z_crit )/N
p_cdf = st.norm.cdf( z_crit, loc=0, scale=1) - st.norm.cdf( -z_crit, loc=0, scale=1)
print('symulowane p: %.4f' % p )
print('p z dystrybuanty: %.4f' % p_cdf)
</source>

* Koncentracja zanieczyszczeń w półprzewodniku używanym do produkcji procesorów podlega rozkładowi normalnemu o średniej 127 cząsteczek na milion i odchyleniu standardowemu 22. Półprzewodnik może zostać użyty jedynie gdy koncentracja zanieczyszczeń spada poniżej 150 cząstek na milion. Jaka proporcja półprzewodników nadaje się do użycia?
Prawdopodobieństwo obliczyć korzystając z dystrybuanty rozkładu normalnego oraz z symulacji.
[Odp: ''p'' = 0,852]

Rozwiązanie:
<source lang =python>
import scipy.stats as st
import pylab as py
import numpy as np

mu=127
sig=22
m_kryt=150
p=st.norm.cdf(m_kryt, loc = mu, scale = sig )
print('proporcja odczytana z dystrybuanty rozkładu normalnego: %4g' %p)
# symulacja
N_prob=10000
seria=st.norm.rvs(loc=mu, scale=sig, size=N_prob)
p = sum(seria<=m_kryt)/N_prob
bins = np.arange(60,200,5)
h=py.hist(seria,bins);
py.plot([m_kryt, m_kryt],[0, max(h[0])],'r')
p1=np.sum(seria<=m_kryt)/N_prob
print('prawdopodobieństwo uzyskane z symulacji: %.4g' %p1)
py.show()
</source>

=== Rozkład t ===

Gdy nie znamy wariancji populacji <math>\sigma^2</math> używamy w jego miejsce estymatora wariancji próby <math>s^2</math> danego wzorem:

<math>s^2 =\frac{\sum(\bar x - x_i)^2}{n-1} </math>
gdzie ''n'' — rozmiar próby

Wtedy rozkład <math>Y=\frac{\bar X -\mu}{\frac{s}{\sqrt{n}}}</math> nie podlega rozkładowi normalnemu. Jeśli populacja <math>X</math> podlega rozkładowi normalnemu to <math>Y</math> podlega [[WnioskowanieStatystyczne/Test_t |rozkładowi ''t'' ]] z ''n''−1 stopniami swobody.

Zobaczmy na symulacji co to zmienia. Proszę obejrzeć wyniki dla kilku wartości <tt>N</tt>

<source lang =python>
# -*- coding: utf-8 -*-
import numpy as np
import pylab as py
import scipy.stats as st

N=3
N_liczb=10000
mu=2
sigma=1

y_wyidealizowane=np.zeros(N_liczb)
m_populacji=np.zeros(N_liczb)
s_populacji=np.zeros(N_liczb)
y_estymowane=np.zeros(N_liczb)
m_estymowane=np.zeros(N_liczb)
s_estymowane=np.zeros(N_liczb)
for i in range(N_liczb):
x=st.norm.rvs(loc=mu,scale=sigma,size=N)
m_populacji[i]=mu
s_populacji[i]=sigma/np.sqrt(N)

m_estymowane[i]=np.mean(x)
s_estymowane[i]=np.std(x,ddof=1)/np.sqrt(N)

y_wyidealizowane[i]=(m_estymowane[i]-mu)/(s_populacji[i])
y_estymowane[i]=(m_estymowane[i]-mu)/(s_estymowane[i])

py.subplot(311)
py.title(u'średnia (wartość oczekiwana)')
py.plot(m_estymowane,label="estymowana")
py.plot(m_populacji,'r',label="populacji")
py.legend()

py.subplot(312)
py.title('odchylenie standardowe')
py.plot(s_estymowane,label="estymowane")
py.plot(s_populacji,'r',label='populacji')
py.legend()

py.subplot(325)
py.title(u'rozkład ilorazu Y dla wersji wyidealizowanej')
py.hist(y_wyidealizowane,30,(-4,4))

py.subplot(326)
py.title(u'rozkład ilorazu Y dla wersji estymowanej')
py.hist(y_estymowane,30,(-4,4))

py.show()
</source>

====Zadanie====
Dział kontroli jakości producenta silników testuje 10 egzemplarzy silnika nowego typu. Uzyskano wartość średnią 220 KM oraz odchylenie standardowe równe 15 KM. Jakie jest prawdopodobieństwo, że klient, który zamówi 100 silników, otrzyma partię, w której średnia będzie mniejsza niż 217 KM? Wykonaj obliczenia oraz symulację. Porównaj wynik z wcześniejszym [[WnioskowanieStatystyczne/Zmienne_losowe_i_generatory_liczb_pseudolosowych#Przykład_5|przykładem]], gdzie znaliśmy odchylenie standardowe z innego źródła (nie było ono estymowane z próby).



=== Inne rozkłady uzyskiwane przez transformacje ===
====Metoda odwracania dystrybuanty====

Niech <math>\xi</math> będzie zmienną losową o rozkładzie jednostajnym na przedziale <math>[0,1)</math>. Jej dystrybuanta <math>J</math> dana jest więc worem:

<math>
J(x) = P(\xi \le x) = \left\{
\begin{array}{lrl}
0 & \mathrm{dla} & x<0\\
x & \mathrm{dla} & 0 \le x <1 \\
1 & \mathrm{dla} & 1 \le x
\end{array}
\right.
</math>

oraz niech <math>F</math> będzie dystrybuantą interesującego nas rozkładu. Jeśli <math>F</math> jest funkcją odwracalną to zmienna losowa zdefiniowana jako:

<math>\eta = F^{-1}(\xi) </math>

jest zmienną losową podlegającą rozkładowi o dystrybuancie <math> F</math>.
Własność tę łatwo sprawdzić. Ponieważ dla każdego <math>x \in R </math> mamy:

<math>
P(\eta \le x) = P(F^{-1} (\xi) \le x) = P(\xi \le F(x)) = F(x)
</math>
więc <math>F</math> jest dystrybuantą zmiennej losowej <math>\eta</math>.

Czyli jeśli znamy dystrybuantę interesującego nas rozkładu prawdopodobieństwa i dystrybuanta ta jest odwracalna, to możemy generować liczby z rozkładu o dystrybuancie <math>F</math>.

====Przykład====
Wygenerować liczby pseudolosowe z rozkładu wykładniczego o gęstości prawdopodobieństwa:

<math>f(x) = \lambda e^{-\lambda x} </math>

Rozwiązanie:
* Znajdujemy dystrybuantę tego rozkładu:

: <math>F(x) = 1-e^{-\lambda x} </math>

* Znajdujemy funkcję odwrotną do dystrybuanty:

: <math>G(u)=F^{-1}(u) = -\frac{1}{\lambda}\ln(1-u) </math>

* Generujemy liczby losowe <math>u</math> z przedziału <math>[0,1)</math> i stosujemy transformację <math>G(u)</math>
* Test generowanego rozkładu robimy przez porównanie dystrybuanty teoretycznej i empirycznej. Proszę zwrócić uwagę na funkcję estymującą dystrybuantę empiryczną

<source lang =python>
# -*- coding: utf-8 -*-
import pylab as py
import numpy as np

def gen_wykladniczy(lam, N):
'''funkcja zwraca N liczb z rozkładu wykładniczego o parametrze lam
korzystając z metody odwracania dystrybuanty
Dystrybuanta rozkładu wykładniczego: F(x) = 1- exp(-lam*x)
Funkcja do niej odwrotna: G(u) = -1/lam ln(1-u)'''

u = np.random.random(N)
return -1.0/lam* np.log(1.-u)

def dystrybuanta(X,od=0, do=4, krok=0.05):
'''funkcja zwraca dystrybuantę empiryczną
zmiennej X na przedziale (od, do) z krokiem krok'''

os_x = np.arange(od,do,krok)
nx = len(os_x)
N_liczb = len(X)
D=np.zeros(nx) #wyzerowany wektor na naszą dystrybuantę
for i in range(nx):
D[i] = sum(X <= os_x[i])/N_liczb
return (os_x, D)

# testujemy: narysujemy dystrybuantę oczekiwaną i empiryczną
lam=3
N=10000

x = np.arange(0,4,0.01)
F = 1-np.exp(-lam*x)
X = gen_wykladniczy(lam, N)
(os_x, F_emp) = dystrybuanta(X,od=0, do=4, krok=0.1)
py.plot(x,F,'r',label = 'dystrybuanta teoretyczna')
py.plot(os_x, F_emp,'.b', label = 'dystrybuanta empiryczna')
py.legend()
py.show()
</source>

Zauważmy, że nie zawsze jest łatwo wyznaczyć efektywnie <math>F^{-1}</math> — jest tak na przykład w przypadku rozkładu normalnego. W takich sytuacjach można szukać przybliżonej wartości <math>F^{-1}</math>, rozwiązując numerycznie równanie:
<math>F(x)=u</math>, co sprowadza się do znalezienia miejsc zerowych funkcji <math>H(x)=F(x)-u</math>.

==== Zadanie ====
Posiłkując się powyższym przykładem napisz funkcję ''MyGen(N)'' dla rozkładu, którego funkcja gęstości prawdopodobieństwa jest dana wzorem:
<math> f(x) = \frac{1}{\pi (1+x^{2})} </math>
Następnie narysuj dla niego dystrybuantę i dystrybuantę empiryczną na przedziale [-10, 10].

<source lang=python>
import numpy as np
import pylab as py

#f(x) = 1/(π(1+x²)) -- f. gęstości prawdopodobieństwa
#zatem F(x) = arctg(x)/π + 1/2 -- dystrybuanta
#zatem F⁻¹(x) = tg(π(x-1/2)) -- f. odwrotna do dystrybuanty

def MyGen(size=1):
x=np.random.random(size) # liczby z generatora jednostajnego na przedziale [0,1)
y=np.tan(np.pi*(x-1/2)) # korzystamy z metody odwracania dystrybuanty
return y

x=MyGen(int(1e6))
bins=np.linspace(-10,10,101)
py.subplot(211)
py.hist(x,bins,normed=True,histtype='step')
py.plot(bins,1./(np.pi*(1+bins**2)),'r')
py.subplot(212)
py.hist(x,bins,normed=True,histtype='step',cumulative=True)
py.plot(bins,np.arctan(bins)/np.pi+0.5,'r')
py.show()
</source>

WnioskowanieStatystyczne/ Testowanie hipotez

2021-02-18T10:18:51Z

Atartas: /* Elektrownia jądrowa */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.


===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2021-02-18T10:18:13Z

Atartas: /* Zadania */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.


===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Rozwiązanie:

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2021-02-18T10:17:59Z

Atartas: /* Sonda */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.


===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Rozwiązanie:

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2021-02-18T10:17:41Z

Atartas: /* Czy stosunek do marihuany się zmienił? */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

N=50
odp_na_tak=30
odp_na_nie=20

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#(propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy)
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
P=0.5 #prawdopodobieństwo, że respondent udzieli odpowiedzi na 'tak'

#rozwiązanie parametryczne wymaga użycia rozkładu dwumianowego:
p = 1 - st.binom.cdf(29,50,P) #od 1 odejmujemy sumaryczne prawdopodobieństwo wszystkich przypadków udzielenia mniej niż 30 odpowiedzi na tak (czyli do 29 włącznie)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:
Nrand=100000
R=0 #rezultat, czyli liczba przypadków, w których przynajmniej 30 osób odpowiedziało tak
for i in range(Nrand):
odpowiedzi = (rnd.random(N)<P) #losujemy odpowiedzi od N osób
if odpowiedzi.sum() >=odp_na_tak: #jeśli zdażyło się co najmniej 30 odpowiedzi na tak, to dodajemy jeden do liczby takich przypadków
R+=1

print("poziom p (z symulacji)",R/Nrand) #na koniec dzielimy przez liczbę wszystkich sond w symulacji

</source>

===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Rozwiązanie:

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2021-02-18T10:16:55Z

Atartas: /* Wzrost mocy turbin */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

N=50
odp_na_tak=30
odp_na_nie=20

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#(propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy)
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
P=0.5 #prawdopodobieństwo, że respondent udzieli odpowiedzi na 'tak'

#rozwiązanie parametryczne wymaga użycia rozkładu dwumianowego:
p = 1 - st.binom.cdf(29,50,P) #od 1 odejmujemy sumaryczne prawdopodobieństwo wszystkich przypadków udzielenia mniej niż 30 odpowiedzi na tak (czyli do 29 włącznie)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:
Nrand=100000
R=0 #rezultat, czyli liczba przypadków, w których przynajmniej 30 osób odpowiedziało tak
for i in range(Nrand):
odpowiedzi = (rnd.random(N)<P) #losujemy odpowiedzi od N osób
if odpowiedzi.sum() >=odp_na_tak: #jeśli zdażyło się co najmniej 30 odpowiedzi na tak, to dodajemy jeden do liczby takich przypadków
R+=1

print("poziom p (z symulacji)",R/Nrand) #na koniec dzielimy przez liczbę wszystkich sond w symulacji

</source>

===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
za1 = int(0.52*1500)
za2 = int(0.46*1500)
N = 1500

# H0: stosunek się nie zmienił zatem p_za było w obu anlietach takie samo:
p_za = (0.52+0.46)/2

# Jakie jest prawdopodobieństwo zaobserwowoania wyników ankiet o takiej bądź większej
# różnicy głosów za, jeśli obie są zgodne z H0 ?
D = za1 - za2

#musimy zsumować wszystkie możliwości, w których wystąpiła taka różnica lub większa
#zrobimy to w pętli
p_binom = 0.0
for k in range(N-D+1):
p1 = st.binom.pmf(k,N,p_za) # prawdopodobieństwo uzyskania dokładnie k głosów za

# sumujemy prawdopodobieństwa uzyskania liczby głosów różnej przynajmniej o D
przypadki_o_roznicy_przynajmniej_D = np.arange(k+D,N+1)
p2 = np.sum(st.binom.pmf(przypadki_o_roznicy_przynajmniej_D,N,p_za))
#co jest równoważne:
#p2 = 1-st.binom.cdf(k+D-1,N,p_za)

#sumujemy dla kolejnych k
p_binom += p1*p2 # mnożymy prawdopodobieństwa ponieważ są wyniki obu sond są niezależne

p=2*p_binom #mnożymy przez 2, ponieważ robimy test dwustronny (różnica mogła wystąpić również w drugą stronę)
print("p =",p)

# rozwiązanie symulacyjne (tym razem skorzystamy z randsample)
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N*(1-p_za)), np.ones(N*p_za)))

a = np.zeros(N_rep)
for i in range(N_rep):
w1 = np.sum(randsample(H0,N))
w2 = np.sum(randsample(H0,N))
a[i] = np.abs(w1-w2)
p = np.sum(a>=D)/N_rep
print(p)
</source>

===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Rozwiązanie:

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2021-02-18T10:16:33Z

Atartas: /* Wybory prezydenckie */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Rozwiązanie:

<source lang=python>
#-*- coding:utf-8 -*-
import numpy as np
import scipy.stats as st

N=115
m=25.2 #hipoteza zerowa mówi, że tyle wynosi moc
sr=26.1 #w pomiarach uzyskaliśmy taką średnią moc
s=3.2 #przy takim odchyleniu standardowym

alfa=0.01

#obliczenie poziomu p
t=(m-sr)/(s/N**0.5)
p = st.t.cdf(t,df=N-1) * 2 #mnozymy przez 2, bo chcemy testu dwustronnego
print("poziom p",p)

#alternatywnie - obliczenie przedziału ufności
lo,hi = st.t.ppf([alfa/2, 1-alfa/2],df=N-1,loc=sr,scale=s/N**0.5)
print("przedzial ufnosci [%.3g,%.3g]"%(lo,hi))
</source>

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

N=50
odp_na_tak=30
odp_na_nie=20

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#(propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy)
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
P=0.5 #prawdopodobieństwo, że respondent udzieli odpowiedzi na 'tak'

#rozwiązanie parametryczne wymaga użycia rozkładu dwumianowego:
p = 1 - st.binom.cdf(29,50,P) #od 1 odejmujemy sumaryczne prawdopodobieństwo wszystkich przypadków udzielenia mniej niż 30 odpowiedzi na tak (czyli do 29 włącznie)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:
Nrand=100000
R=0 #rezultat, czyli liczba przypadków, w których przynajmniej 30 osób odpowiedziało tak
for i in range(Nrand):
odpowiedzi = (rnd.random(N)<P) #losujemy odpowiedzi od N osób
if odpowiedzi.sum() >=odp_na_tak: #jeśli zdażyło się co najmniej 30 odpowiedzi na tak, to dodajemy jeden do liczby takich przypadków
R+=1

print("poziom p (z symulacji)",R/Nrand) #na koniec dzielimy przez liczbę wszystkich sond w symulacji

</source>

===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
za1 = int(0.52*1500)
za2 = int(0.46*1500)
N = 1500

# H0: stosunek się nie zmienił zatem p_za było w obu anlietach takie samo:
p_za = (0.52+0.46)/2

# Jakie jest prawdopodobieństwo zaobserwowoania wyników ankiet o takiej bądź większej
# różnicy głosów za, jeśli obie są zgodne z H0 ?
D = za1 - za2

#musimy zsumować wszystkie możliwości, w których wystąpiła taka różnica lub większa
#zrobimy to w pętli
p_binom = 0.0
for k in range(N-D+1):
p1 = st.binom.pmf(k,N,p_za) # prawdopodobieństwo uzyskania dokładnie k głosów za

# sumujemy prawdopodobieństwa uzyskania liczby głosów różnej przynajmniej o D
przypadki_o_roznicy_przynajmniej_D = np.arange(k+D,N+1)
p2 = np.sum(st.binom.pmf(przypadki_o_roznicy_przynajmniej_D,N,p_za))
#co jest równoważne:
#p2 = 1-st.binom.cdf(k+D-1,N,p_za)

#sumujemy dla kolejnych k
p_binom += p1*p2 # mnożymy prawdopodobieństwa ponieważ są wyniki obu sond są niezależne

p=2*p_binom #mnożymy przez 2, ponieważ robimy test dwustronny (różnica mogła wystąpić również w drugą stronę)
print("p =",p)

# rozwiązanie symulacyjne (tym razem skorzystamy z randsample)
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N*(1-p_za)), np.ones(N*p_za)))

a = np.zeros(N_rep)
for i in range(N_rep):
w1 = np.sum(randsample(H0,N))
w2 = np.sum(randsample(H0,N))
a[i] = np.abs(w1-w2)
p = np.sum(a>=D)/N_rep
print(p)
</source>

===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Rozwiązanie:

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2021-02-18T10:16:13Z

Atartas: /* Zawały serca i cholesterol */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Rozwiązanie:

<source lang=python>
#-*- coding:utf-8 -*-
import numpy as np
import scipy.stats as st

N=115
m=25.2 #hipoteza zerowa mówi, że tyle wynosi moc
sr=26.1 #w pomiarach uzyskaliśmy taką średnią moc
s=3.2 #przy takim odchyleniu standardowym

alfa=0.01

#obliczenie poziomu p
t=(m-sr)/(s/N**0.5)
p = st.t.cdf(t,df=N-1) * 2 #mnozymy przez 2, bo chcemy testu dwustronnego
print("poziom p",p)

#alternatywnie - obliczenie przedziału ufności
lo,hi = st.t.ppf([alfa/2, 1-alfa/2],df=N-1,loc=sr,scale=s/N**0.5)
print("przedzial ufnosci [%.3g,%.3g]"%(lo,hi))
</source>

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

N=50
odp_na_tak=30
odp_na_nie=20

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#(propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy)
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
P=0.5 #prawdopodobieństwo, że respondent udzieli odpowiedzi na 'tak'

#rozwiązanie parametryczne wymaga użycia rozkładu dwumianowego:
p = 1 - st.binom.cdf(29,50,P) #od 1 odejmujemy sumaryczne prawdopodobieństwo wszystkich przypadków udzielenia mniej niż 30 odpowiedzi na tak (czyli do 29 włącznie)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:
Nrand=100000
R=0 #rezultat, czyli liczba przypadków, w których przynajmniej 30 osób odpowiedziało tak
for i in range(Nrand):
odpowiedzi = (rnd.random(N)<P) #losujemy odpowiedzi od N osób
if odpowiedzi.sum() >=odp_na_tak: #jeśli zdażyło się co najmniej 30 odpowiedzi na tak, to dodajemy jeden do liczby takich przypadków
R+=1

print("poziom p (z symulacji)",R/Nrand) #na koniec dzielimy przez liczbę wszystkich sond w symulacji

</source>

===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

# rozwiązanie parametryczne
A = 840
B = 660
N = A+B

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
p_sukces = 0.5

#rozwiązanie parametryczne
p = 1 - st.binom.cdf(A-1,N,p_sukces)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:

#wiemy już, że musimy oszacować bardzo niskie prawdopodobieństwo, zatem symulacja musi być długa
#(gdybyśmy nie wiedzieli, to łatwo byśmy zauważyli, że krótka symulacja nie daje w ogóle zdarzeń sprzyjających dając wynik p=0)
#niestety trzeba pokusić się o optymalizację (mimo to kod będzie się wykonywał kilkadziesiąt sekund do kilku minut):
#chemy mieć przynajmniej 10^7 sond, ale każda sonda to 1500 odpowiedzi, zatem łącznie musimy wylosować 1.5*10^10 liczb
#losowanie w pętli 10^7 razy kolejnych sond po 1500 odpowiedzi zajmie bardzo bardzo dużo czasu
#tablica 1.5*10^10 odpowiedzi wygenerowana jednym poleceniem nie zmieści się w pamięci
#musimy skorzystać z rozwiązania pośredniego
#będziemy losować 100 razy po 1.5*10^8 odpowiedzi i dodamy wyniki

Nrand_1=100 # 10^2
Nrand_2=100000 # 10^5
N = A+B # 1.5*10^3

Nrand_total = Nrand_1*Nrand_2

R=0 #liczba sond, w których kandydat A uzyskał poparcie 840 lub większe
#po każdym przebiegu pętli będziemy dodawać liczbę takich przypadków (jeśli wystąpiły w danej iteracji)

for i in range(Nrand_1):
#w każdej iteracji losujemy odpowiedzi od N osób w Nrand_2 sondach
#iteracji będzie w sumie Nrand_1, co da nam łącznie N osób w Nrand_total sondach
#jako, że zakładamy równe prawdopodobieństwo, to może możemy wylosować tablicę zawierającą tylko 0 i 1
#gdzie 1 oznacza sukces (głos na kandydata A), a 0 porażkę
#korzystając z funksji randint, która zwraca (pseudo)losowe liczby całkowite z zakresu [a,b)
a,b = 0,2
odpowiedzi = rnd.randint(a,b,size=(N,Nrand_2))
S = np.sum(odpowiedzi,axis=0) #wyniki kolejnych sond (sumujemy sukcesy w wierszach)

R+=np.sum(S>=A) #dodajemy liczbę sond, w których kandydat A uzyskał poparcie 840 lub większe (w danej iteracji pętli)

print("poziom p (z symulacji)",R/Nrand_total) #na koniec dzielimy przez liczbę wszystkich sond w symulacji
</source>

===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
za1 = int(0.52*1500)
za2 = int(0.46*1500)
N = 1500

# H0: stosunek się nie zmienił zatem p_za było w obu anlietach takie samo:
p_za = (0.52+0.46)/2

# Jakie jest prawdopodobieństwo zaobserwowoania wyników ankiet o takiej bądź większej
# różnicy głosów za, jeśli obie są zgodne z H0 ?
D = za1 - za2

#musimy zsumować wszystkie możliwości, w których wystąpiła taka różnica lub większa
#zrobimy to w pętli
p_binom = 0.0
for k in range(N-D+1):
p1 = st.binom.pmf(k,N,p_za) # prawdopodobieństwo uzyskania dokładnie k głosów za

# sumujemy prawdopodobieństwa uzyskania liczby głosów różnej przynajmniej o D
przypadki_o_roznicy_przynajmniej_D = np.arange(k+D,N+1)
p2 = np.sum(st.binom.pmf(przypadki_o_roznicy_przynajmniej_D,N,p_za))
#co jest równoważne:
#p2 = 1-st.binom.cdf(k+D-1,N,p_za)

#sumujemy dla kolejnych k
p_binom += p1*p2 # mnożymy prawdopodobieństwa ponieważ są wyniki obu sond są niezależne

p=2*p_binom #mnożymy przez 2, ponieważ robimy test dwustronny (różnica mogła wystąpić również w drugą stronę)
print("p =",p)

# rozwiązanie symulacyjne (tym razem skorzystamy z randsample)
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N*(1-p_za)), np.ones(N*p_za)))

a = np.zeros(N_rep)
for i in range(N_rep):
w1 = np.sum(randsample(H0,N))
w2 = np.sum(randsample(H0,N))
a[i] = np.abs(w1-w2)
p = np.sum(a>=D)/N_rep
print(p)
</source>

===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Rozwiązanie:

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2021-02-18T10:15:53Z

Atartas: /* Czy gęstości planet się różnią? */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Rozwiązanie:

<source lang=python>
#-*- coding:utf-8 -*-
import numpy as np
import scipy.stats as st

N=115
m=25.2 #hipoteza zerowa mówi, że tyle wynosi moc
sr=26.1 #w pomiarach uzyskaliśmy taką średnią moc
s=3.2 #przy takim odchyleniu standardowym

alfa=0.01

#obliczenie poziomu p
t=(m-sr)/(s/N**0.5)
p = st.t.cdf(t,df=N-1) * 2 #mnozymy przez 2, bo chcemy testu dwustronnego
print("poziom p",p)

#alternatywnie - obliczenie przedziału ufności
lo,hi = st.t.ppf([alfa/2, 1-alfa/2],df=N-1,loc=sr,scale=s/N**0.5)
print("przedzial ufnosci [%.3g,%.3g]"%(lo,hi))
</source>

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

N=50
odp_na_tak=30
odp_na_nie=20

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#(propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy)
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
P=0.5 #prawdopodobieństwo, że respondent udzieli odpowiedzi na 'tak'

#rozwiązanie parametryczne wymaga użycia rozkładu dwumianowego:
p = 1 - st.binom.cdf(29,50,P) #od 1 odejmujemy sumaryczne prawdopodobieństwo wszystkich przypadków udzielenia mniej niż 30 odpowiedzi na tak (czyli do 29 włącznie)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:
Nrand=100000
R=0 #rezultat, czyli liczba przypadków, w których przynajmniej 30 osób odpowiedziało tak
for i in range(Nrand):
odpowiedzi = (rnd.random(N)<P) #losujemy odpowiedzi od N osób
if odpowiedzi.sum() >=odp_na_tak: #jeśli zdażyło się co najmniej 30 odpowiedzi na tak, to dodajemy jeden do liczby takich przypadków
R+=1

print("poziom p (z symulacji)",R/Nrand) #na koniec dzielimy przez liczbę wszystkich sond w symulacji

</source>

===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

# rozwiązanie parametryczne
A = 840
B = 660
N = A+B

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
p_sukces = 0.5

#rozwiązanie parametryczne
p = 1 - st.binom.cdf(A-1,N,p_sukces)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:

#wiemy już, że musimy oszacować bardzo niskie prawdopodobieństwo, zatem symulacja musi być długa
#(gdybyśmy nie wiedzieli, to łatwo byśmy zauważyli, że krótka symulacja nie daje w ogóle zdarzeń sprzyjających dając wynik p=0)
#niestety trzeba pokusić się o optymalizację (mimo to kod będzie się wykonywał kilkadziesiąt sekund do kilku minut):
#chemy mieć przynajmniej 10^7 sond, ale każda sonda to 1500 odpowiedzi, zatem łącznie musimy wylosować 1.5*10^10 liczb
#losowanie w pętli 10^7 razy kolejnych sond po 1500 odpowiedzi zajmie bardzo bardzo dużo czasu
#tablica 1.5*10^10 odpowiedzi wygenerowana jednym poleceniem nie zmieści się w pamięci
#musimy skorzystać z rozwiązania pośredniego
#będziemy losować 100 razy po 1.5*10^8 odpowiedzi i dodamy wyniki

Nrand_1=100 # 10^2
Nrand_2=100000 # 10^5
N = A+B # 1.5*10^3

Nrand_total = Nrand_1*Nrand_2

R=0 #liczba sond, w których kandydat A uzyskał poparcie 840 lub większe
#po każdym przebiegu pętli będziemy dodawać liczbę takich przypadków (jeśli wystąpiły w danej iteracji)

for i in range(Nrand_1):
#w każdej iteracji losujemy odpowiedzi od N osób w Nrand_2 sondach
#iteracji będzie w sumie Nrand_1, co da nam łącznie N osób w Nrand_total sondach
#jako, że zakładamy równe prawdopodobieństwo, to może możemy wylosować tablicę zawierającą tylko 0 i 1
#gdzie 1 oznacza sukces (głos na kandydata A), a 0 porażkę
#korzystając z funksji randint, która zwraca (pseudo)losowe liczby całkowite z zakresu [a,b)
a,b = 0,2
odpowiedzi = rnd.randint(a,b,size=(N,Nrand_2))
S = np.sum(odpowiedzi,axis=0) #wyniki kolejnych sond (sumujemy sukcesy w wierszach)

R+=np.sum(S>=A) #dodajemy liczbę sond, w których kandydat A uzyskał poparcie 840 lub większe (w danej iteracji pętli)

print("poziom p (z symulacji)",R/Nrand_total) #na koniec dzielimy przez liczbę wszystkich sond w symulacji
</source>

===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
za1 = int(0.52*1500)
za2 = int(0.46*1500)
N = 1500

# H0: stosunek się nie zmienił zatem p_za było w obu anlietach takie samo:
p_za = (0.52+0.46)/2

# Jakie jest prawdopodobieństwo zaobserwowoania wyników ankiet o takiej bądź większej
# różnicy głosów za, jeśli obie są zgodne z H0 ?
D = za1 - za2

#musimy zsumować wszystkie możliwości, w których wystąpiła taka różnica lub większa
#zrobimy to w pętli
p_binom = 0.0
for k in range(N-D+1):
p1 = st.binom.pmf(k,N,p_za) # prawdopodobieństwo uzyskania dokładnie k głosów za

# sumujemy prawdopodobieństwa uzyskania liczby głosów różnej przynajmniej o D
przypadki_o_roznicy_przynajmniej_D = np.arange(k+D,N+1)
p2 = np.sum(st.binom.pmf(przypadki_o_roznicy_przynajmniej_D,N,p_za))
#co jest równoważne:
#p2 = 1-st.binom.cdf(k+D-1,N,p_za)

#sumujemy dla kolejnych k
p_binom += p1*p2 # mnożymy prawdopodobieństwa ponieważ są wyniki obu sond są niezależne

p=2*p_binom #mnożymy przez 2, ponieważ robimy test dwustronny (różnica mogła wystąpić również w drugą stronę)
print("p =",p)

# rozwiązanie symulacyjne (tym razem skorzystamy z randsample)
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N*(1-p_za)), np.ones(N*p_za)))

a = np.zeros(N_rep)
for i in range(N_rep):
w1 = np.sum(randsample(H0,N))
w2 = np.sum(randsample(H0,N))
a[i] = np.abs(w1-w2)
p = np.sum(a>=D)/N_rep
print(p)
</source>

===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
wysoki = 135
niski = 470
N = 605
wysoki_zawaly = 10
niski_zawaly = 21
N_zaw = wysoki_zawaly + niski_zawaly

# H0: proporcja zawałowców w obu grupach taka sama:
p_zawalu = N_zaw/N
# H1: proporcja jest różna, test jednostronny (wysoki cholesterol ZWIĘKSZA ryzyko)

# Jakie jest prawdopodobieństwo zaobserwowania wyników badania o takiej bądź większej
# różnicy proporcji zawałów, jeśli obie są zgodne z H0 ?
roznica = wysoki_zawaly/wysoki - niski_zawaly/niski

p_binom = 0.0
for k_wys in range(wysoki+1):
p_wys = st.binom.pmf(k_wys,wysoki,p_zawalu) # prawdopodobieństwo uzyskania k_wys zawałów grupie o liczebności wysoki
for k_nis in range(niski+1):
if k_wys/wysoki - k_nis/niski>=roznica: # czy liczebności k_wys i k_nis dają większą bądź równą różnice proporcji?
p_nis = st.binom.pmf(k_nis,niski,p_zawalu) # prawdopodobieństwo uzyskania k_nis zawałów w grupie o niskim cholesterolu
p_binom += p_wys*p_nis # zdarzenia są niezależne

print(p_binom)

# rozwiązanie symulacyjne
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N-N_zaw), np.ones(N_zaw)))

wyn = np.zeros(N_rep)
for i in range(N_rep):
wysoki_zawaly_r = np.sum(randsample(H0,wysoki))
niski_zawaly_r = np.sum(randsample(H0,niski))
wyn[i] = wysoki_zawaly_r/wysoki - niski_zawaly_r/niski
p = np.sum(wyn>=roznica)/N_rep
print(p)
</source>

===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Rozwiązanie:

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2021-02-18T10:15:34Z

Atartas: /* Czy gęstości planet się różnią? */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Rozwiązanie:

<source lang=python>
#-*- coding:utf-8 -*-
import numpy as np
import scipy.stats as st

N=115
m=25.2 #hipoteza zerowa mówi, że tyle wynosi moc
sr=26.1 #w pomiarach uzyskaliśmy taką średnią moc
s=3.2 #przy takim odchyleniu standardowym

alfa=0.01

#obliczenie poziomu p
t=(m-sr)/(s/N**0.5)
p = st.t.cdf(t,df=N-1) * 2 #mnozymy przez 2, bo chcemy testu dwustronnego
print("poziom p",p)

#alternatywnie - obliczenie przedziału ufności
lo,hi = st.t.ppf([alfa/2, 1-alfa/2],df=N-1,loc=sr,scale=s/N**0.5)
print("przedzial ufnosci [%.3g,%.3g]"%(lo,hi))
</source>

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

N=50
odp_na_tak=30
odp_na_nie=20

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#(propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy)
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
P=0.5 #prawdopodobieństwo, że respondent udzieli odpowiedzi na 'tak'

#rozwiązanie parametryczne wymaga użycia rozkładu dwumianowego:
p = 1 - st.binom.cdf(29,50,P) #od 1 odejmujemy sumaryczne prawdopodobieństwo wszystkich przypadków udzielenia mniej niż 30 odpowiedzi na tak (czyli do 29 włącznie)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:
Nrand=100000
R=0 #rezultat, czyli liczba przypadków, w których przynajmniej 30 osób odpowiedziało tak
for i in range(Nrand):
odpowiedzi = (rnd.random(N)<P) #losujemy odpowiedzi od N osób
if odpowiedzi.sum() >=odp_na_tak: #jeśli zdażyło się co najmniej 30 odpowiedzi na tak, to dodajemy jeden do liczby takich przypadków
R+=1

print("poziom p (z symulacji)",R/Nrand) #na koniec dzielimy przez liczbę wszystkich sond w symulacji

</source>

===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

# rozwiązanie parametryczne
A = 840
B = 660
N = A+B

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
p_sukces = 0.5

#rozwiązanie parametryczne
p = 1 - st.binom.cdf(A-1,N,p_sukces)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:

#wiemy już, że musimy oszacować bardzo niskie prawdopodobieństwo, zatem symulacja musi być długa
#(gdybyśmy nie wiedzieli, to łatwo byśmy zauważyli, że krótka symulacja nie daje w ogóle zdarzeń sprzyjających dając wynik p=0)
#niestety trzeba pokusić się o optymalizację (mimo to kod będzie się wykonywał kilkadziesiąt sekund do kilku minut):
#chemy mieć przynajmniej 10^7 sond, ale każda sonda to 1500 odpowiedzi, zatem łącznie musimy wylosować 1.5*10^10 liczb
#losowanie w pętli 10^7 razy kolejnych sond po 1500 odpowiedzi zajmie bardzo bardzo dużo czasu
#tablica 1.5*10^10 odpowiedzi wygenerowana jednym poleceniem nie zmieści się w pamięci
#musimy skorzystać z rozwiązania pośredniego
#będziemy losować 100 razy po 1.5*10^8 odpowiedzi i dodamy wyniki

Nrand_1=100 # 10^2
Nrand_2=100000 # 10^5
N = A+B # 1.5*10^3

Nrand_total = Nrand_1*Nrand_2

R=0 #liczba sond, w których kandydat A uzyskał poparcie 840 lub większe
#po każdym przebiegu pętli będziemy dodawać liczbę takich przypadków (jeśli wystąpiły w danej iteracji)

for i in range(Nrand_1):
#w każdej iteracji losujemy odpowiedzi od N osób w Nrand_2 sondach
#iteracji będzie w sumie Nrand_1, co da nam łącznie N osób w Nrand_total sondach
#jako, że zakładamy równe prawdopodobieństwo, to może możemy wylosować tablicę zawierającą tylko 0 i 1
#gdzie 1 oznacza sukces (głos na kandydata A), a 0 porażkę
#korzystając z funksji randint, która zwraca (pseudo)losowe liczby całkowite z zakresu [a,b)
a,b = 0,2
odpowiedzi = rnd.randint(a,b,size=(N,Nrand_2))
S = np.sum(odpowiedzi,axis=0) #wyniki kolejnych sond (sumujemy sukcesy w wierszach)

R+=np.sum(S>=A) #dodajemy liczbę sond, w których kandydat A uzyskał poparcie 840 lub większe (w danej iteracji pętli)

print("poziom p (z symulacji)",R/Nrand_total) #na koniec dzielimy przez liczbę wszystkich sond w symulacji
</source>

===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
za1 = int(0.52*1500)
za2 = int(0.46*1500)
N = 1500

# H0: stosunek się nie zmienił zatem p_za było w obu anlietach takie samo:
p_za = (0.52+0.46)/2

# Jakie jest prawdopodobieństwo zaobserwowoania wyników ankiet o takiej bądź większej
# różnicy głosów za, jeśli obie są zgodne z H0 ?
D = za1 - za2

#musimy zsumować wszystkie możliwości, w których wystąpiła taka różnica lub większa
#zrobimy to w pętli
p_binom = 0.0
for k in range(N-D+1):
p1 = st.binom.pmf(k,N,p_za) # prawdopodobieństwo uzyskania dokładnie k głosów za

# sumujemy prawdopodobieństwa uzyskania liczby głosów różnej przynajmniej o D
przypadki_o_roznicy_przynajmniej_D = np.arange(k+D,N+1)
p2 = np.sum(st.binom.pmf(przypadki_o_roznicy_przynajmniej_D,N,p_za))
#co jest równoważne:
#p2 = 1-st.binom.cdf(k+D-1,N,p_za)

#sumujemy dla kolejnych k
p_binom += p1*p2 # mnożymy prawdopodobieństwa ponieważ są wyniki obu sond są niezależne

p=2*p_binom #mnożymy przez 2, ponieważ robimy test dwustronny (różnica mogła wystąpić również w drugą stronę)
print("p =",p)

# rozwiązanie symulacyjne (tym razem skorzystamy z randsample)
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N*(1-p_za)), np.ones(N*p_za)))

a = np.zeros(N_rep)
for i in range(N_rep):
w1 = np.sum(randsample(H0,N))
w2 = np.sum(randsample(H0,N))
a[i] = np.abs(w1-w2)
p = np.sum(a>=D)/N_rep
print(p)
</source>

===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
wysoki = 135
niski = 470
N = 605
wysoki_zawaly = 10
niski_zawaly = 21
N_zaw = wysoki_zawaly + niski_zawaly

# H0: proporcja zawałowców w obu grupach taka sama:
p_zawalu = N_zaw/N
# H1: proporcja jest różna, test jednostronny (wysoki cholesterol ZWIĘKSZA ryzyko)

# Jakie jest prawdopodobieństwo zaobserwowania wyników badania o takiej bądź większej
# różnicy proporcji zawałów, jeśli obie są zgodne z H0 ?
roznica = wysoki_zawaly/wysoki - niski_zawaly/niski

p_binom = 0.0
for k_wys in range(wysoki+1):
p_wys = st.binom.pmf(k_wys,wysoki,p_zawalu) # prawdopodobieństwo uzyskania k_wys zawałów grupie o liczebności wysoki
for k_nis in range(niski+1):
if k_wys/wysoki - k_nis/niski>=roznica: # czy liczebności k_wys i k_nis dają większą bądź równą różnice proporcji?
p_nis = st.binom.pmf(k_nis,niski,p_zawalu) # prawdopodobieństwo uzyskania k_nis zawałów w grupie o niskim cholesterolu
p_binom += p_wys*p_nis # zdarzenia są niezależne

print(p_binom)

# rozwiązanie symulacyjne
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N-N_zaw), np.ones(N_zaw)))

wyn = np.zeros(N_rep)
for i in range(N_rep):
wysoki_zawaly_r = np.sum(randsample(H0,wysoki))
niski_zawaly_r = np.sum(randsample(H0,niski))
wyn[i] = wysoki_zawaly_r/wysoki - niski_zawaly_r/niski
p = np.sum(wyn>=roznica)/N_rep
print(p)
</source>

===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>

Rozwiązanie:


===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Rozwiązanie:

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2021-02-18T10:14:56Z

Atartas: /* Elektrownia jądrowa */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Rozwiązanie:

<source lang=python>
#-*- coding:utf-8 -*-
import numpy as np
import scipy.stats as st

N=115
m=25.2 #hipoteza zerowa mówi, że tyle wynosi moc
sr=26.1 #w pomiarach uzyskaliśmy taką średnią moc
s=3.2 #przy takim odchyleniu standardowym

alfa=0.01

#obliczenie poziomu p
t=(m-sr)/(s/N**0.5)
p = st.t.cdf(t,df=N-1) * 2 #mnozymy przez 2, bo chcemy testu dwustronnego
print("poziom p",p)

#alternatywnie - obliczenie przedziału ufności
lo,hi = st.t.ppf([alfa/2, 1-alfa/2],df=N-1,loc=sr,scale=s/N**0.5)
print("przedzial ufnosci [%.3g,%.3g]"%(lo,hi))
</source>

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

N=50
odp_na_tak=30
odp_na_nie=20

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#(propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy)
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
P=0.5 #prawdopodobieństwo, że respondent udzieli odpowiedzi na 'tak'

#rozwiązanie parametryczne wymaga użycia rozkładu dwumianowego:
p = 1 - st.binom.cdf(29,50,P) #od 1 odejmujemy sumaryczne prawdopodobieństwo wszystkich przypadków udzielenia mniej niż 30 odpowiedzi na tak (czyli do 29 włącznie)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:
Nrand=100000
R=0 #rezultat, czyli liczba przypadków, w których przynajmniej 30 osób odpowiedziało tak
for i in range(Nrand):
odpowiedzi = (rnd.random(N)<P) #losujemy odpowiedzi od N osób
if odpowiedzi.sum() >=odp_na_tak: #jeśli zdażyło się co najmniej 30 odpowiedzi na tak, to dodajemy jeden do liczby takich przypadków
R+=1

print("poziom p (z symulacji)",R/Nrand) #na koniec dzielimy przez liczbę wszystkich sond w symulacji

</source>

===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

# rozwiązanie parametryczne
A = 840
B = 660
N = A+B

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
p_sukces = 0.5

#rozwiązanie parametryczne
p = 1 - st.binom.cdf(A-1,N,p_sukces)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:

#wiemy już, że musimy oszacować bardzo niskie prawdopodobieństwo, zatem symulacja musi być długa
#(gdybyśmy nie wiedzieli, to łatwo byśmy zauważyli, że krótka symulacja nie daje w ogóle zdarzeń sprzyjających dając wynik p=0)
#niestety trzeba pokusić się o optymalizację (mimo to kod będzie się wykonywał kilkadziesiąt sekund do kilku minut):
#chemy mieć przynajmniej 10^7 sond, ale każda sonda to 1500 odpowiedzi, zatem łącznie musimy wylosować 1.5*10^10 liczb
#losowanie w pętli 10^7 razy kolejnych sond po 1500 odpowiedzi zajmie bardzo bardzo dużo czasu
#tablica 1.5*10^10 odpowiedzi wygenerowana jednym poleceniem nie zmieści się w pamięci
#musimy skorzystać z rozwiązania pośredniego
#będziemy losować 100 razy po 1.5*10^8 odpowiedzi i dodamy wyniki

Nrand_1=100 # 10^2
Nrand_2=100000 # 10^5
N = A+B # 1.5*10^3

Nrand_total = Nrand_1*Nrand_2

R=0 #liczba sond, w których kandydat A uzyskał poparcie 840 lub większe
#po każdym przebiegu pętli będziemy dodawać liczbę takich przypadków (jeśli wystąpiły w danej iteracji)

for i in range(Nrand_1):
#w każdej iteracji losujemy odpowiedzi od N osób w Nrand_2 sondach
#iteracji będzie w sumie Nrand_1, co da nam łącznie N osób w Nrand_total sondach
#jako, że zakładamy równe prawdopodobieństwo, to może możemy wylosować tablicę zawierającą tylko 0 i 1
#gdzie 1 oznacza sukces (głos na kandydata A), a 0 porażkę
#korzystając z funksji randint, która zwraca (pseudo)losowe liczby całkowite z zakresu [a,b)
a,b = 0,2
odpowiedzi = rnd.randint(a,b,size=(N,Nrand_2))
S = np.sum(odpowiedzi,axis=0) #wyniki kolejnych sond (sumujemy sukcesy w wierszach)

R+=np.sum(S>=A) #dodajemy liczbę sond, w których kandydat A uzyskał poparcie 840 lub większe (w danej iteracji pętli)

print("poziom p (z symulacji)",R/Nrand_total) #na koniec dzielimy przez liczbę wszystkich sond w symulacji
</source>

===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
za1 = int(0.52*1500)
za2 = int(0.46*1500)
N = 1500

# H0: stosunek się nie zmienił zatem p_za było w obu anlietach takie samo:
p_za = (0.52+0.46)/2

# Jakie jest prawdopodobieństwo zaobserwowoania wyników ankiet o takiej bądź większej
# różnicy głosów za, jeśli obie są zgodne z H0 ?
D = za1 - za2

#musimy zsumować wszystkie możliwości, w których wystąpiła taka różnica lub większa
#zrobimy to w pętli
p_binom = 0.0
for k in range(N-D+1):
p1 = st.binom.pmf(k,N,p_za) # prawdopodobieństwo uzyskania dokładnie k głosów za

# sumujemy prawdopodobieństwa uzyskania liczby głosów różnej przynajmniej o D
przypadki_o_roznicy_przynajmniej_D = np.arange(k+D,N+1)
p2 = np.sum(st.binom.pmf(przypadki_o_roznicy_przynajmniej_D,N,p_za))
#co jest równoważne:
#p2 = 1-st.binom.cdf(k+D-1,N,p_za)

#sumujemy dla kolejnych k
p_binom += p1*p2 # mnożymy prawdopodobieństwa ponieważ są wyniki obu sond są niezależne

p=2*p_binom #mnożymy przez 2, ponieważ robimy test dwustronny (różnica mogła wystąpić również w drugą stronę)
print("p =",p)

# rozwiązanie symulacyjne (tym razem skorzystamy z randsample)
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N*(1-p_za)), np.ones(N*p_za)))

a = np.zeros(N_rep)
for i in range(N_rep):
w1 = np.sum(randsample(H0,N))
w2 = np.sum(randsample(H0,N))
a[i] = np.abs(w1-w2)
p = np.sum(a>=D)/N_rep
print(p)
</source>

===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
wysoki = 135
niski = 470
N = 605
wysoki_zawaly = 10
niski_zawaly = 21
N_zaw = wysoki_zawaly + niski_zawaly

# H0: proporcja zawałowców w obu grupach taka sama:
p_zawalu = N_zaw/N
# H1: proporcja jest różna, test jednostronny (wysoki cholesterol ZWIĘKSZA ryzyko)

# Jakie jest prawdopodobieństwo zaobserwowania wyników badania o takiej bądź większej
# różnicy proporcji zawałów, jeśli obie są zgodne z H0 ?
roznica = wysoki_zawaly/wysoki - niski_zawaly/niski

p_binom = 0.0
for k_wys in range(wysoki+1):
p_wys = st.binom.pmf(k_wys,wysoki,p_zawalu) # prawdopodobieństwo uzyskania k_wys zawałów grupie o liczebności wysoki
for k_nis in range(niski+1):
if k_wys/wysoki - k_nis/niski>=roznica: # czy liczebności k_wys i k_nis dają większą bądź równą różnice proporcji?
p_nis = st.binom.pmf(k_nis,niski,p_zawalu) # prawdopodobieństwo uzyskania k_nis zawałów w grupie o niskim cholesterolu
p_binom += p_wys*p_nis # zdarzenia są niezależne

print(p_binom)

# rozwiązanie symulacyjne
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N-N_zaw), np.ones(N_zaw)))

wyn = np.zeros(N_rep)
for i in range(N_rep):
wysoki_zawaly_r = np.sum(randsample(H0,wysoki))
niski_zawaly_r = np.sum(randsample(H0,niski))
wyn[i] = wysoki_zawaly_r/wysoki - niski_zawaly_r/niski
p = np.sum(wyn>=roznica)/N_rep
print(p)
</source>

===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>

Rozwiązanie:

<source lang=python>
import numpy as np
import itertools as itt
PLANETY = np.array([0.68,0.94,0.71,0.24,0.12])
N=len(PLANETY)

r=[] #używamy listy, bo nie chcemy obliczać ile będzie przypadków (aczkolwiek można to zrobić)

for planety in itt.permutations(PLANETY):
r.append(np.mean(planety[:2])-np.mean(planety[2:]))

R=np.mean(PLANETY[:2])-np.mean(PLANETY[2:]) #prawdziwa różnica

r=np.array(r) #porównanie z liczbą działa tylko dla tablic numpy, a nie dla list

print("p =",np.sum(r>=R)/len(r))
</source>

===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Rozwiązanie:

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2020-06-16T08:48:19Z

Atartas: /* Wzrost mocy turbin */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Rozwiązanie:

<source lang=python>
#-*- coding:utf-8 -*-
import numpy as np
import scipy.stats as st

N=115
m=25.2 #hipoteza zerowa mówi, że tyle wynosi moc
sr=26.1 #w pomiarach uzyskaliśmy taką średnią moc
s=3.2 #przy takim odchyleniu standardowym

alfa=0.01

#obliczenie poziomu p
t=(m-sr)/(s/N**0.5)
p = st.t.cdf(t,df=N-1) * 2 #mnozymy przez 2, bo chcemy testu dwustronnego
print("poziom p",p)

#alternatywnie - obliczenie przedziału ufności
lo,hi = st.t.ppf([alfa/2, 1-alfa/2],df=N-1,loc=sr,scale=s/N**0.5)
print("przedzial ufnosci [%.3g,%.3g]"%(lo,hi))
</source>

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

N=50
odp_na_tak=30
odp_na_nie=20

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#(propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy)
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
P=0.5 #prawdopodobieństwo, że respondent udzieli odpowiedzi na 'tak'

#rozwiązanie parametryczne wymaga użycia rozkładu dwumianowego:
p = 1 - st.binom.cdf(29,50,P) #od 1 odejmujemy sumaryczne prawdopodobieństwo wszystkich przypadków udzielenia mniej niż 30 odpowiedzi na tak (czyli do 29 włącznie)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:
Nrand=100000
R=0 #rezultat, czyli liczba przypadków, w których przynajmniej 30 osób odpowiedziało tak
for i in range(Nrand):
odpowiedzi = (rnd.random(N)<P) #losujemy odpowiedzi od N osób
if odpowiedzi.sum() >=odp_na_tak: #jeśli zdażyło się co najmniej 30 odpowiedzi na tak, to dodajemy jeden do liczby takich przypadków
R+=1

print("poziom p (z symulacji)",R/Nrand) #na koniec dzielimy przez liczbę wszystkich sond w symulacji

</source>

===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

# rozwiązanie parametryczne
A = 840
B = 660
N = A+B

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
p_sukces = 0.5

#rozwiązanie parametryczne
p = 1 - st.binom.cdf(A-1,N,p_sukces)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:

#wiemy już, że musimy oszacować bardzo niskie prawdopodobieństwo, zatem symulacja musi być długa
#(gdybyśmy nie wiedzieli, to łatwo byśmy zauważyli, że krótka symulacja nie daje w ogóle zdarzeń sprzyjających dając wynik p=0)
#niestety trzeba pokusić się o optymalizację (mimo to kod będzie się wykonywał kilkadziesiąt sekund do kilku minut):
#chemy mieć przynajmniej 10^7 sond, ale każda sonda to 1500 odpowiedzi, zatem łącznie musimy wylosować 1.5*10^10 liczb
#losowanie w pętli 10^7 razy kolejnych sond po 1500 odpowiedzi zajmie bardzo bardzo dużo czasu
#tablica 1.5*10^10 odpowiedzi wygenerowana jednym poleceniem nie zmieści się w pamięci
#musimy skorzystać z rozwiązania pośredniego
#będziemy losować 100 razy po 1.5*10^8 odpowiedzi i dodamy wyniki

Nrand_1=100 # 10^2
Nrand_2=100000 # 10^5
N = A+B # 1.5*10^3

Nrand_total = Nrand_1*Nrand_2

R=0 #liczba sond, w których kandydat A uzyskał poparcie 840 lub większe
#po każdym przebiegu pętli będziemy dodawać liczbę takich przypadków (jeśli wystąpiły w danej iteracji)

for i in range(Nrand_1):
#w każdej iteracji losujemy odpowiedzi od N osób w Nrand_2 sondach
#iteracji będzie w sumie Nrand_1, co da nam łącznie N osób w Nrand_total sondach
#jako, że zakładamy równe prawdopodobieństwo, to może możemy wylosować tablicę zawierającą tylko 0 i 1
#gdzie 1 oznacza sukces (głos na kandydata A), a 0 porażkę
#korzystając z funksji randint, która zwraca (pseudo)losowe liczby całkowite z zakresu [a,b)
a,b = 0,2
odpowiedzi = rnd.randint(a,b,size=(N,Nrand_2))
S = np.sum(odpowiedzi,axis=0) #wyniki kolejnych sond (sumujemy sukcesy w wierszach)

R+=np.sum(S>=A) #dodajemy liczbę sond, w których kandydat A uzyskał poparcie 840 lub większe (w danej iteracji pętli)

print("poziom p (z symulacji)",R/Nrand_total) #na koniec dzielimy przez liczbę wszystkich sond w symulacji
</source>

===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
za1 = int(0.52*1500)
za2 = int(0.46*1500)
N = 1500

# H0: stosunek się nie zmienił zatem p_za było w obu anlietach takie samo:
p_za = (0.52+0.46)/2

# Jakie jest prawdopodobieństwo zaobserwowoania wyników ankiet o takiej bądź większej
# różnicy głosów za, jeśli obie są zgodne z H0 ?
D = za1 - za2

#musimy zsumować wszystkie możliwości, w których wystąpiła taka różnica lub większa
#zrobimy to w pętli
p_binom = 0.0
for k in range(N-D+1):
p1 = st.binom.pmf(k,N,p_za) # prawdopodobieństwo uzyskania dokładnie k głosów za

# sumujemy prawdopodobieństwa uzyskania liczby głosów różnej przynajmniej o D
przypadki_o_roznicy_przynajmniej_D = np.arange(k+D,N+1)
p2 = np.sum(st.binom.pmf(przypadki_o_roznicy_przynajmniej_D,N,p_za))
#co jest równoważne:
#p2 = 1-st.binom.cdf(k+D-1,N,p_za)

#sumujemy dla kolejnych k
p_binom += p1*p2 # mnożymy prawdopodobieństwa ponieważ są wyniki obu sond są niezależne

p=2*p_binom #mnożymy przez 2, ponieważ robimy test dwustronny (różnica mogła wystąpić również w drugą stronę)
print("p =",p)

# rozwiązanie symulacyjne (tym razem skorzystamy z randsample)
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N*(1-p_za)), np.ones(N*p_za)))

a = np.zeros(N_rep)
for i in range(N_rep):
w1 = np.sum(randsample(H0,N))
w2 = np.sum(randsample(H0,N))
a[i] = np.abs(w1-w2)
p = np.sum(a>=D)/N_rep
print(p)
</source>

===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
wysoki = 135
niski = 470
N = 605
wysoki_zawaly = 10
niski_zawaly = 21
N_zaw = wysoki_zawaly + niski_zawaly

# H0: proporcja zawałowców w obu grupach taka sama:
p_zawalu = N_zaw/N
# H1: proporcja jest różna, test jednostronny (wysoki cholesterol ZWIĘKSZA ryzyko)

# Jakie jest prawdopodobieństwo zaobserwowania wyników badania o takiej bądź większej
# różnicy proporcji zawałów, jeśli obie są zgodne z H0 ?
roznica = wysoki_zawaly/wysoki - niski_zawaly/niski

p_binom = 0.0
for k_wys in range(wysoki+1):
p_wys = st.binom.pmf(k_wys,wysoki,p_zawalu) # prawdopodobieństwo uzyskania k_wys zawałów grupie o liczebności wysoki
for k_nis in range(niski+1):
if k_wys/wysoki - k_nis/niski>=roznica: # czy liczebności k_wys i k_nis dają większą bądź równą różnice proporcji?
p_nis = st.binom.pmf(k_nis,niski,p_zawalu) # prawdopodobieństwo uzyskania k_nis zawałów w grupie o niskim cholesterolu
p_binom += p_wys*p_nis # zdarzenia są niezależne

print(p_binom)

# rozwiązanie symulacyjne
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N-N_zaw), np.ones(N_zaw)))

wyn = np.zeros(N_rep)
for i in range(N_rep):
wysoki_zawaly_r = np.sum(randsample(H0,wysoki))
niski_zawaly_r = np.sum(randsample(H0,niski))
wyn[i] = wysoki_zawaly_r/wysoki - niski_zawaly_r/niski
p = np.sum(wyn>=roznica)/N_rep
print(p)
</source>

===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>

Rozwiązanie:

<source lang=python>
import numpy as np
import itertools as itt
PLANETY = np.array([0.68,0.94,0.71,0.24,0.12])
N=len(PLANETY)

r=[] #używamy listy, bo nie chcemy obliczać ile będzie przypadków (aczkolwiek można to zrobić)

for planety in itt.permutations(PLANETY):
r.append(np.mean(planety[:2])-np.mean(planety[2:]))

R=np.mean(PLANETY[:2])-np.mean(PLANETY[2:]) #prawdziwa różnica

r=np.array(r) #porównanie z liczbą działa tylko dla tablic numpy, a nie dla list

print("p =",np.sum(r>=R)/len(r))
</source>

===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności

PRZED, PO = np.loadtxt('Pomiary_skazen.txt') #wczytanie danych (dwa zbiory przed uruchomieniem i po)

t, p = st.ttest_ind(PRZED, PO) # wykorzystanie gotowej funkcji wykonującej DWUSTRONNY test t na różnicę średnich
# dla danych NIESPAROWANYCH (niezależnych)
# ttest_ind - ind od independent
# ttest_rel - rel od related

p/=2 # dzielimy przez dwa ponieważ chcemy zrobić test jednostronny
print("Poziom p",p)
</source>

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2020-06-16T07:43:15Z

Atartas: /* Elektrownia jądrowa */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Rozwiązanie:

<source lang=python>
#-*- coding:utf-8 -*-
import numpy as np
import scipy.stats as st

N=115
m=25.2 #hipoteza zerowa mówi, że tyle wynosi moc
sr=26.1 #w pomiarach uzyskaliśmy taką średnią moc
s=3.2 #przy takim odchyleniu standardowym

alfa=0.01

#obliczenie poziomu p
t=(m-sr)/(s/N**0.5)
p = st.t.cdf(t,df=N-1) * 2 #mnozymy przez 2, bo chcemy testu dwustronnego
print("poziom p",p)

#alternatywnie - obliczenie przedziału ufności
lo,hi = st.t.ppf([alfa/2, 1-alfa/2],df=N-1,loc=sr,scale=s/N**0.5)
print("przedzial ufnosci [%.3g,%.3g]"%(lo,hi))
</source>
"""
Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

N=50
odp_na_tak=30
odp_na_nie=20

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#(propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy)
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
P=0.5 #prawdopodobieństwo, że respondent udzieli odpowiedzi na 'tak'

#rozwiązanie parametryczne wymaga użycia rozkładu dwumianowego:
p = 1 - st.binom.cdf(29,50,P) #od 1 odejmujemy sumaryczne prawdopodobieństwo wszystkich przypadków udzielenia mniej niż 30 odpowiedzi na tak (czyli do 29 włącznie)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:
Nrand=100000
R=0 #rezultat, czyli liczba przypadków, w których przynajmniej 30 osób odpowiedziało tak
for i in range(Nrand):
odpowiedzi = (rnd.random(N)<P) #losujemy odpowiedzi od N osób
if odpowiedzi.sum() >=odp_na_tak: #jeśli zdażyło się co najmniej 30 odpowiedzi na tak, to dodajemy jeden do liczby takich przypadków
R+=1

print("poziom p (z symulacji)",R/Nrand) #na koniec dzielimy przez liczbę wszystkich sond w symulacji

</source>

===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

# rozwiązanie parametryczne
A = 840
B = 660
N = A+B

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
p_sukces = 0.5

#rozwiązanie parametryczne
p = 1 - st.binom.cdf(A-1,N,p_sukces)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:

#wiemy już, że musimy oszacować bardzo niskie prawdopodobieństwo, zatem symulacja musi być długa
#(gdybyśmy nie wiedzieli, to łatwo byśmy zauważyli, że krótka symulacja nie daje w ogóle zdarzeń sprzyjających dając wynik p=0)
#niestety trzeba pokusić się o optymalizację (mimo to kod będzie się wykonywał kilkadziesiąt sekund do kilku minut):
#chemy mieć przynajmniej 10^7 sond, ale każda sonda to 1500 odpowiedzi, zatem łącznie musimy wylosować 1.5*10^10 liczb
#losowanie w pętli 10^7 razy kolejnych sond po 1500 odpowiedzi zajmie bardzo bardzo dużo czasu
#tablica 1.5*10^10 odpowiedzi wygenerowana jednym poleceniem nie zmieści się w pamięci
#musimy skorzystać z rozwiązania pośredniego
#będziemy losować 100 razy po 1.5*10^8 odpowiedzi i dodamy wyniki

Nrand_1=100 # 10^2
Nrand_2=100000 # 10^5
N = A+B # 1.5*10^3

Nrand_total = Nrand_1*Nrand_2

R=0 #liczba sond, w których kandydat A uzyskał poparcie 840 lub większe
#po każdym przebiegu pętli będziemy dodawać liczbę takich przypadków (jeśli wystąpiły w danej iteracji)

for i in range(Nrand_1):
#w każdej iteracji losujemy odpowiedzi od N osób w Nrand_2 sondach
#iteracji będzie w sumie Nrand_1, co da nam łącznie N osób w Nrand_total sondach
#jako, że zakładamy równe prawdopodobieństwo, to może możemy wylosować tablicę zawierającą tylko 0 i 1
#gdzie 1 oznacza sukces (głos na kandydata A), a 0 porażkę
#korzystając z funksji randint, która zwraca (pseudo)losowe liczby całkowite z zakresu [a,b)
a,b = 0,2
odpowiedzi = rnd.randint(a,b,size=(N,Nrand_2))
S = np.sum(odpowiedzi,axis=0) #wyniki kolejnych sond (sumujemy sukcesy w wierszach)

R+=np.sum(S>=A) #dodajemy liczbę sond, w których kandydat A uzyskał poparcie 840 lub większe (w danej iteracji pętli)

print("poziom p (z symulacji)",R/Nrand_total) #na koniec dzielimy przez liczbę wszystkich sond w symulacji
</source>

===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
za1 = int(0.52*1500)
za2 = int(0.46*1500)
N = 1500

# H0: stosunek się nie zmienił zatem p_za było w obu anlietach takie samo:
p_za = (0.52+0.46)/2

# Jakie jest prawdopodobieństwo zaobserwowoania wyników ankiet o takiej bądź większej
# różnicy głosów za, jeśli obie są zgodne z H0 ?
D = za1 - za2

#musimy zsumować wszystkie możliwości, w których wystąpiła taka różnica lub większa
#zrobimy to w pętli
p_binom = 0.0
for k in range(N-D+1):
p1 = st.binom.pmf(k,N,p_za) # prawdopodobieństwo uzyskania dokładnie k głosów za

# sumujemy prawdopodobieństwa uzyskania liczby głosów różnej przynajmniej o D
przypadki_o_roznicy_przynajmniej_D = np.arange(k+D,N+1)
p2 = np.sum(st.binom.pmf(przypadki_o_roznicy_przynajmniej_D,N,p_za))
#co jest równoważne:
#p2 = 1-st.binom.cdf(k+D-1,N,p_za)

#sumujemy dla kolejnych k
p_binom += p1*p2 # mnożymy prawdopodobieństwa ponieważ są wyniki obu sond są niezależne

p=2*p_binom #mnożymy przez 2, ponieważ robimy test dwustronny (różnica mogła wystąpić również w drugą stronę)
print("p =",p)

# rozwiązanie symulacyjne (tym razem skorzystamy z randsample)
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N*(1-p_za)), np.ones(N*p_za)))

a = np.zeros(N_rep)
for i in range(N_rep):
w1 = np.sum(randsample(H0,N))
w2 = np.sum(randsample(H0,N))
a[i] = np.abs(w1-w2)
p = np.sum(a>=D)/N_rep
print(p)
</source>

===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
wysoki = 135
niski = 470
N = 605
wysoki_zawaly = 10
niski_zawaly = 21
N_zaw = wysoki_zawaly + niski_zawaly

# H0: proporcja zawałowców w obu grupach taka sama:
p_zawalu = N_zaw/N
# H1: proporcja jest różna, test jednostronny (wysoki cholesterol ZWIĘKSZA ryzyko)

# Jakie jest prawdopodobieństwo zaobserwowania wyników badania o takiej bądź większej
# różnicy proporcji zawałów, jeśli obie są zgodne z H0 ?
roznica = wysoki_zawaly/wysoki - niski_zawaly/niski

p_binom = 0.0
for k_wys in range(wysoki+1):
p_wys = st.binom.pmf(k_wys,wysoki,p_zawalu) # prawdopodobieństwo uzyskania k_wys zawałów grupie o liczebności wysoki
for k_nis in range(niski+1):
if k_wys/wysoki - k_nis/niski>=roznica: # czy liczebności k_wys i k_nis dają większą bądź równą różnice proporcji?
p_nis = st.binom.pmf(k_nis,niski,p_zawalu) # prawdopodobieństwo uzyskania k_nis zawałów w grupie o niskim cholesterolu
p_binom += p_wys*p_nis # zdarzenia są niezależne

print(p_binom)

# rozwiązanie symulacyjne
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N-N_zaw), np.ones(N_zaw)))

wyn = np.zeros(N_rep)
for i in range(N_rep):
wysoki_zawaly_r = np.sum(randsample(H0,wysoki))
niski_zawaly_r = np.sum(randsample(H0,niski))
wyn[i] = wysoki_zawaly_r/wysoki - niski_zawaly_r/niski
p = np.sum(wyn>=roznica)/N_rep
print(p)
</source>

===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>

Rozwiązanie:

<source lang=python>
import numpy as np
import itertools as itt
PLANETY = np.array([0.68,0.94,0.71,0.24,0.12])
N=len(PLANETY)

r=[] #używamy listy, bo nie chcemy obliczać ile będzie przypadków (aczkolwiek można to zrobić)

for planety in itt.permutations(PLANETY):
r.append(np.mean(planety[:2])-np.mean(planety[2:]))

R=np.mean(PLANETY[:2])-np.mean(PLANETY[2:]) #prawdziwa różnica

r=np.array(r) #porównanie z liczbą działa tylko dla tablic numpy, a nie dla list

print("p =",np.sum(r>=R)/len(r))
</source>

===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności

PRZED, PO = np.loadtxt('Pomiary_skazen.txt') #wczytanie danych (dwa zbiory przed uruchomieniem i po)

t, p = st.ttest_ind(PRZED, PO) # wykorzystanie gotowej funkcji wykonującej DWUSTRONNY test t na różnicę średnich
# dla danych NIESPAROWANYCH (niezależnych)
# ttest_ind - ind od independent
# ttest_rel - rel od related

p/=2 # dzielimy przez dwa ponieważ chcemy zrobić test jednostronny
print("Poziom p",p)
</source>

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2020-06-16T07:43:10Z

Atartas: /* Zawały serca i cholesterol */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Rozwiązanie:

<source lang=python>
#-*- coding:utf-8 -*-
import numpy as np
import scipy.stats as st

N=115
m=25.2 #hipoteza zerowa mówi, że tyle wynosi moc
sr=26.1 #w pomiarach uzyskaliśmy taką średnią moc
s=3.2 #przy takim odchyleniu standardowym

alfa=0.01

#obliczenie poziomu p
t=(m-sr)/(s/N**0.5)
p = st.t.cdf(t,df=N-1) * 2 #mnozymy przez 2, bo chcemy testu dwustronnego
print("poziom p",p)

#alternatywnie - obliczenie przedziału ufności
lo,hi = st.t.ppf([alfa/2, 1-alfa/2],df=N-1,loc=sr,scale=s/N**0.5)
print("przedzial ufnosci [%.3g,%.3g]"%(lo,hi))
</source>
"""
Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

N=50
odp_na_tak=30
odp_na_nie=20

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#(propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy)
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
P=0.5 #prawdopodobieństwo, że respondent udzieli odpowiedzi na 'tak'

#rozwiązanie parametryczne wymaga użycia rozkładu dwumianowego:
p = 1 - st.binom.cdf(29,50,P) #od 1 odejmujemy sumaryczne prawdopodobieństwo wszystkich przypadków udzielenia mniej niż 30 odpowiedzi na tak (czyli do 29 włącznie)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:
Nrand=100000
R=0 #rezultat, czyli liczba przypadków, w których przynajmniej 30 osób odpowiedziało tak
for i in range(Nrand):
odpowiedzi = (rnd.random(N)<P) #losujemy odpowiedzi od N osób
if odpowiedzi.sum() >=odp_na_tak: #jeśli zdażyło się co najmniej 30 odpowiedzi na tak, to dodajemy jeden do liczby takich przypadków
R+=1

print("poziom p (z symulacji)",R/Nrand) #na koniec dzielimy przez liczbę wszystkich sond w symulacji

</source>

===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

# rozwiązanie parametryczne
A = 840
B = 660
N = A+B

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
p_sukces = 0.5

#rozwiązanie parametryczne
p = 1 - st.binom.cdf(A-1,N,p_sukces)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:

#wiemy już, że musimy oszacować bardzo niskie prawdopodobieństwo, zatem symulacja musi być długa
#(gdybyśmy nie wiedzieli, to łatwo byśmy zauważyli, że krótka symulacja nie daje w ogóle zdarzeń sprzyjających dając wynik p=0)
#niestety trzeba pokusić się o optymalizację (mimo to kod będzie się wykonywał kilkadziesiąt sekund do kilku minut):
#chemy mieć przynajmniej 10^7 sond, ale każda sonda to 1500 odpowiedzi, zatem łącznie musimy wylosować 1.5*10^10 liczb
#losowanie w pętli 10^7 razy kolejnych sond po 1500 odpowiedzi zajmie bardzo bardzo dużo czasu
#tablica 1.5*10^10 odpowiedzi wygenerowana jednym poleceniem nie zmieści się w pamięci
#musimy skorzystać z rozwiązania pośredniego
#będziemy losować 100 razy po 1.5*10^8 odpowiedzi i dodamy wyniki

Nrand_1=100 # 10^2
Nrand_2=100000 # 10^5
N = A+B # 1.5*10^3

Nrand_total = Nrand_1*Nrand_2

R=0 #liczba sond, w których kandydat A uzyskał poparcie 840 lub większe
#po każdym przebiegu pętli będziemy dodawać liczbę takich przypadków (jeśli wystąpiły w danej iteracji)

for i in range(Nrand_1):
#w każdej iteracji losujemy odpowiedzi od N osób w Nrand_2 sondach
#iteracji będzie w sumie Nrand_1, co da nam łącznie N osób w Nrand_total sondach
#jako, że zakładamy równe prawdopodobieństwo, to może możemy wylosować tablicę zawierającą tylko 0 i 1
#gdzie 1 oznacza sukces (głos na kandydata A), a 0 porażkę
#korzystając z funksji randint, która zwraca (pseudo)losowe liczby całkowite z zakresu [a,b)
a,b = 0,2
odpowiedzi = rnd.randint(a,b,size=(N,Nrand_2))
S = np.sum(odpowiedzi,axis=0) #wyniki kolejnych sond (sumujemy sukcesy w wierszach)

R+=np.sum(S>=A) #dodajemy liczbę sond, w których kandydat A uzyskał poparcie 840 lub większe (w danej iteracji pętli)

print("poziom p (z symulacji)",R/Nrand_total) #na koniec dzielimy przez liczbę wszystkich sond w symulacji
</source>

===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
za1 = int(0.52*1500)
za2 = int(0.46*1500)
N = 1500

# H0: stosunek się nie zmienił zatem p_za było w obu anlietach takie samo:
p_za = (0.52+0.46)/2

# Jakie jest prawdopodobieństwo zaobserwowoania wyników ankiet o takiej bądź większej
# różnicy głosów za, jeśli obie są zgodne z H0 ?
D = za1 - za2

#musimy zsumować wszystkie możliwości, w których wystąpiła taka różnica lub większa
#zrobimy to w pętli
p_binom = 0.0
for k in range(N-D+1):
p1 = st.binom.pmf(k,N,p_za) # prawdopodobieństwo uzyskania dokładnie k głosów za

# sumujemy prawdopodobieństwa uzyskania liczby głosów różnej przynajmniej o D
przypadki_o_roznicy_przynajmniej_D = np.arange(k+D,N+1)
p2 = np.sum(st.binom.pmf(przypadki_o_roznicy_przynajmniej_D,N,p_za))
#co jest równoważne:
#p2 = 1-st.binom.cdf(k+D-1,N,p_za)

#sumujemy dla kolejnych k
p_binom += p1*p2 # mnożymy prawdopodobieństwa ponieważ są wyniki obu sond są niezależne

p=2*p_binom #mnożymy przez 2, ponieważ robimy test dwustronny (różnica mogła wystąpić również w drugą stronę)
print("p =",p)

# rozwiązanie symulacyjne (tym razem skorzystamy z randsample)
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N*(1-p_za)), np.ones(N*p_za)))

a = np.zeros(N_rep)
for i in range(N_rep):
w1 = np.sum(randsample(H0,N))
w2 = np.sum(randsample(H0,N))
a[i] = np.abs(w1-w2)
p = np.sum(a>=D)/N_rep
print(p)
</source>

===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
wysoki = 135
niski = 470
N = 605
wysoki_zawaly = 10
niski_zawaly = 21
N_zaw = wysoki_zawaly + niski_zawaly

# H0: proporcja zawałowców w obu grupach taka sama:
p_zawalu = N_zaw/N
# H1: proporcja jest różna, test jednostronny (wysoki cholesterol ZWIĘKSZA ryzyko)

# Jakie jest prawdopodobieństwo zaobserwowania wyników badania o takiej bądź większej
# różnicy proporcji zawałów, jeśli obie są zgodne z H0 ?
roznica = wysoki_zawaly/wysoki - niski_zawaly/niski

p_binom = 0.0
for k_wys in range(wysoki+1):
p_wys = st.binom.pmf(k_wys,wysoki,p_zawalu) # prawdopodobieństwo uzyskania k_wys zawałów grupie o liczebności wysoki
for k_nis in range(niski+1):
if k_wys/wysoki - k_nis/niski>=roznica: # czy liczebności k_wys i k_nis dają większą bądź równą różnice proporcji?
p_nis = st.binom.pmf(k_nis,niski,p_zawalu) # prawdopodobieństwo uzyskania k_nis zawałów w grupie o niskim cholesterolu
p_binom += p_wys*p_nis # zdarzenia są niezależne

print(p_binom)

# rozwiązanie symulacyjne
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N-N_zaw), np.ones(N_zaw)))

wyn = np.zeros(N_rep)
for i in range(N_rep):
wysoki_zawaly_r = np.sum(randsample(H0,wysoki))
niski_zawaly_r = np.sum(randsample(H0,niski))
wyn[i] = wysoki_zawaly_r/wysoki - niski_zawaly_r/niski
p = np.sum(wyn>=roznica)/N_rep
print(p)
</source>

===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>

Rozwiązanie:

<source lang=python>
import numpy as np
import itertools as itt
PLANETY = np.array([0.68,0.94,0.71,0.24,0.12])
N=len(PLANETY)

r=[] #używamy listy, bo nie chcemy obliczać ile będzie przypadków (aczkolwiek można to zrobić)

for planety in itt.permutations(PLANETY):
r.append(np.mean(planety[:2])-np.mean(planety[2:]))

R=np.mean(PLANETY[:2])-np.mean(PLANETY[2:]) #prawdziwa różnica

r=np.array(r) #porównanie z liczbą działa tylko dla tablic numpy, a nie dla list

print("p =",np.sum(r>=R)/len(r))
</source>

===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

WnioskowanieStatystyczne/ Testowanie hipotez

2020-06-16T07:43:05Z

Atartas: /* Czy stosunek do marihuany się zmienił? */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Rozwiązanie:

<source lang=python>
#-*- coding:utf-8 -*-
import numpy as np
import scipy.stats as st

N=115
m=25.2 #hipoteza zerowa mówi, że tyle wynosi moc
sr=26.1 #w pomiarach uzyskaliśmy taką średnią moc
s=3.2 #przy takim odchyleniu standardowym

alfa=0.01

#obliczenie poziomu p
t=(m-sr)/(s/N**0.5)
p = st.t.cdf(t,df=N-1) * 2 #mnozymy przez 2, bo chcemy testu dwustronnego
print("poziom p",p)

#alternatywnie - obliczenie przedziału ufności
lo,hi = st.t.ppf([alfa/2, 1-alfa/2],df=N-1,loc=sr,scale=s/N**0.5)
print("przedzial ufnosci [%.3g,%.3g]"%(lo,hi))
</source>
"""
Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

N=50
odp_na_tak=30
odp_na_nie=20

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#(propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy)
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
P=0.5 #prawdopodobieństwo, że respondent udzieli odpowiedzi na 'tak'

#rozwiązanie parametryczne wymaga użycia rozkładu dwumianowego:
p = 1 - st.binom.cdf(29,50,P) #od 1 odejmujemy sumaryczne prawdopodobieństwo wszystkich przypadków udzielenia mniej niż 30 odpowiedzi na tak (czyli do 29 włącznie)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:
Nrand=100000
R=0 #rezultat, czyli liczba przypadków, w których przynajmniej 30 osób odpowiedziało tak
for i in range(Nrand):
odpowiedzi = (rnd.random(N)<P) #losujemy odpowiedzi od N osób
if odpowiedzi.sum() >=odp_na_tak: #jeśli zdażyło się co najmniej 30 odpowiedzi na tak, to dodajemy jeden do liczby takich przypadków
R+=1

print("poziom p (z symulacji)",R/Nrand) #na koniec dzielimy przez liczbę wszystkich sond w symulacji

</source>

===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

# rozwiązanie parametryczne
A = 840
B = 660
N = A+B

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
p_sukces = 0.5

#rozwiązanie parametryczne
p = 1 - st.binom.cdf(A-1,N,p_sukces)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:

#wiemy już, że musimy oszacować bardzo niskie prawdopodobieństwo, zatem symulacja musi być długa
#(gdybyśmy nie wiedzieli, to łatwo byśmy zauważyli, że krótka symulacja nie daje w ogóle zdarzeń sprzyjających dając wynik p=0)
#niestety trzeba pokusić się o optymalizację (mimo to kod będzie się wykonywał kilkadziesiąt sekund do kilku minut):
#chemy mieć przynajmniej 10^7 sond, ale każda sonda to 1500 odpowiedzi, zatem łącznie musimy wylosować 1.5*10^10 liczb
#losowanie w pętli 10^7 razy kolejnych sond po 1500 odpowiedzi zajmie bardzo bardzo dużo czasu
#tablica 1.5*10^10 odpowiedzi wygenerowana jednym poleceniem nie zmieści się w pamięci
#musimy skorzystać z rozwiązania pośredniego
#będziemy losować 100 razy po 1.5*10^8 odpowiedzi i dodamy wyniki

Nrand_1=100 # 10^2
Nrand_2=100000 # 10^5
N = A+B # 1.5*10^3

Nrand_total = Nrand_1*Nrand_2

R=0 #liczba sond, w których kandydat A uzyskał poparcie 840 lub większe
#po każdym przebiegu pętli będziemy dodawać liczbę takich przypadków (jeśli wystąpiły w danej iteracji)

for i in range(Nrand_1):
#w każdej iteracji losujemy odpowiedzi od N osób w Nrand_2 sondach
#iteracji będzie w sumie Nrand_1, co da nam łącznie N osób w Nrand_total sondach
#jako, że zakładamy równe prawdopodobieństwo, to może możemy wylosować tablicę zawierającą tylko 0 i 1
#gdzie 1 oznacza sukces (głos na kandydata A), a 0 porażkę
#korzystając z funksji randint, która zwraca (pseudo)losowe liczby całkowite z zakresu [a,b)
a,b = 0,2
odpowiedzi = rnd.randint(a,b,size=(N,Nrand_2))
S = np.sum(odpowiedzi,axis=0) #wyniki kolejnych sond (sumujemy sukcesy w wierszach)

R+=np.sum(S>=A) #dodajemy liczbę sond, w których kandydat A uzyskał poparcie 840 lub większe (w danej iteracji pętli)

print("poziom p (z symulacji)",R/Nrand_total) #na koniec dzielimy przez liczbę wszystkich sond w symulacji
</source>

===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?

Rozwiązanie:

<source lang=python>
import scipy.stats as st
import numpy as np

# rozwiązanie parametryczne
za1 = int(0.52*1500)
za2 = int(0.46*1500)
N = 1500

# H0: stosunek się nie zmienił zatem p_za było w obu anlietach takie samo:
p_za = (0.52+0.46)/2

# Jakie jest prawdopodobieństwo zaobserwowoania wyników ankiet o takiej bądź większej
# różnicy głosów za, jeśli obie są zgodne z H0 ?
D = za1 - za2

#musimy zsumować wszystkie możliwości, w których wystąpiła taka różnica lub większa
#zrobimy to w pętli
p_binom = 0.0
for k in range(N-D+1):
p1 = st.binom.pmf(k,N,p_za) # prawdopodobieństwo uzyskania dokładnie k głosów za

# sumujemy prawdopodobieństwa uzyskania liczby głosów różnej przynajmniej o D
przypadki_o_roznicy_przynajmniej_D = np.arange(k+D,N+1)
p2 = np.sum(st.binom.pmf(przypadki_o_roznicy_przynajmniej_D,N,p_za))
#co jest równoważne:
#p2 = 1-st.binom.cdf(k+D-1,N,p_za)

#sumujemy dla kolejnych k
p_binom += p1*p2 # mnożymy prawdopodobieństwa ponieważ są wyniki obu sond są niezależne

p=2*p_binom #mnożymy przez 2, ponieważ robimy test dwustronny (różnica mogła wystąpić również w drugą stronę)
print("p =",p)

# rozwiązanie symulacyjne (tym razem skorzystamy z randsample)
def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

N_rep = 100000
# świat zgodny z H0:
H0 = np.concatenate((np.zeros(N*(1-p_za)), np.ones(N*p_za)))

a = np.zeros(N_rep)
for i in range(N_rep):
w1 = np.sum(randsample(H0,N))
w2 = np.sum(randsample(H0,N))
a[i] = np.abs(w1-w2)
p = np.sum(a>=D)/N_rep
print(p)
</source>

===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?



===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>

Rozwiązanie:

<source lang=python>
import numpy as np
import itertools as itt
PLANETY = np.array([0.68,0.94,0.71,0.24,0.12])
N=len(PLANETY)

r=[] #używamy listy, bo nie chcemy obliczać ile będzie przypadków (aczkolwiek można to zrobić)

for planety in itt.permutations(PLANETY):
r.append(np.mean(planety[:2])-np.mean(planety[2:]))

R=np.mean(PLANETY[:2])-np.mean(PLANETY[2:]) #prawdziwa różnica

r=np.array(r) #porównanie z liczbą działa tylko dla tablic numpy, a nie dla list

print("p =",np.sum(r>=R)/len(r))
</source>

===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

WnioskowanieStatystyczne/ Testowanie hipotez

2020-06-16T07:43:00Z

Atartas: /* Wybory prezydenckie */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5mm. Jeśli wariancja średnicy płytki jest nie większa niż 1mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji ?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

x_c = 55 #cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki.
#Kontrola przeprowadza
N = 100 # pomiarów o różnej porze dnia i roku w promieniu dwóch km. od pewnej fabryki.
#średnia z próby wyniosła
x_s = 60 # cz/m
# a odchylenie standardowe
s = 20 # cz/m.
# Czy dane te są wystarczające by uznać, że fabryka łamie prawo ?
alpha = 0.01

# H0: mu <=x_c
# H1: mu > x_c
# wystarczy sprawdzić jakie jest p dla największego dopuszczalnego stężenia
# mu = x_c zaobserwowania wartości średniej większej bądź równej zaobserwowanej x_s.
# Odchylenie std. dane jest dla populacji i trzeba je przeliczyć na odchylenie std. średniej.
p = 1 - st.t.cdf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

############################
#inne (tożsame) rozwiązania:

##wykorzystaniem "Survival function" zamiast dystrybuanty
p = st.t.sf(x_s, df=N-1, loc = x_c, scale = s/np.sqrt(N) )
print("poziom p",p)

##obliczając statystykę t
t=(x_s-x_c)/(s/N**0.5)
p = 1-st.t.cdf(t,df=N-1)
print("poziom p",p)
</source>

Odp. <math>p=0,007<\alpha</math>, zatem możemy odrzucić hipotezę <math>H_0</math> (głoszącą, że fabryka nie łamie prawa) na poziomie <math>\alpha</math> = 0,01.

===Wzrost mocy turbin===
Turbina hydroelektryczna generuje moc średnią 25,2 kW. Po unowocześnieniu maszyny chcemy przetestować czy średnia moc generowana zmieniła się (na + lub −). Przeprowadzono 115 pomiarów, które dały średnią 26,1 kW i odch. std. 3,2 kW. Przeprowadzić test statystyczny na poziomie istotności 1%, zinterpretować wynik. Wnioskowanie przeprowadzić także w oparciu oprzedział ufności.

Rozwiązanie:

<source lang=python>
#-*- coding:utf-8 -*-
import numpy as np
import scipy.stats as st

N=115
m=25.2 #hipoteza zerowa mówi, że tyle wynosi moc
sr=26.1 #w pomiarach uzyskaliśmy taką średnią moc
s=3.2 #przy takim odchyleniu standardowym

alfa=0.01

#obliczenie poziomu p
t=(m-sr)/(s/N**0.5)
p = st.t.cdf(t,df=N-1) * 2 #mnozymy przez 2, bo chcemy testu dwustronnego
print("poziom p",p)

#alternatywnie - obliczenie przedziału ufności
lo,hi = st.t.ppf([alfa/2, 1-alfa/2],df=N-1,loc=sr,scale=s/N**0.5)
print("przedzial ufnosci [%.3g,%.3g]"%(lo,hi))
</source>
"""
Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

N=50
odp_na_tak=30
odp_na_nie=20

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#(propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy)
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
P=0.5 #prawdopodobieństwo, że respondent udzieli odpowiedzi na 'tak'

#rozwiązanie parametryczne wymaga użycia rozkładu dwumianowego:
p = 1 - st.binom.cdf(29,50,P) #od 1 odejmujemy sumaryczne prawdopodobieństwo wszystkich przypadków udzielenia mniej niż 30 odpowiedzi na tak (czyli do 29 włącznie)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:
Nrand=100000
R=0 #rezultat, czyli liczba przypadków, w których przynajmniej 30 osób odpowiedziało tak
for i in range(Nrand):
odpowiedzi = (rnd.random(N)<P) #losujemy odpowiedzi od N osób
if odpowiedzi.sum() >=odp_na_tak: #jeśli zdażyło się co najmniej 30 odpowiedzi na tak, to dodajemy jeden do liczby takich przypadków
R+=1

print("poziom p (z symulacji)",R/Nrand) #na koniec dzielimy przez liczbę wszystkich sond w symulacji

</source>

===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st
import numpy.random as rnd

# rozwiązanie parametryczne
A = 840
B = 660
N = A+B

#przypadek graniczny, który daje najwyższe prawdopodobieństwo uzyskania fałszywego wyniku na 'tak',
#to mieszkańcy niezdecydowani, czyli propocja 1:1
#propocja przechylona w kierunki 'nie', da nam niższe oszacowanie
#a propocja przechylona w kierunku 'tak' nie oznaczałaby fałszywego wyniku sondy
#zatem hipoteza zerowa brzmi, że nasz wynik pochodzi z populacji niezdecydowanej:
p_sukces = 0.5

#rozwiązanie parametryczne
p = 1 - st.binom.cdf(A-1,N,p_sukces)

print("poziom p (parametrycznie)",p)

#rozwiązanie przez symulację:

#wiemy już, że musimy oszacować bardzo niskie prawdopodobieństwo, zatem symulacja musi być długa
#(gdybyśmy nie wiedzieli, to łatwo byśmy zauważyli, że krótka symulacja nie daje w ogóle zdarzeń sprzyjających dając wynik p=0)
#niestety trzeba pokusić się o optymalizację (mimo to kod będzie się wykonywał kilkadziesiąt sekund do kilku minut):
#chemy mieć przynajmniej 10^7 sond, ale każda sonda to 1500 odpowiedzi, zatem łącznie musimy wylosować 1.5*10^10 liczb
#losowanie w pętli 10^7 razy kolejnych sond po 1500 odpowiedzi zajmie bardzo bardzo dużo czasu
#tablica 1.5*10^10 odpowiedzi wygenerowana jednym poleceniem nie zmieści się w pamięci
#musimy skorzystać z rozwiązania pośredniego
#będziemy losować 100 razy po 1.5*10^8 odpowiedzi i dodamy wyniki

Nrand_1=100 # 10^2
Nrand_2=100000 # 10^5
N = A+B # 1.5*10^3

Nrand_total = Nrand_1*Nrand_2

R=0 #liczba sond, w których kandydat A uzyskał poparcie 840 lub większe
#po każdym przebiegu pętli będziemy dodawać liczbę takich przypadków (jeśli wystąpiły w danej iteracji)

for i in range(Nrand_1):
#w każdej iteracji losujemy odpowiedzi od N osób w Nrand_2 sondach
#iteracji będzie w sumie Nrand_1, co da nam łącznie N osób w Nrand_total sondach
#jako, że zakładamy równe prawdopodobieństwo, to może możemy wylosować tablicę zawierającą tylko 0 i 1
#gdzie 1 oznacza sukces (głos na kandydata A), a 0 porażkę
#korzystając z funksji randint, która zwraca (pseudo)losowe liczby całkowite z zakresu [a,b)
a,b = 0,2
odpowiedzi = rnd.randint(a,b,size=(N,Nrand_2))
S = np.sum(odpowiedzi,axis=0) #wyniki kolejnych sond (sumujemy sukcesy w wierszach)

R+=np.sum(S>=A) #dodajemy liczbę sond, w których kandydat A uzyskał poparcie 840 lub większe (w danej iteracji pętli)

print("poziom p (z symulacji)",R/Nrand_total) #na koniec dzielimy przez liczbę wszystkich sond w symulacji
</source>

===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?



===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>

Rozwiązanie:

<source lang=python>
import numpy as np
import itertools as itt
PLANETY = np.array([0.68,0.94,0.71,0.24,0.12])
N=len(PLANETY)

r=[] #używamy listy, bo nie chcemy obliczać ile będzie przypadków (aczkolwiek można to zrobić)

for planety in itt.permutations(PLANETY):
r.append(np.mean(planety[:2])-np.mean(planety[2:]))

R=np.mean(PLANETY[:2])-np.mean(PLANETY[2:]) #prawdziwa różnica

r=np.array(r) #porównanie z liczbą działa tylko dla tablic numpy, a nie dla list

print("p =",np.sum(r>=R)/len(r))
</source>

===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].