Brain-wiki - Wkład użytkownika [pl]

Pracownia EEG 2/ERDS

2025-12-09T09:58:49Z

Maciek: /* wersja 2 */

[[Pracownia EEG 2|Pracownia EEG 2]] / ERD/S

=Wstęp=
Wśród badań wykonywanych z wykorzystaniem rejestracji EEG czy MEG można wyróżnić badania spoczynkowe, gdzie rejestrowana jest spontaniczna aktywność mózgu oraz badania zmian aktywności pod wpływem różnych bodźców, przy czym bodźce te mogą być pochodzenia egzo- lub endogennego. Reakcja na bodziec może wykazywać stały związek fazowy z momentem wystąpienia bodźca — w takiej sytuacji mówimy o potencjałach lub polach wywołanych (ang. ''event related potential'', ''ERP'' i ''event related field'', ''ERF'') — lub też może nie być fazowo związana z bodźcem.

Niniejsza część pracowni poświęcona jest metodologii badania reakcji mózgu na bodźce, które są czasowo ale niekoniecznie fazowo związane z bodźcem.

=Zmiany pasmowej mocy sygnału EEG=
Pierwsze rezultaty opisujące zmiany w mocy pasmowej sygnału EEG (spadek mocy rytmu alfa) związane z reakcją na bodziec zostały opisane w pracy doktorskiej Adolf Becka zatytułowanej &bdquo;Oznaczenie lokalizacyi w mózgu i rdzeniu za pomocą zjawisk elektrycznych” (Beck, 1891).
Ilościowe badania zjawisk modulacji mocy sygnału EEG w reakcji na bodźce rozpoczęto stosunkowo niedawno. Począwszy od pracy (Pfurtscheller, 1979) zjawiska te zaczęto nazywać ''Event Related Desynchronization'' (ERD) — czyli desynchronizacja związana z bodźcem. Termin ERD dotyczy spadku mocy. Przez analogię w późniejszych pracach terminem ''Event Related Synchronization'' (ERS) opisywane są efekty polegające na wzroście mocy. W większości paradygmatów eksperymentalnych zjawiska ERD i ERS są małe w porównaniu ze zmiennością mocy sygnału EEG związanej ze spontaniczną aktywnością mózgu. W celu ich ilościowego badania wymagane jest zarejestrowanie wielu realizacji reakcji na bodziec i poddanie ich analizie statystycznej.

[[Plik:Paradygmat erds.gif|thumb|800px|center]]
==Interpretacja fizjologiczna==
[[Plik:EEG_synchronicznosc.png|600px|thumb|right|Synchronicznie pobudzana grupa neuronów piramidalnych kory tworzy warstwę dipolową.]]
[[Plik:Mapka_tf_erds.png|600px|thumb|right|Przykładowa mapa zjawiska synchronizacji i desynchronizacji sygnału EEG w przestrzeni czas-częstość dla sygnału zearejestrowanego przez elektrodę C3. Osoba badana wykonywała szybki ruch palcem w momencie oznaczonym 0. Kolory odpowiadają procentowej zmianie mocy względem poprzedzającego okresu 2 s, zgodnie ze skalą barw umieszczoną po prawej stronie. Na poziomej osi — czas w s, na pionowej częstość w Hz.]]
Terminy ERD i ERS mają swoje źródło w fizjologicznej interpretacji zmian mocy sygnału w określonych pasmach częstości. Źródłem mierzalnego na powierzchni głowy sygnału elektrycznego lub magnetycznego jest synchroniczna aktywność wielu neuronów (głównie piramidalnych kory). Szacuje się, że wpływ na wielkość sygnału EEG lub MEG ma głównie stopień synchronizacji neuronów wytwarzających ten sygnał, a w drugiej kolejności ich ilość (Nunez, 1981). Tak więc wzrost mocy w pewnym paśmie (np. alfa ERS) interpretowany jest jako wzrost synchronizacji aktywności neuronów generujących aktywność EEG w tym paśmie, zaś spadek mocy (np. alfa ERD) interpretowany jest jako spadek synchronizacji neuronów generujących aktywność EEG w tym paśmie częstości. Przy takiej interpretacji należy pamiętać o skali w jakiej dokonywany jest pomiar. Zarówno elektrody EEG jak i cewki MEG mierzą sygnały średnie pochodzące od olbrzymich ilości neuronów. Zatem zmiana mocy w tym sygnale odpowiada desynchronizacji lub synchronizacji w skali makroskopowej (rzędu 106-108 neuronów).

Zjawiska ERD i ERS badane były zarówno w eksperymentach motorycznych (Pfurtscheller, 1994, Pfurtscheller, 1996a, Pfurtscheller, 1996b , Pfurtscheller, 1999) jak i kognitywistycznych (Tallon Baudry, 1996, Tallon, 1999, Kaiser, 2003).
Wnioski płynące z tych prac są takie, że znaczenie zjawisk ERD i ERS zależy od pasma częstości, w którym one występują. Aktywność w paśmie alfa wiązana jest ze stanem spoczynkowym, ERD w paśmie alfa i beta wiązane jest z pobudzeniem danego rejonu kory mózgowej, w którym zjawisko to zachodzi. ERS w paśmie alfa i beta następujący po ERD w tym samym paśmie częstości interpretowany jest najczęściej jako przejaw inhibicji lub kasowania poprzedniego stanu. Z kolei zwiększona aktywność w paśmie gamma jest interpretowana jako przejaw funkcjonalnej aktywacji danego fragmentu kory. Nowe wyniki pojawiają się na bieżąco i stawiane są nowe pytania co do możliwych interpretacji poszczególnych zjawisk np. (Crone, 2010).

Oprócz motywacji czysto poznawczych, badania zjawisk ERD i ERS stymulowane są przez praktyczne możliwości ich wykorzystania w diagnostyce epilepsji, gdzie są nadzieje na zastosowanie tej techniki w miejsce bardziej inwazyjnej metody mapowania mózgu przez elektrostymulację (Crone 1998a, Crone, 1998b, Crone, 2006) oraz w konstrukcji interfejsów mózg-komputer (Pfurtscheller, 2006).
[[Plik:Mapowanie.png|thumb|600px|center|Mapowanie kory czuciowo-ruchowej za pomocą stymulacji: dwie falki – bezwolne reakcje ruchowe, trzy falki – kloniczny skurcz mięśni, za Crone, 1998]]
[[Plik:Mapki_ECoG.jpg|thumb|600px|center|Mapowanie kory czuciowo-ruchowej za pomocą ERD/ERS.Pacjent z przyczyn medycznych miał umieszczoną na korze motorycznej siatkę elektrod (6×8, odstęp 1 cm). Pacjent miał zaciskać pięść w odpowiedzi na bodziec wzrokowy przez cały czas trwania bodźca (3 s)
Prezentowane mapy istotnych statystycznie zmian uzyskano na podstawie 49 wolnych od artefaktów realizacji.]]

==Estymacja zmian mocy sygnału EEG w dziedzinie czasu==
Przebieg czasowy zjawiska ERD i ERS jest specyficzny dla pasm częstości.
[[Grafika:ERDS klasycznie_1.png|right|thumb|768px|<figure id="fig:erds_klasycznie"></figure> Klasyczne obliczanie ERD/ERS. a) Przykładowy zapis EEG jednej z ''N'' realizacji b) przefiltrowany sygnał EEG w wybranym paśmie (tutaj: [15 25] Hz) c) przefiltrowany sygnał podniesiony do kwadratu — w ten sposób uzyskujemy przebieg mocy pasmowej w czasie d) uśredniony po realizacjach przebieg mocy pasmowej w czasie e) wygładzony przebieg z d) za pomocą średniej biegnącej (tutaj okienko 0,25 s); czerwone pionowe linie wyznaczają okres referencyjny f) ERD/ERS — względna zmiana sygnału e) w odniesieniu do okresu referencyjnego.]]
Klasyczny sposób estymowania ERD i ERS (Pfurtscheller, 1979) polega na (patrz ilustracja):
*filtrowaniu pasmowym,
*wyrównaniu realizacji względem momentu wystąpienia bodźca,
*obliczaniu mocy chwilowej (podniesienie do kwadratu wartości każdej próbki sygnału),
*uśrednieniu mocy chwilowej po realizacjach, wygładzeniu przebiegu czasowego uśrednionej mocy chwilowej filtrem dolnoprzepustowym.
*Następnie względna zmiana mocy obliczana jest jako:
: <math>\mathrm{ERD/ERS}_f(t) = \frac{P_f(t) - R_f}{R_f} </math>
gdzie:
''P''''f ''(''t'') — średnia moc chwilowa w paśmie częstości ''f''; uśrednianie przebiega po realizacjach.
''R''''f'' — średnia moc w paśmie ''f'' w okresie referencyjnym; uśrednianie przebiega po realizacjach i po czasie trwania okresu referencyjnego.
Klasycznym metodom obliczania ERD/ERS poświęcona jest praca (Pfurtscheller, 1999).
Całościowy obraz zmian mocy sygnału EEG związanych z bodźcem można dogodnie analizować w dziedzinie czas-częstość.

=Cwiczenia=

==Paradygmat ==

===wersja 1===
Osoba badana siedzi wygodnie i trzyma przycisk podłączony do triggera.
Na ekranie w odstępach 13<math>\pm</math>1 sekund wyświetlany jest krzyżyk. Krzyżyk wyświetlany jest przez 2 sekundy. W przeciągu 2 sekund po zniknięciu krzyżyka osoba badana w wybranym przez siebie momencie wciska przycisk. Proszę zarejestrować 60 realizacji.

Przygotuj program implementujący powyższy paradygmat.

===wersja 2===
Próba rozróżnienia ruchów lewą i prawą ręką — jak w BCI; na podstawie artykułu [[file:ERDS.BCI.TNSRE2012.pdf]], oczywiście w uproszczonej wersji :-)

Procedura:

Osoba badana ma za zadanie poruszać palcami (wskazującym oraz środkowym) prawej lub lewej ręki. Na ekranie monitora pojawia się strzałka, która widoczna jest przez okres 3 sek. i wskazuje rękę, którą będzie wykonywany ruch. Osoba badana ma ruszyć wskazaną ręką w wybranym przez siebie momencie PO zniknięciu strzałki.
Dla każdej ręki przewidziane jest 100 powtórzeń. W celu synchronizacji sygnału EEG ze wskazówkami pojawiającymi się na ekranie monitora, w lewym dolnym rogu (gdzie pojawia się biały kwadrat) powinna zostać umieszczona fotodioda.

Rejestracja sygnału:

Wykorzystujemy następujące elektrody umieszczone zgodnie z systemem 10-10: FC3, FC1, FCz, FC2, FC4, C5, C3, C1, Cz, C2, C4, C6, CP5, CP3, CP1, CPz, CP2, CP4, CP6, P1, P2, A1, A2. Dodatkowo wykonujemy pomiar z mięśnia extensor digitorum. W tym celu na obu rękach umieszczamy elektrody bipolarne do EMG (patrz Fig. 1 (elektroda ED3): http://jn.physiology.org/content/100/6/3225.long). Sygnał rejestrujemy z częstością 512 Hz.

Procedura może zostać pobrana ze stony: https://github.com/mroja/signal_utils/tree/master/erds/arrows.

===wersja 3===
Osoba ma za zadanie ruszać ręką prawą/lewą/nogą lub wyobrażać sobie ruch prawą/lewą/nogą.W bloku pierwszym powienien być ruch, w drugim wyobrażenie. Na ekranie powinna zostać wyświetlona instrukcja, w której opisany jest cel badania. Następnie rozpoczyna się blok prób, w trakcie poszczególnej próby wyświetlane jest polecenie: &bdquo;Rusz ręką”/&bdquo;Wyobraź sobie ruch ręką” na 1 s, następnie 5 s przerwy (pusty ekran). Każde polecenie powinno być powtórzone 80 razy.

W trakcie procedury powinien być zbierany sygnał EEG oraz EMG palca. Wykorzystujemy następujące elektrody EEG umieszczone zgodnie z systemem 10-10: FC3, FC1, FCz, FC2, FC4, C5, C3, C1, Cz, C2, C4, C6, CP5, CP3, CP1, CPz, CP2, CP4, CP6, P1, P2, A1, A2. częstość próbkowania: min. 256 Hz.




==Analiza==
Poniższą analizę zastosuj dla sygnałów w referencji do uśrednionych odprowadzeń usznych A1 i A2.

===Wyznaczenie pasma μ i β===
# Z sygnału wycinamy fragmenty od −3 do −1 sek. dla elektrod C3, C4 i Cz (elektrody położone nad korą ruchową dłoni/nogi).
# Dla każdej realizacji obliczamy widma metodą Welcha.
# Otrzymane widma uśredniamy po realizacjach.
# Z sygnału wycinamy fragmenty od +0,5 do +2,5 sek. dla elektrod C3, C4 i Cz (elektrody położone nad korą ruchową dłoni/nogi).
# Dla każdej realizacji obliczamy widma metodą Welcha.
# Otrzymane widma uśredniamy po realizacjach.
# Wykreśl widma z okresu poprzedzającego ruch i z okresu po ruchu nałożone na siebie, a także względną zmianę widma. Zaobserwuj w jakich zakresach częstości μ (pasmo około 10 Hz) i β (około 23 Hz) występują największe zmiany.
#Dla wersji 3 — te same operacje wykonaj dla warunku wyobrażonego ruchu — w pierwszym kroku należy ocenić na podstawie sygnału EMG, czy został wykonany ruch — jeśli tak — próbę taką należy usunąć z analiz. Jako punkt 0 będziemy brać początek polecenia na podstawie tagów.

===Wyznaczenie przebiegu czasowego ERD i ERS ===
# Zaprojektuj filtry pasmowo przepustowe (Chebyszewa 2 rodzaju) zgodne z wyznaczonymi pasmami. Zbadaj funkcje przenoszenia i odpowiedzi impulsowej.
# Powycinaj sygnały od −3 do +3 sekund (wszystkie kanały). Przefiltruj każdą realizację.
# Oblicz moc chwilową za pomocą transformaty Hilberta (kwadrat amplitudy chwilowej).
# Uśrednij moc chwilową po realizacjach.
# Oblicz względną zmianę mocy chwilowej względem czasu −3 do −1. W ten sposób otrzymasz przebieg ERD i ERS w czasie.
# Wykreśl ERD i ERS w układzie topograficznym. (Rozmieść subploty tak, aby z w przybliżeniu odpowiadały pozycjom elektrod).

===Wyznaczenie przebiegu czasowego ERD i ERS wersja w roku 2024===
# Zaprojektuj filtry pasmowo przepustowe (Chebyszewa 2 rodzaju) zgodne z wyznaczonymi pasmami. Zbadaj funkcje przenoszenia i odpowiedzi impulsowej.
# Przefiltruj wszystkie kanały danych: osobno w pasmie alfa i osobno w pasmie beta.
# Powycinaj realizacje zgodnie położeniem tagów (czas 0 s) od −2 do +4,5 sekund (wszystkie kanały).
# Kolejne etapy analizy wykonujemy osobno dla pasm alfa i beta.
# Oblicz amplitudę chwilową w każdej realizacji za pomocą transformaty Hilberta.
# Oblicz moc chwilową podnosząc amplitudy chwilowe do kwadratu.
# Uśrednij moc chwilową po realizacjach.
# Oblicz moc referencyjną na odcinku −1,5 s do −0,5 s w każdym kanale (można sprawdzić też odcinek −2 s do −0,5 s).
# Oblicz względną zmianę mocy chwilowej — przebieg ERD i ERS w czasie.
# Wykreśl ERD i ERS w układzie topograficznym. (Rozmieść subploty tak, aby z w przybliżeniu odpowiadały pozycjom elektrod).

===Transformacja Hjortha===
Transformacja Hjortha jest przybliżeniem numerycznym transformacji Laplace'a, czyli drugiej pochodnej przestrzennej.
Obliczamy ją jako różnicę potencjału pomiędzy daną elektrodą i średnią z czterech sąsiednich elektrod.

Proszę przeliczyć potencjały C3, Cz i C4 na montaż Hjortha oraz powtórzyć analizę ERD/ERS opisaną powyżej.
Przykładowo dla elektrody C3 montaż Hjortha <math>\mathrm{C3_H}</math> otrzymuje się w następujący sposób:
<math>\mathrm{C3_H = C3 - \frac{1}{4}(T3+F3+Cz+P3)}</math>

=Literatura=
* Beck, A., 1891. Oznaczenie lokalizacyi w mózgu i rdzeniu za pomoca zjawisk elektrycznych. Ph.D. thesis, Polska Akademia Umiejętności, Kraków, seria II.
* Crone, N. E., Miglioretti, D. L., Gordon, B., Lesser, R. P., 1998a. Functional mapping of human sensorimotor cortex with electrocorticigraphic spectral analysis II. Event-related synchronization in the gamma band. Brain 121, 2301–15.
* Crone, N. E., Miglioretti, D. L., Gordon, B., Sieracki, J. M., Wilson, M. T., Uematsu, S., 1998b. Functional mapping of human sensorimotor cortex with electrocorticographic spectral analysis I. Alpha and beta event-related desynchronization. Brain 121, 2271–99.
* Crone, N. E., Korzeniewska, A., Franaszczuk, P. J., 2010. Cortical gamma responses: Searching high and low. International Journal of Psychophysiology.
*Crone, N. E., Sinai, A., Korzeniewska, A., 2006. High-frequency gamma oscilla- tions and human brain mapping with electrocorticography. Progress in Brain Research 159, 275–295.
* Kaiser, J., Lutzenberger, W., 2003. Induced gamma-band activity and human brain function. Neuroscientist 9, 475–84.
* Nunez, P. L., 1981. Electric Fields of the Brain. The Neurophysics of EEG. Oxford University Press, New York.
* Pfurtscheller, G., Aranibar, A., 1979. Evaluation of event-related desyn- chronization (ERD) preceding and following voluntary self-paced movement. Electroencephalography and Clinical Neurophysiology 46, 138–146.
* Pfurtscheller, G., Flotzinger, D., Neuper, C., 1994. Differentiation between finger, toe and tongue movement in man based on 40 Hz EEG. Electroencephalography and Clinical Neurophysiology 90, 456–60.
* Pfurtscheller, G., Lopes da Silva, F. H., 1999. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clinical Neurophysiology 110, 1842–57.
* Pfurtscheller, G., 1999. Quantification of ERD and ERS in the time domain. In: W Pfurtscheller, G., Lopes da Silva, F. H. (Eds.), Event-related desynchroni- zation. Vol. 6. Elsevier, p. 89–105.
* Pfurtscheller, G., Neuper, C., 2006. Future prospects of ERD/ERS in the context of brain-computer interface (BCI) developments. Progress in Brain Research 159, 433–437.
* Pfurtscheller, G., Stancak Jr, A., C., N., 1996a. Post-movement beta synchronization. A correlate of an idling motor area? Electroencephalography and Clinical Neurophysiology 98, 281–93.
* Pfurtscheller, G., Stancak Jr, A., Neuper, C., 1996b. Event-related synchronization (ERS) in the alpha band—an electrophysiological correlate of cortical idling: a review. International Journal of Psychophysiology 24, 39–46.
*Tallon-Baudry, C., Bertrand, O., 1999. Oscillatory gamma activity in humans and its role in object representation. Trends Cogn. Sci. 3, 151–62.
* Tallon-Baudry, C., Bertrand, O., Delpuech, C., Pernier, J., 1996. Stimulus specificity of phase-locked and non-phase-locked 40 Hz visual responses in human. The Journal of Neuroscience 16, 4240–4249.

Pracownia EEG 2/ERDS

2025-12-09T09:54:51Z

Maciek: /* Wyznaczenie pasma μ i β */

[[Pracownia EEG 2|Pracownia EEG 2]] / ERD/S

=Wstęp=
Wśród badań wykonywanych z wykorzystaniem rejestracji EEG czy MEG można wyróżnić badania spoczynkowe, gdzie rejestrowana jest spontaniczna aktywność mózgu oraz badania zmian aktywności pod wpływem różnych bodźców, przy czym bodźce te mogą być pochodzenia egzo- lub endogennego. Reakcja na bodziec może wykazywać stały związek fazowy z momentem wystąpienia bodźca — w takiej sytuacji mówimy o potencjałach lub polach wywołanych (ang. ''event related potential'', ''ERP'' i ''event related field'', ''ERF'') — lub też może nie być fazowo związana z bodźcem.

Niniejsza część pracowni poświęcona jest metodologii badania reakcji mózgu na bodźce, które są czasowo ale niekoniecznie fazowo związane z bodźcem.

=Zmiany pasmowej mocy sygnału EEG=
Pierwsze rezultaty opisujące zmiany w mocy pasmowej sygnału EEG (spadek mocy rytmu alfa) związane z reakcją na bodziec zostały opisane w pracy doktorskiej Adolf Becka zatytułowanej &bdquo;Oznaczenie lokalizacyi w mózgu i rdzeniu za pomocą zjawisk elektrycznych” (Beck, 1891).
Ilościowe badania zjawisk modulacji mocy sygnału EEG w reakcji na bodźce rozpoczęto stosunkowo niedawno. Począwszy od pracy (Pfurtscheller, 1979) zjawiska te zaczęto nazywać ''Event Related Desynchronization'' (ERD) — czyli desynchronizacja związana z bodźcem. Termin ERD dotyczy spadku mocy. Przez analogię w późniejszych pracach terminem ''Event Related Synchronization'' (ERS) opisywane są efekty polegające na wzroście mocy. W większości paradygmatów eksperymentalnych zjawiska ERD i ERS są małe w porównaniu ze zmiennością mocy sygnału EEG związanej ze spontaniczną aktywnością mózgu. W celu ich ilościowego badania wymagane jest zarejestrowanie wielu realizacji reakcji na bodziec i poddanie ich analizie statystycznej.

[[Plik:Paradygmat erds.gif|thumb|800px|center]]
==Interpretacja fizjologiczna==
[[Plik:EEG_synchronicznosc.png|600px|thumb|right|Synchronicznie pobudzana grupa neuronów piramidalnych kory tworzy warstwę dipolową.]]
[[Plik:Mapka_tf_erds.png|600px|thumb|right|Przykładowa mapa zjawiska synchronizacji i desynchronizacji sygnału EEG w przestrzeni czas-częstość dla sygnału zearejestrowanego przez elektrodę C3. Osoba badana wykonywała szybki ruch palcem w momencie oznaczonym 0. Kolory odpowiadają procentowej zmianie mocy względem poprzedzającego okresu 2 s, zgodnie ze skalą barw umieszczoną po prawej stronie. Na poziomej osi — czas w s, na pionowej częstość w Hz.]]
Terminy ERD i ERS mają swoje źródło w fizjologicznej interpretacji zmian mocy sygnału w określonych pasmach częstości. Źródłem mierzalnego na powierzchni głowy sygnału elektrycznego lub magnetycznego jest synchroniczna aktywność wielu neuronów (głównie piramidalnych kory). Szacuje się, że wpływ na wielkość sygnału EEG lub MEG ma głównie stopień synchronizacji neuronów wytwarzających ten sygnał, a w drugiej kolejności ich ilość (Nunez, 1981). Tak więc wzrost mocy w pewnym paśmie (np. alfa ERS) interpretowany jest jako wzrost synchronizacji aktywności neuronów generujących aktywność EEG w tym paśmie, zaś spadek mocy (np. alfa ERD) interpretowany jest jako spadek synchronizacji neuronów generujących aktywność EEG w tym paśmie częstości. Przy takiej interpretacji należy pamiętać o skali w jakiej dokonywany jest pomiar. Zarówno elektrody EEG jak i cewki MEG mierzą sygnały średnie pochodzące od olbrzymich ilości neuronów. Zatem zmiana mocy w tym sygnale odpowiada desynchronizacji lub synchronizacji w skali makroskopowej (rzędu 106-108 neuronów).

Zjawiska ERD i ERS badane były zarówno w eksperymentach motorycznych (Pfurtscheller, 1994, Pfurtscheller, 1996a, Pfurtscheller, 1996b , Pfurtscheller, 1999) jak i kognitywistycznych (Tallon Baudry, 1996, Tallon, 1999, Kaiser, 2003).
Wnioski płynące z tych prac są takie, że znaczenie zjawisk ERD i ERS zależy od pasma częstości, w którym one występują. Aktywność w paśmie alfa wiązana jest ze stanem spoczynkowym, ERD w paśmie alfa i beta wiązane jest z pobudzeniem danego rejonu kory mózgowej, w którym zjawisko to zachodzi. ERS w paśmie alfa i beta następujący po ERD w tym samym paśmie częstości interpretowany jest najczęściej jako przejaw inhibicji lub kasowania poprzedniego stanu. Z kolei zwiększona aktywność w paśmie gamma jest interpretowana jako przejaw funkcjonalnej aktywacji danego fragmentu kory. Nowe wyniki pojawiają się na bieżąco i stawiane są nowe pytania co do możliwych interpretacji poszczególnych zjawisk np. (Crone, 2010).

Oprócz motywacji czysto poznawczych, badania zjawisk ERD i ERS stymulowane są przez praktyczne możliwości ich wykorzystania w diagnostyce epilepsji, gdzie są nadzieje na zastosowanie tej techniki w miejsce bardziej inwazyjnej metody mapowania mózgu przez elektrostymulację (Crone 1998a, Crone, 1998b, Crone, 2006) oraz w konstrukcji interfejsów mózg-komputer (Pfurtscheller, 2006).
[[Plik:Mapowanie.png|thumb|600px|center|Mapowanie kory czuciowo-ruchowej za pomocą stymulacji: dwie falki – bezwolne reakcje ruchowe, trzy falki – kloniczny skurcz mięśni, za Crone, 1998]]
[[Plik:Mapki_ECoG.jpg|thumb|600px|center|Mapowanie kory czuciowo-ruchowej za pomocą ERD/ERS.Pacjent z przyczyn medycznych miał umieszczoną na korze motorycznej siatkę elektrod (6×8, odstęp 1 cm). Pacjent miał zaciskać pięść w odpowiedzi na bodziec wzrokowy przez cały czas trwania bodźca (3 s)
Prezentowane mapy istotnych statystycznie zmian uzyskano na podstawie 49 wolnych od artefaktów realizacji.]]

==Estymacja zmian mocy sygnału EEG w dziedzinie czasu==
Przebieg czasowy zjawiska ERD i ERS jest specyficzny dla pasm częstości.
[[Grafika:ERDS klasycznie_1.png|right|thumb|768px|<figure id="fig:erds_klasycznie"></figure> Klasyczne obliczanie ERD/ERS. a) Przykładowy zapis EEG jednej z ''N'' realizacji b) przefiltrowany sygnał EEG w wybranym paśmie (tutaj: [15 25] Hz) c) przefiltrowany sygnał podniesiony do kwadratu — w ten sposób uzyskujemy przebieg mocy pasmowej w czasie d) uśredniony po realizacjach przebieg mocy pasmowej w czasie e) wygładzony przebieg z d) za pomocą średniej biegnącej (tutaj okienko 0,25 s); czerwone pionowe linie wyznaczają okres referencyjny f) ERD/ERS — względna zmiana sygnału e) w odniesieniu do okresu referencyjnego.]]
Klasyczny sposób estymowania ERD i ERS (Pfurtscheller, 1979) polega na (patrz ilustracja):
*filtrowaniu pasmowym,
*wyrównaniu realizacji względem momentu wystąpienia bodźca,
*obliczaniu mocy chwilowej (podniesienie do kwadratu wartości każdej próbki sygnału),
*uśrednieniu mocy chwilowej po realizacjach, wygładzeniu przebiegu czasowego uśrednionej mocy chwilowej filtrem dolnoprzepustowym.
*Następnie względna zmiana mocy obliczana jest jako:
: <math>\mathrm{ERD/ERS}_f(t) = \frac{P_f(t) - R_f}{R_f} </math>
gdzie:
''P''''f ''(''t'') — średnia moc chwilowa w paśmie częstości ''f''; uśrednianie przebiega po realizacjach.
''R''''f'' — średnia moc w paśmie ''f'' w okresie referencyjnym; uśrednianie przebiega po realizacjach i po czasie trwania okresu referencyjnego.
Klasycznym metodom obliczania ERD/ERS poświęcona jest praca (Pfurtscheller, 1999).
Całościowy obraz zmian mocy sygnału EEG związanych z bodźcem można dogodnie analizować w dziedzinie czas-częstość.

=Cwiczenia=

==Paradygmat ==

===wersja 1===
Osoba badana siedzi wygodnie i trzyma przycisk podłączony do triggera.
Na ekranie w odstępach 13<math>\pm</math>1 sekund wyświetlany jest krzyżyk. Krzyżyk wyświetlany jest przez 2 sekundy. W przeciągu 2 sekund po zniknięciu krzyżyka osoba badana w wybranym przez siebie momencie wciska przycisk. Proszę zarejestrować 60 realizacji.

Przygotuj program implementujący powyższy paradygmat.

===wersja 2===
Próba rozróżnienia ruchów lewą i prawą ręką — jak w BCI; na podstawie artykułu [[file:ERDS.BCI.TNSRE2012.pdf]], oczywiście w uproszczonej wersji :-)

Procedura:

Osoba badana ma za zadanie poruszać palcami (wskazującym oraz środkowym) prawej lub lewej ręki. Na ekranie monitora pojawia się strzałka, która widoczna jest przez okres 3 sek. i wskazuje rękę, którą będzie wykonywany ruch. Osoba badana ma ruszyć wskazaną ręką w wybranym przez siebie momencie PO zniknięciu strzałki.
Dla każdej ręki przewidziane jest 100 powtórzeń. W celu synchronizacji sygnału EEG ze wskazówkami pojawiającymi się na ekranie monitora, w lewym dolnym rogu (gdzie pojawia się biały kwadrat) powinna zostać umieszczona fotodioda.

Rejestracja sygnału:

Wykorzystujemy następujące elektrody umieszczone zgodnie z systemem 10--10: FC3, FC1, FCz, FC2, FC4, C5, C3, C1, Cz, C2, C4, C6, CP5, CP3, CP1, CPz, CP2, CP4, CP6, P1, P2, A1, A2. Dodatkowo wykonujemy pomiar z mięśnia extensor digitorum. W tym celu na obu rękach umieszczamy elektrody bipolarne do EMG (patrz Fig. 1 (elektroda ED3): http://jn.physiology.org/content/100/6/3225.long). Sygnał rejestrujemy z częstością 512 Hz.

Procedura może zostać pobrana ze stony: https://github.com/mroja/signal_utils/tree/master/erds/arrows.

===wersja 3===
Osoba ma za zadanie ruszać ręką prawą/lewą/nogą lub wyobrażać sobie ruch prawą/lewą/nogą.W bloku pierwszym powienien być ruch, w drugim wyobrażenie. Na ekranie powinna zostać wyświetlona instrukcja, w której opisany jest cel badania. Następnie rozpoczyna się blok prób, w trakcie poszczególnej próby wyświetlane jest polecenie: &bdquo;Rusz ręką”/&bdquo;Wyobraź sobie ruch ręką” na 1 s, następnie 5 s przerwy (pusty ekran). Każde polecenie powinno być powtórzone 80 razy.

W trakcie procedury powinien być zbierany sygnał EEG oraz EMG palca. Wykorzystujemy następujące elektrody EEG umieszczone zgodnie z systemem 10-10: FC3, FC1, FCz, FC2, FC4, C5, C3, C1, Cz, C2, C4, C6, CP5, CP3, CP1, CPz, CP2, CP4, CP6, P1, P2, A1, A2. częstość próbkowania: min. 256 Hz.




==Analiza==
Poniższą analizę zastosuj dla sygnałów w referencji do uśrednionych odprowadzeń usznych A1 i A2.

===Wyznaczenie pasma μ i β===
# Z sygnału wycinamy fragmenty od −3 do −1 sek. dla elektrod C3, C4 i Cz (elektrody położone nad korą ruchową dłoni/nogi).
# Dla każdej realizacji obliczamy widma metodą Welcha.
# Otrzymane widma uśredniamy po realizacjach.
# Z sygnału wycinamy fragmenty od +0,5 do +2,5 sek. dla elektrod C3, C4 i Cz (elektrody położone nad korą ruchową dłoni/nogi).
# Dla każdej realizacji obliczamy widma metodą Welcha.
# Otrzymane widma uśredniamy po realizacjach.
# Wykreśl widma z okresu poprzedzającego ruch i z okresu po ruchu nałożone na siebie, a także względną zmianę widma. Zaobserwuj w jakich zakresach częstości μ (pasmo około 10 Hz) i β (około 23 Hz) występują największe zmiany.
#Dla wersji 3 — te same operacje wykonaj dla warunku wyobrażonego ruchu — w pierwszym kroku należy ocenić na podstawie sygnału EMG, czy został wykonany ruch — jeśli tak — próbę taką należy usunąć z analiz. Jako punkt 0 będziemy brać początek polecenia na podstawie tagów.

===Wyznaczenie przebiegu czasowego ERD i ERS ===
# Zaprojektuj filtry pasmowo przepustowe (Chebyszewa 2 rodzaju) zgodne z wyznaczonymi pasmami. Zbadaj funkcje przenoszenia i odpowiedzi impulsowej.
# Powycinaj sygnały od −3 do +3 sekund (wszystkie kanały). Przefiltruj każdą realizację.
# Oblicz moc chwilową za pomocą transformaty Hilberta (kwadrat amplitudy chwilowej).
# Uśrednij moc chwilową po realizacjach.
# Oblicz względną zmianę mocy chwilowej względem czasu −3 do −1. W ten sposób otrzymasz przebieg ERD i ERS w czasie.
# Wykreśl ERD i ERS w układzie topograficznym. (Rozmieść subploty tak, aby z w przybliżeniu odpowiadały pozycjom elektrod).

===Wyznaczenie przebiegu czasowego ERD i ERS wersja w roku 2024===
# Zaprojektuj filtry pasmowo przepustowe (Chebyszewa 2 rodzaju) zgodne z wyznaczonymi pasmami. Zbadaj funkcje przenoszenia i odpowiedzi impulsowej.
# Przefiltruj wszystkie kanały danych: osobno w pasmie alfa i osobno w pasmie beta.
# Powycinaj realizacje zgodnie położeniem tagów (czas 0 s) od −2 do +4,5 sekund (wszystkie kanały).
# Kolejne etapy analizy wykonujemy osobno dla pasm alfa i beta.
# Oblicz amplitudę chwilową w każdej realizacji za pomocą transformaty Hilberta.
# Oblicz moc chwilową podnosząc amplitudy chwilowe do kwadratu.
# Uśrednij moc chwilową po realizacjach.
# Oblicz moc referencyjną na odcinku −1,5 s do −0,5 s w każdym kanale (można sprawdzić też odcinek −2 s do −0,5 s).
# Oblicz względną zmianę mocy chwilowej — przebieg ERD i ERS w czasie.
# Wykreśl ERD i ERS w układzie topograficznym. (Rozmieść subploty tak, aby z w przybliżeniu odpowiadały pozycjom elektrod).

===Transformacja Hjortha===
Transformacja Hjortha jest przybliżeniem numerycznym transformacji Laplace'a, czyli drugiej pochodnej przestrzennej.
Obliczamy ją jako różnicę potencjału pomiędzy daną elektrodą i średnią z czterech sąsiednich elektrod.

Proszę przeliczyć potencjały C3, Cz i C4 na montaż Hjortha oraz powtórzyć analizę ERD/ERS opisaną powyżej.
Przykładowo dla elektrody C3 montaż Hjortha <math>\mathrm{C3_H}</math> otrzymuje się w następujący sposób:
<math>\mathrm{C3_H = C3 - \frac{1}{4}(T3+F3+Cz+P3)}</math>

=Literatura=
* Beck, A., 1891. Oznaczenie lokalizacyi w mózgu i rdzeniu za pomoca zjawisk elektrycznych. Ph.D. thesis, Polska Akademia Umiejętności, Kraków, seria II.
* Crone, N. E., Miglioretti, D. L., Gordon, B., Lesser, R. P., 1998a. Functional mapping of human sensorimotor cortex with electrocorticigraphic spectral analysis II. Event-related synchronization in the gamma band. Brain 121, 2301–15.
* Crone, N. E., Miglioretti, D. L., Gordon, B., Sieracki, J. M., Wilson, M. T., Uematsu, S., 1998b. Functional mapping of human sensorimotor cortex with electrocorticographic spectral analysis I. Alpha and beta event-related desynchronization. Brain 121, 2271–99.
* Crone, N. E., Korzeniewska, A., Franaszczuk, P. J., 2010. Cortical gamma responses: Searching high and low. International Journal of Psychophysiology.
*Crone, N. E., Sinai, A., Korzeniewska, A., 2006. High-frequency gamma oscilla- tions and human brain mapping with electrocorticography. Progress in Brain Research 159, 275–295.
* Kaiser, J., Lutzenberger, W., 2003. Induced gamma-band activity and human brain function. Neuroscientist 9, 475–84.
* Nunez, P. L., 1981. Electric Fields of the Brain. The Neurophysics of EEG. Oxford University Press, New York.
* Pfurtscheller, G., Aranibar, A., 1979. Evaluation of event-related desyn- chronization (ERD) preceding and following voluntary self-paced movement. Electroencephalography and Clinical Neurophysiology 46, 138–146.
* Pfurtscheller, G., Flotzinger, D., Neuper, C., 1994. Differentiation between finger, toe and tongue movement in man based on 40 Hz EEG. Electroencephalography and Clinical Neurophysiology 90, 456–60.
* Pfurtscheller, G., Lopes da Silva, F. H., 1999. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clinical Neurophysiology 110, 1842–57.
* Pfurtscheller, G., 1999. Quantification of ERD and ERS in the time domain. In: W Pfurtscheller, G., Lopes da Silva, F. H. (Eds.), Event-related desynchroni- zation. Vol. 6. Elsevier, p. 89–105.
* Pfurtscheller, G., Neuper, C., 2006. Future prospects of ERD/ERS in the context of brain-computer interface (BCI) developments. Progress in Brain Research 159, 433–437.
* Pfurtscheller, G., Stancak Jr, A., C., N., 1996a. Post-movement beta synchronization. A correlate of an idling motor area? Electroencephalography and Clinical Neurophysiology 98, 281–93.
* Pfurtscheller, G., Stancak Jr, A., Neuper, C., 1996b. Event-related synchronization (ERS) in the alpha band—an electrophysiological correlate of cortical idling: a review. International Journal of Psychophysiology 24, 39–46.
*Tallon-Baudry, C., Bertrand, O., 1999. Oscillatory gamma activity in humans and its role in object representation. Trends Cogn. Sci. 3, 151–62.
* Tallon-Baudry, C., Bertrand, O., Delpuech, C., Pernier, J., 1996. Stimulus specificity of phase-locked and non-phase-locked 40 Hz visual responses in human. The Journal of Neuroscience 16, 4240–4249.

Pracownia EEG 2/ERDS

2025-12-09T09:52:11Z

Maciek: /* Analiza */

[[Pracownia EEG 2|Pracownia EEG 2]] / ERD/S

=Wstęp=
Wśród badań wykonywanych z wykorzystaniem rejestracji EEG czy MEG można wyróżnić badania spoczynkowe, gdzie rejestrowana jest spontaniczna aktywność mózgu oraz badania zmian aktywności pod wpływem różnych bodźców, przy czym bodźce te mogą być pochodzenia egzo- lub endogennego. Reakcja na bodziec może wykazywać stały związek fazowy z momentem wystąpienia bodźca — w takiej sytuacji mówimy o potencjałach lub polach wywołanych (ang. ''event related potential'', ''ERP'' i ''event related field'', ''ERF'') — lub też może nie być fazowo związana z bodźcem.

Niniejsza część pracowni poświęcona jest metodologii badania reakcji mózgu na bodźce, które są czasowo ale niekoniecznie fazowo związane z bodźcem.

=Zmiany pasmowej mocy sygnału EEG=
Pierwsze rezultaty opisujące zmiany w mocy pasmowej sygnału EEG (spadek mocy rytmu alfa) związane z reakcją na bodziec zostały opisane w pracy doktorskiej Adolf Becka zatytułowanej &bdquo;Oznaczenie lokalizacyi w mózgu i rdzeniu za pomocą zjawisk elektrycznych” (Beck, 1891).
Ilościowe badania zjawisk modulacji mocy sygnału EEG w reakcji na bodźce rozpoczęto stosunkowo niedawno. Począwszy od pracy (Pfurtscheller, 1979) zjawiska te zaczęto nazywać ''Event Related Desynchronization'' (ERD) — czyli desynchronizacja związana z bodźcem. Termin ERD dotyczy spadku mocy. Przez analogię w późniejszych pracach terminem ''Event Related Synchronization'' (ERS) opisywane są efekty polegające na wzroście mocy. W większości paradygmatów eksperymentalnych zjawiska ERD i ERS są małe w porównaniu ze zmiennością mocy sygnału EEG związanej ze spontaniczną aktywnością mózgu. W celu ich ilościowego badania wymagane jest zarejestrowanie wielu realizacji reakcji na bodziec i poddanie ich analizie statystycznej.

[[Plik:Paradygmat erds.gif|thumb|800px|center]]
==Interpretacja fizjologiczna==
[[Plik:EEG_synchronicznosc.png|600px|thumb|right|Synchronicznie pobudzana grupa neuronów piramidalnych kory tworzy warstwę dipolową.]]
[[Plik:Mapka_tf_erds.png|600px|thumb|right|Przykładowa mapa zjawiska synchronizacji i desynchronizacji sygnału EEG w przestrzeni czas-częstość dla sygnału zearejestrowanego przez elektrodę C3. Osoba badana wykonywała szybki ruch palcem w momencie oznaczonym 0. Kolory odpowiadają procentowej zmianie mocy względem poprzedzającego okresu 2 s, zgodnie ze skalą barw umieszczoną po prawej stronie. Na poziomej osi — czas w s, na pionowej częstość w Hz.]]
Terminy ERD i ERS mają swoje źródło w fizjologicznej interpretacji zmian mocy sygnału w określonych pasmach częstości. Źródłem mierzalnego na powierzchni głowy sygnału elektrycznego lub magnetycznego jest synchroniczna aktywność wielu neuronów (głównie piramidalnych kory). Szacuje się, że wpływ na wielkość sygnału EEG lub MEG ma głównie stopień synchronizacji neuronów wytwarzających ten sygnał, a w drugiej kolejności ich ilość (Nunez, 1981). Tak więc wzrost mocy w pewnym paśmie (np. alfa ERS) interpretowany jest jako wzrost synchronizacji aktywności neuronów generujących aktywność EEG w tym paśmie, zaś spadek mocy (np. alfa ERD) interpretowany jest jako spadek synchronizacji neuronów generujących aktywność EEG w tym paśmie częstości. Przy takiej interpretacji należy pamiętać o skali w jakiej dokonywany jest pomiar. Zarówno elektrody EEG jak i cewki MEG mierzą sygnały średnie pochodzące od olbrzymich ilości neuronów. Zatem zmiana mocy w tym sygnale odpowiada desynchronizacji lub synchronizacji w skali makroskopowej (rzędu 106-108 neuronów).

Zjawiska ERD i ERS badane były zarówno w eksperymentach motorycznych (Pfurtscheller, 1994, Pfurtscheller, 1996a, Pfurtscheller, 1996b , Pfurtscheller, 1999) jak i kognitywistycznych (Tallon Baudry, 1996, Tallon, 1999, Kaiser, 2003).
Wnioski płynące z tych prac są takie, że znaczenie zjawisk ERD i ERS zależy od pasma częstości, w którym one występują. Aktywność w paśmie alfa wiązana jest ze stanem spoczynkowym, ERD w paśmie alfa i beta wiązane jest z pobudzeniem danego rejonu kory mózgowej, w którym zjawisko to zachodzi. ERS w paśmie alfa i beta następujący po ERD w tym samym paśmie częstości interpretowany jest najczęściej jako przejaw inhibicji lub kasowania poprzedniego stanu. Z kolei zwiększona aktywność w paśmie gamma jest interpretowana jako przejaw funkcjonalnej aktywacji danego fragmentu kory. Nowe wyniki pojawiają się na bieżąco i stawiane są nowe pytania co do możliwych interpretacji poszczególnych zjawisk np. (Crone, 2010).

Oprócz motywacji czysto poznawczych, badania zjawisk ERD i ERS stymulowane są przez praktyczne możliwości ich wykorzystania w diagnostyce epilepsji, gdzie są nadzieje na zastosowanie tej techniki w miejsce bardziej inwazyjnej metody mapowania mózgu przez elektrostymulację (Crone 1998a, Crone, 1998b, Crone, 2006) oraz w konstrukcji interfejsów mózg-komputer (Pfurtscheller, 2006).
[[Plik:Mapowanie.png|thumb|600px|center|Mapowanie kory czuciowo-ruchowej za pomocą stymulacji: dwie falki – bezwolne reakcje ruchowe, trzy falki – kloniczny skurcz mięśni, za Crone, 1998]]
[[Plik:Mapki_ECoG.jpg|thumb|600px|center|Mapowanie kory czuciowo-ruchowej za pomocą ERD/ERS.Pacjent z przyczyn medycznych miał umieszczoną na korze motorycznej siatkę elektrod (6×8, odstęp 1 cm). Pacjent miał zaciskać pięść w odpowiedzi na bodziec wzrokowy przez cały czas trwania bodźca (3 s)
Prezentowane mapy istotnych statystycznie zmian uzyskano na podstawie 49 wolnych od artefaktów realizacji.]]

==Estymacja zmian mocy sygnału EEG w dziedzinie czasu==
Przebieg czasowy zjawiska ERD i ERS jest specyficzny dla pasm częstości.
[[Grafika:ERDS klasycznie_1.png|right|thumb|768px|<figure id="fig:erds_klasycznie"></figure> Klasyczne obliczanie ERD/ERS. a) Przykładowy zapis EEG jednej z ''N'' realizacji b) przefiltrowany sygnał EEG w wybranym paśmie (tutaj: [15 25] Hz) c) przefiltrowany sygnał podniesiony do kwadratu — w ten sposób uzyskujemy przebieg mocy pasmowej w czasie d) uśredniony po realizacjach przebieg mocy pasmowej w czasie e) wygładzony przebieg z d) za pomocą średniej biegnącej (tutaj okienko 0,25 s); czerwone pionowe linie wyznaczają okres referencyjny f) ERD/ERS — względna zmiana sygnału e) w odniesieniu do okresu referencyjnego.]]
Klasyczny sposób estymowania ERD i ERS (Pfurtscheller, 1979) polega na (patrz ilustracja):
*filtrowaniu pasmowym,
*wyrównaniu realizacji względem momentu wystąpienia bodźca,
*obliczaniu mocy chwilowej (podniesienie do kwadratu wartości każdej próbki sygnału),
*uśrednieniu mocy chwilowej po realizacjach, wygładzeniu przebiegu czasowego uśrednionej mocy chwilowej filtrem dolnoprzepustowym.
*Następnie względna zmiana mocy obliczana jest jako:
: <math>\mathrm{ERD/ERS}_f(t) = \frac{P_f(t) - R_f}{R_f} </math>
gdzie:
''P''''f ''(''t'') — średnia moc chwilowa w paśmie częstości ''f''; uśrednianie przebiega po realizacjach.
''R''''f'' — średnia moc w paśmie ''f'' w okresie referencyjnym; uśrednianie przebiega po realizacjach i po czasie trwania okresu referencyjnego.
Klasycznym metodom obliczania ERD/ERS poświęcona jest praca (Pfurtscheller, 1999).
Całościowy obraz zmian mocy sygnału EEG związanych z bodźcem można dogodnie analizować w dziedzinie czas-częstość.

=Cwiczenia=

==Paradygmat ==

===wersja 1===
Osoba badana siedzi wygodnie i trzyma przycisk podłączony do triggera.
Na ekranie w odstępach 13<math>\pm</math>1 sekund wyświetlany jest krzyżyk. Krzyżyk wyświetlany jest przez 2 sekundy. W przeciągu 2 sekund po zniknięciu krzyżyka osoba badana w wybranym przez siebie momencie wciska przycisk. Proszę zarejestrować 60 realizacji.

Przygotuj program implementujący powyższy paradygmat.

===wersja 2===
Próba rozróżnienia ruchów lewą i prawą ręką — jak w BCI; na podstawie artykułu [[file:ERDS.BCI.TNSRE2012.pdf]], oczywiście w uproszczonej wersji :-)

Procedura:

Osoba badana ma za zadanie poruszać palcami (wskazującym oraz środkowym) prawej lub lewej ręki. Na ekranie monitora pojawia się strzałka, która widoczna jest przez okres 3 sek. i wskazuje rękę, którą będzie wykonywany ruch. Osoba badana ma ruszyć wskazaną ręką w wybranym przez siebie momencie PO zniknięciu strzałki.
Dla każdej ręki przewidziane jest 100 powtórzeń. W celu synchronizacji sygnału EEG ze wskazówkami pojawiającymi się na ekranie monitora, w lewym dolnym rogu (gdzie pojawia się biały kwadrat) powinna zostać umieszczona fotodioda.

Rejestracja sygnału:

Wykorzystujemy następujące elektrody umieszczone zgodnie z systemem 10--10: FC3, FC1, FCz, FC2, FC4, C5, C3, C1, Cz, C2, C4, C6, CP5, CP3, CP1, CPz, CP2, CP4, CP6, P1, P2, A1, A2. Dodatkowo wykonujemy pomiar z mięśnia extensor digitorum. W tym celu na obu rękach umieszczamy elektrody bipolarne do EMG (patrz Fig. 1 (elektroda ED3): http://jn.physiology.org/content/100/6/3225.long). Sygnał rejestrujemy z częstością 512 Hz.

Procedura może zostać pobrana ze stony: https://github.com/mroja/signal_utils/tree/master/erds/arrows.

===wersja 3===
Osoba ma za zadanie ruszać ręką prawą/lewą/nogą lub wyobrażać sobie ruch prawą/lewą/nogą.W bloku pierwszym powienien być ruch, w drugim wyobrażenie. Na ekranie powinna zostać wyświetlona instrukcja, w której opisany jest cel badania. Następnie rozpoczyna się blok prób, w trakcie poszczególnej próby wyświetlane jest polecenie: &bdquo;Rusz ręką”/&bdquo;Wyobraź sobie ruch ręką” na 1 s, następnie 5 s przerwy (pusty ekran). Każde polecenie powinno być powtórzone 80 razy.

W trakcie procedury powinien być zbierany sygnał EEG oraz EMG palca. Wykorzystujemy następujące elektrody EEG umieszczone zgodnie z systemem 10-10: FC3, FC1, FCz, FC2, FC4, C5, C3, C1, Cz, C2, C4, C6, CP5, CP3, CP1, CPz, CP2, CP4, CP6, P1, P2, A1, A2. częstość próbkowania: min. 256 Hz.




==Analiza==
Poniższą analizę zastosuj dla sygnałów w referencji do uśrednionych odprowadzeń usznych A1 i A2.

===Wyznaczenie pasma μ i β===
# Z sygnału wycinamy fragmenty od −3 do −1 sek. dla elektrod C3 i C4 (elektrody położone nad korą ruchową dłoni).
# Dla każdej realizacji obliczamy widma metodą Welcha.
# Otrzymane widma uśredniamy po realizacjach.
# Z sygnału wycinamy fragmenty od +0.5 do +2.5 sek. dla elektrod C3 i C4 (elektrody położone nad korą ruchową dłoni).
# Dla każdej realizacji obliczamy widma metodą Welcha.
# Otrzymane widma uśredniamy po realizacjach.
# Wykreśl widma z okresu poprzedzającego ruch i z okresu po ruchu nałożone na siebie, a także względną zmianę widma. Zaobserwuj w jakich zakresach częstości μ (pasmo około 10 Hz) i β (około 23 Hz) występują największe zmiany.
#Dla wersji 3 - te same operacje wykonaj dla warunku wyobrażonego ruchu - w pierwszym kroku należy ocenić na podstawie sygnału EMG, czy został wykonany ruch - jeśli tak - próbę taką należy usunąć z analiz. Jako punkt 0 będziemy brać początek polecenia na podstawie tagów.

===Wyznaczenie przebiegu czasowego ERD i ERS ===
# Zaprojektuj filtry pasmowo przepustowe (Chebyszewa 2 rodzaju) zgodne z wyznaczonymi pasmami. Zbadaj funkcje przenoszenia i odpowiedzi impulsowej.
# Powycinaj sygnały od −3 do +3 sekund (wszystkie kanały). Przefiltruj każdą realizację.
# Oblicz moc chwilową za pomocą transformaty Hilberta (kwadrat amplitudy chwilowej).
# Uśrednij moc chwilową po realizacjach.
# Oblicz względną zmianę mocy chwilowej względem czasu −3 do −1. W ten sposób otrzymasz przebieg ERD i ERS w czasie.
# Wykreśl ERD i ERS w układzie topograficznym. (Rozmieść subploty tak, aby z w przybliżeniu odpowiadały pozycjom elektrod).

===Wyznaczenie przebiegu czasowego ERD i ERS wersja w roku 2024===
# Zaprojektuj filtry pasmowo przepustowe (Chebyszewa 2 rodzaju) zgodne z wyznaczonymi pasmami. Zbadaj funkcje przenoszenia i odpowiedzi impulsowej.
# Przefiltruj wszystkie kanały danych: osobno w pasmie alfa i osobno w pasmie beta.
# Powycinaj realizacje zgodnie położeniem tagów (czas 0 s) od −2 do +4,5 sekund (wszystkie kanały).
# Kolejne etapy analizy wykonujemy osobno dla pasm alfa i beta.
# Oblicz amplitudę chwilową w każdej realizacji za pomocą transformaty Hilberta.
# Oblicz moc chwilową podnosząc amplitudy chwilowe do kwadratu.
# Uśrednij moc chwilową po realizacjach.
# Oblicz moc referencyjną na odcinku −1,5 s do −0,5 s w każdym kanale (można sprawdzić też odcinek −2 s do −0,5 s).
# Oblicz względną zmianę mocy chwilowej — przebieg ERD i ERS w czasie.
# Wykreśl ERD i ERS w układzie topograficznym. (Rozmieść subploty tak, aby z w przybliżeniu odpowiadały pozycjom elektrod).

===Transformacja Hjortha===
Transformacja Hjortha jest przybliżeniem numerycznym transformacji Laplace'a, czyli drugiej pochodnej przestrzennej.
Obliczamy ją jako różnicę potencjału pomiędzy daną elektrodą i średnią z czterech sąsiednich elektrod.

Proszę przeliczyć potencjały C3, Cz i C4 na montaż Hjortha oraz powtórzyć analizę ERD/ERS opisaną powyżej.
Przykładowo dla elektrody C3 montaż Hjortha <math>\mathrm{C3_H}</math> otrzymuje się w następujący sposób:
<math>\mathrm{C3_H = C3 - \frac{1}{4}(T3+F3+Cz+P3)}</math>

=Literatura=
* Beck, A., 1891. Oznaczenie lokalizacyi w mózgu i rdzeniu za pomoca zjawisk elektrycznych. Ph.D. thesis, Polska Akademia Umiejętności, Kraków, seria II.
* Crone, N. E., Miglioretti, D. L., Gordon, B., Lesser, R. P., 1998a. Functional mapping of human sensorimotor cortex with electrocorticigraphic spectral analysis II. Event-related synchronization in the gamma band. Brain 121, 2301–15.
* Crone, N. E., Miglioretti, D. L., Gordon, B., Sieracki, J. M., Wilson, M. T., Uematsu, S., 1998b. Functional mapping of human sensorimotor cortex with electrocorticographic spectral analysis I. Alpha and beta event-related desynchronization. Brain 121, 2271–99.
* Crone, N. E., Korzeniewska, A., Franaszczuk, P. J., 2010. Cortical gamma responses: Searching high and low. International Journal of Psychophysiology.
*Crone, N. E., Sinai, A., Korzeniewska, A., 2006. High-frequency gamma oscilla- tions and human brain mapping with electrocorticography. Progress in Brain Research 159, 275–295.
* Kaiser, J., Lutzenberger, W., 2003. Induced gamma-band activity and human brain function. Neuroscientist 9, 475–84.
* Nunez, P. L., 1981. Electric Fields of the Brain. The Neurophysics of EEG. Oxford University Press, New York.
* Pfurtscheller, G., Aranibar, A., 1979. Evaluation of event-related desyn- chronization (ERD) preceding and following voluntary self-paced movement. Electroencephalography and Clinical Neurophysiology 46, 138–146.
* Pfurtscheller, G., Flotzinger, D., Neuper, C., 1994. Differentiation between finger, toe and tongue movement in man based on 40 Hz EEG. Electroencephalography and Clinical Neurophysiology 90, 456–60.
* Pfurtscheller, G., Lopes da Silva, F. H., 1999. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clinical Neurophysiology 110, 1842–57.
* Pfurtscheller, G., 1999. Quantification of ERD and ERS in the time domain. In: W Pfurtscheller, G., Lopes da Silva, F. H. (Eds.), Event-related desynchroni- zation. Vol. 6. Elsevier, p. 89–105.
* Pfurtscheller, G., Neuper, C., 2006. Future prospects of ERD/ERS in the context of brain-computer interface (BCI) developments. Progress in Brain Research 159, 433–437.
* Pfurtscheller, G., Stancak Jr, A., C., N., 1996a. Post-movement beta synchronization. A correlate of an idling motor area? Electroencephalography and Clinical Neurophysiology 98, 281–93.
* Pfurtscheller, G., Stancak Jr, A., Neuper, C., 1996b. Event-related synchronization (ERS) in the alpha band—an electrophysiological correlate of cortical idling: a review. International Journal of Psychophysiology 24, 39–46.
*Tallon-Baudry, C., Bertrand, O., 1999. Oscillatory gamma activity in humans and its role in object representation. Trends Cogn. Sci. 3, 151–62.
* Tallon-Baudry, C., Bertrand, O., Delpuech, C., Pernier, J., 1996. Stimulus specificity of phase-locked and non-phase-locked 40 Hz visual responses in human. The Journal of Neuroscience 16, 4240–4249.

Pracownia EEG 2/ERDS

2025-12-09T09:50:40Z

Maciek: /* wersja 2 */

[[Pracownia EEG 2|Pracownia EEG 2]] / ERD/S

=Wstęp=
Wśród badań wykonywanych z wykorzystaniem rejestracji EEG czy MEG można wyróżnić badania spoczynkowe, gdzie rejestrowana jest spontaniczna aktywność mózgu oraz badania zmian aktywności pod wpływem różnych bodźców, przy czym bodźce te mogą być pochodzenia egzo- lub endogennego. Reakcja na bodziec może wykazywać stały związek fazowy z momentem wystąpienia bodźca — w takiej sytuacji mówimy o potencjałach lub polach wywołanych (ang. ''event related potential'', ''ERP'' i ''event related field'', ''ERF'') — lub też może nie być fazowo związana z bodźcem.

Niniejsza część pracowni poświęcona jest metodologii badania reakcji mózgu na bodźce, które są czasowo ale niekoniecznie fazowo związane z bodźcem.

=Zmiany pasmowej mocy sygnału EEG=
Pierwsze rezultaty opisujące zmiany w mocy pasmowej sygnału EEG (spadek mocy rytmu alfa) związane z reakcją na bodziec zostały opisane w pracy doktorskiej Adolf Becka zatytułowanej &bdquo;Oznaczenie lokalizacyi w mózgu i rdzeniu za pomocą zjawisk elektrycznych” (Beck, 1891).
Ilościowe badania zjawisk modulacji mocy sygnału EEG w reakcji na bodźce rozpoczęto stosunkowo niedawno. Począwszy od pracy (Pfurtscheller, 1979) zjawiska te zaczęto nazywać ''Event Related Desynchronization'' (ERD) — czyli desynchronizacja związana z bodźcem. Termin ERD dotyczy spadku mocy. Przez analogię w późniejszych pracach terminem ''Event Related Synchronization'' (ERS) opisywane są efekty polegające na wzroście mocy. W większości paradygmatów eksperymentalnych zjawiska ERD i ERS są małe w porównaniu ze zmiennością mocy sygnału EEG związanej ze spontaniczną aktywnością mózgu. W celu ich ilościowego badania wymagane jest zarejestrowanie wielu realizacji reakcji na bodziec i poddanie ich analizie statystycznej.

[[Plik:Paradygmat erds.gif|thumb|800px|center]]
==Interpretacja fizjologiczna==
[[Plik:EEG_synchronicznosc.png|600px|thumb|right|Synchronicznie pobudzana grupa neuronów piramidalnych kory tworzy warstwę dipolową.]]
[[Plik:Mapka_tf_erds.png|600px|thumb|right|Przykładowa mapa zjawiska synchronizacji i desynchronizacji sygnału EEG w przestrzeni czas-częstość dla sygnału zearejestrowanego przez elektrodę C3. Osoba badana wykonywała szybki ruch palcem w momencie oznaczonym 0. Kolory odpowiadają procentowej zmianie mocy względem poprzedzającego okresu 2 s, zgodnie ze skalą barw umieszczoną po prawej stronie. Na poziomej osi — czas w s, na pionowej częstość w Hz.]]
Terminy ERD i ERS mają swoje źródło w fizjologicznej interpretacji zmian mocy sygnału w określonych pasmach częstości. Źródłem mierzalnego na powierzchni głowy sygnału elektrycznego lub magnetycznego jest synchroniczna aktywność wielu neuronów (głównie piramidalnych kory). Szacuje się, że wpływ na wielkość sygnału EEG lub MEG ma głównie stopień synchronizacji neuronów wytwarzających ten sygnał, a w drugiej kolejności ich ilość (Nunez, 1981). Tak więc wzrost mocy w pewnym paśmie (np. alfa ERS) interpretowany jest jako wzrost synchronizacji aktywności neuronów generujących aktywność EEG w tym paśmie, zaś spadek mocy (np. alfa ERD) interpretowany jest jako spadek synchronizacji neuronów generujących aktywność EEG w tym paśmie częstości. Przy takiej interpretacji należy pamiętać o skali w jakiej dokonywany jest pomiar. Zarówno elektrody EEG jak i cewki MEG mierzą sygnały średnie pochodzące od olbrzymich ilości neuronów. Zatem zmiana mocy w tym sygnale odpowiada desynchronizacji lub synchronizacji w skali makroskopowej (rzędu 106-108 neuronów).

Zjawiska ERD i ERS badane były zarówno w eksperymentach motorycznych (Pfurtscheller, 1994, Pfurtscheller, 1996a, Pfurtscheller, 1996b , Pfurtscheller, 1999) jak i kognitywistycznych (Tallon Baudry, 1996, Tallon, 1999, Kaiser, 2003).
Wnioski płynące z tych prac są takie, że znaczenie zjawisk ERD i ERS zależy od pasma częstości, w którym one występują. Aktywność w paśmie alfa wiązana jest ze stanem spoczynkowym, ERD w paśmie alfa i beta wiązane jest z pobudzeniem danego rejonu kory mózgowej, w którym zjawisko to zachodzi. ERS w paśmie alfa i beta następujący po ERD w tym samym paśmie częstości interpretowany jest najczęściej jako przejaw inhibicji lub kasowania poprzedniego stanu. Z kolei zwiększona aktywność w paśmie gamma jest interpretowana jako przejaw funkcjonalnej aktywacji danego fragmentu kory. Nowe wyniki pojawiają się na bieżąco i stawiane są nowe pytania co do możliwych interpretacji poszczególnych zjawisk np. (Crone, 2010).

Oprócz motywacji czysto poznawczych, badania zjawisk ERD i ERS stymulowane są przez praktyczne możliwości ich wykorzystania w diagnostyce epilepsji, gdzie są nadzieje na zastosowanie tej techniki w miejsce bardziej inwazyjnej metody mapowania mózgu przez elektrostymulację (Crone 1998a, Crone, 1998b, Crone, 2006) oraz w konstrukcji interfejsów mózg-komputer (Pfurtscheller, 2006).
[[Plik:Mapowanie.png|thumb|600px|center|Mapowanie kory czuciowo-ruchowej za pomocą stymulacji: dwie falki – bezwolne reakcje ruchowe, trzy falki – kloniczny skurcz mięśni, za Crone, 1998]]
[[Plik:Mapki_ECoG.jpg|thumb|600px|center|Mapowanie kory czuciowo-ruchowej za pomocą ERD/ERS.Pacjent z przyczyn medycznych miał umieszczoną na korze motorycznej siatkę elektrod (6×8, odstęp 1 cm). Pacjent miał zaciskać pięść w odpowiedzi na bodziec wzrokowy przez cały czas trwania bodźca (3 s)
Prezentowane mapy istotnych statystycznie zmian uzyskano na podstawie 49 wolnych od artefaktów realizacji.]]

==Estymacja zmian mocy sygnału EEG w dziedzinie czasu==
Przebieg czasowy zjawiska ERD i ERS jest specyficzny dla pasm częstości.
[[Grafika:ERDS klasycznie_1.png|right|thumb|768px|<figure id="fig:erds_klasycznie"></figure> Klasyczne obliczanie ERD/ERS. a) Przykładowy zapis EEG jednej z ''N'' realizacji b) przefiltrowany sygnał EEG w wybranym paśmie (tutaj: [15 25] Hz) c) przefiltrowany sygnał podniesiony do kwadratu — w ten sposób uzyskujemy przebieg mocy pasmowej w czasie d) uśredniony po realizacjach przebieg mocy pasmowej w czasie e) wygładzony przebieg z d) za pomocą średniej biegnącej (tutaj okienko 0,25 s); czerwone pionowe linie wyznaczają okres referencyjny f) ERD/ERS — względna zmiana sygnału e) w odniesieniu do okresu referencyjnego.]]
Klasyczny sposób estymowania ERD i ERS (Pfurtscheller, 1979) polega na (patrz ilustracja):
*filtrowaniu pasmowym,
*wyrównaniu realizacji względem momentu wystąpienia bodźca,
*obliczaniu mocy chwilowej (podniesienie do kwadratu wartości każdej próbki sygnału),
*uśrednieniu mocy chwilowej po realizacjach, wygładzeniu przebiegu czasowego uśrednionej mocy chwilowej filtrem dolnoprzepustowym.
*Następnie względna zmiana mocy obliczana jest jako:
: <math>\mathrm{ERD/ERS}_f(t) = \frac{P_f(t) - R_f}{R_f} </math>
gdzie:
''P''''f ''(''t'') — średnia moc chwilowa w paśmie częstości ''f''; uśrednianie przebiega po realizacjach.
''R''''f'' — średnia moc w paśmie ''f'' w okresie referencyjnym; uśrednianie przebiega po realizacjach i po czasie trwania okresu referencyjnego.
Klasycznym metodom obliczania ERD/ERS poświęcona jest praca (Pfurtscheller, 1999).
Całościowy obraz zmian mocy sygnału EEG związanych z bodźcem można dogodnie analizować w dziedzinie czas-częstość.

=Cwiczenia=

==Paradygmat ==

===wersja 1===
Osoba badana siedzi wygodnie i trzyma przycisk podłączony do triggera.
Na ekranie w odstępach 13<math>\pm</math>1 sekund wyświetlany jest krzyżyk. Krzyżyk wyświetlany jest przez 2 sekundy. W przeciągu 2 sekund po zniknięciu krzyżyka osoba badana w wybranym przez siebie momencie wciska przycisk. Proszę zarejestrować 60 realizacji.

Przygotuj program implementujący powyższy paradygmat.

===wersja 2===
Próba rozróżnienia ruchów lewą i prawą ręką — jak w BCI; na podstawie artykułu [[file:ERDS.BCI.TNSRE2012.pdf]], oczywiście w uproszczonej wersji :-)

Procedura:

Osoba badana ma za zadanie poruszać palcami (wskazującym oraz środkowym) prawej lub lewej ręki. Na ekranie monitora pojawia się strzałka, która widoczna jest przez okres 3 sek. i wskazuje rękę, którą będzie wykonywany ruch. Osoba badana ma ruszyć wskazaną ręką w wybranym przez siebie momencie PO zniknięciu strzałki.
Dla każdej ręki przewidziane jest 100 powtórzeń. W celu synchronizacji sygnału EEG ze wskazówkami pojawiającymi się na ekranie monitora, w lewym dolnym rogu (gdzie pojawia się biały kwadrat) powinna zostać umieszczona fotodioda.

Rejestracja sygnału:

Wykorzystujemy następujące elektrody umieszczone zgodnie z systemem 10--10: FC3, FC1, FCz, FC2, FC4, C5, C3, C1, Cz, C2, C4, C6, CP5, CP3, CP1, CPz, CP2, CP4, CP6, P1, P2, A1, A2. Dodatkowo wykonujemy pomiar z mięśnia extensor digitorum. W tym celu na obu rękach umieszczamy elektrody bipolarne do EMG (patrz Fig. 1 (elektroda ED3): http://jn.physiology.org/content/100/6/3225.long). Sygnał rejestrujemy z częstością 512 Hz.

Procedura może zostać pobrana ze stony: https://github.com/mroja/signal_utils/tree/master/erds/arrows.

===wersja 3===
Osoba ma za zadanie ruszać ręką prawą/lewą/nogą lub wyobrażać sobie ruch prawą/lewą/nogą.W bloku pierwszym powienien być ruch, w drugim wyobrażenie. Na ekranie powinna zostać wyświetlona instrukcja, w której opisany jest cel badania. Następnie rozpoczyna się blok prób, w trakcie poszczególnej próby wyświetlane jest polecenie: &bdquo;Rusz ręką”/&bdquo;Wyobraź sobie ruch ręką” na 1 s, następnie 5 s przerwy (pusty ekran). Każde polecenie powinno być powtórzone 80 razy.

W trakcie procedury powinien być zbierany sygnał EEG oraz EMG palca. Wykorzystujemy następujące elektrody EEG umieszczone zgodnie z systemem 10-10: FC3, FC1, FCz, FC2, FC4, C5, C3, C1, Cz, C2, C4, C6, CP5, CP3, CP1, CPz, CP2, CP4, CP6, P1, P2, A1, A2. częstość próbkowania: min. 256 Hz.




==Analiza==
Czas wciśnięcia przycisku (wersja 1 i 2)/ wzorst EMG (wersja 3) oznaczymy jako 0.
Poniższą analizę zastosuj dla sygnałów w referencji do uśrednionych odprowadzeń usznych A1 i A2.

===Wyznaczenie pasma μ i β===
# Z sygnału wycinamy fragmenty od −3 do −1 sek. dla elektrod C3 i C4 (elektrody położone nad korą ruchową dłoni).
# Dla każdej realizacji obliczamy widma metodą Welcha.
# Otrzymane widma uśredniamy po realizacjach.
# Z sygnału wycinamy fragmenty od +0.5 do +2.5 sek. dla elektrod C3 i C4 (elektrody położone nad korą ruchową dłoni).
# Dla każdej realizacji obliczamy widma metodą Welcha.
# Otrzymane widma uśredniamy po realizacjach.
# Wykreśl widma z okresu poprzedzającego ruch i z okresu po ruchu nałożone na siebie, a także względną zmianę widma. Zaobserwuj w jakich zakresach częstości μ (pasmo około 10 Hz) i β (około 23 Hz) występują największe zmiany.
#Dla wersji 3 - te same operacje wykonaj dla warunku wyobrażonego ruchu - w pierwszym kroku należy ocenić na podstawie sygnału EMG, czy został wykonany ruch - jeśli tak - próbę taką należy usunąć z analiz. Jako punkt 0 będziemy brać początek polecenia na podstawie tagów.

===Wyznaczenie przebiegu czasowego ERD i ERS ===
# Zaprojektuj filtry pasmowo przepustowe (Chebyszewa 2 rodzaju) zgodne z wyznaczonymi pasmami. Zbadaj funkcje przenoszenia i odpowiedzi impulsowej.
# Powycinaj sygnały od −3 do +3 sekund (wszystkie kanały). Przefiltruj każdą realizację.
# Oblicz moc chwilową za pomocą transformaty Hilberta (kwadrat amplitudy chwilowej).
# Uśrednij moc chwilową po realizacjach.
# Oblicz względną zmianę mocy chwilowej względem czasu −3 do −1. W ten sposób otrzymasz przebieg ERD i ERS w czasie.
# Wykreśl ERD i ERS w układzie topograficznym. (Rozmieść subploty tak, aby z w przybliżeniu odpowiadały pozycjom elektrod).

===Wyznaczenie przebiegu czasowego ERD i ERS wersja w roku 2024===
# Zaprojektuj filtry pasmowo przepustowe (Chebyszewa 2 rodzaju) zgodne z wyznaczonymi pasmami. Zbadaj funkcje przenoszenia i odpowiedzi impulsowej.
# Przefiltruj wszystkie kanały danych: osobno w pasmie alfa i osobno w pasmie beta.
# Powycinaj realizacje zgodnie położeniem tagów (czas 0 s) od −2 do +4,5 sekund (wszystkie kanały).
# Kolejne etapy analizy wykonujemy osobno dla pasm alfa i beta.
# Oblicz amplitudę chwilową w każdej realizacji za pomocą transformaty Hilberta.
# Oblicz moc chwilową podnosząc amplitudy chwilowe do kwadratu.
# Uśrednij moc chwilową po realizacjach.
# Oblicz moc referencyjną na odcinku −1,5 s do −0,5 s w każdym kanale (można sprawdzić też odcinek −2 s do −0,5 s).
# Oblicz względną zmianę mocy chwilowej — przebieg ERD i ERS w czasie.
# Wykreśl ERD i ERS w układzie topograficznym. (Rozmieść subploty tak, aby z w przybliżeniu odpowiadały pozycjom elektrod).

===Transformacja Hjortha===
Transformacja Hjortha jest przybliżeniem numerycznym transformacji Laplace'a, czyli drugiej pochodnej przestrzennej.
Obliczamy ją jako różnicę potencjału pomiędzy daną elektrodą i średnią z czterech sąsiednich elektrod.

Proszę przeliczyć potencjały C3, Cz i C4 na montaż Hjortha oraz powtórzyć analizę ERD/ERS opisaną powyżej.
Przykładowo dla elektrody C3 montaż Hjortha <math>\mathrm{C3_H}</math> otrzymuje się w następujący sposób:
<math>\mathrm{C3_H = C3 - \frac{1}{4}(T3+F3+Cz+P3)}</math>

=Literatura=
* Beck, A., 1891. Oznaczenie lokalizacyi w mózgu i rdzeniu za pomoca zjawisk elektrycznych. Ph.D. thesis, Polska Akademia Umiejętności, Kraków, seria II.
* Crone, N. E., Miglioretti, D. L., Gordon, B., Lesser, R. P., 1998a. Functional mapping of human sensorimotor cortex with electrocorticigraphic spectral analysis II. Event-related synchronization in the gamma band. Brain 121, 2301–15.
* Crone, N. E., Miglioretti, D. L., Gordon, B., Sieracki, J. M., Wilson, M. T., Uematsu, S., 1998b. Functional mapping of human sensorimotor cortex with electrocorticographic spectral analysis I. Alpha and beta event-related desynchronization. Brain 121, 2271–99.
* Crone, N. E., Korzeniewska, A., Franaszczuk, P. J., 2010. Cortical gamma responses: Searching high and low. International Journal of Psychophysiology.
*Crone, N. E., Sinai, A., Korzeniewska, A., 2006. High-frequency gamma oscilla- tions and human brain mapping with electrocorticography. Progress in Brain Research 159, 275–295.
* Kaiser, J., Lutzenberger, W., 2003. Induced gamma-band activity and human brain function. Neuroscientist 9, 475–84.
* Nunez, P. L., 1981. Electric Fields of the Brain. The Neurophysics of EEG. Oxford University Press, New York.
* Pfurtscheller, G., Aranibar, A., 1979. Evaluation of event-related desyn- chronization (ERD) preceding and following voluntary self-paced movement. Electroencephalography and Clinical Neurophysiology 46, 138–146.
* Pfurtscheller, G., Flotzinger, D., Neuper, C., 1994. Differentiation between finger, toe and tongue movement in man based on 40 Hz EEG. Electroencephalography and Clinical Neurophysiology 90, 456–60.
* Pfurtscheller, G., Lopes da Silva, F. H., 1999. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clinical Neurophysiology 110, 1842–57.
* Pfurtscheller, G., 1999. Quantification of ERD and ERS in the time domain. In: W Pfurtscheller, G., Lopes da Silva, F. H. (Eds.), Event-related desynchroni- zation. Vol. 6. Elsevier, p. 89–105.
* Pfurtscheller, G., Neuper, C., 2006. Future prospects of ERD/ERS in the context of brain-computer interface (BCI) developments. Progress in Brain Research 159, 433–437.
* Pfurtscheller, G., Stancak Jr, A., C., N., 1996a. Post-movement beta synchronization. A correlate of an idling motor area? Electroencephalography and Clinical Neurophysiology 98, 281–93.
* Pfurtscheller, G., Stancak Jr, A., Neuper, C., 1996b. Event-related synchronization (ERS) in the alpha band—an electrophysiological correlate of cortical idling: a review. International Journal of Psychophysiology 24, 39–46.
*Tallon-Baudry, C., Bertrand, O., 1999. Oscillatory gamma activity in humans and its role in object representation. Trends Cogn. Sci. 3, 151–62.
* Tallon-Baudry, C., Bertrand, O., Delpuech, C., Pernier, J., 1996. Stimulus specificity of phase-locked and non-phase-locked 40 Hz visual responses in human. The Journal of Neuroscience 16, 4240–4249.

Pracownia EEG 2/ERDS

2025-12-09T09:49:59Z

Maciek: /* wersja 3 */

[[Pracownia EEG 2|Pracownia EEG 2]] / ERD/S

=Wstęp=
Wśród badań wykonywanych z wykorzystaniem rejestracji EEG czy MEG można wyróżnić badania spoczynkowe, gdzie rejestrowana jest spontaniczna aktywność mózgu oraz badania zmian aktywności pod wpływem różnych bodźców, przy czym bodźce te mogą być pochodzenia egzo- lub endogennego. Reakcja na bodziec może wykazywać stały związek fazowy z momentem wystąpienia bodźca — w takiej sytuacji mówimy o potencjałach lub polach wywołanych (ang. ''event related potential'', ''ERP'' i ''event related field'', ''ERF'') — lub też może nie być fazowo związana z bodźcem.

Niniejsza część pracowni poświęcona jest metodologii badania reakcji mózgu na bodźce, które są czasowo ale niekoniecznie fazowo związane z bodźcem.

=Zmiany pasmowej mocy sygnału EEG=
Pierwsze rezultaty opisujące zmiany w mocy pasmowej sygnału EEG (spadek mocy rytmu alfa) związane z reakcją na bodziec zostały opisane w pracy doktorskiej Adolf Becka zatytułowanej &bdquo;Oznaczenie lokalizacyi w mózgu i rdzeniu za pomocą zjawisk elektrycznych” (Beck, 1891).
Ilościowe badania zjawisk modulacji mocy sygnału EEG w reakcji na bodźce rozpoczęto stosunkowo niedawno. Począwszy od pracy (Pfurtscheller, 1979) zjawiska te zaczęto nazywać ''Event Related Desynchronization'' (ERD) — czyli desynchronizacja związana z bodźcem. Termin ERD dotyczy spadku mocy. Przez analogię w późniejszych pracach terminem ''Event Related Synchronization'' (ERS) opisywane są efekty polegające na wzroście mocy. W większości paradygmatów eksperymentalnych zjawiska ERD i ERS są małe w porównaniu ze zmiennością mocy sygnału EEG związanej ze spontaniczną aktywnością mózgu. W celu ich ilościowego badania wymagane jest zarejestrowanie wielu realizacji reakcji na bodziec i poddanie ich analizie statystycznej.

[[Plik:Paradygmat erds.gif|thumb|800px|center]]
==Interpretacja fizjologiczna==
[[Plik:EEG_synchronicznosc.png|600px|thumb|right|Synchronicznie pobudzana grupa neuronów piramidalnych kory tworzy warstwę dipolową.]]
[[Plik:Mapka_tf_erds.png|600px|thumb|right|Przykładowa mapa zjawiska synchronizacji i desynchronizacji sygnału EEG w przestrzeni czas-częstość dla sygnału zearejestrowanego przez elektrodę C3. Osoba badana wykonywała szybki ruch palcem w momencie oznaczonym 0. Kolory odpowiadają procentowej zmianie mocy względem poprzedzającego okresu 2 s, zgodnie ze skalą barw umieszczoną po prawej stronie. Na poziomej osi — czas w s, na pionowej częstość w Hz.]]
Terminy ERD i ERS mają swoje źródło w fizjologicznej interpretacji zmian mocy sygnału w określonych pasmach częstości. Źródłem mierzalnego na powierzchni głowy sygnału elektrycznego lub magnetycznego jest synchroniczna aktywność wielu neuronów (głównie piramidalnych kory). Szacuje się, że wpływ na wielkość sygnału EEG lub MEG ma głównie stopień synchronizacji neuronów wytwarzających ten sygnał, a w drugiej kolejności ich ilość (Nunez, 1981). Tak więc wzrost mocy w pewnym paśmie (np. alfa ERS) interpretowany jest jako wzrost synchronizacji aktywności neuronów generujących aktywność EEG w tym paśmie, zaś spadek mocy (np. alfa ERD) interpretowany jest jako spadek synchronizacji neuronów generujących aktywność EEG w tym paśmie częstości. Przy takiej interpretacji należy pamiętać o skali w jakiej dokonywany jest pomiar. Zarówno elektrody EEG jak i cewki MEG mierzą sygnały średnie pochodzące od olbrzymich ilości neuronów. Zatem zmiana mocy w tym sygnale odpowiada desynchronizacji lub synchronizacji w skali makroskopowej (rzędu 106-108 neuronów).

Zjawiska ERD i ERS badane były zarówno w eksperymentach motorycznych (Pfurtscheller, 1994, Pfurtscheller, 1996a, Pfurtscheller, 1996b , Pfurtscheller, 1999) jak i kognitywistycznych (Tallon Baudry, 1996, Tallon, 1999, Kaiser, 2003).
Wnioski płynące z tych prac są takie, że znaczenie zjawisk ERD i ERS zależy od pasma częstości, w którym one występują. Aktywność w paśmie alfa wiązana jest ze stanem spoczynkowym, ERD w paśmie alfa i beta wiązane jest z pobudzeniem danego rejonu kory mózgowej, w którym zjawisko to zachodzi. ERS w paśmie alfa i beta następujący po ERD w tym samym paśmie częstości interpretowany jest najczęściej jako przejaw inhibicji lub kasowania poprzedniego stanu. Z kolei zwiększona aktywność w paśmie gamma jest interpretowana jako przejaw funkcjonalnej aktywacji danego fragmentu kory. Nowe wyniki pojawiają się na bieżąco i stawiane są nowe pytania co do możliwych interpretacji poszczególnych zjawisk np. (Crone, 2010).

Oprócz motywacji czysto poznawczych, badania zjawisk ERD i ERS stymulowane są przez praktyczne możliwości ich wykorzystania w diagnostyce epilepsji, gdzie są nadzieje na zastosowanie tej techniki w miejsce bardziej inwazyjnej metody mapowania mózgu przez elektrostymulację (Crone 1998a, Crone, 1998b, Crone, 2006) oraz w konstrukcji interfejsów mózg-komputer (Pfurtscheller, 2006).
[[Plik:Mapowanie.png|thumb|600px|center|Mapowanie kory czuciowo-ruchowej za pomocą stymulacji: dwie falki – bezwolne reakcje ruchowe, trzy falki – kloniczny skurcz mięśni, za Crone, 1998]]
[[Plik:Mapki_ECoG.jpg|thumb|600px|center|Mapowanie kory czuciowo-ruchowej za pomocą ERD/ERS.Pacjent z przyczyn medycznych miał umieszczoną na korze motorycznej siatkę elektrod (6×8, odstęp 1 cm). Pacjent miał zaciskać pięść w odpowiedzi na bodziec wzrokowy przez cały czas trwania bodźca (3 s)
Prezentowane mapy istotnych statystycznie zmian uzyskano na podstawie 49 wolnych od artefaktów realizacji.]]

==Estymacja zmian mocy sygnału EEG w dziedzinie czasu==
Przebieg czasowy zjawiska ERD i ERS jest specyficzny dla pasm częstości.
[[Grafika:ERDS klasycznie_1.png|right|thumb|768px|<figure id="fig:erds_klasycznie"></figure> Klasyczne obliczanie ERD/ERS. a) Przykładowy zapis EEG jednej z ''N'' realizacji b) przefiltrowany sygnał EEG w wybranym paśmie (tutaj: [15 25] Hz) c) przefiltrowany sygnał podniesiony do kwadratu — w ten sposób uzyskujemy przebieg mocy pasmowej w czasie d) uśredniony po realizacjach przebieg mocy pasmowej w czasie e) wygładzony przebieg z d) za pomocą średniej biegnącej (tutaj okienko 0,25 s); czerwone pionowe linie wyznaczają okres referencyjny f) ERD/ERS — względna zmiana sygnału e) w odniesieniu do okresu referencyjnego.]]
Klasyczny sposób estymowania ERD i ERS (Pfurtscheller, 1979) polega na (patrz ilustracja):
*filtrowaniu pasmowym,
*wyrównaniu realizacji względem momentu wystąpienia bodźca,
*obliczaniu mocy chwilowej (podniesienie do kwadratu wartości każdej próbki sygnału),
*uśrednieniu mocy chwilowej po realizacjach, wygładzeniu przebiegu czasowego uśrednionej mocy chwilowej filtrem dolnoprzepustowym.
*Następnie względna zmiana mocy obliczana jest jako:
: <math>\mathrm{ERD/ERS}_f(t) = \frac{P_f(t) - R_f}{R_f} </math>
gdzie:
''P''''f ''(''t'') — średnia moc chwilowa w paśmie częstości ''f''; uśrednianie przebiega po realizacjach.
''R''''f'' — średnia moc w paśmie ''f'' w okresie referencyjnym; uśrednianie przebiega po realizacjach i po czasie trwania okresu referencyjnego.
Klasycznym metodom obliczania ERD/ERS poświęcona jest praca (Pfurtscheller, 1999).
Całościowy obraz zmian mocy sygnału EEG związanych z bodźcem można dogodnie analizować w dziedzinie czas-częstość.

=Cwiczenia=

==Paradygmat ==

===wersja 1===
Osoba badana siedzi wygodnie i trzyma przycisk podłączony do triggera.
Na ekranie w odstępach 13<math>\pm</math>1 sekund wyświetlany jest krzyżyk. Krzyżyk wyświetlany jest przez 2 sekundy. W przeciągu 2 sekund po zniknięciu krzyżyka osoba badana w wybranym przez siebie momencie wciska przycisk. Proszę zarejestrować 60 realizacji.

Przygotuj program implementujący powyższy paradygmat.

===wersja 2===
Próba rozróżnienia ruchów lewą i prawą ręką — jak w BCI; na podstawie artykułu [[file:ERDS.BCI.TNSRE2012.pdf]], oczywiście w uproszczonej wersji :-)

Procedura:

Osoba badana ma za zadanie poruszać palcami (wskazującym oraz środkowym) prawej lub lewej ręki. Na ekranie monitora pojawia się strzałka, która widoczna jest przez okres 3 sek. i wskazuje rękę, którą będzie wykonywany ruch. Osoba badana ma ruszyć wskazaną ręką w wybranym przez siebie momencie PO zniknięciu strzałki.
Dla każdej ręki przewidziane jest 100 powtórzeń. W celu synchronizacji sygnału EEG ze wskazówkami pojawiającymi się na ekranie monitora, w lewym dolnym rogu (gdzie pojawia się biały kwadrat) powinna zostać umieszczona fotodioda.

Rejestracja sygnału:

Wykorzystujemy następujące elektrody umieszczone zgodnie z systemem 10--10: FC3, FC1, FCz, FC2, FC4, C5, C3, C1, Cz, C2, C4, C6, CP5, CP3, CP1, CPz, CP2, CP4, CP6, P1, P2, A1, A1. Dodatkowo wykonujemy pomiar z mięśnia extensor digitorum. W tym celu na obu rękach umieszczamy elektrody bipolarne do EMG (patrz Fig. 1 (elektroda ED3): http://jn.physiology.org/content/100/6/3225.long). Sygnał rejestrujemy z częstością 512 Hz.

Procedura może zostać pobrana ze stony: https://github.com/mroja/signal_utils/tree/master/erds/arrows.

===wersja 3===
Osoba ma za zadanie ruszać ręką prawą/lewą/nogą lub wyobrażać sobie ruch prawą/lewą/nogą.W bloku pierwszym powienien być ruch, w drugim wyobrażenie. Na ekranie powinna zostać wyświetlona instrukcja, w której opisany jest cel badania. Następnie rozpoczyna się blok prób, w trakcie poszczególnej próby wyświetlane jest polecenie: &bdquo;Rusz ręką”/&bdquo;Wyobraź sobie ruch ręką” na 1 s, następnie 5 s przerwy (pusty ekran). Każde polecenie powinno być powtórzone 80 razy.

W trakcie procedury powinien być zbierany sygnał EEG oraz EMG palca. Wykorzystujemy następujące elektrody EEG umieszczone zgodnie z systemem 10-10: FC3, FC1, FCz, FC2, FC4, C5, C3, C1, Cz, C2, C4, C6, CP5, CP3, CP1, CPz, CP2, CP4, CP6, P1, P2, A1, A2. częstość próbkowania: min. 256 Hz.




==Analiza==
Czas wciśnięcia przycisku (wersja 1 i 2)/ wzorst EMG (wersja 3) oznaczymy jako 0.
Poniższą analizę zastosuj dla sygnałów w referencji do uśrednionych odprowadzeń usznych A1 i A2.

===Wyznaczenie pasma μ i β===
# Z sygnału wycinamy fragmenty od −3 do −1 sek. dla elektrod C3 i C4 (elektrody położone nad korą ruchową dłoni).
# Dla każdej realizacji obliczamy widma metodą Welcha.
# Otrzymane widma uśredniamy po realizacjach.
# Z sygnału wycinamy fragmenty od +0.5 do +2.5 sek. dla elektrod C3 i C4 (elektrody położone nad korą ruchową dłoni).
# Dla każdej realizacji obliczamy widma metodą Welcha.
# Otrzymane widma uśredniamy po realizacjach.
# Wykreśl widma z okresu poprzedzającego ruch i z okresu po ruchu nałożone na siebie, a także względną zmianę widma. Zaobserwuj w jakich zakresach częstości μ (pasmo około 10 Hz) i β (około 23 Hz) występują największe zmiany.
#Dla wersji 3 - te same operacje wykonaj dla warunku wyobrażonego ruchu - w pierwszym kroku należy ocenić na podstawie sygnału EMG, czy został wykonany ruch - jeśli tak - próbę taką należy usunąć z analiz. Jako punkt 0 będziemy brać początek polecenia na podstawie tagów.

===Wyznaczenie przebiegu czasowego ERD i ERS ===
# Zaprojektuj filtry pasmowo przepustowe (Chebyszewa 2 rodzaju) zgodne z wyznaczonymi pasmami. Zbadaj funkcje przenoszenia i odpowiedzi impulsowej.
# Powycinaj sygnały od −3 do +3 sekund (wszystkie kanały). Przefiltruj każdą realizację.
# Oblicz moc chwilową za pomocą transformaty Hilberta (kwadrat amplitudy chwilowej).
# Uśrednij moc chwilową po realizacjach.
# Oblicz względną zmianę mocy chwilowej względem czasu −3 do −1. W ten sposób otrzymasz przebieg ERD i ERS w czasie.
# Wykreśl ERD i ERS w układzie topograficznym. (Rozmieść subploty tak, aby z w przybliżeniu odpowiadały pozycjom elektrod).

===Wyznaczenie przebiegu czasowego ERD i ERS wersja w roku 2024===
# Zaprojektuj filtry pasmowo przepustowe (Chebyszewa 2 rodzaju) zgodne z wyznaczonymi pasmami. Zbadaj funkcje przenoszenia i odpowiedzi impulsowej.
# Przefiltruj wszystkie kanały danych: osobno w pasmie alfa i osobno w pasmie beta.
# Powycinaj realizacje zgodnie położeniem tagów (czas 0 s) od −2 do +4,5 sekund (wszystkie kanały).
# Kolejne etapy analizy wykonujemy osobno dla pasm alfa i beta.
# Oblicz amplitudę chwilową w każdej realizacji za pomocą transformaty Hilberta.
# Oblicz moc chwilową podnosząc amplitudy chwilowe do kwadratu.
# Uśrednij moc chwilową po realizacjach.
# Oblicz moc referencyjną na odcinku −1,5 s do −0,5 s w każdym kanale (można sprawdzić też odcinek −2 s do −0,5 s).
# Oblicz względną zmianę mocy chwilowej — przebieg ERD i ERS w czasie.
# Wykreśl ERD i ERS w układzie topograficznym. (Rozmieść subploty tak, aby z w przybliżeniu odpowiadały pozycjom elektrod).

===Transformacja Hjortha===
Transformacja Hjortha jest przybliżeniem numerycznym transformacji Laplace'a, czyli drugiej pochodnej przestrzennej.
Obliczamy ją jako różnicę potencjału pomiędzy daną elektrodą i średnią z czterech sąsiednich elektrod.

Proszę przeliczyć potencjały C3, Cz i C4 na montaż Hjortha oraz powtórzyć analizę ERD/ERS opisaną powyżej.
Przykładowo dla elektrody C3 montaż Hjortha <math>\mathrm{C3_H}</math> otrzymuje się w następujący sposób:
<math>\mathrm{C3_H = C3 - \frac{1}{4}(T3+F3+Cz+P3)}</math>

=Literatura=
* Beck, A., 1891. Oznaczenie lokalizacyi w mózgu i rdzeniu za pomoca zjawisk elektrycznych. Ph.D. thesis, Polska Akademia Umiejętności, Kraków, seria II.
* Crone, N. E., Miglioretti, D. L., Gordon, B., Lesser, R. P., 1998a. Functional mapping of human sensorimotor cortex with electrocorticigraphic spectral analysis II. Event-related synchronization in the gamma band. Brain 121, 2301–15.
* Crone, N. E., Miglioretti, D. L., Gordon, B., Sieracki, J. M., Wilson, M. T., Uematsu, S., 1998b. Functional mapping of human sensorimotor cortex with electrocorticographic spectral analysis I. Alpha and beta event-related desynchronization. Brain 121, 2271–99.
* Crone, N. E., Korzeniewska, A., Franaszczuk, P. J., 2010. Cortical gamma responses: Searching high and low. International Journal of Psychophysiology.
*Crone, N. E., Sinai, A., Korzeniewska, A., 2006. High-frequency gamma oscilla- tions and human brain mapping with electrocorticography. Progress in Brain Research 159, 275–295.
* Kaiser, J., Lutzenberger, W., 2003. Induced gamma-band activity and human brain function. Neuroscientist 9, 475–84.
* Nunez, P. L., 1981. Electric Fields of the Brain. The Neurophysics of EEG. Oxford University Press, New York.
* Pfurtscheller, G., Aranibar, A., 1979. Evaluation of event-related desyn- chronization (ERD) preceding and following voluntary self-paced movement. Electroencephalography and Clinical Neurophysiology 46, 138–146.
* Pfurtscheller, G., Flotzinger, D., Neuper, C., 1994. Differentiation between finger, toe and tongue movement in man based on 40 Hz EEG. Electroencephalography and Clinical Neurophysiology 90, 456–60.
* Pfurtscheller, G., Lopes da Silva, F. H., 1999. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clinical Neurophysiology 110, 1842–57.
* Pfurtscheller, G., 1999. Quantification of ERD and ERS in the time domain. In: W Pfurtscheller, G., Lopes da Silva, F. H. (Eds.), Event-related desynchroni- zation. Vol. 6. Elsevier, p. 89–105.
* Pfurtscheller, G., Neuper, C., 2006. Future prospects of ERD/ERS in the context of brain-computer interface (BCI) developments. Progress in Brain Research 159, 433–437.
* Pfurtscheller, G., Stancak Jr, A., C., N., 1996a. Post-movement beta synchronization. A correlate of an idling motor area? Electroencephalography and Clinical Neurophysiology 98, 281–93.
* Pfurtscheller, G., Stancak Jr, A., Neuper, C., 1996b. Event-related synchronization (ERS) in the alpha band—an electrophysiological correlate of cortical idling: a review. International Journal of Psychophysiology 24, 39–46.
*Tallon-Baudry, C., Bertrand, O., 1999. Oscillatory gamma activity in humans and its role in object representation. Trends Cogn. Sci. 3, 151–62.
* Tallon-Baudry, C., Bertrand, O., Delpuech, C., Pernier, J., 1996. Stimulus specificity of phase-locked and non-phase-locked 40 Hz visual responses in human. The Journal of Neuroscience 16, 4240–4249.

Strona główna

2025-10-07T08:43:02Z

Maciek: /* Pracownie specjalistyczne: */

=Materiały dydaktycznie dla studentów kierunku [http://fizykaxxi.fuw.edu.pl/zastosowania-fizyki-w-biologii-i-medycynie/ Zastosowania Fizyki w Biologii i Medycynie]=

==Informatyka:==
[[Plik:Pętla_while.svg|175px|right]]
* Technologia Informacyjna:
** Wykład [[Technologie informacyjne i komunikacyjne]]
** Wykład [[Technologie informacyjne i komunikacyjne_(1F11)]]
** Ćwiczenia [["Programowanie z Pythonem3"]] (dla studentów Wydziału Fizyki) '''od 2020/21'''

* Ćwiczenia [["Programowanie dla Neuroinformatyków"]]
* Ćwiczenia [["Programowanie dla Fizyków Medycznych"]]
* Bazy danych:
** Wykład [[TI:WTBD|"Wstęp do technologii baz danych"]]
** Ćwiczenia [[TI:WTBD|"Wstęp do technologii baz danych"]]
* [[TI/Pracownia wykorzystania zasobów internetowych|Pracownia wykorzystania zasobów internetowych]]

==Matematyka:==
* Wykład [[Matematyka I - FMiN lecture|Matematyka I]] (dla specjalności Fizyka Medyczna i Neuroinformatyka)
** Ćwiczenia [[Matematyka I - FMiN exercises|Matematyka I]] (dla specjalności Fizyka Medyczna i Neuroinformatyka)
** Ćwiczenia [[Matematyka I - OO exercises|Matematyka I]] (dla specjalności Optyka Okularowa)
[[Plik:main_math.png|175px|right]]
* Wykład [[Matematyka II - FMiN lecture|Matematyka II]] (dla specjalności Fizyka Medyczna i Neuroinformatyka)
** Ćwiczenia [[Matematyka II - FMiN exercises|Matematyka II]] (dla specjalności Fizyka Medyczna i Neuroinformatyka)

==Fizyka:==
* Fizyka I:
** Wykład [[Fizyka I - FMiN lecture|Fizyka I]] - Mechanika (dla specjalności Fizyka Medyczna i Neuroinformatyka)
** Wykład [[Fizyka I - OO lecture|Fizyka I]] - Mechanika (dla specjalności Optyka Okularowa)
** Ćwiczenia [[Fizyka I - FMiN exercises|Fizyka I]] - Mechanika (dla specjalności Fizyka Medyczna i Neuroinformatyka)
* Fizyka II: [[Plik:main_phys.png|220px|right]]
** Wykład [[Fizyka II - OO lecture|Fizyka II]] - Elektrostatyka (dla specjalności Optyka Okularowa)
** Wykład [[Fizyka II - NI lecture|Fizyka II]] - Elektrostatyka (dla specjalności Fizyka Medyczna i Neuroinformatyka)
** Ćwiczenia [[Fizyka II - FMiN exercises|Fizyka II]] - Elektrostatyka (dla specjalności Fizyka Medyczna i Neuroinformatyka)
** Ćwiczenia [[Fizyka II - OO exercises|Fizyka II]] - Elektrostatyka (dla specjalności Optyka Okularowa)
* Fizyka III:
** Wykład [[Fizyka III - FMiN lecture|Fizyka III]] - Drgania i Fale (dla specjalności Fizyka Medyczna i Neuroinformatyka)
** Ćwiczenia [[Fizyka III - FMiN exercises|Fizyka III]] - Drgania i Fale (dla specjalności Fizyka Medyczna i Neuroinformatyka)
* Elektrodynamika:
** Ćwiczenia [[Ćwiczenia z elektrodynamiki dla neuroinformatyków|Elektrodynamika]] (dla specjalności Neuroinformatyka)
* Ćwiczenia [[Fizyka Promieniowania Jądrowego]]
* Ćwiczenia [[Fizyka atomów oraz cząstek i makrocząstek biologicznych]]

==Chemia:==
* Wykład [[Podstawy chemii z elementami biochemii]]
* Wykład [[Chemia ogólna - lecture|Chemia ogólna]]
* Pracownia [[Chemia ogólna - workshop|Chemia ogólna]]
* Wykład [[Chemia organiczna]]

==Biologia:==
[[Plik:main_biol.jpg|220px|right]]
* Wykład [[Biologia komórki]]
* Wykład [[Histologia]]
* Pracownia [[Biologia molekularna]]

==Biofizyka molekularna:==
* Wykład [[Metody Biofizyki Molekularnej - lecture|Metody Biofizyki Molekularnej]]
** Ćwiczenia [[Metody Biofizyki Molekularnej - exercises|Metody Biofizyki Molekularnej]]
*[[Pracownia podstaw biofizyki]] (dla specjalności Biofizyka molekularna)
* Pracownia [[Podstawy Biofizyki]]
* Pracownia [[Pracownia Biofizyki dla Zaawansowanych]]
*[[Pracownia biofizyki dla zaawansowanych]] (dla specjalności Biofizyka Molekularna)

== Przedmioty specjalizacyjne: ==
* Wykład [[Obrazowanie Medyczne]]

* Wykład [[Ochrona radiologiczna]]
* Wykład [[Ochrona radilogiczna 2]]

* Wykład [[Elektroencefalografia]]
* Wykład [[Wnioskowanie Statystyczne - lecture|Wnioskowanie Statystyczne]] [[Plik:main_eeg2.png|125px|right]]
** Ćwiczenia [[Wnioskowanie Statystyczne - exercises|Wnioskowanie Statystyczne]]
* Wykład [[Analiza sygnałów - lecture|Analiza sygnałów]] [[Plik:Logo_pelne_KNI.png|220px|right|link=https://pl-pl.facebook.com/KNNeuroinformatyki/]]
** Ćwiczenia [[Analiza sygnałów - exercises|Analiza sygnałów]]
* [[Uczenie maszynowe i sztuczne sieci neuronowe]]

* Warsztaty [[Metody diagnostyczne]]
* Warsztaty [[Warsztaty_z_Metod_Terapeutycznych|z Metod Terapeutycznych]] (dla specjalności Fizyka Medyczna)
* Warsztaty [[Modelowanie molekularne 2]]

== Pracownie specjalistyczne: ==
[[Plik:main_eeg1.jpg|220px|right]]
*[[INFORMACJE O OPROGRAMOWANIU DO PRACOWNI EEG i SYGNAŁÓW BIOELEKTRYCZNYCH]]
*[[Pracownia Sygnałów Bioelektrycznych]] (dla specjalności Neuroinformatyka)

*[[Pracownia EEG 2|Pracownia EEG]] (dla specjalności Neuroinformatyka)
*[[Laboratorium EEG|Laboratorium EEG]] (dla specjalności Neuroinformatyka)
*[[Nowe technologie w fizyce biomedycznej]] (dla specjalności Fizyka Medyczna i Neuroinformatyka)
*[[USG|Warsztaty z metod obrazowania ultradźwiękowego]]

== Inne: ==
[[Plik:Bookstack.svg|130px|right]]

* Pracownia [["Wykorzystanie zasobów internetowych"]]
* Proseminarium [[Proseminarium licencjackie|licencjackie]]

==Strony dodatkowe==
* [[Podręcznik użytkownika systemu do badań dostępnego w laboratorium EEG Wydziału Fizyki Uniwersytetu Warszawskiego]]: http://laboratorium-eeg.braintech.pl/ w tym:
** dokumentacja SVAROG: http://laboratorium-eeg.braintech.pl/svarog/index.html
** dokumentacja PSYCHOPY: http://laboratorium-eeg.braintech.pl/psychopy/index.html
** dokumentacja techniczna BCI framework: http://laboratorium-eeg.braintech.pl/openbci/
** dokumentacja i tutorial biblioteki ReadManager (Python, Matlab): http://moduly-analizy-danych.braintech.pl/

* [[Instalacja i konfiguracja Kinect, Wiimote i Eyetrackera]]
* Strona [http://www.fuw.edu.pl/biblioteki.html Biblioteki Wydziału Fizyki]
* Podręcznik dotyczący stosowania Jupyter notebook do prowadzenia zajęć dydaktycznych: https://jupyter4edu.github.io/jupyter-edu-book/notebooks-in-teaching-and-learning.html

* Podręcznik [https://wuw.pl/data/include/cms/Neurocybernetyka_teoretyczna_Tadeusiewicz_Ryszard_red_nauk_2009.pdf Neurocybernetyka Teoretyczna]

Pracownia EEG 2

2025-10-07T08:38:24Z

Maciek: /* Terminy */

=Pracownia EEG 2=

==Terminy==
Zajęcia odbywają się w sali 4.59 w budynku Pasteura 5.

* we wtorki w godz. 10.00 - 14:00
* w środy w godz. 13:45 - 16:00

==Cele przedmiotu==

W trakcie naszych wartszatów chcielibyśmy Panstwu przybliżyć następujące kwestie:

# charakterystykę sygnału EEG - czym charakteryzuje się prawidłowo zarejestrowany sygnał EEG, jakie ma właściwości
# jak zebrać prawidłowo EEG - po naszym kursie nabędą Państwo umiejętność rejestracji EEG
# charakterystyki podstawowych metod analizy sygnału EEG, ze zrozumieniem ich wad i zalet, wymagań, oraz zmienności wyników między osobami.
# jakie narzędzia informatyczne mogą Panstwo spotkac w labie EEG (Psychopy, SVAROG)
# podstawowych zjawisk z psychofizjologii w kontekście procesów poznawczych oraz ich interpretacji fizjologicznych

CZEGO NIE UCZYMY: obsługi przeglądarek sygnału, obsługi toolboxów - nasz kurs ma na celu zrozumienie metod i charakterystyki badanych zjawisk a nie obsługi konkretnego środowiska.

==Materiały==
#[[Pracownia_EEG 2/Wprowadzenie do Psychopy|Wprowadzenie do Psychopy]]
#[[Pracownia_EEG 2/Krótkie przypomnienie z anatomii i funkcji mózgu|Krótkie przypomnienie z anatomii i funkcji mózgu]]
#[[Pracownia_EEG 2/EEG_spoczynkowe|EEG spoczynkowe, artefakty ]]
#[[Pracownia_EEG 2/Potencjały_wywołane|Potencjały wywołane]]
#[[Pracownia_EEG 2/SSVEP_1|SSVEP]]
#[[Pracownia_EEG 2/EEG_wlasności_EEG_spoczynkowego|Własności EEG spoczynkowego: funkcja autokorelacji i widmo]]
#[[Pracownia_EEG 2/AR_1|Widmowa analiza parametryczna]]
#[[Pracownia_EEG 2/ERDS_2|Wprowadzenie do metod czas-częstość]]
#[[Pracownia_EEG 2/ERDS|Synchronizacja i desynchronizacja sygnału EEG związana z bodźcem]]
#[[Pracownia_EEG 2/Projekt|Projekt]]

Autorzy: dr hab. Maciej Kamiński,
dr Rafał Kuś,
dr hab. Jarosław Żygierewicz,
dr Anna Duszyk-Bogorodzka

==Zasady zaliczenia pracowni==
Materiał zajęć jest podzielony na bloki tematyczne. W każdym bloku studenci mają do wykonania zestaw ćwiczeń.
Zaliczenie bloku ma dwa elementy:

* uzupełnienie krótkich raportów po wskazanych blokach.
* wykonanie projektu i zaprezentowanie wyników
* obecność obowiązkowa, możliwe dwie nieobeności nieusprawideliwione.

===Wskazówki dotyczące przygotowania prezentacji===
# Wyniki ćwiczeń przedstawiamy w postaci prezentacji komputerowej (OpenOffice, PowerPoint, LibreOffice, Acrobat, itp.); czas trwania — maksymalnie 15 minut.
# Należy uwzględnić wyniki uzyskane w ćwiczeniach wskazanych przez prowadzących.
# Należy zadbać o prawidłową postać wykresów, w tym w szczególności:
#* obecność opisów osi (w miarę możliwości);
#* spójne zakresy osi i skalowanie wykresów;
#* właściwy dobór skali (tak, aby uwidocznić najważniejsze rzeczy);
#* obecność tytułów i innych podpisów ułatwiających zrozumienie prezentowanych treści;
#* odpowiedni rozmiar podpisów, aby były widoczne z daleka.
# Prezentacja wyników powinna uwzględniać:
#* krótko — przypomnienie co było liczone
#* podstawowe parametry rejestracji danych;
#* krótko — jak było liczone (jeśli trzeba);
#* na co należy zwrócić uwagę w prezentowanych wynikach;
#* interpretację wykresów. Część z tych informacji można dołożyć do rysunków w postaci krótkich wyjaśnień.
# Ocenie podlegają:
#* kompletność prezentacji;
#* czytelność prezentowanych wielkości i zjawisk;
#* merytoryczna poprawność wypowiedzi.
# Każdy z powyższych elementów prezentacji będzie oceniany w 10-punktowej skali. Punkty zebrane w ciągu semestru będą przekładać się na ocenę końcową.
# Wyniki dodatkowe, ponadprogramowe, są mile widziane i mogą skutkować lepszą oceną.

WnioskowanieStatystyczne/ Regresja liniowa i test chi2

2025-06-08T19:40:40Z

Maciek: /* Regresja liniowa */

== Wstęp ==
Załóżmy, że mamy dwie zmienne losowe ciągłe <math>X</math> i <math>Y</math>. Chcielibyśmy wykorzystać wiedzę o wartościach zmiennej <math>X</math> do przewidywania wartości zmiennej <math>Y</math>. Mówimy, że zmienna <math>X </math> jest niezależna, a zmienna <math>Y</math> zależna. W fizyce taką wiedzę opisujemy przy pomocy równań. Równania fizyczne często wyrażają związki przyczynowo-skutkowe. W takim wypadku, która zmienna jest zależna, a która niezależna ma głębszy sens. Jednak nie zawsze tak musi być. Wartości dwóch zmiennych mogą zależeć od trzeciej nieobserwowanej zmiennej. W tej sytuacji wiedza o wartości jednej z tych zmiennych może być wykorzystana do przewidywania wartości drugiej, ale nie ma między nimi związku przyczynowo-skutkowego.

== Regresja ==
W ogólności, dla każdej wartości zmiennej <math>X</math> mamy rozkład wartości zmiennej <math>Y</math>.
{{Solution | title = Przykład: rozkłady ''Y'' dla każdego punktu ''X'' |text =
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

# symuowana zależność ma następującą postać y = b0 + b1*x
# wartości parametrów
b0 = 1
b1 = 3

X = np.arange(0, 10,0.5)
# będę symulował zbieranie n wartości Y dlakażdego X[i], zakładam to samo odchylenie standardowe
odch_std = 1
n = 30
Y = np.zeros((n,len(X)))
for i in range(len(X)):
Y[:,i] = b0 + b1*X[i] + st.norm.rvs(size = n, loc=0, scale = odch_std)

# narysujmy ten zbiór punktów
for j in range(len(X)):
py.plot(X, Y[j,:],'b,')
# wyróżnimy średnie
py.plot(X,np.mean(Y,0),'ro')
# i odchykenia standardowe:
py.errorbar(X,np.mean(Y,0),odch_std,ecolor = 'k',elinewidth = 8)
py.show()
</source>
}}
===Regresja liniowa ===
Dalej będziemy rozważać regresję liniową, tzn. założymy, że punkty <math>(X,Y)</math> są generowane przez model liniowy o następującym równaniu:
: <math> y = b_0 + b_1x + \epsilon </math>
współczynniki <math>b_0</math> i <math>b_1</math> można wyestymować stosując
[https://brain.fuw.edu.pl/edu/index.php/WnioskowanieStatystyczne/MLF metodę największej wiarygodności]:

:<math>{\hat{\,b}}_1=\frac{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\bar{x})(y_{i}-
\bar{y})}{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\bar{x})^{2}},
</math>
:<math>
\hat{\ b}_0=\bar{y}-\hat{\,b}_1\bar{x}
</math>
Z tymi współczynnikami otrzymujemy równanie opisujące prostą regresji:
<math>\hat{\ y} = \hat{\,b}_0 + \hat{\ b}_1 x</math>

Zakłądając, że <math>\epsilon </math> pochodzi z rozkładu normalnego o wariancji <math>\sigma^2</math> estymowane współczynniki są zmiennymi losowymi pochodzącymi z rozkładów normalnego o średniej takiej jak wyestymowany współczynnik i wariancji odpowiednio:
:<math> v_{b_1} = \frac{\sigma^2}{\sum_i (x_i - \bar x)^2} </math>

:<math> v_{b_0} = \frac{\sigma^2}{n} + \frac{\bar x ^2}{\sum_i (x_i - \bar x)^2} \sigma^2 </math>

Wariancję <math>\sigma^2 = E[S^2]</math> można estymować przez:
:<math>S^2 = \frac{1}{n-2}\sum_{i=1}^n(y_i - \hat{\ y}_i)^2</math>

Warto tu zwrócić uwagę na prosty fakt, że niepewność oszacowania współczynników można zmniejszyć zwiększając zakres zmiennej <math>x</math>.

Funkcję estymującą parametry i ich standardowe odchylenia można zaimplementować w pythonie następująco:
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def regresja_liniowa(X,Y):
'''równanie dopasowywanej prostej to y = b0 + b1*x
argumenty:
X - zmienna niezależna
Y - zmienna zależna
funkcja zwraca:
b0, b1, - estymaty parametrów
s_b0, s_b1, - estymaty standardowego odchylenia parametrów
residua - różnice między punktami pomiarowymi a punktami na dopasowanej prostej
'''
N = len(X)
x_sr = np.mean(X)
y_sr = np.mean(Y)
# estymatory parametrów
# korzystamy z tego że numpy wykonuje odejmowania i potęgowania dla każdego elementu tablicy X i Y
b1 = np.sum((X-x_sr)*(Y-y_sr))/np.sum((X-x_sr)**2)
b0 = y_sr - b1*x_sr

# teraz liczymy kilka rzeczy przydatnych do oceny jakości modelu
Y_reg = b0 + b1*X # wartości Y przewidywane przez model
residua = Y - Y_reg # residua, czyli zmienność Y nie wynikająca z modelu

sse = np.sum(residua**2)
# estymator wariancji residuów, bywa nazywany średnim błędem kwadratowym regresji :
v_e = sse/(N-2)
# estymatory standardowych błędów parametrów
s_b0 = np.sqrt(v_e) * np.sqrt(1.0/N + x_sr**2/np.sum( (X-x_sr)**2))
s_b1 = np.sqrt(v_e) * np.sqrt( 1.0/np.sum( (X -x_sr)**2 ))
return (b0, b1, s_b0, s_b1, residua )
</source>

====Przykład: Dopasowanie prostej do punktów (zakładamy jednakową wariancję ''Y'' dla każdego ''X'')====
Wytwórzmy dane zgodnie z modelem:
: <math>y = -13 + 3 x + \epsilon</math>
: i <math>\sigma_\epsilon =19</math>:

<source lang= python>
# symulowana zależność ma następującą postać y = b0 + b1*x
# wartości parametrów
b0 = -13.0
b1 = 3.0

X = np.arange(30, 70, 0.5)
sigma = 19.0
n = 1
Y = np.zeros(len(X))
for i in range(len(X)):
Y[i] = b0 + b1*X[i] + st.norm.rvs(size = n, loc=0, scale = sigma)
</source>

Korzystając ze zdefiniowanej powyżej funkcji <tt>regresja_liniowa</tt> estymujemy parametry i ich odchylenia standardowe:
<source lang= python>
(b0, b1, s_b0, s_b1, residua ) = regresja_liniowa(X,Y)

print('Równanie prostej: y = b0 + b1*x')
print('dopasowane współczynniki: b0 = %.3f, b1 = %.3f' %(b0, b1))
print('s_b0 = %.4f, s_b1= %.4f '%(s_b0, s_b1))

py.errorbar(X,Y,sigma)
Y_reg = b0 + b1*X
py.plot(X,Y_reg)

py.show()
</source>

==== Ocena jakości dopasownia ====
=====Współczynnik <math>R^2</math>=====
Aby wyrazić współczynnik <math>R^2</math> potrzebujemy następujących wyrażeń - sum kwadratów (ss). Są one miarą zmienności.
* <math>ss_{tot}</math> - całkowita suma kwadratów - proporcjonalna do wariancji próby,
* <math>ss_{reg}</math> - suma kwadratów regresji - zwana też wyjaśnioną sumą kwadratów,
* <math>ss_{err}</math> - suma kwadratów residuów - niewyjaśniona suma kwadratów.

Poszczególne składniki wymienionych powyżej sum kwadratów są zilustrowane na poniższym rysunku.

[[Plik:Regresja1.svg|thumb|500px|center|Dla wybranego punktu <math>(x_i,y_i)</math> zaznaczono różnice będące składnikami poszczególnych sum kwadratów]]

Implementacja:
<source lang= python>
y_sr = np.mean(Y)
ss_tot = np.sum( (Y - y_sr)**2 )
ss_reg = np.sum( (Y_reg - y_sr)**2 )
ss_err = np.sum( (residua)**2 )
</source>
mając te sumy <math>R^2</math> definiujemy jako:
:<math>R^2 = 1 - \frac{ss_{err}}{ss_{tot}}</math>
<source lang= python>
R2 = 1 - ss_err/ss_tot
print('R2 = %.2f' %(R2))
</source>

W przypadku regresji liniowej <math>ss_{reg} + ss_{err} = ss_{tot}</math>. Możemy to sprawdzić [http://brain.fuw.edu.pl/edu/STAT:Regresja_liniowa#Interpretacja_wsp.C3.B3.C5.82czynnika_korelacji analitycznie] i numerycznie:
<source lang= python>
print('ss_tot = %.3f' %(ss_tot))
print('ss_reg + ss_err =%.3f'%(ss_reg+ss_err))
</source>
czyli
: <math>R^2 = \frac{ss_{reg}}{ss_{tot}} </math>,
można więc interpretować <math>R^2</math> jako frakcję zmienności ''Y'' tłumaczoną przez model.
W przypadku regresji liniowej współczynnik <math>R^2</math> równy jest kwadratowi współczynnika korelacji <math>\rho</math>
: <math>R^2 = \rho^2</math>
[http://brain.fuw.edu.pl/edu/STAT:Regresja_liniowa#Interpretacja_wsp.C3.B3.C5.82czynnika_korelacji (dowód)]

===== Test F dla hipotezy o braku korelacji =====
Często interesujące jest zweryfikowanie hipotezy o istotności zależności między ''Y'' a ''X'' (proszę nie mylić tego z istnieniem związku przyczynowo-skutkowego). Matematycznie równoważne jest to postawieniu hipotezy:
: <math>H_0: b_1 = 0 </math>
: <math>H_1: b_1 \ne 0 </math>
albo:
: <math>H_0: \rho = 0 </math>
: <math>H_1: \rho \ne 0 </math>
Wykorzystamy do tego test równości wariancji oparty o [http://brain.fuw.edu.pl/edu/STAT:Analiza_wariancji rozkład F].
Jeśli zgodnie z <math>H_0</math> <math>b_1 = 0</math> to prosta regresji jest pozioma i wariancja wyjaśniona przez regresję (proporcjonalna do <math>ss_{reg}</math>) jest równa wariancji niewyjaśnionej (proporcjonalna do <math>ss_{err}</math>). Wariancje te można estymować dzieląc odpowiednie sumy kwadratów zdefiniowane w poprzednim paragrafie przez odpowiadającą im liczbę stopni swobody. Jeśli mamy ''N'' punktów danych, to:
* liczba stopni swobody dla <math>ss_{tot}</math> jest <math>N-1</math>, poniważ jeden stopień swobody jest tracony na obliczenie średniej,
* liczba stopni swobody dla <math>ss_{err}</math> jest <math>N-2</math>, ponieważ do policzenia tej sumy kwadratów musimy wyznaczyć dwa parametry prostej,
* liczba stopni swobody odpowiadająca <math>ss_{reg}</math> jest 1, bo jest <math>ss_{reg}</math> związana jest z poprzednimi sumami kwadratów równaniem, czyli swobody jest tyle ile wynosi różnica w stopniach swobody tamtych sum.
Zatem:
* estymator wariancji wyjaśnionej:
: <math>s_{reg} = \frac{ss_{reg}}{1}</math>
* estymator wariancji niewyjaśnionej:
: <math>s_{err} = \frac{ss_{err}}{N-2}</math>
Wielkość
:<math> F = \frac{ss_{reg}(N-2)}{ss_{err}} </math> podlega rozkładowi ''F'' o <math>(1,N-2)</math> stopniach swobody.
W naszym przykładzie:
<source lang= python>
# test F
N = len(X)
F = (ss_reg *(N-2))/ss_err
p_F = 1-st.f.cdf(F,1,N-2)
print('F = %.2f, p_F = %.2f'%(F, p_F))
</source>
''Wnioskowanie:'' Jeśli <tt>p_F</tt> jest duże to nie mamy powodu aby odrzucić hipotezę zerową. Jeśli zaś jest ono mniejsze niż ustalony poziom istotności to odrzucamy hipotezę zerową i przyjmujemy alternatywną.

===== Przedziały ufności dla parametrów =====
Przedziały ufności dla parametrów <math>b_0</math> i <math>b_1</math> pokazują zakres, w jakim z zadanym prawdopodobieństwem znajdują się ich "prawdziwe" wartości.

Jeśli residua mają rozkład normalny, to estymatory parametrów <math>b_0</math> i <math>b_1</math> również będą miały rozkład normalny.
Zmienne:
: <math>t = \frac{\hat b_0 - b_0}{s_{\hat b_0}}\ \sim\ t_{N-2},</math>
: <math>t = \frac{\hat b_1 - b_1}{s_{\hat b_1}}\ \sim\ t_{N-2},</math>
podlegają rozkładowi ''t'' z (''N''−2) stopniami swobody.

Używając powyższych statystyk ''t'' można skonstruować przedziały ufności w standardowy sposób [http://brain.fuw.edu.pl/edu/STATLAB:Przedzia%C5%82y_ufno%C5%9Bci#Przyk.C5.82ad_2 (porównaj z przykładem)]. Jeśli przedział ma mieć poziom ufności <math>1 - \alpha</math> to potrzebna nam będzie wartość krytyczna z rozkładu <math>t^*_{N-2}</math> taka, że prawdopodobieństwo zaobserwowania wartości ''t'' nie większej od niej jest <math>\alpha/2</math>. Wówczas:
: <math> b_1\in \Big[\ \hat b_1 - s_{\hat b_1} t^*_{N-2},\ \hat b_1 + s_{\hat b_1} t^*_{N-2}\ \Big] </math>
oraz
: <math> b_0 \in \Big[\ \hat b_0 - s_{\hat b_0} t^*_{N-2},\ \hat b_0 + s_{\hat b_0} t^*_{N-2}\ \Big] </math>
Implementacja:
<source lang= python>
# przedziały ufności:
alpha = 0.05 # zakładam 95% przedział ufności
# wartość krytyczna w rozkładzie t
t_kryt = st.t.ppf(alpha/2, N-2)
b0_l = b0 + s_b0*t_kryt
b0_h = b0 - s_b0*t_kryt
b1_l = b1 + s_b1*t_kryt
b1_h = b1 - s_b1*t_kryt
print('%.1f procentowe przedziały ufności parametrów:'%((1-alpha)*100))
print('b0: [%.2f %.2f ] '%(b0_l, b0_h))
print('b1: [%.2f %.2f ] '%(b1_l, b1_h))
</source>

===== Przedziały ufności dla modelu =====
Widzieliśmy, że parametry dopasowanej prostej nie są wyznaczone dokładnie. Tzn. jeśli dostalibyśmy inne realizacje danych (''X,Y'') to ta sama procedura regresji zwraca nieco inne parametry modelu. Jak widzieliśmy powyżej można wyznaczyć przedziały ufności wewnątrz których parametry te znajdują się z określonym prawdopodobieństwem. Różnym parametrom odpowiadają różne proste. Proste te wyznaczają na płaszczyźnie (''x,y'') pewien obszar. Obszar ten to przedział ufności dla modelu. Jego granice można wyznaczyć obliczając dla każdej wartości ''x'' błąd standardowy regresji ze wzoru:
: <math>s_{reg}(x_i) = \sqrt{\frac{ss_{err}}{N-2}} \cdot \sqrt{\frac{1}{N} + \frac{(x_i - \bar X)^2}{\sum_{j=1}^N(x_j - \bar X)^2}} </math>
odległość krzywej wyznaczającej obszar ufności od prostej regresji znajdujemy mnożąc ten błąd standardowy przez odpowiednią wartość krytyczną z rozkładu <math>t_{N-2}</math>:
:<math>d_i = t^*_{N-2}s_{reg}(x_i) </math>
Implementacja:
<source lang= python>
# Przedział ufności modelu:
alpha = 0.05 # zakładam 95% przedział ufności
# wartość krytyczna w rozkładzie t
t_kryt = st.t.ppf(alpha/2, N-2)
sse = np.sum(residua**2)
# estymator wariancji residuów, bywa nazywany średnim błędem kwadratowym regresji :
v_e = sse/(N-2)
x_sr = np.mean(X)
# Odległość brzegów przedziału ufności od prostej regresji
d = t_kryt*np.sqrt(v_e)*np.sqrt(1.0/N + (X- x_sr)**2/np.sum((X-x_sr)**2))
# Ilustracja: dla każdego X cieniujemy obszar pomiędzy Y_reg-d,Y_reg+d i nadajemy mu przezroczystość 0.5
py.fill_between(X,Y_reg-d,Y_reg+d,alpha=0.5)
</source>

===== Przedziały ufności dla obserwacji =====
Przedział zmienności dla modelu nie mówi nam wiele o tym jak daleko od wyznaczonej prostej mogą pojawiać się nowe obserwacje (''x,y''). Aby zobrazować obszar, w którym z określonym prawdopodobieństwem mogą wystąpić nowe obserwacje potrzebujemy przedziału ufności dla obserwacji.
Jego granice można wyznaczyć obliczając dla każdej wartości ''x'' błąd standardowy ze wzoru:
: <math>s_{reg}(x_i) = \sqrt{\frac{ss_{err}}{N-2}} \cdot \sqrt{1+\frac{1}{N} + \frac{(x_i - \bar X)^2}{\sum_{j=1}^N(x_j - \bar X)^2}} </math>
odległość krzywej wyznaczającej obszar ufności od prostej regresji znajdujemy mnożąc ten błąd standardowy przez odpowiednią wartość krytyczną z rozkładu <math>t_{N-2}</math>:
:<math>d_i = t^*_{N-2}s_{reg}(x_i) </math>
<source lang= python>
# przedział ufności na obserwacje
d = t_kryt*np.sqrt(v_e)*np.sqrt(1+1.0/N + (X- x_sr)**2/np.sum((X-x_sr)**2))
py.fill_between(X,Y_reg-d,Y_reg+d, facecolor='gray',alpha=0.5)
</source>

=====Test <math>\chi^2</math>=====
Jeśli znamy wariancję błędu pomiarowego można zastosować test <math>\chi^2</math> do oceny jakości dopasowania.
Po pierwsze powinniśmy przetestować czy residua mają rozkład normalny
<source lang= python>
W, p =st.shapiro(residua)
print('Test normalności residuów: p = %.3f'%(p))
</source>
Jeśli tak to zmienna:
: <math>\chi_{fit}^2 = \sum_{i=1}^N {\left( \frac{y_i-y_{reg}}{\sigma} \right)^2 }</math>
podlega rozkładowi <math>\chi^2</math> o <math>N - n</math> ilości stopni swobody (''n'' - ilość estymowanych parametrów), czyli u nas ''N-2''.
Możemy zbadać jakie jest prawdopodobieństwo zaobserwowania takiej (<math>\chi_{fit}^2</math>), bądź bardziej ekstremalnej wartości <math>\chi^2</math>:
<source lang= python>
chi2 = np.sum(residua**2)/sigma**2
N = len(X)
if chi2 < N-2:
p_chi2 = st.chi2.cdf(chi2, N-2)
else:
p_chi2 = 1 - st.chi2.cdf(chi2, N-2)
print('chi2 = %.2f, p_chi2 = %.3f' %(chi2, p_chi2))
</source>
Czasem używamy zredukowanego, czyli podzielonego przez liczbę stopni swobody <math>\chi^2</math>:
* Jeśli jest on znacząco większy niż 1 to model nie pasuje do danych, lub nie doszacowaliśmy standardowego odchylenia <math>\sigma</math>.
* Jeśli jest sporo mniejszy niż 1 to prawdopodobnie oszacowane przez nas <math>\sigma</math> jest większe niż rzeczywiste.
To jakościowe porównanie można uściślić szacując prawdopodobieństwo zaobserwowania wartości <math>\chi^2_{zred}</math> bardziej ekstremalnych niż otrzymane w dopasowaniu. Zmienna <math>\chi^2_{zred}</math> podlega innemu rozkładowi prawdopodobieństwa niż <math>\chi^2</math>, możemy go jednak łatwo wyznaczyć w drodze symulacji:
<source lang= python>
chi2_zred = chi2/(N-2)
# potrzebny jest nam rozkład chi2_zred:
N_dist = 100000
dist_chi2_zred = np.sum(st.norm.rvs(size=(N-2,N_dist))**2 ,0)/(N-2)
if chi2_zred>1:
p_chi2_zred = np.sum(dist_chi2_zred>=chi2_zred)/float(N_dist)
else:
p_chi2_zred = np.sum(dist_chi2_zred<=chi2_zred)/float(N_dist)
print('chi2_zred = %.2f, p_chi2_zred = %.3f' %(chi2_zred, p_chi2_zred))
</source>

=== Dopasowanie krzywej do danych gdy wariancje dla poszczególnych punktów pomiarowych są różne ===
Często w fizyce potrzebujemy dopasować jakąś bardziej skomplikowaną zależność niż prosta. Często też potrafimy oszacować błędy pomiarowe dla różnych wartości zmiennej niezależnej, przy czym może się zdarzyć, że błędy te nie są jednakowe dla różnych wartości zmiennej niezależnej. Do dopasowania współczynników używamy zasady [[WnioskowanieStatystyczne/MLF|największej wiarygodności]], która prowadzi do procedur minimalizacji ważonego średniego błędu kwadratowego. Możemy wówczas użyć standardowych procedur minimalizacji gradientowej. Należy jednak pamiętać, że metody gradientowe znajdują najbliższe ''minimum lokalne'' analizowanej funkcji. W przypadku funkcji nieliniowych skutkiem tego jest zależność wyniku od punktu startu minimalizacji.

====Dopasowanie dowolnej funkcji====
Poniżej rozważymy przykład dopasowania zależności wykładniczej.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import scipy.optimize as opt
import pylab as py
import numpy as np

# funkcja używana do symulowania danych
def zanik(x, amp, wykladnik, blad_wzgledny):
'''Definicja funkcji zaniku wykładniczego. Użyjemy jej do wytworzenia danych'''
y = amp * (x**wykladnik) # idealne dane
sigma = blad_wzgledny * y # zakładamy, że stały jest błąd względny pomiaru
# przeliczamy go na standardowe odchylenie symulowanego błędu
# symulujemy szum z obliczonym odchyleniem standardowym i dodajemy go do danych idealnych
y += st.norm.rvs(size=num_points) * sigma
return (y, sigma)

# Funkcja, którą chcemy dopasować do danych:
def funkcja_do_fitowania(x,a,b):
y = a*x**b
return y

def funkcja_bledu(x, y, funkcja, params, err):
'''Suma kwadratów tej funkcji jest minimalizowana w procesie optymalizacji parametrów.
Nam przyda się do obliczenia residuów.'''
y_fit = funkcja(x, *params) # aktualne wartości y z dopasowania
residuum = y-y_fit # residua wchodzą do sumy kwadratów z wagą odwrotnie proporcjonalną do standardowego odchylenia
residuum_wazone = residuum/ err
return residuum_wazone

# Generujemy punkty z szumem
num_points = 20
X = np.linspace(1.1, 10.1, num_points)
Y, sigma = zanik(X, 10.0, -2.0, 0.1) # symulowane dane

# Dopasowujemy parametry
# nie musimy podawać wartości startowych (params_init) dla procedury minimalizacji (wtedy funkcja zakłada wartości startowe równe 1)
# jednak zazwyczaj dobrze jest podpowiedzieć algorytmowi, gdzie powinien zacząć
# nie musimy również podawać wartości sigma, ale jeśli są one różne dla różnych punktów, to podanie ich sprawi, że algorytm będzie się bardziej troszczył
# o dopasowanie do punktów pomiarowych zmierzonych z dobrą dokładnością, a bardziej swobodnie podejdzie do tych o dużych niepewnościach
params_init = [2.0, -1.0]
params_final, covar = opt.curve_fit(funkcja_do_fitowania,X,Y,params_init,sigma)

print("Dopasowane parametry",params_final)
print("Macierz kowariancji\n",covar)

# dopasowane parametry
amp=params_final[0]
wykladnik=params_final[1]

# standardowe błędy dopasowania
amp_err = np.sqrt(covar[0][0])
wykladnik_err = np.sqrt(covar[1][1])

# test chi2 dobroci dopasowania.
# Jeśli znamy wariancję błędu pomiarowego można zastosować test chi2 do oceny jakości dopasowania.
# Po pierwsze powinniśmy przetestować czy residua mają rozkład normalny

residua = funkcja_bledu(X, Y, funkcja_do_fitowania, params_final, sigma)# tym razem residua już są podzielone przez standardowe odchylenie, każde przez swoje
W, p =st.shapiro(residua)
print('Test normalności residuów: p = %.3f'%(p))
# jeśli tak to zmienna:
chi2 = np.sum(residua**2)
# podlega rozkładowi chi-kwadrat o N - n ilości stopni swobody (n - ilość fitowanych parametrów), czyli u nas N-2
# możemy zbadać jakie jest prawdopodobieństwo zaobserwowania takiej, bądź bardziej ekstremalnej wartości chi2:

N = len (X)
liczba_stopni_swobody = N-len(params_final) # liczba punktów - liczba parametrów
if chi2 < liczba_stopni_swobody:
p_chi2 = st.chi2.cdf(chi2, liczba_stopni_swobody)
else:
p_chi2 = st.chi2.sf(chi2, liczba_stopni_swobody) # równoważne 1-st.chi2.cdf(chi2, N-2), ale sf ma lepszą dokładność dla małych wartości
print('chi2 = %.2f, p_chi2 = %.3f' %(chi2, p_chi2))
# czasem używamy zredukowanego chi2, czyli podzielonego przez ilość stopni swobody
chi2_zred = chi2/liczba_stopni_swobody
# jeśli jest on znacząco większy niż 1 to model nie pasuje do danych, lub nie doszacowaliśmy sigmy,
# jeśli jest sporo mniejszy niż 1 to prawdopodobnie oszacowane przez nas sigma jest większe niż rzeczywiste
# potrzebny jest nam rozkład chi2_zred:
N_dist = 100000
dist_chi2_zred = np.sum(st.norm.rvs(size=(liczba_stopni_swobody,N_dist))**2 ,0)/liczba_stopni_swobody
p_chi2_zred = np.sum(dist_chi2_zred>=chi2_zred)/float(N_dist)
print('chi2_zred = %.2f, p_chi2_zred = %.3f' %(chi2_zred, p_chi2_zred))

##########
# wykres
##########
py.subplot(2,1,1)
py.plot(X, funkcja_do_fitowania(X,amp,wykladnik)) # Fit
py.errorbar(X, Y, yerr=sigma, fmt='k.') # Dane i błędy
py.text(5, 6.5, 'amplituda = %5.2f +/- %5.2f' % (amp, amp_err))
py.text(5, 5.5, u'wykładnik = %5.2f +/- %5.2f' % (wykladnik, wykladnik_err))
py.title(u'Dopasowanie metodą najmniejszych kwadratów')
py.xlabel('X')
py.ylabel('Y')
py.xlim(1, 11)
py.subplot(2,1,2)
py.plot(X, residua) # residua
py.xlabel('X')
py.ylabel('dY')
py.title(u'Wykres residuów')
py.show()
</source>

====Dopasowanie wielomianu====
Poniżej rozważymy przykład dopasowania zależności wielomianowej.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

# funkcja używana do symulowania danych
def wielomian_z_szumem(x, wspolczynniki,blad_wzgledny):
'''Definicja funkcji wielomianowej. Użyjemy jej do wytworzenia danych'''
W = np.poly1d(wspolczynniki) # funkcja zwracająca obiekt wielomianu o zadanych wspolczynnikach
#można go używać tak, jak zwykłej funkcji, ale obsługuje też działania na wielomianach
y = W(X)# idealne dane
sigma = blad_wzgledny * y # zakładamy, że stały jest błąd względny pomiaru
# przeliczamy go na standardowe odchylenie symulowanego błędu
# symulujemy szum z obliczonym odchyleniem standardowym i dodajemy go do danych idealnych
y += st.norm.rvs(size=num_points) * sigma
return (y, sigma)

def funkcja_bledu_dla_wielomianow(x, y, wspolczynniki, err):
'''Suma kwadratów tej funkcji jest minimalizowana w procesie optymalizacji parametrów.
Nam przyda się do obliczenia residuów.'''
W = np.poly1d(wspolczynniki)
y_fit = W(x) # aktualne wartości y z dopasowania
residuum = y-y_fit # residua wchodzą do sumy kwadratów z wagą odwrotnie proporcjonalną do standardowego odchylenia
residuum_wazone = residuum/ err
return residuum_wazone

# Generujemy punkty z szumem
num_points = 20
X = np.linspace(-4, 6, num_points)
wspolczynniki_wielomianu= (0.3,1,-2,4)
stopien_wielomianu=len(wspolczynniki_wielomianu)-1
blad_wzgledny_pomiaru=0.1
Y, sigma = wielomian_z_szumem(X, wspolczynniki_wielomianu, blad_wzgledny_pomiaru) # symulowane dane

# Dopasowujemy parametry
# tym razem skorzystamy z funkcji np.polyfit, która nie potrzebuje parametrów początkowych, ani zdefiniowanej funkcji, którą ma dopasować
# podajemy jej tylko nasze dane oraz stopień wielomianu, który ma dopasować oraz opcjonalne wagi
# UWAGA! Tym razem wagi muszą być odwrotnością odchyleń standardowych (1/sigma, a nie sigma, jak w curve_fit)
# funkcja ta domyślnie zwraca tylko dopasowane parametry (wspolczynniki wielomianu), a nie zwraca macierzy kowariancji,
# jeśli jest nam ona potrzebna, to musimy jej zarządać poprzez dodanie opcji cov=True (full=False, ale to jest domyślnie)
params_final, covar=np.polyfit(X, Y, deg=stopien_wielomianu, w=1/sigma, cov=True)

print("Dopasowane wspolczynniki wielomianu",params_final)
print("Macierz kowariancji\n",covar)

# standardowe błędy dopasowania
niepewnosci=[]
for i in range(len(params_final)):
niepewnosci.append(np.sqrt(covar[i][i]))
print(niepewnosci)

# test chi2 dobroci dopasowania.
# Jeśli znamy wariancję błędu pomiarowego można zastosować test chi2 do oceny jakości dopasowania.
# Po pierwsze powinniśmy przetestować czy residua mają rozkład normalny

residua = funkcja_bledu_dla_wielomianow(X, Y, params_final, sigma)# tym razem residua już są podzielone przez standardowe odchylenie, każde przez swoje
W, p =st.shapiro(residua)
print('Test normalności residuów: p = %.3f'%(p))
# jeśli tak to zmienna:
chi2 = np.sum(residua**2)
# podlega rozkładowi chi-kwadrat o N - n ilości stopni swobody (n - ilość fitowanych parametrów), czyli u nas N-2
# możemy zbadać jakie jest prawdopodobieństwo zaobserwowania takiej, bądź bardziej ekstremalnej wartości chi2:

N = len (X)
liczba_stopni_swobody = N-len(params_final) # liczba punktów - liczba parametrów
if chi2 < liczba_stopni_swobody:
p_chi2 = st.chi2.cdf(chi2, liczba_stopni_swobody)
else:
p_chi2 = st.chi2.sf(chi2, liczba_stopni_swobody) # równoważne 1-st.chi2.cdf(chi2, N-2), ale sf ma lepszą dokładność dla małych wartości
print('chi2 = %.2f, p_chi2 = %.3f' %(chi2, p_chi2))

# czasem używamy zredukowanego chi2, czyli podzielonego przez ilość stopni swobody
chi2_zred = chi2/liczba_stopni_swobody
# jeśli jest on znacząco większy niż 1 to model nie pasuje do danych, lub nie doszacowaliśmy sigmy,
# jeśli jest sporo mniejszy niż 1 to prawdopodobnie oszacowane przez nas sigma jest większe niż rzeczywiste
# potrzebny jest nam rozkład chi2_zred:
N_dist = 100000
dist_chi2_zred = np.sum(st.norm.rvs(size=(liczba_stopni_swobody,N_dist))**2 ,0)/liczba_stopni_swobody
p_chi2_zred = np.sum(dist_chi2_zred>=chi2_zred)/float(N_dist)
print('chi2_zred = %.2f, p_chi2_zred = %.3f' %(chi2_zred, p_chi2_zred))

##########
# wykres
##########
py.subplot(2,1,1)
W=np.poly1d(params_final)
py.plot(X, W(X)) # Fit
py.errorbar(X, Y, yerr=sigma, fmt='k.') # Dane i błędy
py.title(u'Dopasowanie metodą najmniejszych kwadratów')
py.text(-4.6, 92, u'dopasowane współczynniki = '+str(np.round(params_final,3)))
py.text(-4.6, 86, u'niepewności współczynników = '+str(np.round(niepewnosci,3)))
py.text(-4.6, 80, u'prawdziwe współczynniki = '+str(np.round(wspolczynniki_wielomianu,3)))
py.xlabel('X')
py.ylabel('Y')
py.xlim(X.min()-1, X.max()+1)
py.subplot(2,1,2)
py.plot(X, residua) # residua
py.xlabel('X')
py.ylabel('dY')
py.title(u'Wykres residuów')
py.show()
py.show()</source>

WnioskowanieStatystyczne/ Regresja liniowa i test chi2

2025-06-04T12:20:25Z

Maciek: /* Regresja liniowa */

== Wstęp ==
Załóżmy, że mamy dwie zmienne losowe ciągłe <math>X</math> i <math>Y</math>. Chcielibyśmy wykorzystać wiedzę o wartościach zmiennej <math>X</math> do przewidywania wartości zmiennej <math>Y</math>. Mówimy, że zmienna <math>X </math> jest niezależna, a zmienna <math>Y</math> zależna. W fizyce taką wiedzę opisujemy przy pomocy równań. Równania fizyczne często wyrażają związki przyczynowo-skutkowe. W takim wypadku, która zmienna jest zależna, a która niezależna ma głębszy sens. Jednak nie zawsze tak musi być. Wartości dwóch zmiennych mogą zależeć od trzeciej nieobserwowanej zmiennej. W tej sytuacji wiedza o wartości jednej z tych zmiennych może być wykorzystana do przewidywania wartości drugiej, ale nie ma między nimi związku przyczynowo-skutkowego.

== Regresja ==
W ogólności, dla każdej wartości zmiennej <math>X</math> mamy rozkład wartości zmiennej <math>Y</math>.
{{Solution | title = Przykład: rozkłady ''Y'' dla każdego punktu ''X'' |text =
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

# symuowana zależność ma następującą postać y = b0 + b1*x
# wartości parametrów
b0 = 1
b1 = 3

X = np.arange(0, 10,0.5)
# będę symulował zbieranie n wartości Y dlakażdego X[i], zakładam to samo odchylenie standardowe
odch_std = 1
n = 30
Y = np.zeros((n,len(X)))
for i in range(len(X)):
Y[:,i] = b0 + b1*X[i] + st.norm.rvs(size = n, loc=0, scale = odch_std)

# narysujmy ten zbiór punktów
for j in range(len(X)):
py.plot(X, Y[j,:],'b,')
# wyróżnimy średnie
py.plot(X,np.mean(Y,0),'ro')
# i odchykenia standardowe:
py.errorbar(X,np.mean(Y,0),odch_std,ecolor = 'k',elinewidth = 8)
py.show()
</source>
}}
===Regresja liniowa ===
Dalej będziemy rozważać regresję liniową, tzn. założymy, że punkty <math>(X,Y)</math> są generowane przez model liniowy o następującym równaniu:
: <math> y = b_0 + b_1x + \epsilon </math>
współczynniki <math>b_0</math> i <math>b_1</math> można wyestymować stosując
[https://brain.fuw.edu.pl/edu/index.php/WnioskowanieStatystyczne/MLF metodę największej wiarygodności]:

:<math>\hat b_1=\frac{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})(y_{i}-
\overline{y})}{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})^{2}},
</math>
:<math>
\hat b_0=\overline{y}-\hat b_1\overline{x}
</math>
Z tymi współczynnikami otrzymujemy równanie opisujące prostą regresji:
<math>\hat y = \hat b_0 + \hat b_1 x</math>

Zakłądając, że <math>\epsilon </math> pochodzi z rozkładu normalnego o wariancji <math>\sigma^2</math> estymowane współczynniki są zmiennymi losowymi pochodzącymi z rozkładów normalnego o średniej takiej jak wyestymowany współczynnik i wariancji odpowiednio:
:<math> v_{b_1} = \frac{\sigma^2}{\sum_i (x_i - \bar x)^2} </math>

:<math> v_{b_0} = \frac{\sigma^2}{n} + \frac{\bar x ^2}{\sum_i (x_i - \bar x)^2} \sigma^2 </math>

Wariancję <math>\sigma^2 = E[S^2]</math> można estymować przez:
:<math>S^2 = \frac{1}{n-2}\sum_{i=1}^n(y_i - \hat y_i)^2</math>

Warto tu zwrócić uwagę na prosty fakt, że niepewność oszacowania współczynników można zmniejszyć zwiększając zakres zmiennej <math>x</math>.

Funkcję estymującą parametry i ich standardowe odchylenia można zaimplementować w pythonie następująco:
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def regresja_liniowa(X,Y):
'''równanie dopasowywanej prostej to y = b0 + b1*x
argumenty:
X - zmienna niezależna
Y - zmienna zależna
funkcja zwraca:
b0, b1, - estymaty parametrów
s_b0, s_b1, - estymaty standardowego odchylenia parametrów
residua - różnice między punktami pomiarowymi a punktami na dopasowanej prostej
'''
N = len(X)
x_sr = np.mean(X)
y_sr = np.mean(Y)
# estymatory parametrów
# korzystamy z tego że numpy wykonuje odejmowania i potęgowania dla każdego elementu tablicy X i Y
b1 = np.sum((X-x_sr)*(Y-y_sr))/np.sum((X-x_sr)**2)
b0 = y_sr - b1*x_sr

# teraz liczymy kilka rzeczy przydatnych do oceny jakości modelu
Y_reg = b0 + b1*X # wartości Y przewidywane przez model
residua = Y - Y_reg # residua, czyli zmienność Y nie wynikająca z modelu

sse = np.sum(residua**2)
# estymator wariancji residuów, bywa nazywany średnim błędem kwadratowym regresji :
v_e = sse/(N-2)
# estymatory standardowych błędów parametrów
s_b0 = np.sqrt(v_e) * np.sqrt(1.0/N + x_sr**2/np.sum( (X-x_sr)**2))
s_b1 = np.sqrt(v_e) * np.sqrt( 1.0/np.sum( (X -x_sr)**2 ))
return (b0, b1, s_b0, s_b1, residua )
</source>

====Przykład: Dopasowanie prostej do punktów (zakładamy jednakową wariancję ''Y'' dla każdego ''X'')====
Wytwórzmy dane zgodnie z modelem:
: <math>y = -13 + 3 x + \epsilon</math>
: i <math>\sigma_\epsilon =19</math>:

<source lang= python>
# symulowana zależność ma następującą postać y = b0 + b1*x
# wartości parametrów
b0 = -13.0
b1 = 3.0

X = np.arange(30, 70, 0.5)
sigma = 19.0
n = 1
Y = np.zeros(len(X))
for i in range(len(X)):
Y[i] = b0 + b1*X[i] + st.norm.rvs(size = n, loc=0, scale = sigma)
</source>

Korzystając ze zdefiniowanej powyżej funkcji <tt>regresja_liniowa</tt> estymujemy parametry i ich odchylenia standardowe:
<source lang= python>
(b0, b1, s_b0, s_b1, residua ) = regresja_liniowa(X,Y)

print('Równanie prostej: y = b0 + b1*x')
print('dopasowane współczynniki: b0 = %.3f, b1 = %.3f' %(b0, b1))
print('s_b0 = %.4f, s_b1= %.4f '%(s_b0, s_b1))

py.errorbar(X,Y,sigma)
Y_reg = b0 + b1*X
py.plot(X,Y_reg)

py.show()
</source>

==== Ocena jakości dopasownia ====
=====Współczynnik <math>R^2</math>=====
Aby wyrazić współczynnik <math>R^2</math> potrzebujemy następujących wyrażeń - sum kwadratów (ss). Są one miarą zmienności.
* <math>ss_{tot}</math> - całkowita suma kwadratów - proporcjonalna do wariancji próby,
* <math>ss_{reg}</math> - suma kwadratów regresji - zwana też wyjaśnioną sumą kwadratów,
* <math>ss_{err}</math> - suma kwadratów residuów - niewyjaśniona suma kwadratów.

Poszczególne składniki wymienionych powyżej sum kwadratów są zilustrowane na poniższym rysunku.

[[Plik:Regresja1.svg|thumb|500px|center|Dla wybranego punktu <math>(x_i,y_i)</math> zaznaczono różnice będące składnikami poszczególnych sum kwadratów]]

Implementacja:
<source lang= python>
y_sr = np.mean(Y)
ss_tot = np.sum( (Y - y_sr)**2 )
ss_reg = np.sum( (Y_reg - y_sr)**2 )
ss_err = np.sum( (residua)**2 )
</source>
mając te sumy <math>R^2</math> definiujemy jako:
:<math>R^2 = 1 - \frac{ss_{err}}{ss_{tot}}</math>
<source lang= python>
R2 = 1 - ss_err/ss_tot
print('R2 = %.2f' %(R2))
</source>

W przypadku regresji liniowej <math>ss_{reg} + ss_{err} = ss_{tot}</math>. Możemy to sprawdzić [http://brain.fuw.edu.pl/edu/STAT:Regresja_liniowa#Interpretacja_wsp.C3.B3.C5.82czynnika_korelacji analitycznie] i numerycznie:
<source lang= python>
print('ss_tot = %.3f' %(ss_tot))
print('ss_reg + ss_err =%.3f'%(ss_reg+ss_err))
</source>
czyli
: <math>R^2 = \frac{ss_{reg}}{ss_{tot}} </math>,
można więc interpretować <math>R^2</math> jako frakcję zmienności ''Y'' tłumaczoną przez model.
W przypadku regresji liniowej współczynnik <math>R^2</math> równy jest kwadratowi współczynnika korelacji <math>\rho</math>
: <math>R^2 = \rho^2</math>
[http://brain.fuw.edu.pl/edu/STAT:Regresja_liniowa#Interpretacja_wsp.C3.B3.C5.82czynnika_korelacji (dowód)]

===== Test F dla hipotezy o braku korelacji =====
Często interesujące jest zweryfikowanie hipotezy o istotności zależności między ''Y'' a ''X'' (proszę nie mylić tego z istnieniem związku przyczynowo-skutkowego). Matematycznie równoważne jest to postawieniu hipotezy:
: <math>H_0: b_1 = 0 </math>
: <math>H_1: b_1 \ne 0 </math>
albo:
: <math>H_0: \rho = 0 </math>
: <math>H_1: \rho \ne 0 </math>
Wykorzystamy do tego test równości wariancji oparty o [http://brain.fuw.edu.pl/edu/STAT:Analiza_wariancji rozkład F].
Jeśli zgodnie z <math>H_0</math> <math>b_1 = 0</math> to prosta regresji jest pozioma i wariancja wyjaśniona przez regresję (proporcjonalna do <math>ss_{reg}</math>) jest równa wariancji niewyjaśnionej (proporcjonalna do <math>ss_{err}</math>). Wariancje te można estymować dzieląc odpowiednie sumy kwadratów zdefiniowane w poprzednim paragrafie przez odpowiadającą im liczbę stopni swobody. Jeśli mamy ''N'' punktów danych, to:
* liczba stopni swobody dla <math>ss_{tot}</math> jest <math>N-1</math>, poniważ jeden stopień swobody jest tracony na obliczenie średniej,
* liczba stopni swobody dla <math>ss_{err}</math> jest <math>N-2</math>, ponieważ do policzenia tej sumy kwadratów musimy wyznaczyć dwa parametry prostej,
* liczba stopni swobody odpowiadająca <math>ss_{reg}</math> jest 1, bo jest <math>ss_{reg}</math> związana jest z poprzednimi sumami kwadratów równaniem, czyli swobody jest tyle ile wynosi różnica w stopniach swobody tamtych sum.
Zatem:
* estymator wariancji wyjaśnionej:
: <math>s_{reg} = \frac{ss_{reg}}{1}</math>
* estymator wariancji niewyjaśnionej:
: <math>s_{err} = \frac{ss_{err}}{N-2}</math>
Wielkość
:<math> F = \frac{ss_{reg}(N-2)}{ss_{err}} </math> podlega rozkładowi ''F'' o <math>(1,N-2)</math> stopniach swobody.
W naszym przykładzie:
<source lang= python>
# test F
N = len(X)
F = (ss_reg *(N-2))/ss_err
p_F = 1-st.f.cdf(F,1,N-2)
print('F = %.2f, p_F = %.2f'%(F, p_F))
</source>
''Wnioskowanie:'' Jeśli <tt>p_F</tt> jest duże to nie mamy powodu aby odrzucić hipotezę zerową. Jeśli zaś jest ono mniejsze niż ustalony poziom istotności to odrzucamy hipotezę zerową i przyjmujemy alternatywną.

===== Przedziały ufności dla parametrów =====
Przedziały ufności dla parametrów <math>b_0</math> i <math>b_1</math> pokazują zakres, w jakim z zadanym prawdopodobieństwem znajdują się ich "prawdziwe" wartości.

Jeśli residua mają rozkład normalny, to estymatory parametrów <math>b_0</math> i <math>b_1</math> również będą miały rozkład normalny.
Zmienne:
: <math>t = \frac{\hat b_0 - b_0}{s_{\hat b_0}}\ \sim\ t_{N-2},</math>
: <math>t = \frac{\hat b_1 - b_1}{s_{\hat b_1}}\ \sim\ t_{N-2},</math>
podlegają rozkładowi ''t'' z (''N''−2) stopniami swobody.

Używając powyższych statystyk ''t'' można skonstruować przedziały ufności w standardowy sposób [http://brain.fuw.edu.pl/edu/STATLAB:Przedzia%C5%82y_ufno%C5%9Bci#Przyk.C5.82ad_2 (porównaj z przykładem)]. Jeśli przedział ma mieć poziom ufności <math>1 - \alpha</math> to potrzebna nam będzie wartość krytyczna z rozkładu <math>t^*_{N-2}</math> taka, że prawdopodobieństwo zaobserwowania wartości ''t'' nie większej od niej jest <math>\alpha/2</math>. Wówczas:
: <math> b_1\in \Big[\ \hat b_1 - s_{\hat b_1} t^*_{N-2},\ \hat b_1 + s_{\hat b_1} t^*_{N-2}\ \Big] </math>
oraz
: <math> b_0 \in \Big[\ \hat b_0 - s_{\hat b_0} t^*_{N-2},\ \hat b_0 + s_{\hat b_0} t^*_{N-2}\ \Big] </math>
Implementacja:
<source lang= python>
# przedziały ufności:
alpha = 0.05 # zakładam 95% przedział ufności
# wartość krytyczna w rozkładzie t
t_kryt = st.t.ppf(alpha/2, N-2)
b0_l = b0 + s_b0*t_kryt
b0_h = b0 - s_b0*t_kryt
b1_l = b1 + s_b1*t_kryt
b1_h = b1 - s_b1*t_kryt
print('%.1f procentowe przedziały ufności parametrów:'%((1-alpha)*100))
print('b0: [%.2f %.2f ] '%(b0_l, b0_h))
print('b1: [%.2f %.2f ] '%(b1_l, b1_h))
</source>

===== Przedziały ufności dla modelu =====
Widzieliśmy, że parametry dopasowanej prostej nie są wyznaczone dokładnie. Tzn. jeśli dostalibyśmy inne realizacje danych (''X,Y'') to ta sama procedura regresji zwraca nieco inne parametry modelu. Jak widzieliśmy powyżej można wyznaczyć przedziały ufności wewnątrz których parametry te znajdują się z określonym prawdopodobieństwem. Różnym parametrom odpowiadają różne proste. Proste te wyznaczają na płaszczyźnie (''x,y'') pewien obszar. Obszar ten to przedział ufności dla modelu. Jego granice można wyznaczyć obliczając dla każdej wartości ''x'' błąd standardowy regresji ze wzoru:
: <math>s_{reg}(x_i) = \sqrt{\frac{ss_{err}}{N-2}} \cdot \sqrt{\frac{1}{N} + \frac{(x_i - \bar X)^2}{\sum_{j=1}^N(x_j - \bar X)^2}} </math>
odległość krzywej wyznaczającej obszar ufności od prostej regresji znajdujemy mnożąc ten błąd standardowy przez odpowiednią wartość krytyczną z rozkładu <math>t_{N-2}</math>:
:<math>d_i = t^*_{N-2}s_{reg}(x_i) </math>
Implementacja:
<source lang= python>
# Przedział ufności modelu:
alpha = 0.05 # zakładam 95% przedział ufności
# wartość krytyczna w rozkładzie t
t_kryt = st.t.ppf(alpha/2, N-2)
sse = np.sum(residua**2)
# estymator wariancji residuów, bywa nazywany średnim błędem kwadratowym regresji :
v_e = sse/(N-2)
x_sr = np.mean(X)
# Odległość brzegów przedziału ufności od prostej regresji
d = t_kryt*np.sqrt(v_e)*np.sqrt(1.0/N + (X- x_sr)**2/np.sum((X-x_sr)**2))
# Ilustracja: dla każdego X cieniujemy obszar pomiędzy Y_reg-d,Y_reg+d i nadajemy mu przezroczystość 0.5
py.fill_between(X,Y_reg-d,Y_reg+d,alpha=0.5)
</source>

===== Przedziały ufności dla obserwacji =====
Przedział zmienności dla modelu nie mówi nam wiele o tym jak daleko od wyznaczonej prostej mogą pojawiać się nowe obserwacje (''x,y''). Aby zobrazować obszar, w którym z określonym prawdopodobieństwem mogą wystąpić nowe obserwacje potrzebujemy przedziału ufności dla obserwacji.
Jego granice można wyznaczyć obliczając dla każdej wartości ''x'' błąd standardowy ze wzoru:
: <math>s_{reg}(x_i) = \sqrt{\frac{ss_{err}}{N-2}} \cdot \sqrt{1+\frac{1}{N} + \frac{(x_i - \bar X)^2}{\sum_{j=1}^N(x_j - \bar X)^2}} </math>
odległość krzywej wyznaczającej obszar ufności od prostej regresji znajdujemy mnożąc ten błąd standardowy przez odpowiednią wartość krytyczną z rozkładu <math>t_{N-2}</math>:
:<math>d_i = t^*_{N-2}s_{reg}(x_i) </math>
<source lang= python>
# przedział ufności na obserwacje
d = t_kryt*np.sqrt(v_e)*np.sqrt(1+1.0/N + (X- x_sr)**2/np.sum((X-x_sr)**2))
py.fill_between(X,Y_reg-d,Y_reg+d, facecolor='gray',alpha=0.5)
</source>

=====Test <math>\chi^2</math>=====
Jeśli znamy wariancję błędu pomiarowego można zastosować test <math>\chi^2</math> do oceny jakości dopasowania.
Po pierwsze powinniśmy przetestować czy residua mają rozkład normalny
<source lang= python>
W, p =st.shapiro(residua)
print('Test normalności residuów: p = %.3f'%(p))
</source>
Jeśli tak to zmienna:
: <math>\chi_{fit}^2 = \sum_{i=1}^N {\left( \frac{y_i-y_{reg}}{\sigma} \right)^2 }</math>
podlega rozkładowi <math>\chi^2</math> o <math>N - n</math> ilości stopni swobody (''n'' - ilość estymowanych parametrów), czyli u nas ''N-2''.
Możemy zbadać jakie jest prawdopodobieństwo zaobserwowania takiej (<math>\chi_{fit}^2</math>), bądź bardziej ekstremalnej wartości <math>\chi^2</math>:
<source lang= python>
chi2 = np.sum(residua**2)/sigma**2
N = len(X)
if chi2 < N-2:
p_chi2 = st.chi2.cdf(chi2, N-2)
else:
p_chi2 = 1 - st.chi2.cdf(chi2, N-2)
print('chi2 = %.2f, p_chi2 = %.3f' %(chi2, p_chi2))
</source>
Czasem używamy zredukowanego, czyli podzielonego przez liczbę stopni swobody <math>\chi^2</math>:
* Jeśli jest on znacząco większy niż 1 to model nie pasuje do danych, lub nie doszacowaliśmy standardowego odchylenia <math>\sigma</math>.
* Jeśli jest sporo mniejszy niż 1 to prawdopodobnie oszacowane przez nas <math>\sigma</math> jest większe niż rzeczywiste.
To jakościowe porównanie można uściślić szacując prawdopodobieństwo zaobserwowania wartości <math>\chi^2_{zred}</math> bardziej ekstremalnych niż otrzymane w dopasowaniu. Zmienna <math>\chi^2_{zred}</math> podlega innemu rozkładowi prawdopodobieństwa niż <math>\chi^2</math>, możemy go jednak łatwo wyznaczyć w drodze symulacji:
<source lang= python>
chi2_zred = chi2/(N-2)
# potrzebny jest nam rozkład chi2_zred:
N_dist = 100000
dist_chi2_zred = np.sum(st.norm.rvs(size=(N-2,N_dist))**2 ,0)/(N-2)
if chi2_zred>1:
p_chi2_zred = np.sum(dist_chi2_zred>=chi2_zred)/float(N_dist)
else:
p_chi2_zred = np.sum(dist_chi2_zred<=chi2_zred)/float(N_dist)
print('chi2_zred = %.2f, p_chi2_zred = %.3f' %(chi2_zred, p_chi2_zred))
</source>

=== Dopasowanie krzywej do danych gdy wariancje dla poszczególnych punktów pomiarowych są różne ===
Często w fizyce potrzebujemy dopasować jakąś bardziej skomplikowaną zależność niż prosta. Często też potrafimy oszacować błędy pomiarowe dla różnych wartości zmiennej niezależnej, przy czym może się zdarzyć, że błędy te nie są jednakowe dla różnych wartości zmiennej niezależnej. Do dopasowania współczynników używamy zasady [[WnioskowanieStatystyczne/MLF|największej wiarygodności]], która prowadzi do procedur minimalizacji ważonego średniego błędu kwadratowego. Możemy wówczas użyć standardowych procedur minimalizacji gradientowej. Należy jednak pamiętać, że metody gradientowe znajdują najbliższe ''minimum lokalne'' analizowanej funkcji. W przypadku funkcji nieliniowych skutkiem tego jest zależność wyniku od punktu startu minimalizacji.

====Dopasowanie dowolnej funkcji====
Poniżej rozważymy przykład dopasowania zależności wykładniczej.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import scipy.optimize as opt
import pylab as py
import numpy as np

# funkcja używana do symulowania danych
def zanik(x, amp, wykladnik, blad_wzgledny):
'''Definicja funkcji zaniku wykładniczego. Użyjemy jej do wytworzenia danych'''
y = amp * (x**wykladnik) # idealne dane
sigma = blad_wzgledny * y # zakładamy, że stały jest błąd względny pomiaru
# przeliczamy go na standardowe odchylenie symulowanego błędu
# symulujemy szum z obliczonym odchyleniem standardowym i dodajemy go do danych idealnych
y += st.norm.rvs(size=num_points) * sigma
return (y, sigma)

# Funkcja, którą chcemy dopasować do danych:
def funkcja_do_fitowania(x,a,b):
y = a*x**b
return y

def funkcja_bledu(x, y, funkcja, params, err):
'''Suma kwadratów tej funkcji jest minimalizowana w procesie optymalizacji parametrów.
Nam przyda się do obliczenia residuów.'''
y_fit = funkcja(x, *params) # aktualne wartości y z dopasowania
residuum = y-y_fit # residua wchodzą do sumy kwadratów z wagą odwrotnie proporcjonalną do standardowego odchylenia
residuum_wazone = residuum/ err
return residuum_wazone

# Generujemy punkty z szumem
num_points = 20
X = np.linspace(1.1, 10.1, num_points)
Y, sigma = zanik(X, 10.0, -2.0, 0.1) # symulowane dane

# Dopasowujemy parametry
# nie musimy podawać wartości startowych (params_init) dla procedury minimalizacji (wtedy funkcja zakłada wartości startowe równe 1)
# jednak zazwyczaj dobrze jest podpowiedzieć algorytmowi, gdzie powinien zacząć
# nie musimy również podawać wartości sigma, ale jeśli są one różne dla różnych punktów, to podanie ich sprawi, że algorytm będzie się bardziej troszczył
# o dopasowanie do punktów pomiarowych zmierzonych z dobrą dokładnością, a bardziej swobodnie podejdzie do tych o dużych niepewnościach
params_init = [2.0, -1.0]
params_final, covar = opt.curve_fit(funkcja_do_fitowania,X,Y,params_init,sigma)

print("Dopasowane parametry",params_final)
print("Macierz kowariancji\n",covar)

# dopasowane parametry
amp=params_final[0]
wykladnik=params_final[1]

# standardowe błędy dopasowania
amp_err = np.sqrt(covar[0][0])
wykladnik_err = np.sqrt(covar[1][1])

# test chi2 dobroci dopasowania.
# Jeśli znamy wariancję błędu pomiarowego można zastosować test chi2 do oceny jakości dopasowania.
# Po pierwsze powinniśmy przetestować czy residua mają rozkład normalny

residua = funkcja_bledu(X, Y, funkcja_do_fitowania, params_final, sigma)# tym razem residua już są podzielone przez standardowe odchylenie, każde przez swoje
W, p =st.shapiro(residua)
print('Test normalności residuów: p = %.3f'%(p))
# jeśli tak to zmienna:
chi2 = np.sum(residua**2)
# podlega rozkładowi chi-kwadrat o N - n ilości stopni swobody (n - ilość fitowanych parametrów), czyli u nas N-2
# możemy zbadać jakie jest prawdopodobieństwo zaobserwowania takiej, bądź bardziej ekstremalnej wartości chi2:

N = len (X)
liczba_stopni_swobody = N-len(params_final) # liczba punktów - liczba parametrów
if chi2 < liczba_stopni_swobody:
p_chi2 = st.chi2.cdf(chi2, liczba_stopni_swobody)
else:
p_chi2 = st.chi2.sf(chi2, liczba_stopni_swobody) # równoważne 1-st.chi2.cdf(chi2, N-2), ale sf ma lepszą dokładność dla małych wartości
print('chi2 = %.2f, p_chi2 = %.3f' %(chi2, p_chi2))
# czasem używamy zredukowanego chi2, czyli podzielonego przez ilość stopni swobody
chi2_zred = chi2/liczba_stopni_swobody
# jeśli jest on znacząco większy niż 1 to model nie pasuje do danych, lub nie doszacowaliśmy sigmy,
# jeśli jest sporo mniejszy niż 1 to prawdopodobnie oszacowane przez nas sigma jest większe niż rzeczywiste
# potrzebny jest nam rozkład chi2_zred:
N_dist = 100000
dist_chi2_zred = np.sum(st.norm.rvs(size=(liczba_stopni_swobody,N_dist))**2 ,0)/liczba_stopni_swobody
p_chi2_zred = np.sum(dist_chi2_zred>=chi2_zred)/float(N_dist)
print('chi2_zred = %.2f, p_chi2_zred = %.3f' %(chi2_zred, p_chi2_zred))

##########
# wykres
##########
py.subplot(2,1,1)
py.plot(X, funkcja_do_fitowania(X,amp,wykladnik)) # Fit
py.errorbar(X, Y, yerr=sigma, fmt='k.') # Dane i błędy
py.text(5, 6.5, 'amplituda = %5.2f +/- %5.2f' % (amp, amp_err))
py.text(5, 5.5, u'wykładnik = %5.2f +/- %5.2f' % (wykladnik, wykladnik_err))
py.title(u'Dopasowanie metodą najmniejszych kwadratów')
py.xlabel('X')
py.ylabel('Y')
py.xlim(1, 11)
py.subplot(2,1,2)
py.plot(X, residua) # residua
py.xlabel('X')
py.ylabel('dY')
py.title(u'Wykres residuów')
py.show()
</source>

====Dopasowanie wielomianu====
Poniżej rozważymy przykład dopasowania zależności wielomianowej.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

# funkcja używana do symulowania danych
def wielomian_z_szumem(x, wspolczynniki,blad_wzgledny):
'''Definicja funkcji wielomianowej. Użyjemy jej do wytworzenia danych'''
W = np.poly1d(wspolczynniki) # funkcja zwracająca obiekt wielomianu o zadanych wspolczynnikach
#można go używać tak, jak zwykłej funkcji, ale obsługuje też działania na wielomianach
y = W(X)# idealne dane
sigma = blad_wzgledny * y # zakładamy, że stały jest błąd względny pomiaru
# przeliczamy go na standardowe odchylenie symulowanego błędu
# symulujemy szum z obliczonym odchyleniem standardowym i dodajemy go do danych idealnych
y += st.norm.rvs(size=num_points) * sigma
return (y, sigma)

def funkcja_bledu_dla_wielomianow(x, y, wspolczynniki, err):
'''Suma kwadratów tej funkcji jest minimalizowana w procesie optymalizacji parametrów.
Nam przyda się do obliczenia residuów.'''
W = np.poly1d(wspolczynniki)
y_fit = W(x) # aktualne wartości y z dopasowania
residuum = y-y_fit # residua wchodzą do sumy kwadratów z wagą odwrotnie proporcjonalną do standardowego odchylenia
residuum_wazone = residuum/ err
return residuum_wazone

# Generujemy punkty z szumem
num_points = 20
X = np.linspace(-4, 6, num_points)
wspolczynniki_wielomianu= (0.3,1,-2,4)
stopien_wielomianu=len(wspolczynniki_wielomianu)-1
blad_wzgledny_pomiaru=0.1
Y, sigma = wielomian_z_szumem(X, wspolczynniki_wielomianu, blad_wzgledny_pomiaru) # symulowane dane

# Dopasowujemy parametry
# tym razem skorzystamy z funkcji np.polyfit, która nie potrzebuje parametrów początkowych, ani zdefiniowanej funkcji, którą ma dopasować
# podajemy jej tylko nasze dane oraz stopień wielomianu, który ma dopasować oraz opcjonalne wagi
# UWAGA! Tym razem wagi muszą być odwrotnością odchyleń standardowych (1/sigma, a nie sigma, jak w curve_fit)
# funkcja ta domyślnie zwraca tylko dopasowane parametry (wspolczynniki wielomianu), a nie zwraca macierzy kowariancji,
# jeśli jest nam ona potrzebna, to musimy jej zarządać poprzez dodanie opcji cov=True (full=False, ale to jest domyślnie)
params_final, covar=np.polyfit(X, Y, deg=stopien_wielomianu, w=1/sigma, cov=True)

print("Dopasowane wspolczynniki wielomianu",params_final)
print("Macierz kowariancji\n",covar)

# standardowe błędy dopasowania
niepewnosci=[]
for i in range(len(params_final)):
niepewnosci.append(np.sqrt(covar[i][i]))
print(niepewnosci)

# test chi2 dobroci dopasowania.
# Jeśli znamy wariancję błędu pomiarowego można zastosować test chi2 do oceny jakości dopasowania.
# Po pierwsze powinniśmy przetestować czy residua mają rozkład normalny

residua = funkcja_bledu_dla_wielomianow(X, Y, params_final, sigma)# tym razem residua już są podzielone przez standardowe odchylenie, każde przez swoje
W, p =st.shapiro(residua)
print('Test normalności residuów: p = %.3f'%(p))
# jeśli tak to zmienna:
chi2 = np.sum(residua**2)
# podlega rozkładowi chi-kwadrat o N - n ilości stopni swobody (n - ilość fitowanych parametrów), czyli u nas N-2
# możemy zbadać jakie jest prawdopodobieństwo zaobserwowania takiej, bądź bardziej ekstremalnej wartości chi2:

N = len (X)
liczba_stopni_swobody = N-len(params_final) # liczba punktów - liczba parametrów
if chi2 < liczba_stopni_swobody:
p_chi2 = st.chi2.cdf(chi2, liczba_stopni_swobody)
else:
p_chi2 = st.chi2.sf(chi2, liczba_stopni_swobody) # równoważne 1-st.chi2.cdf(chi2, N-2), ale sf ma lepszą dokładność dla małych wartości
print('chi2 = %.2f, p_chi2 = %.3f' %(chi2, p_chi2))

# czasem używamy zredukowanego chi2, czyli podzielonego przez ilość stopni swobody
chi2_zred = chi2/liczba_stopni_swobody
# jeśli jest on znacząco większy niż 1 to model nie pasuje do danych, lub nie doszacowaliśmy sigmy,
# jeśli jest sporo mniejszy niż 1 to prawdopodobnie oszacowane przez nas sigma jest większe niż rzeczywiste
# potrzebny jest nam rozkład chi2_zred:
N_dist = 100000
dist_chi2_zred = np.sum(st.norm.rvs(size=(liczba_stopni_swobody,N_dist))**2 ,0)/liczba_stopni_swobody
p_chi2_zred = np.sum(dist_chi2_zred>=chi2_zred)/float(N_dist)
print('chi2_zred = %.2f, p_chi2_zred = %.3f' %(chi2_zred, p_chi2_zred))

##########
# wykres
##########
py.subplot(2,1,1)
W=np.poly1d(params_final)
py.plot(X, W(X)) # Fit
py.errorbar(X, Y, yerr=sigma, fmt='k.') # Dane i błędy
py.title(u'Dopasowanie metodą najmniejszych kwadratów')
py.text(-4.6, 92, u'dopasowane współczynniki = '+str(np.round(params_final,3)))
py.text(-4.6, 86, u'niepewności współczynników = '+str(np.round(niepewnosci,3)))
py.text(-4.6, 80, u'prawdziwe współczynniki = '+str(np.round(wspolczynniki_wielomianu,3)))
py.xlabel('X')
py.ylabel('Y')
py.xlim(X.min()-1, X.max()+1)
py.subplot(2,1,2)
py.plot(X, residua) # residua
py.xlabel('X')
py.ylabel('dY')
py.title(u'Wykres residuów')
py.show()
py.show()</source>

WnioskowanieStatystyczne/ Regresja liniowa i test chi2

2025-06-04T12:18:38Z

Maciek: /* Regresja liniowa */

== Wstęp ==
Załóżmy, że mamy dwie zmienne losowe ciągłe <math>X</math> i <math>Y</math>. Chcielibyśmy wykorzystać wiedzę o wartościach zmiennej <math>X</math> do przewidywania wartości zmiennej <math>Y</math>. Mówimy, że zmienna <math>X </math> jest niezależna, a zmienna <math>Y</math> zależna. W fizyce taką wiedzę opisujemy przy pomocy równań. Równania fizyczne często wyrażają związki przyczynowo-skutkowe. W takim wypadku, która zmienna jest zależna, a która niezależna ma głębszy sens. Jednak nie zawsze tak musi być. Wartości dwóch zmiennych mogą zależeć od trzeciej nieobserwowanej zmiennej. W tej sytuacji wiedza o wartości jednej z tych zmiennych może być wykorzystana do przewidywania wartości drugiej, ale nie ma między nimi związku przyczynowo-skutkowego.

== Regresja ==
W ogólności, dla każdej wartości zmiennej <math>X</math> mamy rozkład wartości zmiennej <math>Y</math>.
{{Solution | title = Przykład: rozkłady ''Y'' dla każdego punktu ''X'' |text =
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

# symuowana zależność ma następującą postać y = b0 + b1*x
# wartości parametrów
b0 = 1
b1 = 3

X = np.arange(0, 10,0.5)
# będę symulował zbieranie n wartości Y dlakażdego X[i], zakładam to samo odchylenie standardowe
odch_std = 1
n = 30
Y = np.zeros((n,len(X)))
for i in range(len(X)):
Y[:,i] = b0 + b1*X[i] + st.norm.rvs(size = n, loc=0, scale = odch_std)

# narysujmy ten zbiór punktów
for j in range(len(X)):
py.plot(X, Y[j,:],'b,')
# wyróżnimy średnie
py.plot(X,np.mean(Y,0),'ro')
# i odchykenia standardowe:
py.errorbar(X,np.mean(Y,0),odch_std,ecolor = 'k',elinewidth = 8)
py.show()
</source>
}}
===Regresja liniowa ===
Dalej będziemy rozważać regresję liniową, tzn. założymy, że punkty <math>(X,Y)</math> są generowane przez model liniowy o następującym równaniu:
: <math> y = b_0 + b_1x + \epsilon </math>
współczynniki <math>b_0</math> i <math>b_1</math> można wyestymować stosując
[https://brain.fuw.edu.pl/edu/index.php/Wnioskowanie_Statystyczne_-_wykład metodę największej wiarygodności]:

:<math>\hat b_1=\frac{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})(y_{i}-
\overline{y})}{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})^{2}},
</math>
:<math>
\hat b_0=\overline{y}-\hat b_1\overline{x}
</math>
Z tymi współczynnikami otrzymujemy równanie opisujące prostą regresji:
<math>\hat y = \hat b_0 + \hat b_1 x</math>

Zakłądając, że <math>\epsilon </math> pochodzi z rozkładu normalnego o wariancji <math>\sigma^2</math> estymowane współczynniki są zmiennymi losowymi pochodzącymi z rozkładów normalnego o średniej takiej jak wyestymowany współczynnik i wariancji odpowiednio:
:<math> v_{b_1} = \frac{\sigma^2}{\sum_i (x_i - \bar x)^2} </math>

:<math> v_{b_0} = \frac{\sigma^2}{n} + \frac{\bar x ^2}{\sum_i (x_i - \bar x)^2} \sigma^2 </math>

Wariancję <math>\sigma^2 = E[S^2]</math> można estymować przez:
:<math>S^2 = \frac{1}{n-2}\sum_{i=1}^n(y_i - \hat y_i)^2</math>

Warto tu zwrócić uwagę na prosty fakt, że niepewność oszacowania współczynników można zmniejszyć zwiększając zakres zmiennej <math>x</math>.

Funkcję estymującą parametry i ich standardowe odchylenia można zaimplementować w pythonie następująco:
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def regresja_liniowa(X,Y):
'''równanie dopasowywanej prostej to y = b0 + b1*x
argumenty:
X - zmienna niezależna
Y - zmienna zależna
funkcja zwraca:
b0, b1, - estymaty parametrów
s_b0, s_b1, - estymaty standardowego odchylenia parametrów
residua - różnice między punktami pomiarowymi a punktami na dopasowanej prostej
'''
N = len(X)
x_sr = np.mean(X)
y_sr = np.mean(Y)
# estymatory parametrów
# korzystamy z tego że numpy wykonuje odejmowania i potęgowania dla każdego elementu tablicy X i Y
b1 = np.sum((X-x_sr)*(Y-y_sr))/np.sum((X-x_sr)**2)
b0 = y_sr - b1*x_sr

# teraz liczymy kilka rzeczy przydatnych do oceny jakości modelu
Y_reg = b0 + b1*X # wartości Y przewidywane przez model
residua = Y - Y_reg # residua, czyli zmienność Y nie wynikająca z modelu

sse = np.sum(residua**2)
# estymator wariancji residuów, bywa nazywany średnim błędem kwadratowym regresji :
v_e = sse/(N-2)
# estymatory standardowych błędów parametrów
s_b0 = np.sqrt(v_e) * np.sqrt(1.0/N + x_sr**2/np.sum( (X-x_sr)**2))
s_b1 = np.sqrt(v_e) * np.sqrt( 1.0/np.sum( (X -x_sr)**2 ))
return (b0, b1, s_b0, s_b1, residua )
</source>

====Przykład: Dopasowanie prostej do punktów (zakładamy jednakową wariancję ''Y'' dla każdego ''X'')====
Wytwórzmy dane zgodnie z modelem:
: <math>y = -13 + 3 x + \epsilon</math>
: i <math>\sigma_\epsilon =19</math>:

<source lang= python>
# symulowana zależność ma następującą postać y = b0 + b1*x
# wartości parametrów
b0 = -13.0
b1 = 3.0

X = np.arange(30, 70, 0.5)
sigma = 19.0
n = 1
Y = np.zeros(len(X))
for i in range(len(X)):
Y[i] = b0 + b1*X[i] + st.norm.rvs(size = n, loc=0, scale = sigma)
</source>

Korzystając ze zdefiniowanej powyżej funkcji <tt>regresja_liniowa</tt> estymujemy parametry i ich odchylenia standardowe:
<source lang= python>
(b0, b1, s_b0, s_b1, residua ) = regresja_liniowa(X,Y)

print('Równanie prostej: y = b0 + b1*x')
print('dopasowane współczynniki: b0 = %.3f, b1 = %.3f' %(b0, b1))
print('s_b0 = %.4f, s_b1= %.4f '%(s_b0, s_b1))

py.errorbar(X,Y,sigma)
Y_reg = b0 + b1*X
py.plot(X,Y_reg)

py.show()
</source>

==== Ocena jakości dopasownia ====
=====Współczynnik <math>R^2</math>=====
Aby wyrazić współczynnik <math>R^2</math> potrzebujemy następujących wyrażeń - sum kwadratów (ss). Są one miarą zmienności.
* <math>ss_{tot}</math> - całkowita suma kwadratów - proporcjonalna do wariancji próby,
* <math>ss_{reg}</math> - suma kwadratów regresji - zwana też wyjaśnioną sumą kwadratów,
* <math>ss_{err}</math> - suma kwadratów residuów - niewyjaśniona suma kwadratów.

Poszczególne składniki wymienionych powyżej sum kwadratów są zilustrowane na poniższym rysunku.

[[Plik:Regresja1.svg|thumb|500px|center|Dla wybranego punktu <math>(x_i,y_i)</math> zaznaczono różnice będące składnikami poszczególnych sum kwadratów]]

Implementacja:
<source lang= python>
y_sr = np.mean(Y)
ss_tot = np.sum( (Y - y_sr)**2 )
ss_reg = np.sum( (Y_reg - y_sr)**2 )
ss_err = np.sum( (residua)**2 )
</source>
mając te sumy <math>R^2</math> definiujemy jako:
:<math>R^2 = 1 - \frac{ss_{err}}{ss_{tot}}</math>
<source lang= python>
R2 = 1 - ss_err/ss_tot
print('R2 = %.2f' %(R2))
</source>

W przypadku regresji liniowej <math>ss_{reg} + ss_{err} = ss_{tot}</math>. Możemy to sprawdzić [http://brain.fuw.edu.pl/edu/STAT:Regresja_liniowa#Interpretacja_wsp.C3.B3.C5.82czynnika_korelacji analitycznie] i numerycznie:
<source lang= python>
print('ss_tot = %.3f' %(ss_tot))
print('ss_reg + ss_err =%.3f'%(ss_reg+ss_err))
</source>
czyli
: <math>R^2 = \frac{ss_{reg}}{ss_{tot}} </math>,
można więc interpretować <math>R^2</math> jako frakcję zmienności ''Y'' tłumaczoną przez model.
W przypadku regresji liniowej współczynnik <math>R^2</math> równy jest kwadratowi współczynnika korelacji <math>\rho</math>
: <math>R^2 = \rho^2</math>
[http://brain.fuw.edu.pl/edu/STAT:Regresja_liniowa#Interpretacja_wsp.C3.B3.C5.82czynnika_korelacji (dowód)]

===== Test F dla hipotezy o braku korelacji =====
Często interesujące jest zweryfikowanie hipotezy o istotności zależności między ''Y'' a ''X'' (proszę nie mylić tego z istnieniem związku przyczynowo-skutkowego). Matematycznie równoważne jest to postawieniu hipotezy:
: <math>H_0: b_1 = 0 </math>
: <math>H_1: b_1 \ne 0 </math>
albo:
: <math>H_0: \rho = 0 </math>
: <math>H_1: \rho \ne 0 </math>
Wykorzystamy do tego test równości wariancji oparty o [http://brain.fuw.edu.pl/edu/STAT:Analiza_wariancji rozkład F].
Jeśli zgodnie z <math>H_0</math> <math>b_1 = 0</math> to prosta regresji jest pozioma i wariancja wyjaśniona przez regresję (proporcjonalna do <math>ss_{reg}</math>) jest równa wariancji niewyjaśnionej (proporcjonalna do <math>ss_{err}</math>). Wariancje te można estymować dzieląc odpowiednie sumy kwadratów zdefiniowane w poprzednim paragrafie przez odpowiadającą im liczbę stopni swobody. Jeśli mamy ''N'' punktów danych, to:
* liczba stopni swobody dla <math>ss_{tot}</math> jest <math>N-1</math>, poniważ jeden stopień swobody jest tracony na obliczenie średniej,
* liczba stopni swobody dla <math>ss_{err}</math> jest <math>N-2</math>, ponieważ do policzenia tej sumy kwadratów musimy wyznaczyć dwa parametry prostej,
* liczba stopni swobody odpowiadająca <math>ss_{reg}</math> jest 1, bo jest <math>ss_{reg}</math> związana jest z poprzednimi sumami kwadratów równaniem, czyli swobody jest tyle ile wynosi różnica w stopniach swobody tamtych sum.
Zatem:
* estymator wariancji wyjaśnionej:
: <math>s_{reg} = \frac{ss_{reg}}{1}</math>
* estymator wariancji niewyjaśnionej:
: <math>s_{err} = \frac{ss_{err}}{N-2}</math>
Wielkość
:<math> F = \frac{ss_{reg}(N-2)}{ss_{err}} </math> podlega rozkładowi ''F'' o <math>(1,N-2)</math> stopniach swobody.
W naszym przykładzie:
<source lang= python>
# test F
N = len(X)
F = (ss_reg *(N-2))/ss_err
p_F = 1-st.f.cdf(F,1,N-2)
print('F = %.2f, p_F = %.2f'%(F, p_F))
</source>
''Wnioskowanie:'' Jeśli <tt>p_F</tt> jest duże to nie mamy powodu aby odrzucić hipotezę zerową. Jeśli zaś jest ono mniejsze niż ustalony poziom istotności to odrzucamy hipotezę zerową i przyjmujemy alternatywną.

===== Przedziały ufności dla parametrów =====
Przedziały ufności dla parametrów <math>b_0</math> i <math>b_1</math> pokazują zakres, w jakim z zadanym prawdopodobieństwem znajdują się ich "prawdziwe" wartości.

Jeśli residua mają rozkład normalny, to estymatory parametrów <math>b_0</math> i <math>b_1</math> również będą miały rozkład normalny.
Zmienne:
: <math>t = \frac{\hat b_0 - b_0}{s_{\hat b_0}}\ \sim\ t_{N-2},</math>
: <math>t = \frac{\hat b_1 - b_1}{s_{\hat b_1}}\ \sim\ t_{N-2},</math>
podlegają rozkładowi ''t'' z (''N''−2) stopniami swobody.

Używając powyższych statystyk ''t'' można skonstruować przedziały ufności w standardowy sposób [http://brain.fuw.edu.pl/edu/STATLAB:Przedzia%C5%82y_ufno%C5%9Bci#Przyk.C5.82ad_2 (porównaj z przykładem)]. Jeśli przedział ma mieć poziom ufności <math>1 - \alpha</math> to potrzebna nam będzie wartość krytyczna z rozkładu <math>t^*_{N-2}</math> taka, że prawdopodobieństwo zaobserwowania wartości ''t'' nie większej od niej jest <math>\alpha/2</math>. Wówczas:
: <math> b_1\in \Big[\ \hat b_1 - s_{\hat b_1} t^*_{N-2},\ \hat b_1 + s_{\hat b_1} t^*_{N-2}\ \Big] </math>
oraz
: <math> b_0 \in \Big[\ \hat b_0 - s_{\hat b_0} t^*_{N-2},\ \hat b_0 + s_{\hat b_0} t^*_{N-2}\ \Big] </math>
Implementacja:
<source lang= python>
# przedziały ufności:
alpha = 0.05 # zakładam 95% przedział ufności
# wartość krytyczna w rozkładzie t
t_kryt = st.t.ppf(alpha/2, N-2)
b0_l = b0 + s_b0*t_kryt
b0_h = b0 - s_b0*t_kryt
b1_l = b1 + s_b1*t_kryt
b1_h = b1 - s_b1*t_kryt
print('%.1f procentowe przedziały ufności parametrów:'%((1-alpha)*100))
print('b0: [%.2f %.2f ] '%(b0_l, b0_h))
print('b1: [%.2f %.2f ] '%(b1_l, b1_h))
</source>

===== Przedziały ufności dla modelu =====
Widzieliśmy, że parametry dopasowanej prostej nie są wyznaczone dokładnie. Tzn. jeśli dostalibyśmy inne realizacje danych (''X,Y'') to ta sama procedura regresji zwraca nieco inne parametry modelu. Jak widzieliśmy powyżej można wyznaczyć przedziały ufności wewnątrz których parametry te znajdują się z określonym prawdopodobieństwem. Różnym parametrom odpowiadają różne proste. Proste te wyznaczają na płaszczyźnie (''x,y'') pewien obszar. Obszar ten to przedział ufności dla modelu. Jego granice można wyznaczyć obliczając dla każdej wartości ''x'' błąd standardowy regresji ze wzoru:
: <math>s_{reg}(x_i) = \sqrt{\frac{ss_{err}}{N-2}} \cdot \sqrt{\frac{1}{N} + \frac{(x_i - \bar X)^2}{\sum_{j=1}^N(x_j - \bar X)^2}} </math>
odległość krzywej wyznaczającej obszar ufności od prostej regresji znajdujemy mnożąc ten błąd standardowy przez odpowiednią wartość krytyczną z rozkładu <math>t_{N-2}</math>:
:<math>d_i = t^*_{N-2}s_{reg}(x_i) </math>
Implementacja:
<source lang= python>
# Przedział ufności modelu:
alpha = 0.05 # zakładam 95% przedział ufności
# wartość krytyczna w rozkładzie t
t_kryt = st.t.ppf(alpha/2, N-2)
sse = np.sum(residua**2)
# estymator wariancji residuów, bywa nazywany średnim błędem kwadratowym regresji :
v_e = sse/(N-2)
x_sr = np.mean(X)
# Odległość brzegów przedziału ufności od prostej regresji
d = t_kryt*np.sqrt(v_e)*np.sqrt(1.0/N + (X- x_sr)**2/np.sum((X-x_sr)**2))
# Ilustracja: dla każdego X cieniujemy obszar pomiędzy Y_reg-d,Y_reg+d i nadajemy mu przezroczystość 0.5
py.fill_between(X,Y_reg-d,Y_reg+d,alpha=0.5)
</source>

===== Przedziały ufności dla obserwacji =====
Przedział zmienności dla modelu nie mówi nam wiele o tym jak daleko od wyznaczonej prostej mogą pojawiać się nowe obserwacje (''x,y''). Aby zobrazować obszar, w którym z określonym prawdopodobieństwem mogą wystąpić nowe obserwacje potrzebujemy przedziału ufności dla obserwacji.
Jego granice można wyznaczyć obliczając dla każdej wartości ''x'' błąd standardowy ze wzoru:
: <math>s_{reg}(x_i) = \sqrt{\frac{ss_{err}}{N-2}} \cdot \sqrt{1+\frac{1}{N} + \frac{(x_i - \bar X)^2}{\sum_{j=1}^N(x_j - \bar X)^2}} </math>
odległość krzywej wyznaczającej obszar ufności od prostej regresji znajdujemy mnożąc ten błąd standardowy przez odpowiednią wartość krytyczną z rozkładu <math>t_{N-2}</math>:
:<math>d_i = t^*_{N-2}s_{reg}(x_i) </math>
<source lang= python>
# przedział ufności na obserwacje
d = t_kryt*np.sqrt(v_e)*np.sqrt(1+1.0/N + (X- x_sr)**2/np.sum((X-x_sr)**2))
py.fill_between(X,Y_reg-d,Y_reg+d, facecolor='gray',alpha=0.5)
</source>

=====Test <math>\chi^2</math>=====
Jeśli znamy wariancję błędu pomiarowego można zastosować test <math>\chi^2</math> do oceny jakości dopasowania.
Po pierwsze powinniśmy przetestować czy residua mają rozkład normalny
<source lang= python>
W, p =st.shapiro(residua)
print('Test normalności residuów: p = %.3f'%(p))
</source>
Jeśli tak to zmienna:
: <math>\chi_{fit}^2 = \sum_{i=1}^N {\left( \frac{y_i-y_{reg}}{\sigma} \right)^2 }</math>
podlega rozkładowi <math>\chi^2</math> o <math>N - n</math> ilości stopni swobody (''n'' - ilość estymowanych parametrów), czyli u nas ''N-2''.
Możemy zbadać jakie jest prawdopodobieństwo zaobserwowania takiej (<math>\chi_{fit}^2</math>), bądź bardziej ekstremalnej wartości <math>\chi^2</math>:
<source lang= python>
chi2 = np.sum(residua**2)/sigma**2
N = len(X)
if chi2 < N-2:
p_chi2 = st.chi2.cdf(chi2, N-2)
else:
p_chi2 = 1 - st.chi2.cdf(chi2, N-2)
print('chi2 = %.2f, p_chi2 = %.3f' %(chi2, p_chi2))
</source>
Czasem używamy zredukowanego, czyli podzielonego przez liczbę stopni swobody <math>\chi^2</math>:
* Jeśli jest on znacząco większy niż 1 to model nie pasuje do danych, lub nie doszacowaliśmy standardowego odchylenia <math>\sigma</math>.
* Jeśli jest sporo mniejszy niż 1 to prawdopodobnie oszacowane przez nas <math>\sigma</math> jest większe niż rzeczywiste.
To jakościowe porównanie można uściślić szacując prawdopodobieństwo zaobserwowania wartości <math>\chi^2_{zred}</math> bardziej ekstremalnych niż otrzymane w dopasowaniu. Zmienna <math>\chi^2_{zred}</math> podlega innemu rozkładowi prawdopodobieństwa niż <math>\chi^2</math>, możemy go jednak łatwo wyznaczyć w drodze symulacji:
<source lang= python>
chi2_zred = chi2/(N-2)
# potrzebny jest nam rozkład chi2_zred:
N_dist = 100000
dist_chi2_zred = np.sum(st.norm.rvs(size=(N-2,N_dist))**2 ,0)/(N-2)
if chi2_zred>1:
p_chi2_zred = np.sum(dist_chi2_zred>=chi2_zred)/float(N_dist)
else:
p_chi2_zred = np.sum(dist_chi2_zred<=chi2_zred)/float(N_dist)
print('chi2_zred = %.2f, p_chi2_zred = %.3f' %(chi2_zred, p_chi2_zred))
</source>

=== Dopasowanie krzywej do danych gdy wariancje dla poszczególnych punktów pomiarowych są różne ===
Często w fizyce potrzebujemy dopasować jakąś bardziej skomplikowaną zależność niż prosta. Często też potrafimy oszacować błędy pomiarowe dla różnych wartości zmiennej niezależnej, przy czym może się zdarzyć, że błędy te nie są jednakowe dla różnych wartości zmiennej niezależnej. Do dopasowania współczynników używamy zasady [[WnioskowanieStatystyczne/MLF|największej wiarygodności]], która prowadzi do procedur minimalizacji ważonego średniego błędu kwadratowego. Możemy wówczas użyć standardowych procedur minimalizacji gradientowej. Należy jednak pamiętać, że metody gradientowe znajdują najbliższe ''minimum lokalne'' analizowanej funkcji. W przypadku funkcji nieliniowych skutkiem tego jest zależność wyniku od punktu startu minimalizacji.

====Dopasowanie dowolnej funkcji====
Poniżej rozważymy przykład dopasowania zależności wykładniczej.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import scipy.optimize as opt
import pylab as py
import numpy as np

# funkcja używana do symulowania danych
def zanik(x, amp, wykladnik, blad_wzgledny):
'''Definicja funkcji zaniku wykładniczego. Użyjemy jej do wytworzenia danych'''
y = amp * (x**wykladnik) # idealne dane
sigma = blad_wzgledny * y # zakładamy, że stały jest błąd względny pomiaru
# przeliczamy go na standardowe odchylenie symulowanego błędu
# symulujemy szum z obliczonym odchyleniem standardowym i dodajemy go do danych idealnych
y += st.norm.rvs(size=num_points) * sigma
return (y, sigma)

# Funkcja, którą chcemy dopasować do danych:
def funkcja_do_fitowania(x,a,b):
y = a*x**b
return y

def funkcja_bledu(x, y, funkcja, params, err):
'''Suma kwadratów tej funkcji jest minimalizowana w procesie optymalizacji parametrów.
Nam przyda się do obliczenia residuów.'''
y_fit = funkcja(x, *params) # aktualne wartości y z dopasowania
residuum = y-y_fit # residua wchodzą do sumy kwadratów z wagą odwrotnie proporcjonalną do standardowego odchylenia
residuum_wazone = residuum/ err
return residuum_wazone

# Generujemy punkty z szumem
num_points = 20
X = np.linspace(1.1, 10.1, num_points)
Y, sigma = zanik(X, 10.0, -2.0, 0.1) # symulowane dane

# Dopasowujemy parametry
# nie musimy podawać wartości startowych (params_init) dla procedury minimalizacji (wtedy funkcja zakłada wartości startowe równe 1)
# jednak zazwyczaj dobrze jest podpowiedzieć algorytmowi, gdzie powinien zacząć
# nie musimy również podawać wartości sigma, ale jeśli są one różne dla różnych punktów, to podanie ich sprawi, że algorytm będzie się bardziej troszczył
# o dopasowanie do punktów pomiarowych zmierzonych z dobrą dokładnością, a bardziej swobodnie podejdzie do tych o dużych niepewnościach
params_init = [2.0, -1.0]
params_final, covar = opt.curve_fit(funkcja_do_fitowania,X,Y,params_init,sigma)

print("Dopasowane parametry",params_final)
print("Macierz kowariancji\n",covar)

# dopasowane parametry
amp=params_final[0]
wykladnik=params_final[1]

# standardowe błędy dopasowania
amp_err = np.sqrt(covar[0][0])
wykladnik_err = np.sqrt(covar[1][1])

# test chi2 dobroci dopasowania.
# Jeśli znamy wariancję błędu pomiarowego można zastosować test chi2 do oceny jakości dopasowania.
# Po pierwsze powinniśmy przetestować czy residua mają rozkład normalny

residua = funkcja_bledu(X, Y, funkcja_do_fitowania, params_final, sigma)# tym razem residua już są podzielone przez standardowe odchylenie, każde przez swoje
W, p =st.shapiro(residua)
print('Test normalności residuów: p = %.3f'%(p))
# jeśli tak to zmienna:
chi2 = np.sum(residua**2)
# podlega rozkładowi chi-kwadrat o N - n ilości stopni swobody (n - ilość fitowanych parametrów), czyli u nas N-2
# możemy zbadać jakie jest prawdopodobieństwo zaobserwowania takiej, bądź bardziej ekstremalnej wartości chi2:

N = len (X)
liczba_stopni_swobody = N-len(params_final) # liczba punktów - liczba parametrów
if chi2 < liczba_stopni_swobody:
p_chi2 = st.chi2.cdf(chi2, liczba_stopni_swobody)
else:
p_chi2 = st.chi2.sf(chi2, liczba_stopni_swobody) # równoważne 1-st.chi2.cdf(chi2, N-2), ale sf ma lepszą dokładność dla małych wartości
print('chi2 = %.2f, p_chi2 = %.3f' %(chi2, p_chi2))
# czasem używamy zredukowanego chi2, czyli podzielonego przez ilość stopni swobody
chi2_zred = chi2/liczba_stopni_swobody
# jeśli jest on znacząco większy niż 1 to model nie pasuje do danych, lub nie doszacowaliśmy sigmy,
# jeśli jest sporo mniejszy niż 1 to prawdopodobnie oszacowane przez nas sigma jest większe niż rzeczywiste
# potrzebny jest nam rozkład chi2_zred:
N_dist = 100000
dist_chi2_zred = np.sum(st.norm.rvs(size=(liczba_stopni_swobody,N_dist))**2 ,0)/liczba_stopni_swobody
p_chi2_zred = np.sum(dist_chi2_zred>=chi2_zred)/float(N_dist)
print('chi2_zred = %.2f, p_chi2_zred = %.3f' %(chi2_zred, p_chi2_zred))

##########
# wykres
##########
py.subplot(2,1,1)
py.plot(X, funkcja_do_fitowania(X,amp,wykladnik)) # Fit
py.errorbar(X, Y, yerr=sigma, fmt='k.') # Dane i błędy
py.text(5, 6.5, 'amplituda = %5.2f +/- %5.2f' % (amp, amp_err))
py.text(5, 5.5, u'wykładnik = %5.2f +/- %5.2f' % (wykladnik, wykladnik_err))
py.title(u'Dopasowanie metodą najmniejszych kwadratów')
py.xlabel('X')
py.ylabel('Y')
py.xlim(1, 11)
py.subplot(2,1,2)
py.plot(X, residua) # residua
py.xlabel('X')
py.ylabel('dY')
py.title(u'Wykres residuów')
py.show()
</source>

====Dopasowanie wielomianu====
Poniżej rozważymy przykład dopasowania zależności wielomianowej.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

# funkcja używana do symulowania danych
def wielomian_z_szumem(x, wspolczynniki,blad_wzgledny):
'''Definicja funkcji wielomianowej. Użyjemy jej do wytworzenia danych'''
W = np.poly1d(wspolczynniki) # funkcja zwracająca obiekt wielomianu o zadanych wspolczynnikach
#można go używać tak, jak zwykłej funkcji, ale obsługuje też działania na wielomianach
y = W(X)# idealne dane
sigma = blad_wzgledny * y # zakładamy, że stały jest błąd względny pomiaru
# przeliczamy go na standardowe odchylenie symulowanego błędu
# symulujemy szum z obliczonym odchyleniem standardowym i dodajemy go do danych idealnych
y += st.norm.rvs(size=num_points) * sigma
return (y, sigma)

def funkcja_bledu_dla_wielomianow(x, y, wspolczynniki, err):
'''Suma kwadratów tej funkcji jest minimalizowana w procesie optymalizacji parametrów.
Nam przyda się do obliczenia residuów.'''
W = np.poly1d(wspolczynniki)
y_fit = W(x) # aktualne wartości y z dopasowania
residuum = y-y_fit # residua wchodzą do sumy kwadratów z wagą odwrotnie proporcjonalną do standardowego odchylenia
residuum_wazone = residuum/ err
return residuum_wazone

# Generujemy punkty z szumem
num_points = 20
X = np.linspace(-4, 6, num_points)
wspolczynniki_wielomianu= (0.3,1,-2,4)
stopien_wielomianu=len(wspolczynniki_wielomianu)-1
blad_wzgledny_pomiaru=0.1
Y, sigma = wielomian_z_szumem(X, wspolczynniki_wielomianu, blad_wzgledny_pomiaru) # symulowane dane

# Dopasowujemy parametry
# tym razem skorzystamy z funkcji np.polyfit, która nie potrzebuje parametrów początkowych, ani zdefiniowanej funkcji, którą ma dopasować
# podajemy jej tylko nasze dane oraz stopień wielomianu, który ma dopasować oraz opcjonalne wagi
# UWAGA! Tym razem wagi muszą być odwrotnością odchyleń standardowych (1/sigma, a nie sigma, jak w curve_fit)
# funkcja ta domyślnie zwraca tylko dopasowane parametry (wspolczynniki wielomianu), a nie zwraca macierzy kowariancji,
# jeśli jest nam ona potrzebna, to musimy jej zarządać poprzez dodanie opcji cov=True (full=False, ale to jest domyślnie)
params_final, covar=np.polyfit(X, Y, deg=stopien_wielomianu, w=1/sigma, cov=True)

print("Dopasowane wspolczynniki wielomianu",params_final)
print("Macierz kowariancji\n",covar)

# standardowe błędy dopasowania
niepewnosci=[]
for i in range(len(params_final)):
niepewnosci.append(np.sqrt(covar[i][i]))
print(niepewnosci)

# test chi2 dobroci dopasowania.
# Jeśli znamy wariancję błędu pomiarowego można zastosować test chi2 do oceny jakości dopasowania.
# Po pierwsze powinniśmy przetestować czy residua mają rozkład normalny

residua = funkcja_bledu_dla_wielomianow(X, Y, params_final, sigma)# tym razem residua już są podzielone przez standardowe odchylenie, każde przez swoje
W, p =st.shapiro(residua)
print('Test normalności residuów: p = %.3f'%(p))
# jeśli tak to zmienna:
chi2 = np.sum(residua**2)
# podlega rozkładowi chi-kwadrat o N - n ilości stopni swobody (n - ilość fitowanych parametrów), czyli u nas N-2
# możemy zbadać jakie jest prawdopodobieństwo zaobserwowania takiej, bądź bardziej ekstremalnej wartości chi2:

N = len (X)
liczba_stopni_swobody = N-len(params_final) # liczba punktów - liczba parametrów
if chi2 < liczba_stopni_swobody:
p_chi2 = st.chi2.cdf(chi2, liczba_stopni_swobody)
else:
p_chi2 = st.chi2.sf(chi2, liczba_stopni_swobody) # równoważne 1-st.chi2.cdf(chi2, N-2), ale sf ma lepszą dokładność dla małych wartości
print('chi2 = %.2f, p_chi2 = %.3f' %(chi2, p_chi2))

# czasem używamy zredukowanego chi2, czyli podzielonego przez ilość stopni swobody
chi2_zred = chi2/liczba_stopni_swobody
# jeśli jest on znacząco większy niż 1 to model nie pasuje do danych, lub nie doszacowaliśmy sigmy,
# jeśli jest sporo mniejszy niż 1 to prawdopodobnie oszacowane przez nas sigma jest większe niż rzeczywiste
# potrzebny jest nam rozkład chi2_zred:
N_dist = 100000
dist_chi2_zred = np.sum(st.norm.rvs(size=(liczba_stopni_swobody,N_dist))**2 ,0)/liczba_stopni_swobody
p_chi2_zred = np.sum(dist_chi2_zred>=chi2_zred)/float(N_dist)
print('chi2_zred = %.2f, p_chi2_zred = %.3f' %(chi2_zred, p_chi2_zred))

##########
# wykres
##########
py.subplot(2,1,1)
W=np.poly1d(params_final)
py.plot(X, W(X)) # Fit
py.errorbar(X, Y, yerr=sigma, fmt='k.') # Dane i błędy
py.title(u'Dopasowanie metodą najmniejszych kwadratów')
py.text(-4.6, 92, u'dopasowane współczynniki = '+str(np.round(params_final,3)))
py.text(-4.6, 86, u'niepewności współczynników = '+str(np.round(niepewnosci,3)))
py.text(-4.6, 80, u'prawdziwe współczynniki = '+str(np.round(wspolczynniki_wielomianu,3)))
py.xlabel('X')
py.ylabel('Y')
py.xlim(X.min()-1, X.max()+1)
py.subplot(2,1,2)
py.plot(X, residua) # residua
py.xlabel('X')
py.ylabel('dY')
py.title(u'Wykres residuów')
py.show()
py.show()</source>

WnioskowanieStatystyczne/ Testowanie hipotez

2025-05-12T11:31:26Z

Maciek: /* Zadanie: Pomiar masy cząstki elementarnej */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5 mm. Jeśli wariancja średnicy płytki jest nie większa niż 1 mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1 mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
# Poprawy w jednej i drugiej grupie traktujemy jako zdarzenia niezależne
# Pętla "for d" przechodzi przez możliwe liczby popraw w pierwszej grupie
p_bino1 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
# Jeśli w pierwszej grupie było d popraw, to w drugiej może być od d+st_0 do N popraw
p_bino2 = 1-st.binom.cdf( d+st_0 - 1, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej d+st_0 próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.


===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2025-05-12T10:00:46Z

Maciek: /* Zadanie: Porównanie lekarstwa i placebo */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5 mm. Jeśli wariancja średnicy płytki jest nie większa niż 1 mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1 mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
# Poprawy w jednej i drugiej grupie traktujemy jako zdarzenia niezależne
# Pętla "for d" przechodzi przez możliwe liczby popraw w pierwszej grupie
p_bino1 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
# Jeśli w pierwszej grupie było d popraw, to w drugiej może być od d+st_0 do N popraw
p_bino2 = 1-st.binom.cdf( d+st_0 - 1, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej d+st_0 próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.


===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2025-05-12T10:00:04Z

Maciek: /* Zadanie: Porównanie lekarstwa i placebo */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5 mm. Jeśli wariancja średnicy płytki jest nie większa niż 1 mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1 mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
# Poprawy w jednej i drugiej grupie traktujemy jako zdarzenia niezależne
# Pętla "for d" przechodzi przez możliwe liczby popraw w pierwszej grupie
p_bino1 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
# Jeśli w pierwszej grupie było d popraw, to w drugiej może być od d+st_0 do N popraw
p_bino2 = 1-st.binom.cdf( d+st_0 - 1, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.


===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2025-05-12T09:57:56Z

Maciek: /* Zadanie: Porównanie lekarstwa i placebo */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5 mm. Jeśli wariancja średnicy płytki jest nie większa niż 1 mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1 mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
# Poprawy w jednej i drugiej grupie traktujemy jako zdarzenia niezależne
# Pętla "for d" przechodzi przez możliwe liczby popraw w pierwszej grupie
p_bino1 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
# Jeśli w pierwszej grupie było d popraw, to w drugiej może być od d+st_0 do N popraw
p_bino2 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.


===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2025-05-11T22:21:36Z

Maciek: /* Sonda */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5 mm. Jeśli wariancja średnicy płytki jest nie większa niż 1 mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1 mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.


===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2025-05-11T22:16:12Z

Maciek: /* Sonda */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5 mm. Jeśli wariancja średnicy płytki jest nie większa niż 1 mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1 mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.


===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Testowanie hipotez

2025-04-07T14:40:02Z

Maciek: /* Histfit: histogram z naniesionym fitem rozkładu normalnego */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5 mm. Jeśli wariancja średnicy płytki jest nie większa niż 1 mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1 mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, density=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.


===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

WnioskowanieStatystyczne/ Przedziały ufności

2025-04-07T13:46:28Z

Maciek: /* Przykład z bootstrapem */

==Wstęp ==
Średnia (lub inny parametr) estymowany na podstawie próby pobranej z populacji nie jest równa rzeczywistej wartości tego parametru w populacji.
* Wylosuj 10 razy 100 liczb z rozkładu normalnego <math>N(0,1)</math> i oblicz średnią. Czy udało ci się zaobserwować wartość 0?
<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st

for i in range(10):
x=st.norm.rvs(size=100)
print(np.mean(x))
</source>
Rozbieżność między uzyskanym wynikiem a rzeczywistą średnią populacji zależy od wielkości badanej grupy oraz zmienności badanej cechy w jej obrębie. Jeśli badana grupa jest niewielka i ma dużą zmienność analizowanej cechy wówczas rozbieżność między średnią uzyskaną, a rzeczywistą może być znaczna. Natomiast, jeśli badana grupa jest duża z niewielką zmiennością danych, wówczas uzyskana średnia będzie prawdopodobnie bardzo bliska średniej populacyjnej. Przedział ufności ({{ang|confidence interval — CI}}) odzwierciedla zarówno wielkość badanej grupy jak i zmienność analizowanej cechy wewnątrz tej grupy.
Przedział ufności jest określany z różnym procentem &bdquo;zaufania”, np. 90 czy też 95%. Najczęściej używa się 95% przedziału ufności. Oznacza to, że jeśli grupa badana była zgromadzona w sposób losowy to rzeczywisty parametr populacji z 95% pewnością znajduje się w tym przedziale. Innymi słowy, możemy sobie wyobrazić, że mamy dostępne wyniki dowolnie wielu badań analogicznych do analizowanego. Oczekujemy, że w 95% przypadków badana cecha znajduje się wewnątrz wyznaczonego przez nas przedziału ufności.

Pewnych problemów koncepcyjnych nastręcza konstrukcja przedziałów ufności. Dla danej znanej populacji możemy obliczyć średnią populacji oraz prawdopodobieństwo uzyskania konkretnej wartości średniej przy losowaniu próby o zadanej liczebności z tejże populacji, możemy więc określić prawdopodobieństwo <math>P</math>, że odległość średniej z próby i średniej z populacji jest <math>D</math>. Mając do dyspozycji tylko próbę możemy albo założyć, że pochodzi ona z jakiegoś znanego rozkładu i wyliczyć z niego wartości krytyczne albo zakładając, że jest ona reprezentatywna możemy metodą bootstrapu &bdquo;wytworzyć” wiele innych prób z badanej populacji i oszacować jakie są granice, w które wpada żądana frakcja średnich (np.:90%, 95%).

''Bootstrap'' jest związany z pobieraniem próby. Najkorzystniejszą sytuacją jest ta, w której dla oszacowania różnych parametrów statystycznych populacji mamy możliwość pobierania z tej populacji wielu prób. Jeśli jest to niemożliwe możemy posłużyć się pobieraniem wielokrotnie prób z tej próby, którą posiadamy. Postępowanie takie jest sensowne pod warunkiem, że próba, która służy nam do generowania innych możliwych pobrań próby jest ''reprezentatywna''. '''W bootstrapie losujemy ze zwracaniem''' (dlaczego?). 

== Przedział ufności dla średniej ==
=== Przypadek 1: znana wariancja rozkładu ===
Rozważamy zmienną losową podlegającą rozkładowi <math>N(\mu,\sigma^2)</math> czyli rozkładowi normalnemu o średniej <math> \mu</math> i znanym odchyleniu standardowym <math> \sigma</math>.
Pobieramy próby tych zmiennych losowych o rozmiarze <math>n</math>. Przypomnijmy, że średnia z takiej próby też może być traktowana jako zmienna losowa. [http://brain.fuw.edu.pl/edu/STAT:Statystyki_i_estymatory#Estymator_warto.C5.9Bci_oczekiwanej Podlega ona rozkładowi] normalnemu o średniej <math> \mu</math> i standardowym odchyleniu <math>\frac{\sigma}{\sqrt{n}}</math> czyli <math>N\left( \mu,\frac{\sigma^2}{n} \right)</math>.

Oznacza to, że zmienna <math>\frac{\bar x - \mu}{\sigma/\sqrt{n}} </math> podlega rozkładowi <math> N(0,1)</math> czyli <math> Z</math>. Konstrukcja przedziału ufności dla średniej polega zatem na znalezieniu takich wartości <math>z_{\alpha/2}</math>, że:
: <math> P \left( \left|\frac{\bar x - \mu}{\sigma/\sqrt{n}} \right| \le z_{\alpha/2}\right) = 1-\alpha </math>
Zatem przedział ufności <math> (1-\alpha)*100</math>% :
: <math> \left[ \bar x - z_{\alpha/2}\frac{\sigma}{\sqrt n} ,\;\;\; \bar x+ z_{\alpha/2}\frac{\sigma}{\sqrt n} \right] </math>.

==== Przykład ====
Wyciągamy losową próbę <math> (n = 25)</math> z populacji o rozkładzie normalnym. Dostajemy średnią z próby <math> \bar x = 122</math>. Załóżmy, że znamy standardowe odchylenie populacji <math> \sigma = 20</math>.
* Oblicz przedział ufności 95% dla średniej populacji <math> \mu</math>.
* Co zrobić aby zmniejszyć obliczony przedział 10-krotnie?

Korzystając z tablic znajdujemy <math> z_{\alpha/2} = z_{2,5\%} = -1,96</math>.

: Wartość tą możemy uzyskać wołając w pythonie:
: <source lang =python>st.norm.ppf(0.025)</source>

<math>
\bar x \pm 1,96 \frac{\sigma}{\sqrt{n}} = 122 \pm 1,96\cdot\frac{20}{\sqrt{25}} = 122 \pm 7,84 = [\mathrm{114,16} \;\;\; 129,84]</math>

Możemy być pewni na 95%, że nieznana średnia populacji <math> \mu</math> znajduje się pomiędzy 114,16 a 129,84. Jeśli chcemy zmniejszyć przedział ufności 10-krotnie, musimy pobrać 100 razy większą próbę tj. ''n'' = 2500.

: Pracując z modułem scipy.stats mamy do dyspozycji rozkłady normalne <math>N(\mu,\sigma)</math> o dowolnych parametrach <math>\mu</math> i <math>\sigma</math>.
: Możemy więc uzyskać interesujący nas przedział ufności przy pomocy pojedynczego wywołania:
: <source lang =python>st.norm.ppf([0.025, 0.975],loc = 122, scale = 20.0/25**0.5)</source> gdzie <tt>loc = </tt> <math>\mu</math> oraz <tt>scale = </tt><math>\sigma</math>.

==== Zadanie ====
Importer win musi zbadać średnią zawartość alkoholu w nowej partii win francuskich. Z doświadczenia z poprzednimi gatunkami wina, przyjmuje on, że standardowe odchylenie w populacji wynosi 1,2%. Importer wybrał losową próbę 60 butelek nowego wina i otrzymał średnią z próby 9,3%. Znaleźć przedział ufności 90% dla średniej zawartości alkoholu w nowej partii win.

''Odp.'': [9,0452 9,5548].


===Przypadek 2: nieznana wariancja rozkładu ===
Sytuacja zmienia się jeśli zakładamy, że próba pochodzi z rozkładu normalnego o śreniej <math>\mu</math> i nieznanej wariancji.
Musimy wówczas zamiast wariancji posłużyć się jej estymatorem <math>s^2 = \frac{1}{n-1} \sum_{i=1}^n {\left(x_i-\mu\right)^2}</math>.
Zmienna losowa <math>\frac{\bar x - \mu}{s/\sqrt{n}} </math> podlega rozkładowi <math>t_{n-1}</math> (czytaj: rozkładowi ''t'' o ''n''−1 stopniach swobody). Konstrukcja przedziału ufności dla średniej polega zatem na znalezieniu takich wartości <math>t_{\alpha/2}</math> w rozkładzie ''t'' o ''n''−1 stopniach swobody, że:
: <math> P \left( \left|\frac{\bar x - \mu}{s/\sqrt{n}} \right| \le t_{\alpha/2}\right) = 1-\alpha </math>

Zatem przedział ufności <math> (1-\alpha)\cdot 100</math>% dla średniej <math>\mu</math>, gdy nie znamy odchylenia standardowego <math>\sigma</math>, a jedynie jego estymatę:
:: <math>
\left[
\bar x- t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}, \,\,\,\,\, \bar x+ t_{\frac{\alpha}{2}} \frac{s}{\sqrt{n}}\right]
</math>
:gdzie <math> t_{\alpha/2}</math> jest wartością, która odcina obszar α/2 z rozkładu <math> t</math> z ''n''−1 stopniami swobody.

;Uwaga: w Pythonie możemy skorzystać z funkcji modułu <tt>numpy</tt> do obliczania wartości estymatorów:
:* ''s'' <tt>numpy.std</tt>
:* <math>\bar x</math> <tt>numpy.mean</tt>
==== Przykład ====
Lekarz chce zbadać średni czas trwania kuracji tj. od podania leku do ustąpienia objawów w pewnej chorobie. Losowa próba 15 pacjentów dała średni czas <math>\bar x = 10,37</math> dnia i odchylenie standardowe <math>s = 3,5</math> dnia. Zakładając normalny rozkład w populacji czasów trwania kuracji znaleźć 95% przedział ufności dla średniego czasu trwania kuracji.

Znajdujemy wartość z rozkładu <math> t</math> o ''n''−1 (=14) stopniach swobody, która odcina obszar <math> \alpha/2 = 0,025</math>. <math> t_{0,025} = 2,145</math>.
: w pythonie: <source lang =python>st.t.ppf(0.025,14)</source>
Dostajemy więc <math> \bar x \pm t_{\alpha/2}\frac{s}{\sqrt{n}} = 10,37 \pm 2,145\cdot\frac{3,5}{\sqrt{15}} = [8,\!43\ 12,\!31]</math>.

: Podobnie jak w poprzednim przykładzie możemy też skorzystać z tego, że w scipy.stats definiowane są rozkłady <math>t</math> o dowolnych parametrach i wykonać całe obliczenia jednym wywołaniem funkcji:
: <source lang =python>st.t.ppf([0.025, 0.975], 14, loc = 10.37, scale = 3.5/15**0.5)</source>

Lekarz może być pewny, że w 95% przypadków od podania leku do ustąpienia objawów upłynie czas pomiędzy 8,43 a 12,31 dnia.

==== Zadanie ====
Producent opon rowerowych chce oszacować średni dystans jaki można przejechać na oponie pewnego rodzaju zanim opona się zużyje. Pobrano losową próbę 32 opon, opona jest używana aż do przetarcia i odległość przejechana na każdej oponie jest rejestrowana. Dane (w tysiącach kilometrów) są następujące:

32, 33, 28, 37, 29, 30, 25, 27, 39, 40, 26, 26, 27, 30, 25, 30, 31, 29, 24, 36, 25, 37, 37, 20, 22, 35, 23, 28, 30, 36, 40, 41

Znaleźć 99% przedział ufności dla średniego przebiegu opon tego rodzaju. Zadanie rozwiązać analogicznie jak powyższy przykład.

''Odp'': [ 27,76 33,36].



== Przedział ufności dla wariancji ==
Zauważmy, że:
:<math> \frac{\sum_{i=1}^N\left(x_i-\bar{x}\right)^2}{\sigma^2}</math>
podlega rozkładowi <math> \chi^2_{N-1}</math> o ''N''−1 stopniach swobody, zaś nieobciążony estymator wariancji to
:<math> s^2=\frac{1}{N-1}\sum_{i=1}^N \left(x_i-\bar{x}\right)^2 </math>
Zatem zmienna losowa
:<math> \frac{s^2(N-1)}{\sigma^2}</math>
także podlega rozkładowi <math> \chi^2_{N-1}</math>.

Aby znaleźć <math>(1-\alpha) </math>100% przedział ufności dla wariancji, musimy wyznaczyć
takie wartości krytyczne <math> \chi^2_{N-1,\alpha/2}</math>
oraz <math> \chi^2_{N-1,1-\alpha/2}</math> aby:
:<math>P\left( \chi^2_{N-1,\alpha/2} < \frac{s^2(N-1)}{\sigma^2}< \chi^2_{N-1,1-\alpha/2} \right) = 1-\alpha</math>

<math>\chi^2_{N-1,\alpha/2}</math> jest wartością, która odcina na lewo obszar α/2 z rozkładu chi-kwadrat z ''n''−1 stopniami swobody. <math>\chi^2_{N-1,1-\alpha/2}</math> jest wartością, która odcina na prawo obszar α/2 z rozkładu chi-kwadrat z ''n''−1 stopniami swobody (lub równoważnie: odcina na lewo obszar 1−α/2).

Powyższe wyrażenie jest równoważne:
:<math>P\left( \frac{(N-1)s^2}{\chi^2_{N-1,1-\alpha/2}} < \sigma^2< \frac{(N-1)s^2}{\chi^2_{n-1,\alpha/2}} \right) = 1-\alpha</math>

Zatem przedział ufności <math>(1-\alpha)*100</math> % dla wariancji populacji <math> \sigma^2</math>, gdy rozkład populacji jest normalny:
:<math>
\left[\frac{(n-1)s^2}{\chi^2_{N-1,1-\alpha/2}}, \;\; \frac{(n-1)s^2}{\chi^2_{N-1,\alpha/2}} \right]
</math>

=== Zadanie ===
Automat do kawy nalewa kawę do kubków. Jeśli średnia porcja kawy w kubku odbiega od normy, maszynę można wyregulować. Jeśli jednak wariancja porcji kawy jest zbyt duża, maszyna wymaga reperacji. Od czasu do czasu przeprowadzana jest kontrola wariancji porcji kawy. Odbywa się to poprzez wybór losowej próby napełnionych kubków i policzenie wariancji próby. Losowa próba 30 kubków dała wariancję próby <math> s^2 = 18,54</math>. Obliczyć 95% przedział ufności dla wariancji populacji <math> \sigma^2</math>.

''Wskazówka: rozkład'' <math>\chi^2</math> ''dostępny jest w module scipy.stats jako '' <tt>chi2</tt>

''Odp'': [11,759 33,505].


== Rozmiar próby ==

Gdy pobieramy próbę, często chcielibyśmy znać minimalny rozmiar próby, który zapewni nam żądaną precyzję wyniku.

Musimy odpowiedzieć sobie na trzy pytania:
* Jak nasze oszacowanie nieznanego parametru ma być bliskie prawdziwej wartości? Odpowiedź oznaczmy <math> D</math> (dystans).
* Jaki chcemy mieć poziom ufności, że nasze oszacowanie i prawdziwa wartość parametru są od siebie oddalone o nie więcej niż ''D''?
* Jakie jest oszacowanie wariancji w populacji?

Jeśli nie znamy odpowiedzi na pkt. 3 przeprowadzamy tzw. ''pilot study'' i szacujemy <math> \sigma</math> na podstawie odchylenia std. próby.

Średnia <math>\bar x</math> podlega rozkładowi normalnemu <math>N(\mu,\sigma^2/\sqrt{n})</math>.
Wymagana odległość pomiędzy <math>\bar x -\mu =D</math>. Korzystając z transformacji do rozkładu standardowego ''Z'' możemy zapisać <math>\bar x = \mu +z \sigma/\sqrt{n}</math>. Podstawiając do poprzedniego wyrażenia otrzymujemy
minimalny rozmiar próby potrzebny do oszacowania średniej populacji <math> \mu</math>, który wynosi:
:<math>
n=\frac{z_{\alpha/2}^2\sigma^2}{D^2}
</math>
W przypadku nieznajomości <math>\sigma</math> korzystamy z jej [http://brain.fuw.edu.pl/edu/index.php/WnioskowanieStatystyczne/Statystyki_i_estymatory nieobciążonego estymatora] <math>s</math>.

=== Zadanie ===
Biuro podróży chce oszacować średnią ilość pieniędzy wydaną na wakacje przez osoby korzystające z jego usług. Ludzie przeprowadzający analizę chcieliby móc oszacować średni koszt wakacji z dokładnością do 200 zł na poziomie ufności 95%. Z poprzednich doświadczeń tego biura podróży wynika, że odchylenie standardowe w populacji wynosi <math> \sigma = 400</math> zł. Jaka będzie minimalna wielkość próby?

''Odp'': <math> n = 15,366</math> więc wielkość próby wynosi 16 (zaokrąglamy w górę).


== Przykład z bootstrapem ==
Rozważmy sondę przedwyborczą, mamy dwóch kandydatów na prezydenta. Ankietowano 1500 osób. 840 osób deklarowało poparcie dla kandydata A zaś 660 dla kandydata B. Na ile pewny może być kandydat A swojego zwycięstwa?
* Jak dokładnie brzmi pytanie? W terminologii przedziałów ufności możemy je sformułować następująco: Jaki jest 95% przedział ufności dla poparcia kandydata A w całej populacji? Czy też innymi słowami: W jakim przedziale na 95% znajduje się proporcja glosujących popierających kandydata A.
* Nasze najlepsze mniemanie o własnościach &bdquo;świata” z którego pochodzą dane otrzymujemy ze zwykłej proporcji. Wynika z niej, że kandydat A ma poparcie 56% zaś kandydat B poparcie 44% wyborców.
* Przypiszmy do kandydata A &bdquo;1” zaś do B &bdquo;0” (w ten sposób tworzymy zmienną losową: oddany głos).
* Pobranie ankiety modelujemy przez pobranie losowo 1500 próbek z modelu naszego &bdquo;świata” czyli wektora złożonego z 56 jedynek i 44 zer. Wynikiem jednej ankiety jest proporcja popierających kandydata A (lub B)
* Zbieramy rozkład proporcji - musimy w tym celu &bdquo;przeprowadzić” wielokrotnie ankietę. Narysujmy histogram.
* Chcemy znaleźć 95% przedział ufności musimy znaleźć kwantyl 2,5 oraz 97,5.
Liczby te stanowią poszukiwany przedział ufności.

<source lang = python>
# -*- coding: utf-8 -*-
import numpy as np
import scipy.stats as st
import pylab as py

def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

alfa = 0.05
x=np.ones(100)
x[56:]=0
Nboot=10000
A=np.zeros(Nboot)
for i in range(Nboot):
ankieta=randsample(x,1500)
A[i]=np.sum(ankieta)/1500.0
lo = st.scoreatpercentile(A, per = alfa/2*100)
hi = st.scoreatpercentile(A, per = (1-alfa/2)*100)
print('przedzial ufnosci: %(lo).3f - %(hi).3f\n'%{'lo':lo,'hi':hi})
szer_binu = (hi-lo)/10
biny = np.arange(lo-10*szer_binu, hi+11*szer_binu, szer_binu)
(hn,hx,patch) = py.hist(A,bins = biny )
py.plot([lo, lo] , [0, np.max(hn)] ,'r' )
py.plot([hi,hi],[0, np.max(hn)],'r')
py.show()
</source>

== Zadania ==
=== Przyrost masy w nowej diecie ===
Producent karmy dla zwierząt chciał przetestować nowy rodzaj karmy. Próbki podawał 12 zwierzakom przez 4 tygodnie. Po tym czasie zanotował następujące przyrosty masy:

15.43, 16.92, 14.43, 12.94, 15.92, 17.42, 18.91, 16.92, 14.93, 14.49, 15.92, 15.43 kg

średni przyrost wynosi 15.80 kg. Producent widzi jednak, że w próbie jest dość znaczny rozrzut pomiędzy poszczególnymi zwierzętami 12,94-18,91 i nie jest pewien czy można reklamować nowy produkt podając średni przyrost 15,8 kg. Podejrzewa, że inna grupa zwierząt może mieć zupełnie inną średnią.
* Używając powyższych danych znajdź 95% przedział ufności na średni przyrost masy.
* Wynik zilustruj przy pomocy histogramu.
* Jaki byłby wynik przy założeniu, że masy zwierząt pochodzą z rozkładu normalnego?

''Odp:''
: zakładając, że ''x'' pochodzi z rozkładu normalnego:
: [14,80 16,81];
: bootstrap: 14,94-16,67.


=== Zawartość aluminium w Tebańskich naczyniach. ===
Zawartość procentowa aluminium w 18 antycznych naczyniach z Teb była następująca: 
11.4, 13.4, 13.5, 13.8, 13.9, 14.4, 14.5, 15, 15.1, 15.8, 16, 16.3, 16.5, 16.9, 17, 17.2, 17.5, 19.0 
Jaka jest mediana procentowej zawartości aluminium i jaki jest 95% przedział ufności?

''Odp'':
:mediana 15,45 i przedział ufności: 14,20 16,70.

=== Średnica drzew ===
Ogrodnik eksperymentuje z nowym gatunkiem drzew. Posadził 20 sztuk i po dwóch latach zmierzył następujące średnice pni (w cm):
8.5, 7.6, 9.3, 5.5, 11.4, 6.9, 6.5, 12.9, 8.7, 4.8, 4.2, 8.1, 6.5, 5.8, 6.7, 2.4, 11.1, 7.1, 8.8, 7.2
* Proszę znaleźć średnią średnicę i 90% przedział ufności dla średniej.
* Proszę znaleźć medianę i 90% przedział ufności dla mediany.
* Obydwa wyniki zilustrować przy pomocy histogramów.
''Odp:''
: średnia: 7,50 i przedzial ufnosci dla średniej: [6,61 8,41];
: mediana 7,15 i przedzial ufnosci dla mediany: [6,50 8,50].


=== Przedział ufności dla proporcji ===
W badaniach nad cholesterolem u ludzi stwierdzono, że w grupie 135 badanych z wysokim poziomem cholesterolu 10 osób przeszło zawał serca.

''Pytanie'': Jaki jest 95% przedział ufności dla proporcji 10/135?

* Proszę wykorzystać metodę bootstrapu.
* Proszę wykorzystać rozkład dwumianowy.

''Odp'': proporcja 10/135 = 0,07 i jej 95% przedział ufności [0,03 0,12].

=== Bezrobotni ===
W próbce 200 osób 7 procent jest bezrobotnych. Określić 95% przedział ufności dla odsetka bezrobotnych w populacji.

''Odp'': Średnia 7% i jej 95% przedział ufności [3,50 10,50].

=== Żywotność baterii ===
W próbce 20 testowanych baterii stwierdzono średni czas życia 28,85 miesiąca. Określić 95% przedział ufności dla średniej. Wartości dla badanej próbki były następujące: 
30, 32, 31, 28, 31, 29, 29, 24, 30, 31, 28, 28, 32, 31, 24, 23, 31, 27, 27, 31 miesięcy 
Obejrzeć rozkład przy pomocy <tt>histfit</tt> i zbadać jaki wpływ na przedział ufności ma przyjęcie założenia o normalności rozkładu czasów życia.

''Odp'': Średnia 28,85 i jej 95% przedział ufności [27,65 29,95].



=== Pomiary ===
Mamy 10 pomiarów pewnej wielkości: 
0.02, 0.026, 0.023, 0.017, 0.022, 0.019, 0.018, 0.018, 0.017, 0.022 
Proszę znaleźć średnią i 95% przedział ufności.

''Odp'':Średnia 0,020 i jej 95% przedział ufności [0,0185 0,0220].

Czy pomiarów jest wystarczająco dużo aby sensownie wyznaczyć średnią i przedział ufności?

''Wskazówka'': Obliczyć średnie dla 1 000 000 powtórzeń i obejrzeć histogramy dla 10, 20, 30, 100, i 200 przedziałów.

WnioskowanieStatystyczne/ Testowanie hipotez

2025-04-07T11:25:12Z

Maciek: /* Testowanie hipotez na temat wariancji */

== Testowanie hipotez dotyczących jednej lub dwóch populacji ==
===Wstęp===
Schemat weryfikowania hipotez omówiony jest w wykładzie [[WnioskowanieStatystyczne/Weryfikacja hipotez |Weryfikacja hipotez statystycznych]]. Tu przypomnimy tylko krótko podstawowe pojęcia i decyzje, które trzeba pojąć w procedurze weryfikacji.
====Hipoteza zerowa i alternatywna====
Podstawą sukcesu w statystycznym testowaniu hipotez jest prawidłowe ich sformułowanie.
Hipotezy muszą być rozłączne. Najczęściej jako hipotezę zerową przyjmujemy zdanie, które chcemy odrzucić,
gdyż błąd takiej decyzji można kontrolować. Logika testowania jest następująca: tworzymy
funkcję od zmiennych losowych, dla której przy spełnieniu przez owe zmienne hipotezy zerowej potrafimy
podać prawdopodobieństwa z jakimi przyjmuje ona różne wartości. Ta funkcja nazywana jest ''statystyką''.
Następnie obliczamy wartość tej funkcji dla badanej próby. Jeśli prawdopodobieństwo osiągnięcia otrzymanej
bądź jeszcze bardziej ekstremalnej wartości statystyki jest niskie to wątpimy, że nasze dane są zgodne
z hipotezą zerową i jesteśmy skłonni przyjąć hipotezę alternatywną.

====Wybór statystyki====
Wybierając statystykę można posłużyć się następującym schematem:
* Jeżeli znamy rozkład prawdopodobieństwa, z którego pochodzą nasze dane, lub umiemy je przetransformować do znanego rozkładu, to wybierzemy klasyczny test parametryczny np. test ''t'' ([http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mstats.ttest_rel.html ttest_rel], [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html ttest_ind]), <math>\chi^2</math>, <math>F</math> itp.
* Jeżeli nie znamy rozkładu prawdopodobieństwa naszych danych albo nie chcemy nic o nim zakładać to mamy dwie możliwości:
** korzystamy z klasycznego [[WnioskowanieStatystyczne/Test_Wilcoxona|testu nieparametrycznego]] np.:

**; test Wilcoxona dla obserwacji sparowanych: testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej (przekłada się to na równość dystrybuant). Próby <math>X</math> i <math>Y</math> '''są''' sparowane. W pythonie mamy ten test zaimplementowany jako: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wilcoxon.html <tt>scipy.stats.wilcoxon(x, y=None)</tt>]. Ta implementacja stosuje przybliżenie dużych prób i zalecana jest dla <math>n>20</math>.


**; test Manna-Whitney'a : testuje hipotezę zerową, że dwie próby <math>X</math> i <math>Y</math>, które ze sobą porównujemy pochodzą z tej samej populacji ciągłej. Próby <math>X</math> i<math>Y</math> '''nie są''' sparowane. Implementacja w pyhtonie: [http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.mannwhitneyu.html <tt>scipy.stats.mannwhitneyu(x, y, use_continuity=True)</tt>] stosuje przybliżenia i zalecana jest dla <math>n>20</math> w każdej z prób. Funkcja zwraca wartość ''p'' dla hipotezy jednostronnej. Jeśli testujemy hipotezę dwustronną trzeba otrzymane ''p'' pomnożyć przez 2.

** wytwarzamy rozkład statystyki na podstawie naszych danych przez repróbkowanie ([[WnioskowanieStatystyczne/Bootstrap|bootstrap]] lub [[WnioskowanieStatystyczne/Testy_permutacyjne| permutacje]]). W podejściu repróbkowania tworzymy statystyczny model badanego procesu '''zgodny z hipotezą zerową''' i następnie badamy w drodze symulacji prawdopodobieństwa generowania przez ten model interesujących nas sytuacji. Największą uwagę musimy tu poświęcić na prawidłowe sformułowanie modelu, a następnie precyzyjne określenie prawdopodobieństwo jakiego zdarzenia nas naprawdę interesuje.

===Poziom istotności <math>\alpha</math> i wartość <math>p</math>===
; Błąd pierwszego rodzaju : błąd polegający na odrzuceniu hipotezy zerowej, która w rzeczywistości jest prawdziwa. Oszacowanie prawdopodobieństwa popełnienia błędu pierwszego rodzaju oznaczamy symbolem <math>\alpha</math> i nazywamy poziomem istotności testu.
; Błąd drugiego rodzaju : polegaja na nieodrzuceniu hipotezy zerowej, która jest w rzeczywistości fałszywa. Oszacowanie prawdopodobieństwo popełnienia błędu drugiego rodzaju oznaczamy symbolem <math> \beta</math>, a jego dopełnienie do jedności nazywane jest '''mocą testu'''.

Wartość <math>p</math> jest to wartość prawdopodobieństwa, że wobec posiadanych danych hipoteza zerowa jest prawdziwa. Jest ono obliczane jako prawdopodobieństwo zaobserwowania wartości ''statystyki'' takiej jak dla badanej próby, lub bardziej ekstremalnej, przy prawdziwej hipotezie zerowej.
Najczęściej porównujemy ''p'' z wcześniej ustalonym poziomem istotności <math>\alpha</math>. Poziom istotności <math>\alpha</math> to wartość krytyczna prawdopodobieństwa, taka że jeżeli <math> p< \alpha</math> to odrzucamy hipotezę zerową.

==Formułowanie hipotez==
===Przykład: mutacje muszek owocowych===
Załóżmy, że badamy muszki owocowe. W standardowej populacji proporcja samic do samców jest 1:1. Opracowaliśmy metodę powodującą taką mutację muszek owocowych, że potomstwo ich nie będzie miało jednakowej szansy na bycie samcem lub samiczką. W pierwszych 20 zbadanych przypadkach uzyskujemy 14 samców i 6 samiczek.
; Pytanie naukowe: Czy wyniki eksperymentu potwierdzają, że nasza metoda zaburza proporcję płci?
Najpierw musimy przetłumaczyć pytanie naukowe na pytanie statystyczne.
; Pytanie statystyczne: Jakie jest prawdopodobieństwo uzyskania zaobserwowanej proporcji (14:6), lub bardziej ekstremalnej w próbie 20 osobników, jeśli rzeczywista proporcja płci jest 1:1?

Z tego pytania wynikają dwie możliwe hipotezy:
* Hipoteza zerowa: Nowa metoda nie zaburza proporcji płci 1:1. Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''jest'' 1:1
* Hipoteza alternatywna: Zaobserwowana próbka pochodzi z populacji, w której proporcja płci ''nie jest'' 1:1.
; Prawdopodobieństwo, które musimy oszacować: Jakie jest prawdopodobieństwo uzyskania 14 lub więcej jedynek w serii 20 prób, jeśli prawdopodobieństwo jedynki jest <math>1/2</math>?
# Oznaczmy 1: samiec 0: samiczka.
# Zróbmy wektor 20-elementowy zawierający 10 zer i 10 jedynek.
# Wylosujmy ze zwracaniem nowy wektor 20-elementowy. (Jest to nasz model uzyskiwania 20 elementowej próbki z populacji o proporcji 1:1.) Zapamiętajmy liczbę jedynek.
# Powtórzmy poprzedni krok 1000 razy
# Zróbmy histogram ilości jedynek.
# Policzmy ile razy zdarzyło sie 14 lub więcej jedynek (to odpowiada 14 lub więcej samców) i dodajmy do tego ilość przypadków gdy mieliśmy 6 lub mniej jedynek (to odpowiada 14 lub więcej samiczek). Wynik podzielmy przez ilość losowań (1000).

Powyższa procedura opisuje test dwustronny. Testu dwustronnego musimy użyć jeśli nie mamy ''istotnych'' powodów, żeby wierzyć, że nowa metoda działa ''jedynie na zwiększenie'' szansy pojawienia się samca.

Jak powyższy problem rozwiązać w sposób parametryczny?
Próby podlegają rozkładowi dwumianowemu, można więc obliczyć szukane prawdopodobieństwo korzystając z jego dystrybuanty.

==Testowanie hipotez na temat średniej==
Firma rozwożąca przesyłki po mieście deklaruje średni czas dostarczenia 28 minut. Przeprowadźmy test tej hipotezy na poziomie istotności 5%.

<math>H_0: \mu = 28</math>
<math>H_1: \mu \ne 28</math>

Wybieramy losową próbę 100 przesyłek, mierzymy czas dostarczenia, liczymy średnią z próby <math>\bar x = 31,5</math> minut i odchylenie standardowe próby <math>s = 5</math> minut.

Test ten można przeprowadzić z użyciem przedziałów ufności:
* Konstruujemy przedziały ufności 95% dla średniej <math>\mu</math>.Formalnie, ponieważ wyliczyliśmy odchylenie standardowe z próby powinniśmy zastosować wartości krytyczne z rozkładu t. Rozmiar próby wynosi 100 więc rozkład t ma 99 stopni swobody. Wartość krytyczna w tym rozkladzie to <math>t_{97.5} = 1.984 </math>. Mamy zatem:
<math>\bar x \pm 1,984 \frac{s}{\sqrt{n}} = 31,5 \pm 1,984*\frac{5}{\sqrt{100}} = 31,5 \pm 0,992 = [30,51 \quad 32,49]</math>
* Wnioskowanie: Możemy więc być na 95% pewni, że nieznana średnia leży pomiędzy 30,51 a 32,49 a więc na 95% nie leży poza tym przedziałem.
Skoro <math>H_0</math> podaje <math>\mu = 28</math> (poza przedziałem), możemy odrzucić tę hipotezę. Jeśli <math>H_0</math> jest prawdziwe, istnieje prawdopodobieństwo 0,05, że skonstruowany przedział nie będzie zawierał <math>\mu</math>. Istnieje zatem prawdopodobieństwo 0,05 popełnienia błądu I-go rodzaju. Mówimy, że przeprowadziliśmy test na poziomie istotności 0,05.

Test można też przeprowadzić następująco:
* Jako statystykę wybieramy <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} </math>
* Obliczmy jej wartość dla danych z próby: <math>t = \frac{\bar x - \mu}{s/\sqrt{n}} = (31,5 -28)/(5/\sqrt{100}) = 7 </math>
* Porównujemy otrzymaną wartość z wartością krytyczna dla przyjętego poziomu istotności <math>\alpha</math>. Konstuowany przez nas test ma być testem dwustronnym więc musimy wziąć do porównania wartość krytyczna dla <math>\alpha/2</math>: <math> t_{\alpha/2} = t_{0,025}= -1,984</math>
* Wnioskowanie: Dla naszej próby otrzymaliśmy wartość statystyki równą 6.96. Dla przyjętego poziomu istotności wartość statystyki wynosi 1,984. Prawdopodobieństwo zaobserwowania statystyki o wartości 7 lub bardziej ekstremalnej (tu: większej) jest mniejsze niż założony poziom istotności więc odrzucamy <math>H_0</math> na poziomie <math>\alpha = 0,05</math>.

==Testowanie hipotez na temat wariancji==

Do testowania hipotez na temat wariancji używamy statystyki chi-kwadrat o <math>n-1</math> stopniach swobody:

<math>\chi^2 = \frac{(n-1)s^2}{\sigma_0^2} </math>

gdzie <math>\sigma_0^2</math> jest wartością wariancji podaną w <math>H_0</math>.

===Przykład===
Do produkcji baterii używane są metalowe płytki o średniej średnicy 5 mm. Jeśli wariancja średnicy płytki jest nie większa niż 1 mm<math>^2</math>, produkcja jest kontynuowana. Jeśli wariancja przekracza 1 mm<math>^2</math> proces produkcji trzeba przerwać. Kontroler przeprowadza test na poziomie istotności <math>\alpha = 5</math>%:

<math>H_0:</math> <math>\sigma^2 \le 1</math> i
<math>H_1:</math> <math>\sigma^2 > 1</math>.

Wybiera losową próbę 31 płytek i znajduje wariancję próby <math>s^2 = 1,62</math>. Czy daje to podstawy do przerwania produkcji?

<math>\chi^2 = \frac{(31-1) \cdot 1,62}{1} = 48,6</math>. Znajdujemy poziom <math>p</math> dla tej wartości <math>\chi^2</math> z 30 stopniami swobody.
<source lang= python>
import scipy.stats as st
import pylab as py
p = 1-st.chi2.cdf(48.6,30)
print(p)

#ilustracja
x = py.arange(0,60,1)
py.plot(x, st.chi2.pdf(x,30)) #rysujemy funkcję gęstości prawdopodobieństwa chi2 o 30 st. swobody
x2 = py.arange(48.8,60,1)
py.fill_between(x2,st.chi2.pdf(x2,30)) #cieniujemy obszar pod funkcją geęstości prawdopodobieństwa odpowiadający obliczonemu p

py.show()
</source>
Otrzymaliśmy <math> p = 0,017 </math>.
Wniosek: Odrzucamy <math>H_0</math>

==Błąd drugiego rodzaju. Moc testu.==
Błąd II-go rodzaju popełniamy wtedy gdy przyjmujemy <math>H_0</math> a prawdziwe jest <math>H_1</math>.

===Przykład===
Załóżmy następujący test:

<math>H_0: \mu = 60</math>

<math>H_1: \mu = 65</math>

Niech rozmiar próby wynosi <math>n = 100</math> a odchylenie standardowe w populacji <math>\sigma = 20</math>.

Powinniśmy tu zastosować test jednostronny (mamy tylko dwie możliwości: <math>\mu = 60</math> lub <math>65</math>).

Znajdźmy punkt krytyczny <math>C</math> dla poziomu istotności <math>\alpha = 0,05</math>:

<math>C = \mu_0 + 1,645\frac{\sigma}{\sqrt{n}} = 60 + 1,645(20/10) = 63,29</math>

Błąd pierwszego rodzaju popełnimy gdy <math>\bar x > C</math> i prawdziwe będzie <math>H_0</math>. Prawdopodobieństwo błędu pierwszego rodzaju ustaliliśmy z góry na poziomie <math>\alpha = 0,05</math>.

<math>\alpha = P(\bar x > C| \mu = \mu_0)</math>

Błąd drugiego rodzaju popełnimy gdy <math>\bar x < C</math> a prawdziwe będzie <math>H_1</math>.
Prawdopodobieństwo popełnienia tego błędu wynosi:
<math>\beta = P(\bar x < C| \mu = \mu_1) = P\left( \frac{\bar x - \mu_1}{\sigma/\sqrt{n}} < \frac{C - \mu_1}{\sigma/\sqrt{n}}\right)= </math>

<math>= P\left( Z < \frac{63,29 - 65}{20/10}\right) = P(Z < -0,855) = 0,1963</math>

Moc testu jest dopełnieniem błędu II rodzaju.
A moc testu czyli prawdopodobieństwo odrzucenia hipotezy zerowej podczas gdy jest ona fałszywa wynosi:
<math>1 - \beta = 0,8037</math>.

==Porównanie dwóch populacji==
[[WnioskowanieStatystyczne/Test_t#Test_t_.28Studenta.29_r.C3.B3.C5.BCnicy_.C5.9Brednich|Dla przypomnienia]]:
Jeśli mamy dwie próbki danych:
:<math>x_1</math> o liczebności <math>n_1</math> i estymowanej wariancji <math>s_1^2</math> i
:<math>x_2</math> o liczebności <math>n_2</math> i estymowanej wariancji <math>s_2^2</math>
:gdzie <math>s_{i}^2= \frac{1}{(n_i-1)}\sum\limits_{j=1}^{n_i} (x_{j}-\overline{x}_{i})^{2}</math>
pochodzących z rozkładu normalnego o takiej samej wariancji <math>\sigma</math> to:
*wspólna wariancja może być estymowana jako: <math>s^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} </math>
*wariancja różnicy średnich może być estymowana jako: <math>s_{\Delta}^2=s_{\bar{x}_1}^2+s_{\bar{x}_2}^2=\frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{n_1+n_2}{n_1n_2}s^2</math>
Jeśli postawimy hipotezę zerową: <math>H_0:\; \mu_1 = \mu_2</math> to

:<math>
t= \frac{\bar{x}_1-\bar{x}_2}{s_{\Delta}}
</math>

pochodzi z rozkładu <math>t</math> o <math>n_1+n_2-2</math> stopniach swobody.

===Przykład: promocja===
Producent odtwarzaczy CD chce sprawdzić czy małe obniżenie ceny produktu wpłynie korzystnie na sprzedaż. Losowa próba 15 tygodni sprzedaży przed obniżką dała średni dochód 6598 zł i standardowe odchylenie 844 zł. Losowa próba 12 tygodni sprzedaży w trakcie promocji dała średnią 6870 i odchylenie standardowe 669 zł. Czy dane te wykazują poprawę sprzedaży w trakcie promocji (przyjąć poziom istotności 5%) ?

<math>\bar{x}_1 = 6598</math>

<math>\bar{x}_2 = 6870</math>

Treść zadania odpowiada testowi jednostronnemu z poniższymi hipotezami:

<math>H_0: \mu_1 = \mu_2 </math>

<math>H_1: \mu_1 < \mu_2 </math>

Różnica średnich wynosi:
<math>\bar{x}_1-\bar{x}_2 = 6598 - 6870 = -272 </math>

Estymowana wariancja różnicy średnich:
<math>s_{\Delta}^2 = \frac{1}{n_1}s_1^2+\frac{1}{n_2}s_2^2 = \frac{844^2}{15} + \frac{669^2}{12} = 84785,82</math>

zatem:

<math>s_{\Delta} = 291,18</math>

<math> t = -272/ 291,18 = - 0,934</math>

Ilość stopni swobody: <math>n_1+n_2-2 = 25</math>

<math>P(t_{25} \le -0,934) = 0.18 </math>

Wniosek: Nie możemy odrzucić <math>H_0</math>. Nie mamy podstaw by uznać że mała obniżka cen poprawiła sprzedaż.

Do testowania równości wariancji w dwóch populacjach stosuje się test <math>F</math>:
<math>F_{(n1 -1, n2 - 1)} = \frac{s_1^2}{s_2^2}</math>

W przykładzie powyżej założyliśmy równość wariancji. Korzystając z testu <math>F</math> sprawdzić czy założenie było uzasadnione.

==Badanie założenia o normalności rozkładu==
We wszystkich wspomnianych powyżej klasycznych testach statystycznych <math>t</math>, <math>z</math>, <math>F</math>, <math>\chi^2</math> istotnym założeniem jest to, że dane wejściowe w próbie mają rozkład normalny. W powyższych zadaniach po prostu to zakładaliśmy, ale w praktyce, kiedy dostajemy próbę do analizy, musimy sami sprawdzić, czy możemy uznać ją za pochodzącą z rozkładu normalnego. Do weryfikacji takiej hipotezy służą narzędzia graficzne:

=== Histfit: histogram z naniesionym fitem rozkładu normalnego ===
<source lang= python>
def histfit(x,N_bins):
'''
x - dane
N_bins -ilość binów w histogramie

Funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x.

Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''

n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
# Rysujemy histogram i w jawny sposób odbieramy zwracane przez p.hist obiekty
# - normujemy histogram do jedności
# - ustalamy kolor prostokątów na zielony
# - ustawiamy przezroczystość prostokątów na 0.75

bincenters = 0.5*(bins[1:]+bins[:-1])
# wytwarzamy tablicę z centrami binów korzystając z granic binów
# zwróconych przez py.hist w macierzy bins

y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
# obliczamy momenty rozkładu x: średnią i wariancję (tak naprawdę to jej pierwiastek czyli standardowe odchylenie)
# obliczamy wartości w normalnym rozkładzie gęstości prawdopodobieństwa
# o średniej np.mean(x) i standardowym odchyleniu np.std(x) dla wartości bincenters

l = py.plot(bincenters, y, 'r--', linewidth=1)
# do histogramu dorysowujemy linię

</source>

=== Normplot ===
Jest to wykres wartości w próbie, wzg. prawdopodobieństwa uzyskania takiej wartości w rozkładzie normalnym. Wykres ten jest szczególnym przypadkiem kwantylowego wykresu prawdopodobieństwa [http://en.wikipedia.org/wiki/Q-Q_plot]. Konstruuje się go następująco:
*Na osi pionowej odkładamy uporządkowane zaobserwowane wartości <math>x_1 \le x_2 \le \dots \le x_n </math>. Estymują one położenie kwantyli w populacji.
*Na osi poziomej odkładamy położenia kwantyli w rozkładzie normalnym. Obliczamy je: <math>F^{-1}\left(\frac{i-r_{pop}}{n+n_{pop}} \right)</math> gdzie <math>F^{-1}</math> jest funkcją odwrotną do dystrybuanty rozkładu teoretycznego (w tym szczególnym przypadku normalnego) <math>i</math> jest numerem obserwacji a <math>r_{pop}, n_{pop}</math> są czynnikami (<math>\le 0.5 </math>) zapewniającymi, że argument funkcji odwrotnej do dystrybuanty nie przyjmuje wartości 0 ani 1.
Jeśli dane ''x'' podlegają rozkładowi normalnemu to ich położenia kwantyli powinny być zgodne z położeniami kwantyli w rozkładzie normalnym, zatem wykres powinien przedstawiać linię prostą. Odstępstwa od prostej świadczą o odstępstwie od rozkładu normalnego.
W pythonie możemy ten typ wykresu zaimplementować np. tak (współczynniki zaczerpnięte z [http://www.itl.nist.gov/div898/handbook/eda/section3/normprpl.htm]):
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')
</source>

=== Test Shapiro-Wilka ===
<source lang= python>W,p = st.shapiro(x)</source>
Funkcja ta zwraca wartość statystyki ''W'' i prawdopodobieństwo ''p'' zaobserwowania takiej lub bardziej ekstremalnej wartości statystyki ''W'' dla danych podlegających rozkładowi normalnemu. Jeśli ''p'' ma wysoką wartość (większą niż przyjęta <math>\alpha</math>) to nie możemy odrzucić hipotezy, że dane podlegają rozkładowi normalnemu. Test Shapiro-Wilka nie jest wrażliwy na parametry rozkładu, z którego pochodzą dane (dane mogą pochodzić z rozkładu o dowolnej średniej i dowolnym odchyleniu standardowym).

=== Test Kołmogorowa-Smirnowa ===
Jest on oparty na badaniu maksymalnej różnicy pomiędzy dystrybuantą empiryczną (z próby) a teoretyczną dystrybuantą rozkładu. Dla testowania normalności próby powinniśmy wywołać
<source lang= python>
D , p = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)) #sposób zalecany
#lub
D , p = st.kstest((x-np.mean(x))/np.std(x,ddof=1), 'norm') #sposób niezalecany, ale również prawidłowy
</source>
Funkcja zwraca wartość statystyki ''D'' i prawdopodobieństwo zaobserwowania takiej bądź bardziej ekstremalnej wartości statystyki jeśli testowane dane pochodzą z tego samego rozkładu.

'''UWAGA!''' Test Kołmogorowa-Smirnowa '''jest wrażliwy na parametry rozkładu''', z którego pochodzą dane. Wywołanie poniższego kodu jest błędem:
<source lang= python>
D , p = st.kstest(x, 'norm') #BŁĘDNE użycie testu Kołmogorowa-Smirnowa
</source>

====Test dla innych postaci rozkładu====
Za pomocą testu Kołmogorowa-Smirnowa możemy zbadać również założenie o pochodzeniu danych z populacji podlegającej dowolnemu innemu rozkładowi ciągłemu. W tym celu należy podać zamiast 'norm' odpowiednią nazwę rozkładu z modułu scipy.stats oraz parametry tegoż rozkładu w odpowiedniej kolejności (należy w tym celu zajrzeć do dokumentacji). Przykład jak to należy zrobić dla rozkładu wykładniczego:
<source lang= python>
D , p = st.kstest(x, 'expon', args=(0, 1/np.mean(x)) #test, czy dane podlegają rozkładowi wykładniczemu
</source>

===Przykład===
Proszę wygenerować 1000 liczb z rozkładu normalnego. Liczby te obejrzyjmy na wykresach <tt>histfit</tt> oraz <tt>normplot</tt> i zbadamy ich normalność testem Shapiro-Wilka i Kołmogorova-Smirnova.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x,ddof=1))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,2,1)
normplot(x)
py.subplot(2,2,2)
histfit(x,15)
W,p_sw = st.shapiro(x)
D,p_ks = st.kstest(x, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}

py.title(title)
# wybieramy pierwsze dziesięć punktów
y=x[0:10]
py.subplot(2,2,3)
normplot(y)
py.subplot(2,2,4)
histfit(y,15)
W,p_sw = st.shapiro(y)
D,p_ks = st.kstest(y, 'norm', args=(np.mean(x),np.std(x,ddof=1)))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

x = st.norm.rvs(size=1000, loc=0, scale=10)
py.figure(1)
porownania(x)
# A teraz zbadajmy dane z rozkładów innych niż normalny:

x = st.t.rvs(df = 2, size=1000, loc=0, scale=1)
py.figure(2)
porownania(x)

x = st.expon.rvs(size=1000,loc=0,scale=1)
py.figure(3)
porownania(x)

py.show()
</source>

Proszę zapuścić skrypt kilka razy i zwrócić uwagę na to, jak trudno jest ocenić normalność danych przy małych próbach.

===Przykład: transformacja Boxa-Coxa===
Często normalność danych można poprawić przez zastosowanie odpowiedniej transformacji. Ogólną rodzinę transformacji, które często prowadzą do normalizacji danych można zapisać tak (trasformacja Box-Cox'a [http://www.jstor.org/stable/2984418]):

:<math>
y^{(\lambda)}=\left\{\begin{matrix} \frac{y^\lambda-1} {\lambda} & \mbox{dla }\lambda \ne 0 \\ \ln(y) & \mbox{dla }\lambda = 0\end{matrix}\right.
</math>

W module scipy.stats mamy tę transformację zaimplementowaną jako <tt>boxcox()</tt>.

Zobaczmy jej działanie na następującym przykładzie:

Proszę pobrać i zapisać w pliku tekstowym następujące
[[Media:Samochody.txt| dane]]. Zawierają one 8 kolumn charakterystyk samochodów:
*zużycie paliwa
*cylindry
*pojemność skokowa
*moc w koniach mechanicznych
*masa
*przyspieszenie
*rocznik
*pochodzenie

Proszę narysować histfit i normplot oraz policzyć testy Shapiro-Wilka i Kolmogorowa-Smirnowa dla masy pojazdów, a następnie zastosować do niej transformację Boxa-Coxa i zbadać normalność przetransformowanych danych.
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''
x_ord = sorted(list(x))
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = float(i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

def histfit(x,N_bins):
''' funkcja rysuje histogram i na jego tle dorysowuje wykres
funkcji gęstości prawdopodobieństwa rozkładu normalnego
o średniej i wariancji estymowanych z x
Funkcja wymaga zaimportowania modułów pylab as py i scipy.stats as st'''
n, bins, patches = py.hist(x, N_bins, normed=True, facecolor='green', alpha=0.75)
bincenters = 0.5*(bins[1:]+bins[:-1])
y = st.norm.pdf( bincenters, loc = np.mean(x), scale = np.std(x))
l = py.plot(bincenters, y, 'r--', linewidth=1)
def porownania(x):
py.subplot(2,1,1)
normplot(x);
py.subplot(2,1,2)
histfit(x,15)
W,p_sw = st.shapiro(x);
D,p_ks = st.kstest(x,'norm',args=(np.mean(x),np.std(x) ))
title = 'SW: %(sw).2f KS: %(ks).2f'%{'sw':p_sw, 'ks':p_ks}
py.title(title)

dane = np.loadtxt('Samochody.txt')
# Badamy przyspieszenia
w = dane[:,5]
py.figure(1)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(2)
porownania(wt)

# badamy masy
w = dane[:,4]
py.figure(3)
porownania(w)
# A teraz stosujemy transformację Box-Coxa
wt,lam = st.boxcox(w)
py.figure(4)
porownania(wt)

py.show()
</source>

W pierwszym przypadku - asymetrię rozkładu przyspieszeń udało się transformacją B-C poprawić, ale w drugim przypadku, masa, asymetrię dało się skorygować (widać to na histfit) ale nie da się poprawić ''ciężkich ogonów'' - widać to zarówno na normplocie jak i na wynikach testów.
Ogólnie: zanim zaczniemy analizować dane dobrze jest je pooglądać na różnych wykresach i chwilę ''pomyśleć''.

==Przykład (zastosowanie różnych testów do tych samych danych): karma==
Badamy dwie nowe karmy A i B. Mamy dwie grupy po 12 zwierząt. Uzyskane przyrosty masy są następujące:

A: 31 34 29 26 32 35 38 34 31 29 32 31

B: 26 24 28 29 30 29 31 29 32 26 28 32

Pytanie:
Czy któraś z karm daje istotnie większe przyrosty masy?

Poniżej rozwiążemy to zadanie stopniowo różnymi metodami. Kolejne kawałki kodu można dopisywać do tego samego pliku.

ROZWIĄZANIE:
Przyjmujemy poziom istotności, na którym przeprowadzamy testy <math>\alpha = 0.05</math>.

===Badamy rozkłady danych:===
<source lang= python>
import scipy.stats as st
import pylab as py
import numpy as np

A=[ 31, 34, 29, 26, 32, 35, 38, 34, 31, 29, 32, 31];
B=[ 26, 24, 28, 29, 30, 29, 31, 29, 32, 26, 28, 32];
W, p_A = st.shapiro(A)
print('Dla grupy A:', p_A)
W, p_B = st.shapiro(B)
print('Dla grupy B:', p_B)
</source>

Dla obu grup test Shapiro-Wilka nie daje nam podstaw do odrzucenia założenia o normalności rozkładów.

===Test parametryczny===
Nie odrzuciliśmy hipotezy o normalnym rozkładzie danych zatem możemy zastosować [[WnioskowanieStatystyczne/Test_t | test ''t'' ]] dla różnicy średnich.

Formułujemy hipotezy:
* <math>H_0</math>: średni przyrost masy w grupie A <math>=</math> średni przyrost masy w grupie B
* <math>H_1</math>: średni przyrost masy w grupie A <math>\ne</math> średni przyrost masy w grupie B
Przeprowadzamy test:
<source lang= python>
t, p = st.ttest_ind(A,B)
</source>
Otrzymujemy ''p'' = 0.01.
 
<math>p < \alpha </math>, zatem na przyjętym poziomie istotności odrzucamy hipotezę zerową i stwierdzamy, że grupa A ma inną średnią niż grupa B.

===Test nieparametryczny ===
Nie zakładajac postaci rozkładu danych mozemy zastosować test [[WnioskowanieStatystyczne/Test_Wilcoxona| ze statystykami opartymi na rangach]].
Formułujemy hipotezy:
* <math>H_0</math>: mediana przyrostu masy w grupie A <math>=</math> mediana przyrostu masy w grupie B
* <math>H_1</math>: mediana przyrostu masy w grupie A<math>\ne</math> mediana przyrostu masy w grupie B
Przeprowadzamy test:
<source lang= python>
U, p = st.mannwhitneyu(A, B)
p_dwustronne = 2*p
</source>
W pythonie zaimplementowana jest wersja jednostronna tego testu. Aby otrzymać prawdopodobieństwo ''p'' dla testu dwustronnego musimy pomnożyć je przez 2.

===Testy bootstrapowe===
Teraz to samo sprawdzimy za pomocą testu repróbkowanego.
Przyda nam się tu funkcja do pobierania losowej próbki z powtórzeniami z danych:
<source lang= python>
def randsample(x, N):
'''zwraca wektor o dłougości N z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y
</source>

W testech repróbkowanych statystykę możemy wybrać dość dowolnie, ale jak pokażemy poniżej nie każda jest równie dobra.
Zgodnie z hipotezą zerową próbka A i B pochodza z tej samej populacji.
Nasza najlepsza wiedza o owej populacji to połączone próbki A i B:

<source lang= python>
POP=np.concatenate((A, B))

N=len(POP)
NA=len(A)
NB=len(B)
# Zasymulujemy N_rep razy wyciagniecie z POP prob o rozmiarach NA i NB i
# zobaczymy jak czesto zdarzają się wartości statystyki sie roznica srednich taka jak w oryginalnym
# pomiarze lub jeszcze wieksza.
N_rep=10000
# oryginalna roznica srednich i median:
mi_0 = np.abs(np.mean(A) - np.mean(B))
T_0 = np.abs(np.mean(A) - np.mean(B))/np.std(POP)
me_0 = np.abs(np.median(A) - np.median(B))

mi = np.zeros(N_rep)
T = np.zeros(N_rep)
me = np.zeros(N_rep)

for i in range(N_rep):
AA = randsample(POP,NA)
BB = randsample(POP,NB)
R_POP = np.concatenate((AA,BB))
mi[i] = np.abs(np.mean(AA)-np.mean(BB)) # abs bo test dwustronny
T[i] = np.abs(np.mean(AA)-np.mean(BB))/np.std(R_POP)
me[i] = np.abs(np.median(AA)-np.median(BB))

p_mi = np.sum(mi>=mi_0)/N_rep
p_T = np.sum( T>=T_0 )/N_rep
p_me = np.sum(me>=me_0)/N_rep

print('testy repróbkowane: ')
print('rożnica średnich: ', p_mi)
print('pseudo T: ', p_T)
print('różnica median: ', p_me)
</source>
Widzimy, że dla testu ze statystyką różnicy średnich i pseudo T dostajemy podobne wyniki, z tym, że pseudo T jest nieco silniejszy. Test ze statystyką różnicy średnich jest na tyle słaby, że nie pozwala na odrzucenie hipotezy zerowej.

===Wnioskowanie w oparciu o przedziały ufności ===
Wnioskowanie o równości średnich dwóch grup można też przerowadzić w oparciu o przedziały ufności. W naszym przykładzie przedziały można skonstruować zarówno parametrycznie jak i nieparametrycznie.
==== Wersja parametryczna ====
Konstruujemy 95% przedział ufności wokół oryginalnej różnicy średnich.
Dla dwóch grup wariancję różnicy średnich znajdujemy sumując wariancje śrenich estymowane dla każdej z grup:
:<math>
\mathrm{var}_{\Delta} = \frac{1}{N_1}\mathrm{var}(x_1) + \frac{1}{N_2} \mathrm{var}(x_2)
</math>
ilość stopni swobody:
<math>
df = N_1+N_2-2
</math>
co prowadzi do estymatora

:<math>
s^2_\Delta = \frac{N_1s_1^2 + N_2s_2^2}{N_1+N_2-2} \cdot \frac{N_1+N_2}{N_1N_2}
</math>

<source lang= python>
roznica_oryginalna = np.mean(A) - np.mean(B)
f = NA+NB-2;
v_A = np.var(A)
v_B = np.var(B)
sig = np.sqrt( ((NA*v_A +NB*v_B))/f * (NA + NB)/(NA*NB) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})
</source>

Otrzymujemy w wyniku <tt>przedział ufności dla różnicy średnich przy założeniu normalności 0.77 5.56</tt>. Oznacza to, że w 95% analogicznych badań powinniśmy otrzymać różnicę średnich zawartą w tym przedziale. Przedził ten nie zawiera wartości 0, zatem na przyjętym poziomie istotności średnie grupy A i B są różne.

====Wersja nieparametryczna ====

<source lang= python>
# POP zawiera świat zgodny z H0
roznica_oryginalna = np.mean(A) - np.mean(B)
alfa = 0.05
N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
gA = randsample(POP, NA)
gB = randsample(POP, NB)
r[i] = np.mean(gA) - np.mean(gB)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
# print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d+roznica_oryginalna, 'g':ci_g+roznica_oryginalna})
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})

</source>
Wynik:
<tt>przedział ufności: -2.50 2.50
oryginalna różnica średnich: 3.17</tt>.
Przedział ufności 95% na różnicę skonstruowany zgodnie z <math>H_0</math> nie zawiera oryginalnej różnicy średnich,
zatem różnica 3.17 w świecie zgodnym z <math>H_0</math> zdarza się nie częściej niż w 5% przypadków. Wniosek: średnie grup A i B są różne na przyjętym poziomie ufności.

== Zadanie: Przeżywalność myszy ==
Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano. Myszy traktowane specjalnie przeżyły 
94, 38, 23, 197, 99, 16, 141 dni 
a myszy traktowane standardowo: 
52, 10, 40, 104, 51, 27, 146, 30, 46 dni 
Średnia różnica wynosi 30,63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie poprawia przeżywalność.
Zadanie proszę rozwiązać wszystkimi możliwymi sposobami, analogicznie do powyższego przykładu.

''Odp'':
:przedział ufności: [−51,64 52,89]
:oryginalna różnica średnich: 30,63
:przedział ufności dla różnicy średnich przy założeniu normalności [−27,99 89,26]

<source lang= python>
import scipy.stats as st
import numpy as np

'''Przedział ufności dla różnicy dwóch średnich

Mamy 7 myszy, którym podano środek, który miał poprawić ich przeżywalność
po operacji oraz 9 myszy kontrolnych, którym owego środka nie podano.
Myszy traktowane specjalnie przeżyły
94 38 23 197 99 16 141 dni
a myszy traktowane standardowo:
52 10 40 104 51 27 146 30 46 dni
Średnia różnica wynosi 30.63 dni dłużej dla myszy traktowanych po nowemu.
Pytanie, na które chcielibyśmy znać odpowiedź to: Czy nowy środek faktycznie
poprawia przeżywalność.

Skonstruujmy przedział ufności 95% dla średniej różnicy w przeżywalności.

Uwaga: przy tym problemie każdą z grup traktujemy jako reprezentantów bardzo
dużych populacji. '''
def randsample(x,ile):
ind = st.randint.rvs(0,len(x),size = ile)
y = x[ind]
return y

m_sp = np.array([94, 38, 23, 197, 99, 16, 141])
N_sp = len(m_sp)
m_st = np.array([52, 10, 40, 104, 51, 27, 146, 30, 46])
N_st = len(m_st)
alfa = 0.05
# zgodnie z hipotezą zerową (H0) nie ma różnicy między grupami

# symulacja
# tworzymy świat zgodny z H0
m = np.concatenate((m_sp,m_st))

roznica_oryginalna = np.mean(m_sp) - np.mean(m_st)

N_rep = 10000
r = np.zeros(N_rep)
for i in range(N_rep):
g1 = randsample(m, N_sp)
g2 = randsample(m, N_st)
r[i] = np.mean(g1) - np.mean(g2)
ci_d = st.scoreatpercentile(r, per = alfa/2*100)
ci_g = st.scoreatpercentile(r, per = (1-alfa/2)*100)
print('przedział ufności: %(d).2f %(g).2f'%{'m':np.mean(r),'d':ci_d, 'g':ci_g})
print('oryginalna różnica średnich: %(ro).2f'%{'ro':roznica_oryginalna})
# przedział ufności na różnicę skonstruowany zgodnie z H0 zawiera oryginalną różnicę średnich,
# zatem różnica taka jest na przyjętym poziomie ufności możliwa
# do zaobserwowania w przypadku braku różnicy między grupami

# zakładając normalność
f = N_sp+N_st-2;
v_1 = np.var(m_sp)
v_2 = np.var(m_st)
sig = np.sqrt( ((N_sp*v_1 +N_st*v_2))/f * (N_sp + N_st)/float(N_sp*N_st) )
t_2_5 = st.t.ppf(0.025,f);
t_97_5 = st.t.ppf(0.975,f);
print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':sig*t_2_5+ roznica_oryginalna,'g':sig*t_97_5+roznica_oryginalna})

print('przedział ufności dla różnicy średnich przy założeniu normalności %(d).2f %(g).2f'%{'d':s_delta*t_2_5+ roznica_oryginalna,'g':s_delta*t_97_5+roznica_oryginalna})
# skonstruowany wokoł oryginalnej różnicy średnich przedział ufności zawiera 0, zatem nie możemy odrzucić możliwości,
# że nie ma różnicy między grupami
</source>

==Zadanie: Linie lotnicze==
Linie lotnicze, projektując nowy samolot chcą sprawdzić czy średnia waga bagażu ręcznego zabieranego przez pasażerów nie zmieniła się od czasu poprzednich badań i wynosi wciąż 12 kg. Analiza ma być przeprowadzona na poziomie istotności <math>\alpha = 0,05</math>. Analityk pobrał próbę bagażu ręcznego 144 pasażerów i obliczył wartość średnią z próby <math>\bar x = 14,6</math> kg i odchylenie standardowe z próby <math>s = 7,8</math>. Przeprowadź test hipotezy, że <math>\mu = 12</math>.

Rozwiązanie:
Standardowe importy modułów
<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np
</source>

Zmienne występujące w treści przykładu
<source lang= python>
mu_0=12
a=0.05
N=144
x=14.6
s=7.8
</source>

Test dotyczy średniej wiec obliczamy odchylenie standardowe średniej:
<source lang= python>
std_mu=s/np.sqrt(N)
</source>

Wyjaśnienie |title= Obliczamy wartość statystyki:
<source lang= python>
t=(mu_0-x)/std_mu
</source>

Odchylenie standardowe estymowaliśmy z próby. Wartości powyższej statystyki podlegają zatem rozkładowi t. Obliczamy wartości krytyczne odpowiadające poziomowi istotności a. Test jest dwustronny mamy wiec dwie wartości krytyczne: jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo, a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2:
<source lang= python>

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})
</source>

Możemy też obliczyć prawdopodobieństwo zaobserwowania wartości ''t'' takiej jak w naszym zadaniu lub bardziej ekstremalnej:
<source lang= python>
p = (st.t.cdf(-np.abs(t),N-1)) + (1-st.t.cdf(np.abs(t), N-1)) # sumujemy po obu ogonach bo test jest dwustronny
print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wartości t: %(p).4f'%{'p':p})
</source>

Wyniki te możemy zilustrować:
<source lang= python>
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot((t,), (0,), 'ro')
py.show()
</source>

Odpowiedź: Wyliczone ''t'' leży poza obszarem akceptacji hipotezy zerowej, zatem odrzucamy hipotezę zerową i akceptujemy alternatywną.

==Zadanie: Agencja nieruchomości==
Agencja nieruchomości w Japonii podała, że ceny gruntu w centrum Tokio wzrosły o 49% w ciągu ostatniego roku. Inwestor chcąc przetestować te dane, znajduje próbę 18 nieruchomości w centrum Tokio, dla których zna cenę obecna i sprzed roku. Zakłada, że ceny podlegają rozkładowi normalnemu. Dla każdej nieruchomości oblicza procentowy wzrost wartości a następnie znajduje średnią i odchylenie standardowe z próby. Estymatory dla próby wynoszą <math>\bar x = 38</math>% i <math>s = 14</math>%. Przeprowadź test na poziomie istotności <math>\alpha = 0,01</math>.

Rozwiązanie:

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

mu_0=49;
x=38;
s=14;
N=18;
a=0.01;

# test dotyczy sredniej wiec jej std:
std_mu=s/np.sqrt(N)

# odchylenie std obliczylismy z proby => stosujemy test t
# obliczamy wartość statystyki
t=(mu_0-x)/std_mu
# obliczamy wartości krytyczne odpowiadające poziomowi istotności a
# test jest dwustronny mamy wiec dwie wartosci krytyczne
# jedna odcina obszar pod funkcja gęstości prawdopodobieństwa na lewo,
# a druga na prawo od siebie. Pole każdego z tych obszarów wynosi a/2

t_kryt_lewy = st.t.ppf(a/2,N-1)
t_kryt_prawy = st.t.ppf( 1-a/2, N-1)

print('obliczona wartość statystyki t: ', t)
print('wartości krytyczne t: %(tl).2f %(tp).2f '%{'tl':t_kryt_lewy, 'tp':t_kryt_prawy})

# Możemy też obliczyć prawdopodobieństwo zaobserwowania wrtości t takiej jak w naszym zadaniu
# lub bardziej ekstremalnej:
p = (1-st.t.cdf(t, N-1)) + (st.t.cdf(-t,N-1)) # sumujemy po obu ogonach bo test jest dwustronny

print('Prawdopodobieństwo zaobserwowania bardziej ekstremalnych wrtości t: %(p).3f'%{'p':p})
# Wyniki te możemy zilustrować
os_t = np.arange(-5, 5, 0.1)
py.plot(os_t, st.t.pdf(os_t,N-1)) #rysujemy funkcję gęstości prawdopodobieństwa t o N-1 st. swobody

#cieniujemy lewy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(-5, t_kryt_lewy, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))
#cieniujemy prawy obszary pod funkcją gęstości prawdopodobieństwa odpowiadający obliczonemu p
os_t2 = np.arange(t_kryt_prawy, 5, 0.1)
py.fill_between(os_t2,st.t.pdf(os_t2,N-1))

# zaznaczamy obliczoną wartość statystyki:
py.plot(t, 0, 'ro')
py.show()

# 'Odp: Wyliczone t lezy poza obszarem akceptacji hipotezy zerowej,
# zatej odrzucamy hipoteze zerowa i akceptujemy alternatywna.'

</source>

Odp. Odrzucamy <math>H_0:</math> <math>\mu_0 = 49</math>, na poziomie istotności 0,01.

==Zadanie: Zabiegi bio-inżynieryjne==
Załóżmy, że krowy są bardziej wartościowe od byków. Bio-inżynier twierdzi, że przy pomocy pewnych zabiegów jest w stanie spowodować zwiększenie szansy na urodzenie się krowy powyżej 50%. W jego eksperymencie na 10 urodzonych zwierząt 9 było krowami, a tylko 1 bykiem. Czy powinnniśmy wierzyć temu bio-inżynierowi? Jakia jest szansa na uzyskanie takiego, bądź bardziej ekstremalnego wyniku przy założeniu, że procedura stosowana przez naszego inżyniera nia ma żadnych efektów? W tym problemie dla odmiany założymy, że w normalnych warunkach 100 spośród 206 cieląt to krowy.
Zadanie rozwiązać metodą parametryczną i przez repróbkowanie. [[WnioskowanieStatystyczne/_Testowanie_hipotez#Przykład:_mutacje_muszek_owocowych|Wskazówka]]

Rozwiązanie:

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# sposób pierwszy:
# zmienna urodzenie byka/krowy podlega rozkladowi dwumianowemu
p = 100.0/206
N = 10
k = 9
p_bino = 1-st.binom.cdf(k-1,N,p) #prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach: %(p).4f'%{'p':p_bino})
# W jego mwetodzie chyba cos jest

# sposob drugi: repróbkowanie
# model swiata z ktorego pochodza byki(0)/krowy(1):
w = np.concatenate((np.ones(100), np.zeros(106)))

N_rep = 100000
wynik = np.zeros(N_rep)
for i in range(N_rep):
wynik[i] = np.sum(randsample(w,10))

p_rep = float(np.sum(wynik>=k))/N_rep
print('Prawdopodobieństwo wylosowania 9 lub 10 krów w 10 probach estymowane z symulacji: %(p).4f'%{'p':p_rep})

</source>

''Odp'': ''p'' = 0,008. Odrzucamy ''H''0 o braku efektów.

==Zadanie: Porównanie lekarstwa i placebo==
Badamy skuteczność leku na raka. Mamy grupę 12 chorych: 6 osobom podajemy lek — poprawa wystąpiła u 5 osób, pozostałym sześciu osobom podajemy placebo — poprawa wystąpiła u 2 osób. Czy te wyniki upoważniają do stwierdzenia, że lek istotnie zwiększa szansę poprawy? Test przeprowadzić na poziomie istotności 5%.

Wskazówka: jako statystykę przyjąć różnicę w ilości popraw między grupą z lekiem a grupą z placebo. Interesuje nas prawdopodobieństwo zaobserwowania takiej (3) bądź większej różnicy.

Rozwiązanie:
<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x. Losowanie odbywa się z powtórzeniami'''
n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

# Formułujemy hipotezy
# H0: lek nie daje poprawy
# H1: lek daje poprawę

# zgodnie z H0 obie próby pochodzą ze świata:
# pierwszy sposób: repróbkowanie
w = np.concatenate((np.ones(7), np.zeros(5))) # jedynki -> wystąpiła poprawa

n_l = 5 # ilosc popraw w grupie leku
n_p = 2 #ilosc popraw w grupie placebo
# jako statystykę testową przyjmiemy różnicę w ilości popraw miedzy grupami
# w tym problemie istotne jest zwiększenie ilości popraw wiec stosujemy test
# jednostronny
N_rep = 100000

st_0= n_l - n_p
st_rep=np.zeros(N_rep)

for i in range(N_rep):
n_l_rep = np.sum(randsample(w,6))
n_p_rep = np.sum(randsample(w,6))
st_rep[i] = n_l_rep - n_p_rep # wartość statystyki w i-tym repróbkowaniu

p_rep = float(np.sum(st_rep >= st_0))/N_rep
print('''Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: %(p).4f'''%{'p':p_rep})

# drugi sposób:
# zmienna uzyskanie poprawy podlega rozkładowi dwumianowemu
p = 7.0/12
N = 6
k1 = 5
k2 = 2
p_param = 0
for d in range(N-st_0+1): # w tej pętli sumujemy prawdopodobieństwa zdarzeń sprzyjających zaobserwowaniu różnicy co najmniej st_0 popraw
p_bino1 = 1-st.binom.cdf(st_0 - 1 +d, N, p) # prawdopodobieństwo uzyskania poprawy w co najmniej st_0 +d próbach
p_bino2 = st.binom.pmf(d,N,p) # prawdopodobieństwo uzyskania poprawy w d próbach
p_param += p_bino1 * p_bino2 # prawdopodobieństwo zaobserwowania jednocześnie obu powyższych sytuacji

print('Prawdopodobieństwo estymowane parametrycznie: %(p).4f'%{'p':p_param})

</source>

: Odp: Prawdopodobieństwo wylosowania takiej samej bądź większej różnicy w ilości popraw estymowane z symulacji: 0,0702
Prawdopodobieństwo estymowane parametrycznie: 0,0699. Wniosek: nie mamy podstaw do odrzucenia hipotezy zerowej.

==Zadanie: Pomiar masy cząstki elementarnej==
W pomiarach wstępnych zbadano masę spoczynkową pewnej cząstki elementarnej. Otrzymano następujące wyniki [MeV/c²]:

139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74, 139.38, 139.54,
139.38, 139.46, 140.09, 139.77, 139.52, 139.47, 139.89, 138.95, 139.99, 139.64,
139.37, 139.49, 139.15, 139.77, 140.10, 139.48, 139.84, 139.44, 140.13

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być naładowany pion.

Zbadaj na poziomie istotności 1%, czy cząstką tą mógł być neutralny pion.

Rozwiązanie:

<source lang=python>
import numpy as np
import scipy.stats as st

alfa = 0.01 # poziom istotności
dane = np.array([139.20, 139.34, 140.22, 139.56, 139.42, 139.64, 139.22, 139.74,
139.38, 139.54, 139.38, 139.46, 140.09, 139.77, 139.52, 139.47,
139.89, 138.95, 139.99, 139.64, 139.37, 139.49, 139.15, 139.77,
140.10, 139.48, 139.84, 139.44, 140.13])

Pi_plus_min = 139.57 # masa pionów naładowanych Pi+ i Pi-
Pi_neutral = 134.98 # masa pionu neutralnego Pi0

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o wartości oczekiwanej Pi_plus_min
t1, p1 = st.ttest_1samp(dane,Pi_plus_min)
print("Poziom p dla hipotezy, że był do pion naładowany",p1)
if p1>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))

# test t hipotezy H0, że dane pochodzą z rozkładu normalnego o średniej Pi_neutral
t2, p2 = st.ttest_1samp(dane,Pi_neutral)
print("\nPoziom p dla hipotezy, że był do pion neutralny",p2)
if p2>=alfa: print("Nie możemy odrzucić tej hipotezy na poziomie istotności {}%".format(100*alfa))
else: print("Możemy odrzucić tę hipotezę na poziomie istotności {}%".format(100*alfa))
</source>

==Przykład: Średnie grup sparowanych: Lek przeciwdepresyjny==
Poniższa tabela prezentuje wyniki 9 pacjentów wykonujących pewien test diagnostyczny przed podaniem leku i po podaniu leku.
{| border="1" class='wikitable'
!przed
!po
|-
|1,83
|0,878
|-
|0,50
|0,647
|-
|1,62
|0,598
|-
|2,48
|2,05
|-
|1,68
|1,06
|-
|1,88
|1,29
|-
|1,55
|1,06
|-
|3,06
|3,14
|-
|1,3
|1,29
|}

PRZED = [1.83, 0.5, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.3]
PO = [0.878, 0.647, 0.598, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29]

Skonstruować test, który pozwoli stwierdzić czy lek jest skuteczny. Porównać różne wersje testu:
* bootstrapową (losowanie z powtórzeniami),
* permutacyjną,
* test parametryczny
* test nieparametryczny.

Jakie założenia przyjmujemy przy każdej z wersji testu?

===Rozwiązanie===
W tym zadaniu mamy dwie grupy ''przed'' i ''po'' ale oprócz tego istnieje ścisły porządek w parach, bez sensu jest porównywanie ''przed'' od jednego pacjenta z ''po'' drugiego pacjenta. Musimy stosować testy, które biorą ten porządek pod uwagę (testy pairwise).

Jako miarę tego czy lek jest skuteczny przyjmiemy różnicę (''po'' - ''przed''). Każda z zaobserwowanych różnic to zmienna losowa. Ich średnia to nasza STATYSTYKA. Będziemy wierzyli, że lek działa jeśli ta różnica jest istotnie mniejsza od zera. Mamy stąd hipotezy:
 <math>H_0: \bar r \geq 0</math>
 <math>H_1: \bar r < 0 </math>

====Wersja bootstrapowa====

Założenie, które czynimy w wersji bootstrapowej testu jest następujące:
Zaobserwowana grupa pacjentów jest reprezentatywna, tzn. istnieje duża populacja pacjentów spośród której moglibyśmy pobrać wiele innych grup podobnych pod względem interesujących nas parametrów do grupy zaobserwowanej w tym konkretnym eksperymencie. Konsekwencją tego założenia jest to, że jeśli w naszej grupie mamy już pacjenta z wynikami: [1.83, 0.878], to szansa na wylosowanie kolejnego pacjenta o takich wynikach się nie zmienia i nadal wynosi 1/9. Prowadzi to do implementacji zawierającej losowanie z powtórzeniami.

Losowość występuje tu w dwóch miejscach:
<ul>
<li> losujemy pacjentów z powtórzeniami - zakładamy, że badana grupa jest reprezentatywna dla bardzo dużej populacji.
<li> dla każdego z wybranych pacjentów losujemy jego wynik ''przed'' oraz wynik ''po'' z wyników, które uzyskał w rzeczywistości --- to jest zgodne z hipotezą zerową.
</ul>
Dla każdego losowania obliczamy wartość statystyki w tym losowania uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich losowań tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' (średnia różnica) przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang=python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def randsample(x, N):
'''zwraca wektor z losowo wybranymi elementami wektora x.
Losowanie odbywa się z powtórzeniami'''

n=len(x)
ind = np.random.randint(n, size = N)
y = x[ind]
return y

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny)
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878],
[0.50, 0.647],
[1.62, 0.598],
[2.48, 2.05],
[1.68, 1.06],
[1.88, 1.29],
[1.55, 1.06],
[3.06, 3.14],
[1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr})

N = len(r)

N_rep = 100000
r_boot = np.zeros(N_rep)
przed = np.zeros(N)
po = np.zeros(N)

for i in range(N_rep):
ix=randsample(np.arange(0,N,1),N) # wybieramy pacjentów z powtórzeniami
B=np.array(A[ix,:])
for j in range(N): # mieszamy losowo przypisując wyniki do grupy przed i po
# zakładając, że pacjent może uzyskać dwukrotnie taki sam wynik
s = np.random.rand()
if s > 0.5:
przed[j]=B[j,0]
else:
przed[j]=B[j,1]
s = np.random.rand()
if s > 0.5:
po[j]=B[j,1]
else:
po[j]=B[j,0]
rr=po-przed
r_boot[i] = np.mean(rr)

hist_z_markerem(r_boot,30,mr)
p_h0 = np.sum( r_boot <= mr)/N_rep
s_boot = u'dla repróbkowanego testu jednostronnego: %(p_h0).5f'%{'p_h0': p_h0}
print( s_boot)
py.title(s_boot)
py.show()
</source>

====Wersja permutacyjna====

W tym teście zakładamy, że grupa pacjentów jest unikalna, więc w procedurze wytwarzania empirycznego rozkładu statystyki korzystamy z danych wszystkich pacjentów w każdej iteracji.

Zgodnie z hipotezą zerową pomiary ''przed'' i ''po'' są równoważne można je zatem zamieniać. Wykonamy wszystkie możliwe zamiany ''przed'' i ''po''. Możliwych zamian jest <math>2^N</math>. Skorzystamy z faktu, że bity w reprezentacji binarnej liczb całkowitych od 0 do <math>2^{N-1}</math> zawierają wszystkie możliwe permutacje ciągów zer i jedynek o długości ''N''. Wartości 1 zamienimy na logiczne True a wartości 0 na False. Zinterpretujemy True jako zamianę i False jako brak zamiany.

Dla każdej permutacji obliczamy wartość statystyki uśredniając różnice indywidualne.
Wartości statystyki otrzymane dla wszystkich permutacji tworzą jej empiryczny rozkład, przy założeniu, że hipoteza zerowa jest prawdziwa. Jako estymator prawdopodobieństwa zaobserwowania oryginalnej wartości statystyki ''mr'' przy prawdziwej hipotezie zerowej przyjmujemy frakcję rozkładu empirycznego, w której wartości statystyki były nie większe niż ''mr''. Wynik ilustrujemy histogramem rozkładu empirycznego z zaznaczoną ową frakcją.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def dec2bin(n, l):
'''konwertuje dziesiętną liczbę całkowitą na tablicę
przedstawiającą reprezentację binarną tej liczby
n liczba do konwersji
l długość reprezentacji binarnej
zwracana jest binarna reprezentacja liczby
skonwertowana do tablicy logicznej (0->False, 1-> True)
'''
b = np.zeros(l, dtype = bool)
if n < 0: raise ValueError("must be a positive integer")
i = 1
while n > 0:
b[l-i] = bool( n % 2 )
n = n >> 1
i += 1
return b

def hist_z_markerem(x, N_bins, marker):
'''Rysuje histogram wartości w tablicy x, używając N_bins binów.
Na lewo od wartości wskazanej przez marker dorysowywany jest prostokąt'''

r = np.max(x) - np.min(x)
szer_binu = r/N_bins

#konstruujemy biny
# robimy biny od markera co szerokość binu aż do x minimalnego
biny_na_lewo = np.arange( marker, np.min(x), -szer_binu)
# odwracamy kolejność tej sekwencji żeby była rosnąca
biny_na_lewo = biny_na_lewo[-1::-1]
# robimy biny od markera co szerokość binu aż do x maksymalnego
biny_na_prawo = np.arange(marker,np.max(x), szer_binu)
# sklejamy oba zakresy binów
biny = np.concatenate((biny_na_lewo, biny_na_prawo))
(n,xx,patch) = py.hist(x,bins = biny )
py.fill([np.min(xx), np.min(xx), marker, marker] , [0, np.max(n), np.max(n), 0] ,'r' ,alpha = 0.2)

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą
mr = np.mean(r) # średnia z tych różnic to wartość statystyki zaobserwowana dla oryginalnych danych
print( 'średnia różnica: %(mr).2f'%{'mr':mr} )

N = len(r)

N_perm = 2**N
r_perm = np.zeros(N_perm)
for i in range(2**N):
B = np.array(A) # B zawiera kopię tablicy A
zamiana = dec2bin(i,N) # w których wierszach dokonać zamiany?
# print( i,': ', zamiana )
# wiersze tablicy B wskazane przez True w wektorze indeksów ind zamieniamy wartości 'przed' z wartościami 'po'
B[zamiana, 0] = A[zamiana, 1]
B[zamiana, 1] = A[zamiana, 0]
rr = B[:,1] - B[:,0] # Obliczam wartości zmiennych losowych dla tej zamiany
r_perm[i] = np.mean(rr) # Obliczmy wartość statystyki dla tej zamiany

p_h0 = np.sum( r_perm <= mr)/N_perm
s_perm = u'dla permutacyjnego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_h0}
print( s_perm)
hist_z_markerem(r_perm,30,mr)
py.title(s_perm)
py.show()
</source>

====Wersja parametryczna====

Jeśli badane różnice ''przed'' i ''po'' podlegają rozkładowi normalnemu to do testowania czy średnia wartość różnicy jest równa 0 można zastosować test ''t'' dla prób zależnych <tt>st.ttest_rel()</tt>. Aby się upewnić, że możemy zastosować ten test badamy normalność różnic przy pomocy <tt>normplot()</tt> oraz testu Shapiro-Wilka <tt>st.shapiro()</tt>.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def normplot(x):
'''normplot: x dane do testowania'''

x_ord = sorted(x)
N = len(x)
y = np.zeros(N)
y[0]=st.norm.ppf(1- 0.5**(1.0/N) )
y[N-1] = st.norm.ppf(0.5**(1.0/N) )
for i in range(1,N-1):
arg = (i-0.3175)/(N+0.365)
y[i] = st.norm.ppf(arg)
py.plot(y,x_ord,'.')

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])

r = A[:,1] - A[:,0] # od drugiej kolumny odejmuję pierwszą

normplot(r)
py.title("Wyniki testów na normalność różnic\n Shapiro-Wilka: W=%.3f, p=%.3f"%st.shapiro(r)
+"\nKołmogorowa-Smirnowa: D=%.3f, p=%.3f"%st.kstest(r, 'norm', args=(np.mean(r),np.std(r,ddof=1))))
t, p = st.ttest_rel(A[:,1],A[:,0])
p_t = p/2 # aby test był jednostronny
s_t = u'dla parametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_t}
print(s_t)
py.show()
</source>

====Wersja nieparametryczna====

W ogólności, nie zakładając normalności różnic można by przeprowadzić test Wilcoxona. W aktualnej implementacji tego testu w scipy.stats jest on dla naszych danych niedokładny, gdyż mamy małą liczebność grupy, a implementacja stosuje przybliżenia asymptotyczne.

<source lang= python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import numpy as np

A=np.array([[1.83, 0.878], [0.50, 0.647], [1.62, 0.598], [2.48, 2.05], [1.68, 1.06], [1.88, 1.29], [1.55, 1.06], [3.06, 3.14], [1.30, 1.29]])
z, p = st.wilcoxon(A[:,1],A[:,0] )
p_w = p/2 # aby test był jednostronny
s_w = u'dla nieparametrycznego testu jednostronnego: %(p_h0).3f'%{'p_h0': p_w}
print( s_w)
</source>

====Podsumowanie====
średnia różnica: -0.43
dla repróbkowanego testu jednostronnego: 0.0013
dla permutacyjnego testu jednostronnego: 0.014
Wynik testu Shapiro-Wilka na normalność różnic
statystyka W: 0.921
prawdopodobieństwo takiej wartości statystyki dla rozkładu normalnego: 0.404
dla parametrycznego testu jednostronnego: 0.008
dla nieparametrycznego testu jednostronnego: 0.019

Wszystkie testy wskazują prawdopodobieństwo zaobserwowania odpowiadających im statystyk poniżej przyjętego poziomu istotności <math>\alpha = 0.05</math>. Zatem hipotezę zerową należy odrzucić i przyjąć hipotezę alternatywną.

==Zadania==

===Zanieczyszczenie środowiska===
Agencja ochrony środowiska ustaliła limit na koncentrację zanieczyszczeń emitowanych przez fabryki. Załóżmy, że dopuszczalny poziom zanieczyszczeń wynosi 55 cząstek na milion (cz/m) w promieniu dwóch kilometrów od fabryki. Kontrola przeprowadza 100 pomiarów o różnej porze dnia i roku w promieniu dwóch km od pewnej fabryki. Średnia z próby wyniosła 60 cz/m a odchylenie standardowe <math>s = 20</math> cz/m. Czy dane te są wystarczające by na poziomie istotności <math>\alpha = 0,01</math> uznać, że fabryka łamie prawo?

Fabryka łamie prawo jeśli emituje zanieczyszczenia na poziomie wyższym niż dopuszczalny więc należy przeprowadzić test jednostronny (w tym przypadku prawostronny). Czy moglibyśmy odrzucić <math>H_0</math> na tym samym poziomie stosując test dwustronny?
Jest ważne aby w zależności od problemu wybrać odpowiedni test: jedno- lub dwustronny.

Odp.: <math>p=0,\!003<\alpha=0,\!01</math>, zatem odrzucamy H0.

Odp. (alt.): <math>\mu = 25,\!2 \not\in[25,\!3; 26,\!9]</math>, zatem odrzucamy H0.

===Sonda===
Władze miasta chciałyby wiedzieć, czy przyznać koncesję operatorowi sieci kablowej. W tym celu zleciły nam przeprowadzenie sondy wśród mieszkańców. Zapytaliśmy o zdanie 50 przypadkowo wybranych osób. 30 osób powiedziało &bdquo;tak” a 20 &bdquo;nie”. Na ile pewnie otrzymane wyniki wskazują, że mieszkańcy chcą tej kablówki?

Celem naszych badań jest uniknięcie błędu polegającego na tym, że powiemy iż większość mieszkańców chce kablówki podczas gdy tak na prawdę to nie chce.

Wskazówka: Granicznym przypadkiem popełnienia tego błędu jest proporcja 1:1 zwolenników i przeciwników kablówki. Jeśli przeciwników kablówki byłoby jeszcze więcej to uzyskanie naszych wyników byłoby jeszcze mniej prawdopodobne.


===Wybory prezydenckie===
W ankiecie uzyskaliśmy 840 głosów popierających kandydaturę A i 660 kandydaturę B. Jaka jest szansa, że tak naprawdę kandydat B ma poparcie 50% lub większe? Jakie jest prawdopodobieństwo pojawienia sie zaobserwowanej próbki lub próbki wskazującej na jeszcze większe poparcie dla kandydata A, jeśli w rzeczywistości poparcie kandydata A byłoby 50% lub mniej.


===Czy stosunek do marihuany się zmienił?===
Rozważmy dwie ankiety przeprowadzone w USA, pytano 1500 respondentów o stosunek do legalizacji marihuany. Pierwszą ankietę przeprowadzono w 1980, wówczas za legalizacją opowiadało się 52% a drugą w 1985 i za legalizacją było 46%. Czy wyniki tych dwóch ankiet są istotnie różne?


===Zawały serca i cholesterol===
Badano grupę 605 osób. 135 osób z tej grupy miało wysoki poziom cholesterolu a 470 niski. W grupie z wysokim poziomem cholesterolu odnotowano 10 przypadków zawału serca a w grupie z niskim poziomem 21, w czasie 16 lat obserwacji. Nasze pytanie brzmi: Czy możemy uznać, że wysoki poziom cholesterolu zwiększa ryzyko zawału serca?


===Czy gęstości planet się różnią?===
Rozważmy pięć planet znanych w antycznym świecie. Chcemy zbadać, czy planety wewnętrzne Merkury (0,68) i Wenus (0,94) mają istotnie większe gęstości niż planety zewnętrzne Mars (0,71) Jowisz (0,24) i Saturn (0,12)?

Wskazówki:
* Unikalność zestawu planet wskazuje na zastosowanie testu permutacyjnego.
* Moduł implementujący funkcje kombinatoryczne w pythonie to <tt>itertools </tt>. Zawiera on funkcję <tt>permutations</tt>. Wywołanie <tt>itertools.permutations(sekwencja[, r])</tt> zwraca obiekt permutacji. Obiekt ten zwraca kolejne permutacje o długości r elementów w sekwencji (np. w wektorze). Przykład:
<source lang= python>
import itertools
for kolejny in itertools.permutations(range(3), 2):
print(kolejny)
</source>



===Elektrownia jądrowa===
Przed wybudowaniem elektrowni jądrowej przeprowadzono pomiary intensywności promieniowania jonizującego w pobliżu planowanego budynku reaktora. Powtórzono te pomiary po uruchomieniu reaktora. Czy zebrane dane pozwalają stwierdzić, że poziom promieniowania istotnie wzrósł? Dane pomiarowe wczytaj z [[Media:pomiary_skazen.txt| pliku]].

Odp. <math>p=0,\!39>\alpha=0,\!01</math>, zatem nie mamy podstaw do odrzucenia hipotezy <math>H_0</math>, że poziom promieniowania istotnie wzrósł.

Laboratorium EEG

2025-02-25T10:23:08Z

Maciek:

[[Category:Pracownie specjalistyczne]]
__NOTOC__
==Informacje bieżące==


Zajęcia są prowadzone przez Macieja Kamińskiego i Jarosława Żygierewicza 

Zajęcia odbywają się w sali 4.59:
* we wtorki w godzinach 11:15 - 13:30
* w środy w godzinach 10:45 - 13:00

== Warunki zaliczenia ==
Ćwiczenia zostaną zaliczone osobom, które spełnią dwa niezwykle proste warunki:
* Posiadanie maksymalnie dwóch nieusprawiedliwionych nieobecności na ćwiczeniach,
* Posiadanie przynajmniej połowy sumy punktów ze wszystkich prezentacji,
* ... ''(do ustalenia).''

=== Elementy oceniane w prezentacji:===
* poprawność zastosowanego algorytmu -> należy przygotować opis ideowy algorytmu w punktach/na schemacie
* prezentacja wykonanych testów pokazujacych, że algorytm działa poprawnie
* jakość kodu (czytelność, komentarze, struktura, czy ktoś komu mielibyśmy przekazać ten kod ma sznsę go zrozumieć)
* wykazanie się zrozumieniem otrzymanych wyników.



==Materiały dydaktyczne==
Zestaw przykładowych materiałów dotyczących analizy danych w Matlabie towarzyszący książce autorstwa Katarzyny J. Blinowskiej i Jarosława Żygierewicza zatytułowanej "Practical Biomedical Signal Analysis Using MATLAB® Second Edition]" ([https://books.google.pl/books?id=hSpHEAAAQBAJ&pg=PA1&hl=pl&source=gbs_toc_r&cad=3#v=onepage&q&f=false spis treści]):

https://static.routledge.com/9781138364417/matlab.zip




===Wprowadzenie do Matlaba===
* [[Laboratorium_EEG/Wprowadzenie_do_Matlaba|Wprowadzenie do Matlaba]] 
* [[Laboratorium_EEG/Konwerter_plików_Svarog–Matlab|Wczytywanie do Matlaba plików binarnych z programu Svarog]]
* [[Laboratorium_EEG/EEGLAB|Pakiet EEGLAB]]

===Filtry przestrzenne===
* [[Laboratorium_EEG/CSP|Filtry przestrzenne]]: metody ślepej separacji źródeł

===Zależności przyczynowe===
* [[Laboratorium_EEG/AR_1|Wielokanałowa analiza parametryczna/Zależności przyczynowe]]


===Metody czas-częstość===

* [[Laboratorium_EEG/Analiza czas-częstość w matlabie|Analiza czas-częstość w matlabie]]
* [[Laboratorium_EEG/Analiza zjawiska ERD/ERS|Analiza zjawiska ERD/ERS]]

=== MP===
* [[Laboratorium_EEG/MMP|MMP]]

Pracownia Sygnałów Biologicznych/Zajecia 9

2025-01-22T10:52:58Z

Maciek:

=Wstęp=
Filmik wstępny o pomiarach EEG: https://medtube.pl/neurologia/filmy-medyczne/20643-eeg?alh=1040be48cf2ead6f193ef0cd3b158dca

[[Plik:Kom_piramid.png|mały]]

[[Plik:Piramid_prady.png|mały]]

[[Plik:EEG_dipol.png|mały]]

[[Plik:grzybkowe_2.png|250px|thumb|right|<figure id="fig:Grzybkowe_2"></figure> Przykład kompletnej elektrody grzybkowej.
Elektrody grzybkowe. Zaprezentowany na zdjęciu <xr id="fig:Grzybkowe_1">rys. %i</xr>) metalowy rdzeń owinięty jest gazikiem.]]
[[Plik:grzybkowe_1.png|250px|thumb|right|<figure id="fig:Grzybkowe_1"></figure> Metalowy rdzeń elektrody grzybkowej.]]
[[Plik:grzybkowe_czepek.png|250px|thumb|right|<figure id="fig:grzybkowe_czepek"></figure> Czepek do mocowania elektrod grzybkowych założony na szklany model głowy.]]
[[Plik:miseczkowe_1.png|250px|thumb|right|<figure id="fig:Miseczkowe_1"></figure> Elektrody miseczkowe chlorosrebrowe (Ag-AgCl) do rejestracji sygnału EEG, bezpośrednio przyklejane do powierzchni głowy. Elektroda w górnej części zdjęcia zaprezentowano od strony, która styka się głową. Elektroda w dolnej części zdjęcia została pokazana od strony wierzchniej. Otwory w elektrodach Ag-AgCl służą do umieszczania w nich specjalnych żeli poprawiających przewodnictwo prądu..]]
[[Plik:miseczkowe_2a.png|250px|thumb|right|<figure id="fig:Miseczkowe_2a"></figure> Elektrody miseczkowe chlorosrebrowe z innej perspektywy.]]
[[Plik:miseczkowe_2b.png|250px|thumb|right|<figure id="fig:Miseczkowe_2b"></figure> Elektrody miseczkowe chlorosrebrowe. Strzałka wskazuje otwór w elektrodzie, którym wprowadza się żel przewodzący do przestrzeni pomiędzy elektrodą a skórą. Zielonym okręgiem zaznaczono płaski brzeg elektrody, który bezpośrednio styka się ze skórą człowieka.]]
[[Plik:miseczkowe_3.png|250px|thumb|right|<figure id="fig:Miseczkowe_3"></figure> Przykład elektrod mocowanych do głowy przy pomocy czepka.]]
[[Plik:miseczkowe_czepek.png|350px|thumb|right|<figure id="fig:Miseczkowe_czepek"></figure> (A) - przykład czepka do mocowania elektrod rejestrujacych sygnał EEG. (B) - czepek wraz z kilkoma elektrodami nałozony na szklany model głowy.]]
[[Plik:miseczkowe_4.png|250px|thumb|right|<figure id="fig:Miseczkowe_4"></figure> Jeszcze jeden przykład elektrody mocowanej do głowy za pomoca czepka i sam czepek.]]
[[Plik:10-20.png|350px|thumb|right|<figure id="fig:10-20"></figure> Lokalizacja elektrod 10-20 na jednowymiarowym rzucie głowy. ]]
[[Plik:pozycje.png|350px|thumb|right|<figure id="fig:Pozycje"></figure> Płaszczyzny anatomiczne ciała ludzkiego: A – płaszczyzna poprzeczna (horyzontalna), B – płaszczyzna czołowa, C – płaszczyzna strzałkowa. Rysunek pochodzi z artykułu opublikowanego na stronach Wikipedii [http://pl.wikipedia.org/wiki/Pozycja_anatomiczna].]]
[[Plik:czaszka.png|350px|thumb|right|<figure id="fig:Czaszka"></figure> .]]

Elektroencefalogram (gr. elektron elektryczny, enkephalos mózg, gramma litera/pismo, w skrócie EEG) to zapis czynności elektrycznej mózgu, rejestrowany na powierzchni głowy człowieka. Czynność elektryczną mózgu można również rejestrować bezpośrednio z kory mózgowej, przy pomocy specjalnie układanych na jej powierzchni bądź elektrod umieszczonych bezpośrednio na korze mózgu. Tak zebrany sygnał nazywany jest Elektrokortikogramem (ECoG).
Kora mózgowa człowieka składa się z około <math>10^{11}</math> komórek nerwowych (neuronów), z których każda zdolna jest do generowania czynności elektrycznej w postaci:
* potencjału czynnościowego - to jest krótkotrwałej (rzędu 1 ms) zmiany potencjału błonowego komórki o amplitudzie ~120 mV, względem potencjału spoczynkowego
* pobudzających i hamujących potencjałów postsynaptycznych - to jest zmian polaryzacji błony komórkowej, trwających od kilkudziesięciu (zwykle 10-30 ms) do nawet kilkuset milisekund, które powstają w wyniku aktywacji synaps danego neuronu przez inne komórki nerwowe. Amplituda tych potencjałów nie przekracza 10 mV.

Obecnie uważa się, że rejestrowana na powierzchni głowy człowieka czynność elektryczna, jest zbiorczą aktywnością wielu potencjałów postsynaptycznych, powstałych na skutek synchronicznego pobudzenia komórek nerwowych. Potencjały czynnościowe, mimo stosunkowo wysokiej amplitudy, mają bardzo krótki czas trwania, a z związku z tym w ich widmie dominują składowe wysoko częstościowe, które są silnie tłumione przez takie tkanki jak płyn mózgowo - rdzeniowy, opony mózgowe-rdzeniowe, kości czaszki oraz skórę. Ponadto krótki czas trwania potencjałów czynnościowych uniemożliwia sumowanie się tych aktywności. W trakcie przetwarzanie informacji przez mózg zwykle pobudzane są całe populacje komórek nerwowych, które mogą się składać nawet z 10000 komórek nerwowych. Komórki te pobudzane są synchroniczne, co sprzyja sumowaniu się od poszczególnych komórek długotrwałych potencjałów postsynaptycznych i powstawaniu zbiorczej aktywności elektrycznej. Również ta aktywność jest silnie tłumiona przez tkanki znajdujące się pomiędzy korą mózgową a powierzchnią głowy. Amplituda sygnału EEG wynosi od 1 μV do około 100 μV, zwykle rzadko jednak przekracza 50 μV. Przyjmuje się, że widmo sygnału EEG mieści się w zakresie od 0 do 100 Hz, w praktyce klinicznej zazwyczaj rejestruje się sygnały w paśmie od ułamka do 50 Hz. Czynność elektryczna mózgu rejestrowana na powierzchni głowy człowieka jest zatem niezwykle słaba. Wszystkie dotychczas poznane i rejestrowane przez nas na zajęciach sygnały mają amplitudy znacznie wyższe, czasami o kilka rzędów wielkości. Sygnały takie jak EKG, EMG, Elektrookulogram zawierają w sobie niezwykle ważną informację diagnostyczną, jednak z punktu widzenia pomiaru EEG są artefaktami, to jest sygnałami które zakłócają rejestrację czynności elektrycznej mózgu. Na najbliższych zajęciach dowiemy się jak rejestrować sygnał EEG, minimalizując wpływ potencjałów elektrycznych pochodzących od innych organów.

==Elektrody pomiarowe==
Zadaniem elektrod do pomiaru czynności elektrycznej mózgu jest zamiana prądów jonowych płynących po powierzchni głowy na prąd elektronowy i przesłanie tego prądu do aparatu wzmacniającego. Elektrody pomiarowe, jak wspomniano na pierwszych zajęciach, wykonane są z metali niereaktywnych, głównie srebra, lub srebra pokrytego chlorkiem srebra, niekiedy również ze złota oraz platyny. W pomiarach EEG spotykamy się głównie z dwoma trzema rodzajami elektrod, którymi są:
# Elektrody ''grzybkowe'', zbudowane z metalu uformowanego w kształt zaprezentowany na <xr id="fig:Grzybkowe_2">rys. %i</xr> i <xr id="fig:Grzybkowe_1">rys. %i</xr>. Jak można zauważyć, jeden koniec elektrody zakończony jest płaskim dyskiem, który owija się watą oraz gazą, podczas gdy do drugiego końca przymocowane są odpowiednio wyprofilowane elementy z tworzywa sztucznego, służące do umieszczenia elektrody na powierzchni głowy. Całość przypomina kształtem grzyb, stąd nazwa tego typu elektrod. Elektrody grzybkowe mocowane są do powierzchni głowy przy pomocy czepków (<xr id="fig:grzybkowe_czepek">rys. %i</xr>), których gumowe wężyki dociskają elektrodę do skóry. Przed wykonaniem badania elektrody grzybkowe należy nasączyć w roztworze soli fizjologicznej, która pełni w tym wypadku rolę elektrolitu i zapewnia przewodnictwo prądu pomiędzy skóra a elektrodą. Elektrody grzybkowe są powszechnie stosowane do rejestracji sygnału EEG, jednakże nie są zbyt wygodne dla pacjenta, czującego ucisk plastikowych i gumowych elementów czepka oraz elektrod. W związku z tym, stosuje się je głownie do krótkotrwałych, nie przekraczających 30 minut badań. Jeśli wymagany jest dłuższy pomiar sygnału EEG, powinno się używać inne typy elektrod, omówione w kolejnym punkcie.
# Elektrody ''miseczkowe'', mające kształt wklęsłego dysku bądź krążka (<xr id="fig:Miseczkowe_1">rys. %i</xr>, <xr id="fig:Miseczkowe_2a">rys. %i</xr>), o płaskich brzegach. Zazwyczaj tego rodzaju elektrody są elektrodami chlorosrebrowymi - dysk wykonany jest ze srebra, pokrytego chlorkiem srebra. Spotyka się również elektrody miseczkowe wykonane ze złota lub platyny. Nowe elektrody chlorosrebrowe mają ciemno brązowy lub ciemno fioletowy kolor, który zawdzięczają związkowi chlorku-srebra. Elektrody miseczkowe umieszcza się na głowie za pomocą specjalnych klei. Jednym z najbardziej znanych jest kolodium. Klej ten rozprowadza się po płaskim brzegu elektrody (<xr id="fig:Miseczkowe_2b">rys. %i</xr>), a następnie przykłada się ją w odpowiednim miejscu na głowie badanej osoby. Po wyschnięciu, kolodium jest w stanie utrzymać elektrodę przy skórze nawet przez klika dni. Tak zamocowane elektrody odkleja się przy pomocy rozpuszczalnika acetonowego. Po umieszczeniu elektrody na głowie, pomiędzy skórą a elektrodą tworzy się wolna przestrzeń wypełniona przez włosy oraz powietrze. Aby umożliwić przewodzenie prądu, pomiędzy skórą a elektrodą wprowadza się za pomocą tępej igły odpowiednie żele przez otwór znajdujący się w elektrodzie miseczkowej (<xr id="fig:Miseczkowe_2b">rys. %i</xr>). Wadą kolodium jest stosunkowo długi czas potrzebny na jego wyschnięcie. Niedogodności tej pozbawione są nowe rodzaje klejów, które pełnią jednocześnie rolę spoiwa mocującego elektrodę do skóry jak i żelu zapewniającego kontakt elektrody ze skórą. Wadą z kolei tych klejów jest ich stosunkowo niska, w porównaniu z kolodium, przyczepność. Tak przyklejone do głowy elektrody, w przypadku gwałtownego ruchu pacjenta, mogą łatwo ulec odczepieniu od skóry. Ponadto kleje te są wodo-zmywalne, co z jednej strony ułatwia zdjęcie elektrod, z drugiej jednak strony powoduje rozpuszczenie kleju pod wpływem potu wydzielanego przez pacjenta. W związku z tym, kleje wodo-zmywalne uniemożliwiają dłuższe niż 3 - 4 godzinne badanie EEG. Pewnym rodzajem elektrod miseczkowych są elektrody mocowane do głowy przy pomocy specjalnych czepków <xr id="fig:Miseczkowe_3">rys. %i</xr>, <xr id="fig:Miseczkowe_czepek">rys. %i</xr>, <xr id="fig:Miseczkowe_4">rys. %i</xr> przypominających kształtem czepek pływacki. Tego typu czepki wyposażone są w otwory z odpowiednimi zaczepami. Po założeniu czepka o rozmiarze dostosowanym do wielkości głowy badanej osoby, za pomocą tępej igły ze strzykawką wpuszcza się odpowiedni żel, a następnie wpina się elektrody.
# Klipsy

===Lokalizacja elektrod na powierzchni głowy. System 10-20===
Liczba elektrod wykorzystywanych w pomiarze czynności elektrycznej mózgu, jak ich lokalizacja na powierzchni głowy może być bardzo różnorodna. Przykładowo, w badaniach naukowych stosuje się od kilku do nawet kilkuset elektrod, które mogą być w przybliżeniu równomiernie rozmieszczone na powierzchni głowy jak i być skoncentrowane tylko w pewnych jej obszarach.
W praktyce klinicznej elektrody pomiarowe rozlokowywane są na powierzchni głowy, według pewnego międzynarodowego standardu, opracowanego w latach 50 ubiegłego wieku - tzw. Systemu 10-20. Pomiary czynności elektrycznej mózgu dokonuje się w tym systemie za pomocą 19 elektrod rozmieszczonych w miejscach, które wyznacza się po uprzednim zmierzeniu pewnych charakterystycznych wymiarów głowy oraz dwóch elektrod referencyjnych przyczepionych w okolicach uszu. Nazwy elektrod Systemu 10-20 zawierają cyfry, które są nieparzyste dla elektrod umieszczonych po lewej stronie głowy i parzystymi dla elektrod umieszczonych po prawej stronie. Na rysunku <xr id="fig:10-20">rys. %i</xr> zaprezentowano jednowymiarowy rzut głowy, na którym pokazano pozycje wszystkich elektrod systemu 10-20. Poniższa tabela zawiera spis oraz przybliżoną lokalizacje tych elektrod.
{| class="wikitable"
|+ Elektrody systemu 10-20
! nr.
! Półkula lewa
! Linia środkowa głowy
! Półkula prawa
! Główny obszar mózgu, z którego elektroda rejestruje aktywność elektryczną
|-
| 1
| Fp1
|
| Fp2
| elektrody czołowe (lub przedczołowej), rejestrują aktywność głównie z płatów czołowych mózgu
|-
| 2
| F3
|
| F4
| elektrody środkowo czołowe, rejestrują aktywność głównie z okolic płatów czołowych mózgu
|-
| 3
| F7
|
| F8
| elektrody czołowa dolna (lub przednio skroniowa), rejestrują aktywność z okolicy oczodołowej, przednio skroniowej i bocznej czołowej mózgu
|-
| 4
|
| Fz
|
| elektroda środkowo czołowa, rejestruje aktywność z okolicy środkowej i przyśrodkowej okolicy czołowej
|-
| 5
| T3
|
| T4
| elektrody środkowo skroniowe, rejestrują aktywność z okolicy przednio skroniowej i środkowo skroniowej mózgu
|-
| 6
| T5
|
| T6
| elektrody tylno skroniowe, rejestrują aktywność z okolicy tylno skroniowej mózgu
|-
| 7
| C3
|
| C4
| elektrody rejestrujące aktywność z okolicy szczeliny (bruzdy) Rolanda [http://pl.wikipedia.org/wiki/Bruzda_Rolanda].
|-
| 8
|
| Cz
|
| elektroda środkowo centralna, rejestruje aktywność z środkowej i przyśrodkowej okolicy centralnej
|-
| 9
| P3
|
| P4
| elektrody ciemieniowe, rejestrują aktywność z okolicy ciemieniowej mózgu
|-
| 10
|
| Pz
|
| elektroda środkowo ciemieniowa, rejestruje aktywność z środkowej i przyśrodkowej okolicy ciemieniowe
|-
| 11
| O1
|
| O2
| elektrody potyliczne, rejestrują aktywność z okolicy potylicznej mózgu
|-
| 12
| A1
|
| A2
| elektroda uszne, rejestrują aktywność z okolicy środkowo skroniowej, używane są jako elektrody referencyjne (odniesienia)
|}

Lokalizując elektrody do pomiaru czynności elektrycznej mózgu, opisuje się ich położenie w trzech płaszczyznach - strzałkowej, wieńcowej i poziomej. Płaszczyzna strzałkowa jest jedną z płaszczyzn określających pozycję anatomiczną człowieka i została zaprezentowana na rysunku <xr id="fig:Pozycje"> rys. %i</xr>. Położenie płaszczyzny wieńcowej i poziomej zostanie opisane w dalszej części rozdziału. Elektrody Systemu 10-20 rozmieszcza się na głowie pacjenta, po uprzednim pomiarze długości pewnych łuków biegnących w wyżej wymienionych płaszczyznach. Początki i końce tych łuków określone są względem kilku charakterystycznych punktów na powierzchni głowy.
====Wyznaczenie płaszczyzny strzałkowej głowy i wymiaru strzałkowego====
Rozmieszczenie elektrod EEG rozpoczynamy od określenia płszczyzny strzałkowej głowy. Płaszczyzna ta przebiega przez punkty
''nasion'' (zagłębienie na szczycie nosa - patrz rysunek <xr id="fig:Czaszka"></xr>), wzdłuż linii środkowej głowy do punktu ''inion'' (wypukłość leżąca w linii środkowej podstawy czaszki - patrz rysunek <xr id="fig:Czaszka">rys. %i</xr>) i dzieli głowę na półkulę prawą i lewą. Wymiar strzałkowy głowy jest to długość łuku biegnącego w płaszczyźnie strzałkowej od punktu ''nasion'' poprzez szczyt głowy, do punktu ''inion''. Na rysunku <xr id="fig:10-20"> rys. %i</xr> łuk ten zaznaczono kolorem czerwonym.

====Wyznaczenie płaszczyzny wieńcowej i wymiaru wieńcowego głowy====
Do określenia płaszczyzny wieńcowej głowy potrzebujemy trzech punktów. Jednym z nich jest szczyt głowy (punkt ''Vertex'' na rysunku <xr id="fig:Czaszka"> rys. %i</xr>), leżący w odległości 50% wymiaru strzałkowego od punktu ''nasion'' lub ''inion''.
Dwa kolejne punkty leżą tuż przed skrawkiem ucha (punkt ''Preaurical'' na rysunku <xr id="fig:Czaszka"> rys. %i</xr>) odpowiednio po prawej i lewej stronie głowy. Punkty ''Vertex'' oraz punkty ''Preaurical'' określają płaszczyznę wieńcową. Wymiar wieńcowy to długość łuku biegnącego od punktu ''Preaurical'' z jednej strony głowy, poprzez punkt ''Vertex'' do puntu ''Preaurical'' umiejscowionego po drugiej stronie głowy. Na rysunkach <xr id="fig:10-20"> rys. %i</xr> i <xr id="fig:Czaszka"> rys. %i</xr> łuk ten zaznaczono przerywaną linią koloru niebieskiego.

====Wyznaczenie płaszczyzny poziomej i wymiaru poziomego głowy====
Do określenia położenia płaszczyzny w przestrzeni niezbędne są trzy punktu. W przypadku głowy jednak, która u badanej osoby może nie mieć kształtu symetrycznego, do wyznaczenia płaszczyzny poziomej stosuje się cztery punkty, zaś wymiar poziomy określa sie dla każdej półkuli osobno. Punkty te na rysunku <xr id="fig:Czaszka"> %i</xr> oznaczono nazwami ''B1'', ''B2'', ''B3'' (punkt ''B4'' leży odpowiednio pod drugiej stronie głowy, nie zaprezentowanej na rysunku). '''Uwaga, nazwy tych punktów zostały nadane tylko na potrzeby bieżącego rozdziału.''' Punkt ''B1'' leży w odległości 10% wymiaru strzałkowego od punktu ''Nasion'', punkt ''B2'' w odległości 10% wymiaru strzałkowego od punktu ''Inion''. Punkty ''B3'' i ''B4'' leżą odpowiednio w odległości 10% wymiaru wieńcowego od punktów ''Preaurical''. Wymiar wieńcowy dla prawej półkuli to długość łuku biegnącego od punktu ''B1'' poprzez punkt ''B3'' do punktu ''B2'', zaś wymiar wieńcowy dla lewej półkuli to długość łuku biegnącego od punktu ''B1'' poprzez punkt ''B4'' do punktu ''B2''.

====Lokalizacja elektrod Fz, Cz, Pz====
Elektrody Fz, Cz, Pz, lezą wzdłuż linii środkowej głowy, biegnącej od punktu ''Nasion'' poprzez punkt 'Vertex'' do punktu ''Inion'' (patrz rysunek <xr id="fig:10-20"> %i</xr>).

{| class="wikitable"
|+ Położenie elektrod Fz, Cz, Pz
! nazwa elektrody
! odległość od punkty "Nasion" <br\> liczona jako procent wymiaru strzałkowego
! odległość od punkty "Inion" <br\> liczona jako procent wymiaru strzałkowego
! uwagi
|-
| Fz
| 30%
| 70%
|
|-
| Cz
| 50%
| 50%
| elektroda zlokalizowana jest na szczycie głowy<br\> w odległości 50% wymiaru wieńcowego od punktów <br\> ''Nasion'' i ''Inion'' oraz w odległości 50% wymiaru <br\> wieńcowego od punktów ''Preaurical''.
|-
| Pz
| 70%
| 30%
|
|}

====Lokalizacja elektrod T3, C3, C4, T4====
Elektrody T3, C3, C4, T4 zlokalizowane są na łuku określającym płaszczyznę wieńcową i biegnącym od punktu ''Preaurical'' po lewej stronie głowy,<br\> przez punkt ''Vertex'', do punktu ''Preaurical'' umiejscowionego po prawej stronie głowy (patrz rysunki <xr id="fig:10-20"> %i</xr> i <xr id="fig:Czaszka"> %i</xr>).

{| class="wikitable"
|+ Położenie elektrod T3, C3, C4, T4
! nazwa elektrody
! odległość od lewego punktu "Preaurical" <br\> liczona jako procent wymiaru wieńcowego
! odległość od prawego punktu "Preaurical" <br\> liczona jako procent wymiaru wieńcowego
! uwagi
|-
| T3
| 10%
| 90%
| leży na przecięciu płaszczyzny poziomej i wieńcowej
|-
| C3
| 30%
| 70%
|
|-
| C4
| 70%
| 30%
|
|-
| T4
| 90%
| 10%
| leży na przecięciu płaszczyzny poziomej i wieńcowej
|}

====Lokalizacja elektrod Fp1, Fp2, F7, F8, T5, T6, O1, O2====

Elektrody Fp1, Fp2, F7, F8, T5, T6, O1, O2 (a także T3 i T4) umiejscowione są w płaszczyźnie poziomej, wzdłuż łuku łączącego punkty''B1'', ''B3'' i ''B2'' (patrz rysunki <xr id="fig:Czaszka"> rys. %i</xr>, <xr id="fig:10-20"> rys. %i</xr> )), po lewej stronie głowy i łuku łączącego punkty ''B1'', ''B4'' i ''B2'' po prawe stronie głowy.

{| class="wikitable"
|+ Położenie elektrod Fp1, F7, T3, T5, O1
! nazwa elektrody
! odległość od punktu "B1" <br\> liczona jako procent lewego wymiaru wieńcowego
! odległość od punktu "B2" <br\> liczona jako procent lewego wymiaru wieńcowego
! uwagi
|-
| Fp1
| 10%
| 90%
|
|-
| F7
| 30%
| 70%
|
|-
| T3
| 50%
| 50%
| elektroda leży na przecięciu płaszczyzny wieńcowej i poziomej
|-
| T5
| 70%
| 30%
|
|-
| O1
| 90%
| 10%
|
|}

{| class="wikitable"
|+ Położenie elektrod Fp2, F8, T4, T6, O2
! nazwa elektrody
! odległość od punktu "B1" <br\> liczona jako procent prawego wymiaru wieńcowego
! odległość od punktu "B2" <br\> liczona jako procent prawego wymiaru wieńcowego
! uwagi
|-
| Fp2
| 10%
| 90%
|
|-
| F8
| 30%
| 70%
|
|-
| T4
| 50%
| 50%
| elektroda leży na przecięciu płaszczyzny wieńcowej i poziomej
|-
| T6
| 70%
| 30%
|
|-
| O2
| 90%
| 10%
|
|}

====Loaklizacja elektrod F3, F4, P3 i P4====
Elektroda F3 znajdują się w połowie łuku łączącego elektrody F7 i Fz, zaś elektrody F4 w połowie łuku łączącego elektrody F8 i Fz (patrz rysunek <xr id="fig:10-20"> rys. %i</xr>).
Elektroda P3 znajdują się w połowie łuku łączącego elektrody T5 i Pz, zaś elektrody P4 w połowie łuku łączącego elektrody T6 i Pz (patrz rysunek <xr id="fig:10-20"> rys. %i</xr>).

====Procedura wyznaczania pozycji elektrod przyklejanych na powierzchni głowy====
Jak można zauważyć, odległości pomiędzy poszczególnymi elektrodami leżącymi w danej płaszczyźnie, wynoszą 10% lub 20% wymiaru głowy odpowiadającemu tejże płaszczyźnie. W związku z tym, opisany w poprzednim rozdziale standard lokalizacji elektrod nazwano Systemem 10-20. W podręcznikach dotyczących rejestracji sygnału EEG można spotkać opis procedury lokalizacji elektrod pomiarowych poprzez znajdowanie odległości pomiędzy poszczególnymi elektrodami. Na przykład, jeśli znamy już położenie elektrody Cz, elektroda Pz powinna znajdować się o odległości 20% wymiaru strzałkowego za elektrodą Cz. Jednakże, taki sposób lokalizacji położenia elektrod może prowadzić do kumulacji i propagacji błędów, jeśli bowiem pozycja elektrody Cz jest wyznaczona niedokładnie, również z pewnym błędem będzie określona pozycja elektrody Pz. Poniżej opisano procedurę pozbawioną tej wady.
* Przygotój miarkę krawiecką i czerwony pisak.
* Znajdź punkty ''Nasion'' i ''Inion''.
* Wyznacz wymiar strzałkowy (długość łuku biegnącego w płaszczyźnie strzałkowej, od punktu ''Nasion'', poprzez szczyt głowy do punktu ''Inion''). Oblicz 10%, 20%, 30% i 50% długości tego wymiaru. Przykładowo załóżmy, że wymiar strzałkowy wynosi 40 cm, obliczone długości będą wynosiły odpowiednio 4 cm, 8 cm, 12 cm i 20 cm.
* Przyłóż centymetr krawiecki do głowy tak, aby biegł od punktu ''Inion'' do ''Nasion'' wzdłuż linii środkowej głowy przez jej szczyt. Zaznacz czerwonym pisakiem następujące pozycje:
** 10% wymiaru strzałkowego (w podanym przykładzie to 4 cm) od punktu ''Nasion''. Pozycja ta odpowiada położeniu punktu ''B1''.
** 30% wymiaru strzałkowego (w podanym przykładzie to 8 cm) od punktu ''Nasion''. Pozycja ta odpowiada położeniu elektrody Fz.
** 50% wymiaru strzałkowego (w podanym przykładzie to 20 cm) od punktu ''Nasion''. Pozycja ta odpowiada położeniu elektrody Cz.
** 30% wymiaru strzałkowego (w podanym przykładzie to 8 cm) od punktu ''Inion''. Pozycja ta odpowiada położeniu elektrody Pz.
** 10% wymiaru strzałkowego (w podanym przykładzie to 8 cm) od punktu ''Inion''. Pozycja ta odpowiada położeniu punktu B2.
Dokonaj kontroli pozycji, poprzez sprawdzenie odległości elektrody Cz od punktu ''Inion'' - powinien on wynosić 50% wymiaru strzałkowego oraz sprawdź odległości elektrod Fz i Pz od elektrody Cz. Odległości te powinny stanowić 20% wymiaru strzałkowego.
* Przyłóż centymetr krawiecki do głowy tak, aby biegł od punktu ''Preaurical'' po lewej stronie głowy, poprzez punkt ''Vertex'', do punktu ''Preaurical'' po prawej stronie głowy. Odczytaj wymiar wieńcowy głowy. Oblicz długości równe 10%, 20%, 30% i 50% wymiaru wieńcowego. Przy pomocy czerwonego pisaka zaznacz na powierzchni głowy następujące pozycje:
** 10% wymiaru wieńcowego od punktu prawego punktu ''''Preaurical''. Pozycja ta odpowiada położeniu punktu ''B2'' i pozycji elektrody T3.
** 30% wymiaru wieńcowego od punktu prawego punktu ''''Preaurical''. Pozycja ta odpowiada położeniu elektrody C3.
** 50% wymiaru wieńcowego od punktu prawego punktu ''''Preaurical''. Pozycja ta odpowiada położeniu elektrody Cz.
** 30% wymiaru wieńcowego od punktu lewego punktu ''''Preaurical''. Pozycja ta odpowiada położeniu elektrody C4.
** 10% wymiaru wieńcowego od punktu lewego punktu ''''Preaurical''. Pozycja ta odpowiada położeniu punktu ''B2'' i pozycji elektrody T4.
Dokonaj kontroli zaznaczonych pozycji. Sprawdź odległości elektrody Cz od lewego punktu ''''Preaurical'' - powinna ona wynosić 50% wymiaru wieńcowego. Sprawdź także odległości elektrod C3 i C4 od elektrody Cz - odległość ta powinna stanowić 20% wymiaru wieńcowego, a także odległość elektrody T3 od C3 i T4 od C4, która powinna wynosić 10% wymiaru wieńcowego.
* Przyłóż centymetr krawiecki do głowy tak, aby biegł on w płaszczyźnie poziomej po lewej stronie głowy, czyli od punktu ''B1'' poprzez punkt ''B3'' (punkt ten to równocześnie pozycja elektrody T3), do punktu ''B2''. Odczytaj lewy wymiar poziomy głowy. Oblicz długości równe 10%, 20%, 30% i 50% lewego wymiaru poziomego. Przy pomocy czerwonego pisaka zaznacz na powierzchni głowy następujące pozycje:
** 10% lewego wymiaru poziomego od punktu ''B1''. Pozycja ta odpowiada położeniu elektrody Fp1.
** 30% lewego wymiaru poziomego od punktu ''B1''. Pozycja ta odpowiada położeniu elektrody F7.
** 50% lewego wymiaru poziomego od punktu ''B1''. Pozycja ta odpowiada położeniu elektrody T3.
** 30% lewego wymiaru poziomego od punktu ''B2''. Pozycja ta odpowiada położeniu elektrody T5.
** 10% lewego wymiaru poziomego od punktu ''B2''. Pozycja ta odpowiada położeniu elektrody O1.
Dokonaj kontroli zaznaczonych pozycji. Sprawdź odległości elektrody T3 elektrody od punktu ''B2'' - powinna ona wynosić 50% lewego wymiaru poziomego. Sprawdź także odległości elektrod F7 i T5 od elektrody T3 - odległość ta powinna stanowić 20% lewego wymiaru poziomego, a także odległość elektrody Fp1 od F7 i T5 od O1, która powinna wynosić 10% lewego wymiaru poziomego.
* Przyłóż centymetr krawiecki do głowy tak, aby biegł on w płaszczyźnie poziomej po prawej stronie głowy, czyli od punktu ''B1'' poprzez punkt ''B4'' (punkt ten to równocześnie pozycja elektrody T4), do punktu ''B2''. Odczytaj prawy wymiar poziomy głowy. Oblicz długości równe 10%, 20%, 30% i 50% prawego wymiaru poziomego. Przy pomocy czerwonego pisaka zaznacz na powierzchni głowy następujące pozycje:
** 10% prawego wymiaru poziomego od punktu ''B1''. Pozycja ta odpowiada położeniu elektrody Fp2.
** 30% prawego wymiaru poziomego od punktu ''B1''. Pozycja ta odpowiada położeniu elektrody F8.
** 50% prawego wymiaru poziomego od punktu ''B1''. Pozycja ta odpowiada położeniu elektrody T4.
** 30% prawego wymiaru poziomego od punktu ''B2''. Pozycja ta odpowiada położeniu elektrody T6.
** 10% prawego wymiaru poziomego od punktu ''B2''. Pozycja ta odpowiada położeniu elektrody O2.
Dokonaj kontroli zaznaczonych pozycji. Sprawdź odległości elektrody T4 elektrody od punktu ''B2'' - powinna ona wynosić 50% prawego wymiaru poziomego. Sprawdź także odległości elektrod F8 i T6 od elektrody T4 - odległość ta powinna stanowić 20% prawego wymiaru poziomego, a także odległość elektrody Fp2 od F8 i T6 od O2, która powinna wynosić 10% prawego wymiaru poziomego.
* Za pocą czerwonego pisaka zaznacz punkty lezące w połowie długości łuków łączących następujące elektrody:
** F7 i Fz,
** F8 i Fz,
** T5 i Pz,
** T6 i Pz,
punkty te określają pozycją elektrod F3, F4, P3 i P4.

====Procedura zakładania czepka====
* Znajdź punkty ''Nasion'' oraz ''Inion''.
* Wyznacz wymiar strzałkowy (długość łuku biegnącego w płaszczyźnie strzałkowej, od punktu ''Nasion'', poprzez szczyt głowy do punktu ''Inion'').
* Zlokalizuj punkty B1 i B2, czyli punkty leżące w odległości 10% wymiaru strzałkowego od punkty ''Nasion'' i ''Inion'' oraz zlokalizuj punkt ''Vertex''.
* Wyznacz wymiar wieńcowy głowy (długość łuku biegnącego w płaszczyźnie wieńcowej, od prawego punktu ''Preaurical'', poprzez szczyt głowy do punktu lewego punktu ''Preaurical'').
* Zlokalizuj punkty B3 i B4, czyli punkty leżące w odległości 10% wymiaru wieńcowego od prawego i lewego punktu ''Preaurical''.
* Dokonaj pomiaru obwodu głowy, przykładając miarkę tak, aby biegła w płaszczyźnie wieńcowej, to jest przez punkty ''B1'', ''B2'', ''B3'' i ''B4''. na podstawie tego pomiaru wybierz odpowiedni rozmiar czepka.
* Czepek umieść na głowie tak, aby:
** elektrody Fp1 i Fp2 leżały w płaszczyźnie poziomej, w odległości 10% wymiaru poziomego od punktu ''B1'',
** elektrody O1 i O2 leżały także w płaszczyźnie poziomej, w odległości 10% wymiaru poziomego od punktu ''B2'',
** elektrody T3 i T4 leżały w miejscu przecinania się płaszczyzny wieńcowej i poziomej,
** elektroda Cz znajdowała się na szczycie głowy, w punkcie ''Vertex'' (punkcie przecięcia się płaszczyzny strzałkowej i wieńcowej).

====Oczyszczanie skóry w miejscu przyłożenia elektrody====
Niezależnie od tego, czy elektrody będą przyklejane bezpośrednio do powierzchni głowy, czy też umieszczane na niej za pomocą czepka, miejsca z których będzie zbierana czynność elektryczna trzeba przemyć w celu usunięcia tłuszczu oraz naskórka.
Jak zostało to omawiane na pierwszych zajęciach, zewnętrzna warstwa skóry - naskórek, jest zrogowaciała oraz pokryta różnymi tłuszczami, w związku z czym charakteryzuje się dużym oporem elektrycznym (rzędu 1 MΩ). Opór ten prowadzi do tłumienia sygnału EEG oraz sprzyja przedostawaniu się różnego rodzaju artefaktów. W przypadku rejestracji sygnału EEG przyjęto standard, w którym opór pomiędzy elektrodą a skórą powinien być mniejszy od 5kΩ. Sugerowane jest również, aby opory pomiędzy skórą a elektrodą były na wszystkich elektrodach takie same. Z oczywistych względów, w praktyce jest to wymaganie niemalże nieosiągalne. Należy również pamiętać, iż zwykły spirytus spożywczy dosyć słabo odtłuszcza skórę, dlatego lepiej jest stosować przygotowane przez firmy farmaceutyczne odpowiednie alkohole. Dobrze jest mieć również na wyposażeniu pracowni tępą, sterylną igłę oraz specjalne papierki ścierne do skóry. W niektórych przypadkach bowiem, zwłaszcza u osób pozbawionych włosów na głowie, warstwa naskórka pod wpływem czynników atmosferycznych osiągnęła taką grubość, iż jej usunięcie przy pomocy gazika z alkoholem jest niemożliwe. W takim przypadku naskórek w miejscu przyczepienia elektrody trzeba usunąć delikatnie zdrapując go igłą lub papierkiem ściernym. Aby odtłuścić skórę i usunąć naskórek wykonujemy następujące kroki:
* Z pojemnika zawierającego alkohol do przemywania skóry odlewamy porcje płynu przeznaczoną do bieżącego eksperymentu. Uwaga - nigdy nie należy maczać gazika, którym przecieramy skórę, w pojemniku, w którym przechowujemy zapas alkoholu. Gazik ten bowiem będzie nasączony tłuszczami usuniętymi ze skóry, którymi zanieczyścimy nasz zapas spirytusu. Po wprowadzeniu zbyt dużej ilości zanieczyszczeń, alkohol straci swoje właściwości. Z tego samego względu nie należy zlewać alkoholu, który pozostał po eksperymencie, z powrotem do pojemnika w którym przechowujemy zapas alkohol.
* Staramy się tak ułożyć włosy w miejscu lokalizacji elektrody, aby odsłonić skórę. Skórę przecieramy delikatnie kilkukrotnie wacikiem nasączonym alkoholem. Po przetarciu w ten sposób kilku miejsc, wacik wyrzucamy i bierzemy nowy.
* Po przemyciu danego miejsca, odczekujemy chwilę, aby alkohol wyparował z powierzchni skóry i przyklejamy w to miejsce elektrodę bądź wpinamy ją w czepek.

'''Przyklejanie elektrod do skóry za pomocą kleju Collodium'''
 
W przypadku umieszczania elektrod za pomocą kleju Collodium, należy się wyposażyć w odpowiedni rozpuszczalnik do tego kleju, nie jest on bowiem wodozmywalny. Rolę takiego rozpuszczalnika może pełnić aceton, a w przypadku jego braku, zmywacz lakieru do paznokci (uwaga - obecnie nie wszystkie zmywacze zawierają aceton). Warto posiadać również pędzelek do rozprowadzenia kleju, wąski, długi patyczek (może to być patyczek od pałeczek higienicznych po uprzednim usunięciu z jego końców bawełny) oraz suszarkę - Collodium bowiem schnie stosunkowo długo. Proces schnięcia można przyspieszyć kierując na elektrodę strumień ciepłego powietrza, należy jednak zwrócić uwagę, aby pod wpływem tego strumienia elektroda nie nagrzała się zbyt mocno, może to bowiem wywołać odczucie parzenia, zwłaszcza, że miejsce przyłożenia elektrody zostało wcześniej podrażnione poprzez tarcie wacikiem ze spirytusem. Przyklejanie elektrody za pomocą Collodium realizujemy w następujący sposób:
* Odtłuszczamy skórę w miejscu przyklejenia elektrody, zgodnie z procedurą podana w poprzednim rozdziale,
* Brzeg elektrody miseczkowej smarujemy pędzelkiem z klejem Collodium
* Jedną ręka (np. lewą) odsłaniamy włosy, znad miejsca gdzie mam być przyklejona elektroda, drugą chwytamy elektrodę, którą przykładamy do powierzchni skóry. Puszczamy włosy i lewą rękę chwytamy pałeczkę, którą dociskamy elektrodę do skóry. Puszczamy elektrodę i w prawą rękę bierzemy suszarkę, za pomocą której możemy przyspieszyć wysychanie kleju. Po kilkudziesięciu sekundach elektroda powinna trzymać się skóry.
* W pustą przestrzeń pomiędzy elektrodą a skórą, wpuszczamy przewodzący żel. Robimy to za pomocą strzykawki z tępą igłą, którą w prowadzamy przez otwór w elektrodzie miseczkowej.

'''Przyklejanie elektrod do skóry za pomocą klejów wodozmywalnych'''
 
Proces przyklejania elektrod na powierzchni głowy za pomocą Collodium jest stosunkowo długotrwały i mało komfortowy. Również odklejenie elektrod zabiera relatywnie dużo czasu. Ponadto elektrody po badaniu z użyciem kleju Collodium wymagają wyczyszczenia z resztek kleju. Powyższych wad pozbawione są specjalne pasty, które pełnią role zarówno kleju jak i przewodzącego żelu. Przygotowując się do badania z użyciem tych past powinniśmy nabyć w aptece szpatułkę (do nakładania maści lub badania gardła) oraz sterylne gaziki. Kleje wodozmywalne mają konsystencję gęstej pasty, dlatego też próba wydłubania kleju z pojemnika za pomocą elektrody miseczkowej może się skończyć uszkodzeniem tej ostatniej (cena pojedynczej elektrody miseczkowej > 50 zł). Klej nakładamy zawsze przy pomocy szpatułki. Przyczepianie elektrod do powierzchni skóry za pomocą pasty realizujemy w następujących krokach:
* Odmierzamy z zasobnika odpowiednią ilość kleju niezbędną do przyczepienia elektrod w danym eksperymencie, do oddzielnego pojemnika,
* Gaziki tniemy na kwadratowe kawałki o długości boku około 1 cm.
* Przemywamy skórę w miejscu umieszczenia elektrod,
* Czekając aż alkohol wyparuje ze skóry, szpatułką nakładamy pastę do zagłębienia elektrodę miseczkowej. Do strony wypukłej przykładamy przycięty gazik. Rolą tego gazika jest zwiększenie powierzchni przyczepu elektrody do skóry.
* Lewą ręka odgarniamy włosy znad miejsca lokalizacji elektrody, prawą ręką przykłady w to miejsce elektrodę. Palcami wskazującym i środkowym delikatnie dociskamy elektrodę do powierzchni głowy.

'''Umieszczanie elektrod na czepku'''
 
Po założeniu czepka na głowę, wykonujemy następujące kroki:
* Przy pomocy bawełnianej pałeczki staramy się tak ułożyć włosy w otworach na czepku, aby odsłonić skórę.
* Odtłuszczamy skórę.
* Brzegi otworów w czepku, na granicy pomiędzy skórą a zaczepem elektrody smarujemy pastą przewodzącą. Spowoduje to pozlepianie się włosów i ich przylgnięcie do brzegu czepka, dzięki czemu skóra w otworze czepka nadal powinna być odsłonięta.
* Wpinamy elektrody w zatrzaski czepka. Uzupełniamy żel przewodzący poprzez otwory znajdujące się w elektrodach.

===Kolejność umieszczania elektrod na powierzchni głowy===
Elektrody, zarówno te przyklejane do powierzchni głowy jak przyczepiane za pomocą czepka, należy umieszczać na powierzchni głowy poczynając od elektrod zlokalizowanych w potylicznej części głowy a następnie wybierając elektrody zlokalizowane w części centralnej i na końcu z części czołowej. Dzięki temu, kable od już przyklejonych elektrod nie będą przeszkadzały w mocowaniu następnych. Ponadto kable od przyczepionych elektrod centralnych, można umieścić na głowie tak, aby leżały one na elektrodach potylicznych, co spowoduje lepsze umocowanie tych ostatnich. Z kolei kable z elektrod czołowych można poprowadzić po elektrodach centralnych, co również poprawi mocowanie elektrod. W trakcie procesu przyczepiania elektrod warto zadbać, aby elektrod nie zwisały swobodnie, łatwo bowiem wtedy mogą oderwać się od skóry. Kable z lewej strony głowy powinny być poprowadzone nad lewym barkiem, następnie nad szyją i prawym barkiem, z którego mogą swobodnie zwisać nad prawą częścią klatki piersiowej.
Z kolei kable z prawej strony głowy powinny być poprowadzone nad prawym barkiem, a dalej nad szyją i lewym barkiem, z którego również mogą już spokojnie zwisać. Po zakończeniu przyczepiania wszystkich elektrod, kable powinny być spięte taśmą w jeden warkocz.

===Praktyczne uwagi dotyczące rejestracji sygnału EEG===
Niezależnie od ceny i jakości sprzętu zastosowanego do rejestracji sygnału EEG, jakość zbieranego sygnału zależy głównie od technika przeprowadzającego badanie. Każdy eksperyment związany z rejestracją czynności elektrycznej mózgu należy starannie zaplanować. Poniżej w punktach wymieniamy pewne kwestie na które warto zwrócić uwagę przygotowując się do rejestracji sygnału EEG.
==== Wybór sposobu umieszczania elektrod na głowie====
Najszybszym i najbardziej komfortowym sposób umieszczania elektrod na głowie jest wykorzystanie czepka. Jednakże ten sposób lokalizacji elektrod nie jest precyzyjny. Pomiędzy badanymi występują różnicę międzyosobnicze, które z oczywistych względów nie będą uwzględnione w uniwersalnym czepku przeznaczonym "na każdą głowę". Dysponując czepkiem jesteśmy ponadto skazani na dany montaż elektrod, podczas gdy elektrody przyklejane możemy lokalizować w różnych miejscach na powierzchni głowy, możemy też dowolnie rozszerzać montaż 10-20. Przykładowo, w niektórych podręcznikach dotyczących elektroencefalografii pojawia się opinia, iż elektrody F7 i F8 są umieszczone zbyt wysoko, aby dobrze rejestrować sygnał z okolicy przednio skroniowej, zaś elektrody T5 i T6 również umieszczone są zbyt wysoko, aby optymalnie rejestrować sygnały okolicy tylno skroniowej. W celu eliminacji tej wady wprowadza się dodatkowe elektrody T1 i T2, które nie występują jednak w standardowych czepkach Systemu 10-20. Inna wadą czepków jest wysychanie żelu wypełniającego przestrzeń pomiędzy elektrodą a skóra. Zwykle po 3 - 4 godzinach żel ten traci swoje właściwości. Niektórych spośród wyżej wymienionych wad umieszczania elektrod za pomocą czepka pozbawione są elektrody przyklejane do powierzchni skóry. Przede wszystkim można ich lokalizacje określić dużo dokładniej niż elektrod umieszczanych w czepku. Elektrody te można umieszczać na głowie w dowolnych miejscach, jak i dowolnie można rozszerzać system 10-20. Najszybciej elektrody przykleimy do powierzchni za pomocą past pełniących rolę żelu przewodzącego i kleju. Sprawny technik, przyczepi przyczepi w ten sposób 21 elektrod Systemu 10-20 w czasie krótszym niż 30 minut. Niestety, pasty te są wodozmywalne, w związku z czym, na skutek pocenia się skóry, po około 3-4 godzinach badania EEG, elektrody te będą odpadać od skóry. Najdłużej skóry będą trzymać się elektrody przyklejone za pomocą Collodium. Jeśli zatem planujemy wielogodzinny zapis EEG, elektrody powinniśmy przyczepiać do powierzchni skóry za pomocą tego kleju, co niestety może nam zabrać ponad godzinę czasu. Tak długotrwałe mocowanie elektrod źle wpłynie na badaną osobę, powodując jej zmęczenie i znużenie. Ponadto, po wykonaniu badania, elektrody musimy odklejać przy pomocy specjalnego rozpuszczalnika, którym należy również użyć do zmycia resztek zaschniętego Collodium z elektrod, co zabiera sporo czasu. Jeśli wykonujemy serię eksperymentu na kilku badanych, w przypadku zastosowania Collodium, aby skrócić przerwy pomiędzy eksperymentami, warto być wyposażonym w dwa zestawy elektrod. Podczas gdy jeden wykorzystywany jest w bieżącym pomiarze, drugi powinien być czyszczony po poprzednim eksperymencie. Z kolei elektrody przyklejane za pomocą specjalnych past zdejmuje się z głowy bardzo szybko, zaś do zmycia resztek kleju wystarczy zwykła woda z mydłem. Po około 5 minutach od zakończenia eksperymentu z wykorzystaniem past, elektrody miseczkowe są gotowe do kolejnego użycia.

=== Ułożenie badanej osoby ===
O ile to możliwe, badaną osobę powinniśmy umieść na specjalnym fotelu, przeznaczonym do rejestracji sygnału EEG. Wiele artefaktów zakłócających pomiar czynności elektrycznych mózgu, to artefakty mięśniowe powstałe na skutek (prawie zawsze nieświadomego) napięcia mięśni, związanego z niekomfortową pozycją. Typowym przykładem takich artefaktów są zakłócenia pochodzące od napięcia mięśni szyi, które starają się utrzymać głowę w pozycji pionowej. Aby wyeliminować artefakty pochodzące od mięśni szyi, głowa powinna być podparta specjalnym zagłówkiem. Nie zawsze jednak możemy ułożyć badaną osobę na specjalnym fotelu do badań EEG. W takim przypadku powinniśmy zadbać, aby badana osoba została posadzona na fotelu z oparciami na których wygodnie może położyć ręce. Wysokość fotela należy dobrać tak, aby pacjent mógł swobodnie oprzeć stopy o podłogę.

=== O co należy poprosić badanego przed eksperymentem ===
Umawiając się z osobą na pomiar sygnału EEG, prosimy ją aby przed badaniem umyła głowę oraz nie zastosowała do włosów żadnych odżywek ani balsamów do skóry. Przyczyniają się bowiem one do zwiększenia impedancji skóry i utrudniają jej odtłuszczenie.
Czynność elektryczna mózgu obserwowana na powierzchni głowy, z uwagi na bardzo małą amplitudę, łatwo ulega zakłóceniom przez sygnały takie jak EMG, czy Elektrookulogram. Artefakty związane z ruchem gałki ocznej powstają w trakcie badania EEG głównie podczas mrugania, które jest naturalnym odruchem, dzięki któremu powierzchnia oka zostaje nawilżona. Można spotkać się z opinią, iż pacjent powinien przed badaniem EEG "wymrugać się na zapas", zaś w trakcie samego badania mrugać oczami jak najrzadziej. Nie jest to jednak dobre rozwiązanie, bowiem gałka oczna wymaga stałego nawilżenia, zaś powstrzymywanie się od mrugania może wywołać czynniki niekorzystnie wpływające rejestrację sygnału EEG (badana osoba przestanie być skoncentrowana, poczuje dyskomfort, zacznie się napinać). Pacjent powinien zatem mrugać tak często jak tylko jest to mu potrzebne. Zmniejszenie częstości mrugnięć można osiągnąć poprzez zastosowanie do oczu przed badaniem EEG specjalnych żeli nawilżających oraz prosząc pacjenta, aby w trakcie badania lekko przymrużył oczy. Innymi sygnałami bioelektrycznymi zakłócającymi pomiar EEG są potencjały związane z ruchami języka oraz zaciśniętymi szczękami. Aby zminimalizować wpływ tych artefaktów na pomiar czynności elektrycznej mózgu, przed daniem EEG prosimy pacjenta aby język wsunął między zęby, co zapobiegnie zarówno ruchom języka jak i zaciskaniu zębów.

=== Inne standardy lokalizacji elektrod ===
Jak zostało to wspomniane w poprzednim rozdziale, Międzynarodowy Standard 10-20 lokalizacji elektrod posiada pewne wady, które eliminowane są poprzez umieszczanie na głowie kolejnych elektrod, np. wymienione już elektrody T1 i T2, czy elektroda FPz, umieszczana pomiędzy elektrodami Fp1 i Fp2 czy elektroda Oz lokalizowana między elektrodami O1 i O2. Ostatecznie w roku 1985 G.E. Chatrian zaproponował bardzo proste rozszerzenie systemu 10-20, poprzez wprowadzenie kolejnych łuków głowy (pomiędzy już istniejącymi łukami strzałkowym, wieńcowym i poziomym) oraz umieszczanie elektrod tylko w odległości 10% długości poszczególnych łuków (a nie 10% lub 20% jak ma to miejsce w systemie 10-20). Wprowadzanie nowego systemu upraszczał fakt, iż w oryginalnym standardzie 10-20 przewidywano możliwość lokalizacji kolejnych elektrod, pozostawiając odpowiednie numery do ich oznaczeń (np. pomiędzy elektrodami C3 i Cz można wprowadzić elektrodę C2). Nowy standard nazwano rozszerzonym systemem 10-20 lub też systemem 10-10. Z oczywistych względów system 10-10 zawiera w sobie elektrody systemu 10-20. W literaturze można spotkać propozycję kolejnych rozszerzeń systemu 10-20 i 10-10, np. 10-5, w którym odległości pomiędzy elektrodami stanowią 10% lub 5% długości odpowiednich łuków głowy. Nie będziemy się jednak nimi zajmować na bieżących zajęciach, zostaną one dokładnie omówione, podbnie jak i standard 10-10 na zajęciach poświęconych tylko i wyłącznie pomiarowi sygnałów EEG w przyszłym semestrze.

=== Odprowadzenia, montaże ===
Zanim przystąpimy do mówienia tematów zawartych w tytule rozdziałów, przejdziemy do wyjaśnienia i omówienia pewnej nomenklatury występującej w Elektroencefalografii. Rejestracja czynności elektrycznej mózgu, jest badaniem znanym od ponad 100 lat. W międzyczasie dokonał się olbrzymi postęp technologiczny, jednak przyjęte kilkadziesiąt lat temu terminy funkcjonują do dziś, także w przypadku opisu parametrów technicznych urządzeń. Podobnie jak ma to miejsce w przypadku rejestracji elektrycznej czynności serca, elektrody zbierające sygnał EEG, połączone do aparatury rejestrującej nazywamy odprowadzeniami. Z kolei montaż to wzorzec określonego układu połączeń elektrod pomiarowych. W przeszłości taki wzorzec uzyskiwano poprzez odpowiednie elektroniczne połączenie elektrod ze wzmacniaczem, innymi słowy były one "montowane". Obecnie końcówki elektrod wtyka się odpowiadające im gniazdka we wzmacniaczu, zaś połączenia wytwarza się w sposób programowy.
Sygnały bioelektryczne, co wiemy z pierwszych zajęć na pracowni, mierzymy różnicowo aby wyeliminować artefakty pochodzące od sieci i urządzeń elektrycznych. Nie inaczej jest z sygnałem EEG. Powstaje oczywiście problem, gdzie na ciele człowieka wybrać miejsce, które będzie źródłem sygnału odniesienia dla pomiaru czynności elektrycznej mózgu. Oczywiście, w zależności gdzie to miejsce zostanie zlokalizowane, zapis czynności elektrycznej mózgu będzie mieć różny przebieg i różną wartość diagnostyczną oraz naukową. Przypominamy, że w przypadku pomiaru sygnałów bioelektrycznych, metody wyboru sygnałów odniesienia można podzielić na dwie grupy:
* Odprowadzenia dwubiegunowe (lub bipolarne). W tym przypadku sygnał jest różnicą potencjałów pomiędzy danymi dwiema elektrodami umieszczonymi na powierzchni głowy.
* Odprowadzenia jednobiegunowe (lub monopolarne). Zapisywany sygnał jest różnicą potencjałów pomiędzy elektrodami, a jednym wspólnym potencjałem odniesienia, który nie musi leżeć koniecznie na powierzchni głowy.
Innymi słowy, w przypadku odprowadzeń dwubiegunowych, sygnał z każdej elektrody jest mierzony względem innego odniesienia, podczas gdy w przypadku odprowadzeń jednobiegunowych odniesienie jest wspólne dla wszystkich elektrod. W przypadku odprowadzeń dwubiegunowych zakłada się, iż elektroda odniesienia powinna być umieszczona w miejscu wolnym od artefaktów mięśniowych oraz w którym nie obserwuje się czynności elektrycznej mózgu. Niestety takie miejsca na ciele ludzkim nie istnieją. Umieszczenie elektrody odniesienia np. na klatce piersiowej spowodowałoby rejestrację zakłóceń w postaci sygnału EKG oraz artefaktów mięśniowych. Zwykle, jako sygnał odniesienia wybiera się średni potencjał rejestrowany przez elektrody A1 i A2 (które przewidziane są w systemie 10-20). Elektrody te są umieszczone bezpośrednio na uszach lub za uszami na wyrostku ''sutkowatym ''[http://pl.wikipedia.org/wiki/Wyrostek_sutkowaty]. jest to miejsce względnie wolne od artefaktów EKG i mięśniowych. Niestety, elektrody A1 i A2 rejestrują sygnał z środkowo skroniowej części mózgu, ponadto w niektórych przypadkach obserwuje się także na tych elektrodach sygnał EKG. Inną często spotykaną elektrodą odniesienia jest elektroda Cz umieszczona na szczycie głowy. Stosuje się także jako potencjał odniesienia tzw. ''Common Average'' to jest średni potencjał mierzony przez wszystkie elektrody.
O ile w trakcie 100 lat historii pomiarów czynności elektrycznej mózgu powstał pewien standard lokalizacji elektrod, tak nie istnieje żaden oficjalny standard montaży. Istnieją jednak pewne powszechnie przyjęte i stosowane montaże, umożliwiające lepsze zobrazowanie w zapisie EEG iglic związanych z nieprawidłowym funkcjonowaniem mózgu.
Najczęściej spotykane montaże to:
* Montaż przednio-tylny, (łac. anterior-posterior A-P), zwany również "podwójnym bananem). Jest to najpopularniejszy montaż dwubiegunowy, w którym schemat połączeń między elektrodami tworzy łańcuchy układające się w kształt bananów. W montażu tym rejestrowany jest różnica potencjałów pomiędzy elektrodami:
** F7 i Fp1, T3 i F7, T5 i T3, O1 i T3 - łańcuch przebiega wzdłuż lewego łuku poziomego
** F8 i Fp2, T4 i F8, T6 i T4, O2 i T4 - łańcuch przebiega wzdłuż prawgo łuku poziomego
** F3 i Fp1, C3 i F3, P3 i C3, O1 i P3 - łańcuch przebiega po łuku między łukiem strzałkowym a poziomym, z lewej strony głowy
** F4 i Fp2, C4 i F4, P4 i C4, O2 i P4 - łańcuch przebiega po łuku między łukiem strzałkowym a poziomym, z prawej strony głowy
** Cz i Fz, Pz i Cz - łańcuch przebiega po łuku strzałkowym
* Montaż poprzeczny, także dwubiegunowy, w którym przyległe elektrody łączy się w łańcuchy biegnące w poprzek głowy.
* Montaż A1/A2 - montaż jednobiegunowy, w którym jako elektrody odniesienia wybrano średni potencjał z elektrod A1 i A2.* Montaż * Montaż ''Common Average'' - montaż jednobiegunowy, w którym jako elektrody odniesienia wybrano średni potencjał ze wszystkich elektrod.

==== Lokalizacja elektrody GND ====
W przypadku pomiarów różnicowych, lokalizacja elektrody masy nie powinna mieć żadnego wpływu na rejestrowany sygnał, pod warunkiem że opór pomiędzy nią a skórą jest bardzo mały oraz jest ona dobrze przytwierdzona do powierzchni skóry. W związku z powyższym, lokalizację elektrody GND wybrano w miejscach, które z uwagi na budowę anatomiczną umożliwiają stabilne umieszczenie jej na głowie. Najczęściej są to miejsca:
* pomiędzy elektrodą Fp1 i Fp2 na czole,
* pomiędzy elektrodą Fz i Cz
* pomiędzy elektrodami Fp1, F7 i Fz (występuje tam płaski obszar czaszki sprzyjający dobremu umocowaniu elektrody)
* na klatce piersiowej
* na karku

==Aparatura rejestrująca sygnał EEG==
Wymagania stawiane aparaturze do rejestracji sygnałów bioelektrycznych zostały omówione na pierwszych zajęciach i wielu kwestiach dotyczą również urządzeń do pomiaru sygnału EEG. Jak można zauważyć aparat do rejestracji czynności elektrycznej mózgu powinien zawierać wielokanałowy wzmacniacz, o liczbie wejść równej przynajmniej liczbie elektrod standardu 10-20. W poprzednich rozdziałach wspomniano jednak o pewnych wadach systemu 10-20, do którego czasami dokładane są kolejne elektrody (Fpz, Oz, T1, T2, P8, P7). W takim przypadku liczba wejść rośnie już do 27, warto jedna, a by nasz wzmacniacz był wyposażony w 32 wejścia, bowiem w różnego rodzaju eksperymentach możemy potrzebować kolejnych elektrod. Ponadto w trakcie rejestracji sygnału EEG powinniśmy mierzyć również sygnał EKG O(jedno odprowadzenie dwubiegunowe), Elektrokulogram (jedno odprowadzenie dwubiegunowe,lub dwa jeśli chcemy dokonywać analiz snu), niekiedy potrzebujemy również czynności EMG (np. jeśli rejestrujemu ruch palaca jako odpowiedź pacjent na jakiś bodziec, co daje kolejne oprowadzenie dwubiegunowe). Łącznie nasz wzmacniacz powinien mieć co najmniej 32 wejścia jednobiegunowe i 4 wejścia dwubiegunowe. Szczegółowa budowa wzmacniacza do rejestracji czynności EEG wykracza poza ramy niniejszych zajęć i zostanie omówiona w przyszłym semestrze, tym bardziej, iż nadal w nomenklaturze Elektroencefalograficznej funkcjonują terminy, które powstały kilkadziesiąt lat temu, kiedy aparatura do rejestracji czynności elektrycznej mózgu była oparta na układach analogowych. Właściwe zrozumienie tych terminów wymaga zaznajomienia się z pewnymi aspektami tejże aparatury.

==Artefakty==
Pomiarowi czynności elektrycznej mózgu towarzyszy również rejestracja innych sygnałów bioelektrycznych, które są znacznie silniejsze od sygnału EEG. Z niektórymi z nich, takimi jak EKG, EMG, EOG, zapoznaliśmy się na wcześniejszych zajęciach.
Inne artefakty oraz metody ich eliminacji poznamy na zajęciach w przyszłym semstrze.

Pracownia EEG 2/AR 1

2024-12-10T11:18:24Z

Maciek: /* Ćwiczenie 4 */

[[Pracownia EEG 2|Pracownia EEG 2]] / Widmowa analiza parametryczna

==Model autoregresyjny stochastycznego szeregu czasowego==
===Wstęp===
Do tej pory, aby zbadać własności widmowe sygnałów, używaliśmy transformacji Fouriera. Sygnał ''X''(''t'') z dziedziny czasu transformowaliśmy do dziedziny częstości ''X''(''f''):
<equation id="1">
<math>X(f)=\mathcal{F}[X(t)]</math>
</equation>

Następnie z transformaty estymowaliśmy funkcję gęstości widmowej mocy danego sygnału zgodnie ze wzorem:
<equation id="2">
<math id=2>S(f)=X(f)X^*(f)</math>.
</equation>

Możliwe jest jednak trochę inne podejście: załóżmy, że nasz sygnał jest ''realizacją procesu stochastycznego'' opisanego pewną, znaną nam zależnością. Typowym założeniem w dziedzinie analizy sygnałów EEG jest opisanie ich jako procesów ''autoregresyjnych'' (AR):
<equation id="3">
<math>X(t)=\sum_{j=1}^{p}A(j)X(t-j)+E(t)</math>
</equation>

Ze względu na charakter widma takiego procesu dobrze nadaje się on do opisu sygnałów składających się z kilku rytmów o częstościach zawierających się w pewnych zakresach oraz tła o charakterze szumu. EEG i wiele innych sygnałów biologicznych ma właśnie taką strukturę.

Co to znaczy opisać sygnał modelem AR? Musimy dopasować tak współczynniki ''A'' ze wzoru (<xr id="3"/>), czyli tzw. współczynniki modelu, aby realizowany za jego pomocą proces AR miał funkcję autokowariancji jak najbliższą do badanego sygnału. Jeśli się nam to uda, to wszystkie wnioski dotyczące badanego sygnału możemy wyciągać na podstawie analizy parametrów modelu, a nie wartości sygnału.

===Parametryczna analiza widmowa===
Równanie opisujące proces AR transformujemy do przestrzeni częstości za pomocą transformacji Z — jest to uogólnienie transformacji Fouriera stosowane dla dyskretnych ciągów wartości. Skorzystamy tu z faktu, że transformacja Z ma (podobnie do transformacji Fouriera) własność transformowania splotu sygnałów w iloczyn ich transformat. Zauważmy, że jeśli przepiszemy równanie (<xr id="3"/>) tak, aby włączyć ''X''(''t'') do sumowania (możemy to zrobić przyjmując ''A''(0) = 1 oraz zmieniając znak pozostałych współczynników), to po lewej stronie równania otrzymujemy splot ciągu współczynników ''A'' z ciągiem wartości ''X''. Tak więc po przetransformowaniu tego równania otrzymujemy iloczyn odpowiednich transformat:
<equation id="4">
<math>
\begin{array}{lcl}
\displaystyle{\sum_{j=0}^{p}A(t)X(t-j) = E(t)}&&\\
\;\;\Downarrow\;\scriptstyle{\mathrm{transformacja\ Z}}\;\Downarrow&&\\
\\
A(z)X(z)=E(z) & \Rightarrow & X(z)=A^{-1}(z)E(z)=H(z)E(z)
\end{array}
</math>
</equation>

Z dziedziny zmiennej ''z'' możemy przejść do dziedziny częstości podstawiając ''z'' = ''e''2π''if''Δ''t'' (''f'' — częstość, Δ''t'' — odstęp czasu między kolejnymi próbkami sygnału):
<equation id="5"><math>
X(f)=H(f)E(f)
</math></equation>

Funkcję ''H''(''f'') nazywamy macierzą przejścia modelu.

Gęstość widmową mocy uzyskamy ze znanej już zależności (<xr id="2"/>):
<equation id="6"><math>
S(f)=X(f)X^*(f)
</math></equation>

Opis własności sygnałów w języku modeli stochastycznych ma kilka zalet. Jedną z nich jest możliwość zastosowania w przypadku krótkich odcinków sygnału. Ale dla nas najważniejsza będzie łatwość modelowania sygnałów wielokanałowych przez jeden wielokanałowy model AR.

===Wybór rzędu modelu===
Przyglądając się równaniu (<xr id="3"/>) widzimy, że musimy również wiedzieć ''ile'' wcześniejszych próbek sygnału należy uwzględnić w naszych obliczeniach, czyli ustalić liczbę ''p''. Liczbę tę nazywamy ''rzędem modelu''. Wydawać by się mogło, że im więcej uwzględnimy poprzednich próbek, tym lepsze dopasowanie uzyskamy. Tak jednak nie jest. Ponieważ teoretyczne widmo procesu AR posiada maksima zależne od liczby użytych współczynników, modele o zbyt wysokich rzędach mają tendencję do generowania fałszywych maksimów w estymowanym widmie. Jeśli nie wiemy ilu składowych oczekujemy w naszym widmie, do oszacowania optymalnego rzędu modelu możemy zastosować jedno z kryteriów statystycznych, dostępnych w literaturze. Kryteria takie przeważnie mają dwie składowe: człon &bdquo;nagradzający” za coraz &bdquo;ściślejsze” dopasowanie wraz z rosnącym rzędem modelu oraz człon &bdquo;karzący” za nadmierny wzrost rzędu. Szukamy wtedy minimum funkcji kryterium policzonej dla pewnego zakresu rzędów i tak wybraną wartość stosujemy potem w obliczeniach.

Jednym z popularnych kryteriów jest kryterium Akaikego (Hirotugu Akaike — matematyk japoński). Jest to funkcja:
<equation id="7"><math>
\mathrm{AIC}(p)=\mathrm{ln}(\det({V}))+2\frac{pk^2}{N}
</math></equation>
gdzie: 
''N'' — liczba próbek w analizowanym sygnale, ''k'' — liczba kanałów.

Logarytm wyznacznika macierzy wariancji szumów jest coraz bardziej ujemny, bo dopasowanie się polepsza i elementy macierzy ''V'' maleją. Funkcją kary jest tu 2''pk''2/''N'' — funkcja liniowa rosnąca (od ''p''). Szukamy pierwszego istotnego minimum krzywej opisywanej tą funkcją. W praktyce analizy EEG najczęściej stosuje się rzędy w zakresie od 4 do 9. Poniższe rysunki ilustrują możliwe sytuacje:

[[Plik:AIC_rys_1.png|thumb|center|800px|U góry: symulacja modelu autorgresyjnego:
''x''(''t'') = 0,5·''x''(''t''−1) − 0,75·''x''(''t''−2) + ''e''(''t'')
przy częstości próbkowania 100 Hz. Maksimum powinno być w 20 Hz.

AIC daje prawidłowo minimum dla rzędu 2 i widmo jest zgodne z oczekiwanym.]]

[[Plik:AIC_rys_2.png|thumb|center|800px|U góry: symulacja sygnału:

''x''(''t'') = cos(2π·20''t'') + ''e''(''t'')
AIC nie daje jednoznacznego wyniku.
Wydaje się, że minimum istnieje dla rzędu 9.
Wybranie takiego rzędu powoduje wytworzenie maksimum nie tylko w 20 Hz ale i w 43 Hz. ]]
 

===Sygnały wielokanałowe===
Sygnały wielokanałowe to zbiory danych, w których podczas jednej sesji zapisu zbieramy wartości wielu sygnałów w tych samych chwilach czasu. Zapisy EEG z wielu elektrod są oczywiście zapisami wielokanałowymi. Ważna jest tu ''jednoczesność'' rejestracji wielkości powiązanych ze sobą.

Przykładem danych wielokanałowych jest zapis EEG z wielu elektrod.

[[Plik:Czlowiek_badanie.gif|800px|thumb|center|Rejestracja EEG jako zapis wielokanałowy.]]

W przypadku wielokanałowego modelu w wyżej wypisanych wzorach opisujących model AR musimy dokonać pewnych modyfikacji. Jeśli zbieramy jednocześnie ''k'' sygnałów (kanałów), to ''X''(''t'') jest w rzeczywistości wektorem ''k''-wierszowym [''X''1(''t''), ''X''2(''t''),..., ''Xk''(''t'')]T, współczynniki modelu są (każdy z nich) macierzami rozmiaru ''k''×''k''; wartości szumu są inne w każdym sygnale więc ''E''(''t'') jest również wektorem [''E''1(''t''), ''E''2(''t''),..., ''Ek''(''t'')]T.

Po zaaplikowaniu transformacji Z i przejściu do dziedziny częstości, każda z uzyskanych transformat jest również albo wektorem ''k''-wierszowym (''X''(''f''), ''E''(''f'')) albo macierzą ''k''×''k'' (''A''(''f''), ''H''(''f'')).

Gęstość widmowa mocy jest w tym przypadku dana jako (znak + oznacza tu transpozycję macierzy połączoną ze sprzężeniem zespolonym jej elementów):
<equation id="8"><math>
S(f)=X(f)X^+(f)=H(f)E(f)[H(f)E(f)]^+=H(f)E(f)E^+(f)H^+(f)=H(f)VH^+(f)
</math></equation>

Skorzystaliśmy tu z wiadomości, że widmo procesu czysto losowego ''E''(''f'') jest funkcją stałą, a po wymnożeniu ''E''(''f'')''E''+(''f'') dostajemy macierz wariancji szumów ''V'' (rozmiaru ''k''×''k''), niezależną od częstości.

Z powyższego wzoru widać, że funkcja gęstości widmowej mocy jest macierzą rozmiaru ''k''×''k''. Jej diagonalne elementy zawierają tzw. widma własne (auto-widma) każdego z sygnałów składowych, a elementy pozadiagonalne widma wzajemne (kross-widma).

Widzimy więc, że w przypadku analizy danych wielokanałowych mamy nie tylko wielkości opisujące każdy kanał osobno, ale również wielkości mówiące o informacji zawartej w zależnościach istniejących pomiędzy kanałami.

Widmo wzajemne opisuje istnienie spójnej zależności między dwoma sygnałami dla danej częstości. Jego moduł mówi nam o tym jak silna jest ta zależność, a faza mówi o wzajemnym przesunięciu fazowym składowych o danej częstości w każdym z dwóch sygnałów. Jeśli oba sygnały zawierają daną częstość, ale faza wzajemna tych składowych zmienia się, to widmo wzajemne będzie mieć wartość niską.
Aby mieć wygodniejsze narzędzie porównawcze wprowadza się znormalizowaną wersję widma wzajemnego zwane koherencją (zwyczajną):
<equation id="9"><math>
K_{ij}(f)=\frac{S_{ij}(f)}{\sqrt{S_{ii}(f)S_{jj}(f)}}
</math></equation>

Moduł koherencji zawiera się w przedziale [0,1], co znacznie ułatwia porównywanie wyników.

===Miary cząstkowe===

W przypadku, gdy nasz zbiór danych składa się z dwóch kanałów, interpretacja koherencji jest w zasadzie jednoznaczna. Wydawać by się mogło, że jeśli będziemy ich używać do badania układów trzy- i więcej-kanałowych, to poza większą ilością obliczeń sytuacja ideowo nie będzie się różnić. Niestety, wraz ze wzrostem liczby kanałów sytuacja ulega zmianie.

Już w sytuacji trzech kanałów możemy napotkać tzw. wspólne źródło: kanał będący źródłem sygnału, który pojawia się w pozostałych kanałach (jak ta sama audycja u dwóch słuchaczy radia w innych miastach). Wtedy wartości koherencji nawet pomiędzy kanałami-odbiorcami sygnału będą wskazywać na istnienie związku między nimi, chociaż kanały te mogą nie być w żaden inny sposób ze sobą związane.

Aby móc łatwiej odróżnić taką sytuację dobrze byłoby umieć jakoś &bdquo;odjąć” wpływ kanału-źródła na pozostałe. Czynność taka nazywa się w literaturze ''parcjalizacją'' względem danego kanału.

W ogólności mamy do dyspozycji funkcję koherencji cząstkowej, która zachowuje się podobnie do koherencji zwyczajnej, ale pokazuje związek między kanałami po odjęciu wszystkich kombinacji liniowych pozostałych kanałów. Zdefiniowana jest ona następująco:
<equation id="10"><math>
C_{ij}(f)=\frac{\mathrm{M}_{ij}(f)}{\sqrt{\mathrm{M}_{ii}(f)\mathrm{M}_{jj}(f)}}
</math></equation>

We wzorze tym M''ij'' jest minorem macierzy widmowej ''S'', czyli wyznacznikiem macierzy ''S'' w której usunięto ''i''-ty wiersz i ''j''-tą kolumnę. Można tę definicję przekształcić do łatwiejszej do zastosowania postaci z użyciem elementów macierzy odwrotnej ''S''−1. Jeśli ''dij''(''f'') = [''S''−1]''ij''(''f''), mamy:

<equation id="11"><math>
C_{ij}(f)=(-1)^{i+j}\frac{d_{ji}(f)}{\sqrt{d_{ii}(f)d_{jj}(f)}}
</math></equation>

Tak więc miary cząstkowe muszą operować na więcej niż dwóch kanałach jednocześnie. Dzięki zastosowaniu wielokanałowego modelu AR założenie to jest spełnione i możemy w prosty sposób policzyć zarówno koherencje zwyczajne jak i cząstkowe dla dowolnej liczby kanałów w zestawie.

==Ćwiczenia==

W tekście ćwiczeń używać będziemy następujących założeń: posiadamy ''k'' kanałów danych, używamy modelu AR rzędu ''p'', częstość próbkowania danych wynosi ''fs''. W każdym kanale zebrano ''N'' próbek danych.

Aby ułatwić zapoznanie się z parametrycznymi metodami analizy widmowej, a nie rozpraszać uwagi na dopasowywanie współczynników modelu, przygotowana została biblioteka procedur (w języku Python) estymacji współczynników wielokanałowego modelu AR dla posiadanych danych. Aby jej użyć musimy napisać:
<tt>import mtmvar</tt>

W zaimportowanym module mamy do dyspozycji funkcję <tt>mult_AR</tt>, która oczekuje parametrów:
# macierzy danych o wymiarach (''k'', ''N'');
# wybranego rzędu modelu;
# numeru metody liczenia współczynników (aktualnie należy wybrać zawsze liczbę 1).

Funkcja zwraca krotkę zawierającą dwa obiekty:
# macierz policzonych współczynników, rozmiaru (''p'', ''k'', ''k'') — czyli ''p'' współczynników macierzowych rozmiaru ''k''×''k'';
# macierz wariancji szumów ''V'', rozmiaru (''k'', ''k'') — patrz równanie (<xr id="8"/>).

Uwaga: macierz danych wejściowych musi mieć zawsze rozmiar (''k'',''N''), nawet jeśli ''k''=1 (możemy ją wtedy uzyskać z pojedynczego wektora <tt>dane</tt> funkcją <tt>numpy.reshape(dane,(1,-1))</tt>).

===Kilka słów o transformacji Z===

Dla skończonego ciągu współczynników ''A''(0), ''A''(1), ..., ''A''(''p'') ich transformata Z może być obliczona następująco:
<equation id="12"><math>
A(z)=A(0)+A(1)z^{-1}+A(2)z^{-2}+...+A(p)z^{-p}=\sum_{j=0}^{p}A(j)z^{-j}
</math></equation>

Aby obliczyć wartość transformaty dla konkretnej częstości ''f'' musimy w powyższym wzorze dokonać podstawienia
<equation id="13"><math>
z=\exp(2\pi if \Delta t),
</math></equation>
gdzie Δ''t'' = 1 / ''fs''.

Uwaga: procedura <tt>mult_AR</tt> zwraca współczynniki od ''A''(1) do ''A''(''p'') jak dla równania (<xr id="3"/>). Aby mieć zgodność z równaniem (<xr id="4"/>) musimy założyć ''A''(0) = 1 oraz zmienić znak pozostałych współczynników na przeciwny.

===Ćwiczenie 1===

Z danych EEG zebranych na zajęciach dotyczących EEG spoczynkowego wyodrębnij jeden kanał. Wytnij z niego sygnał o długości 1000 próbek. Przefiltruj wycięty sygnał filtrem górnoprzepustowym (np. Butterwortha) o częstości odcięcia 1 Hz.

Oblicz współczynniki modelu AR dla wyciętego sygnału dla rzędów od 1 do 5. Zobacz również jak ze wzrostem rzędu modelu zmienia się macierz wariancji szumu.

Powtórz to samo dla sygnału w postaci pojedynczego sinusa oraz dla szumu.

Napisz funkcję liczącą kryterium Akaikego dla posiadanych danych dla zakresu rzędów 1-20. Funkcja powinna działać dla dowolnej liczby kanałów. Następnie napisz procedurę rysującą policzone kryterium tak, aby można było ocenić wizualnie jego przebieg i wybrać optymalny rząd modelu AR.

===Ćwiczenie 2===
Napisz funkcję obliczającą macierze ''A''(''f'') i ''H''(''f'') z równań (<xr id="4"/>) i (<xr id="5"/>) dla wybranego zestawu częstości z zakresu ''f''0-''f''max. Wykorzystaj tutaj równanie (<xr id="12"/>). Funkcja ma działać dla danych wielokanałowych (no i oczywiście jednokanałowych jako przypadek szczególny), tzn. jej argumentami powinny być: macierz zawierająca sygnał i rząd modelu.

Stosując napisaną funkcję oraz równanie (<xr id="8"/>) oblicz macierz gęstości widmowej mocy w zakresie częstości od 0 Hz do częstości Nyquista dla danych z poprzedniego ćwiczenia (z użyciem optymalnego rzędu modelu AR). Narysuj wykresy widm własnych i wzajemnych.

===Ćwiczenie 3===

* Wygeneruj dwa sygnały sinusoidalne o długości 1000 próbek każdy, o tej samej częstości 32 Hz i częstości próbkowania 128 Hz, ale różnych fazach początkowych.
* Pierwszy sygnał powinien mieć fazę początkową równą 0, drugi sygnał sinusoidalny powinien mieć fazę początkową równą π/4.
* Do drugiego z sygnałów dodaj małą (o amplitudzie ok 0,2 amplitudy sinusoidy) składową losową (czyli dodatkowy niezależny szum biały) o średniej 0.
* Z tak otrzymanych sygnałów utwórz jeden sygnał dwukanałowy (macierz o rozmiarze <tt>(2,1000)</tt>).

Podobnie jak poprzednio, ustal optymalny rząd modelu AR (tym razem dwukanałowego) i oblicz macierz gęstości widmowej mocy. Oblicz koherencje między tymi sygnałami. Narysuj moduł i fazę koherencji ''C''12 i ''C''21.

Zmień fazę początkową drugiego sygnału. Jak zmienia się funkcja koherencji?

===Ćwiczenie 4===

Wygeneruj układ trzech sygnałów w następujący sposób:
* jako pierwszego kanału użyj sygnału z ćwiczenia 1;
* sygnał_w_drugim_kanale(''t'') = 0,4 * sygnał_z_pierwszego_kanału(''t''−1) + szum1;
* sygnał_w_trzecim_kanale(''t'') = 0,3 * sygnał_z_pierwszego_kanału(''t''−2) + szum2.

Oblicz macierz koherencji zwyczajnych dla tego układu i na ich podstawie wyznacz zależności między kanałami. Powtórz to samo dla koherencji cząstkowych.

Wygeneruj zestaw danych jak poprzednio używając w kanale 1 sygnału z ćwiczenia 1. Powtórz obliczenia i porównaj wyniki.

Wyniki wszystkich obliczeń przedstaw na rysunkach.

===Ćwiczenie 5===

Z danych zawierających spoczynkowe EEG wytnij dwa fragmenty: zawierający i nie zawierający czynności alfa. Fragmenty powinny mieć cztery wybrane kanały danych (dwa z tyłu i dwa z przodu głowy, na przykład O1, O2, F3, F4) oraz długość ok. 500 próbek.

Dopasuj czterokanałowe modele AR do wyciętych fragmentów danych. Oblicz macierze gęstości widmowej mocy, koherencji zwyczajnych i koherencji cząstkowych dla obu fragmentów. Narysuj wykresy otrzymanych funkcji.

Pracownia EEG 2/AR 1

2024-12-10T11:17:44Z

Maciek: /* Ćwiczenie 4 */

[[Pracownia EEG 2|Pracownia EEG 2]] / Widmowa analiza parametryczna

==Model autoregresyjny stochastycznego szeregu czasowego==
===Wstęp===
Do tej pory, aby zbadać własności widmowe sygnałów, używaliśmy transformacji Fouriera. Sygnał ''X''(''t'') z dziedziny czasu transformowaliśmy do dziedziny częstości ''X''(''f''):
<equation id="1">
<math>X(f)=\mathcal{F}[X(t)]</math>
</equation>

Następnie z transformaty estymowaliśmy funkcję gęstości widmowej mocy danego sygnału zgodnie ze wzorem:
<equation id="2">
<math id=2>S(f)=X(f)X^*(f)</math>.
</equation>

Możliwe jest jednak trochę inne podejście: załóżmy, że nasz sygnał jest ''realizacją procesu stochastycznego'' opisanego pewną, znaną nam zależnością. Typowym założeniem w dziedzinie analizy sygnałów EEG jest opisanie ich jako procesów ''autoregresyjnych'' (AR):
<equation id="3">
<math>X(t)=\sum_{j=1}^{p}A(j)X(t-j)+E(t)</math>
</equation>

Ze względu na charakter widma takiego procesu dobrze nadaje się on do opisu sygnałów składających się z kilku rytmów o częstościach zawierających się w pewnych zakresach oraz tła o charakterze szumu. EEG i wiele innych sygnałów biologicznych ma właśnie taką strukturę.

Co to znaczy opisać sygnał modelem AR? Musimy dopasować tak współczynniki ''A'' ze wzoru (<xr id="3"/>), czyli tzw. współczynniki modelu, aby realizowany za jego pomocą proces AR miał funkcję autokowariancji jak najbliższą do badanego sygnału. Jeśli się nam to uda, to wszystkie wnioski dotyczące badanego sygnału możemy wyciągać na podstawie analizy parametrów modelu, a nie wartości sygnału.

===Parametryczna analiza widmowa===
Równanie opisujące proces AR transformujemy do przestrzeni częstości za pomocą transformacji Z — jest to uogólnienie transformacji Fouriera stosowane dla dyskretnych ciągów wartości. Skorzystamy tu z faktu, że transformacja Z ma (podobnie do transformacji Fouriera) własność transformowania splotu sygnałów w iloczyn ich transformat. Zauważmy, że jeśli przepiszemy równanie (<xr id="3"/>) tak, aby włączyć ''X''(''t'') do sumowania (możemy to zrobić przyjmując ''A''(0) = 1 oraz zmieniając znak pozostałych współczynników), to po lewej stronie równania otrzymujemy splot ciągu współczynników ''A'' z ciągiem wartości ''X''. Tak więc po przetransformowaniu tego równania otrzymujemy iloczyn odpowiednich transformat:
<equation id="4">
<math>
\begin{array}{lcl}
\displaystyle{\sum_{j=0}^{p}A(t)X(t-j) = E(t)}&&\\
\;\;\Downarrow\;\scriptstyle{\mathrm{transformacja\ Z}}\;\Downarrow&&\\
\\
A(z)X(z)=E(z) & \Rightarrow & X(z)=A^{-1}(z)E(z)=H(z)E(z)
\end{array}
</math>
</equation>

Z dziedziny zmiennej ''z'' możemy przejść do dziedziny częstości podstawiając ''z'' = ''e''2π''if''Δ''t'' (''f'' — częstość, Δ''t'' — odstęp czasu między kolejnymi próbkami sygnału):
<equation id="5"><math>
X(f)=H(f)E(f)
</math></equation>

Funkcję ''H''(''f'') nazywamy macierzą przejścia modelu.

Gęstość widmową mocy uzyskamy ze znanej już zależności (<xr id="2"/>):
<equation id="6"><math>
S(f)=X(f)X^*(f)
</math></equation>

Opis własności sygnałów w języku modeli stochastycznych ma kilka zalet. Jedną z nich jest możliwość zastosowania w przypadku krótkich odcinków sygnału. Ale dla nas najważniejsza będzie łatwość modelowania sygnałów wielokanałowych przez jeden wielokanałowy model AR.

===Wybór rzędu modelu===
Przyglądając się równaniu (<xr id="3"/>) widzimy, że musimy również wiedzieć ''ile'' wcześniejszych próbek sygnału należy uwzględnić w naszych obliczeniach, czyli ustalić liczbę ''p''. Liczbę tę nazywamy ''rzędem modelu''. Wydawać by się mogło, że im więcej uwzględnimy poprzednich próbek, tym lepsze dopasowanie uzyskamy. Tak jednak nie jest. Ponieważ teoretyczne widmo procesu AR posiada maksima zależne od liczby użytych współczynników, modele o zbyt wysokich rzędach mają tendencję do generowania fałszywych maksimów w estymowanym widmie. Jeśli nie wiemy ilu składowych oczekujemy w naszym widmie, do oszacowania optymalnego rzędu modelu możemy zastosować jedno z kryteriów statystycznych, dostępnych w literaturze. Kryteria takie przeważnie mają dwie składowe: człon &bdquo;nagradzający” za coraz &bdquo;ściślejsze” dopasowanie wraz z rosnącym rzędem modelu oraz człon &bdquo;karzący” za nadmierny wzrost rzędu. Szukamy wtedy minimum funkcji kryterium policzonej dla pewnego zakresu rzędów i tak wybraną wartość stosujemy potem w obliczeniach.

Jednym z popularnych kryteriów jest kryterium Akaikego (Hirotugu Akaike — matematyk japoński). Jest to funkcja:
<equation id="7"><math>
\mathrm{AIC}(p)=\mathrm{ln}(\det({V}))+2\frac{pk^2}{N}
</math></equation>
gdzie: 
''N'' — liczba próbek w analizowanym sygnale, ''k'' — liczba kanałów.

Logarytm wyznacznika macierzy wariancji szumów jest coraz bardziej ujemny, bo dopasowanie się polepsza i elementy macierzy ''V'' maleją. Funkcją kary jest tu 2''pk''2/''N'' — funkcja liniowa rosnąca (od ''p''). Szukamy pierwszego istotnego minimum krzywej opisywanej tą funkcją. W praktyce analizy EEG najczęściej stosuje się rzędy w zakresie od 4 do 9. Poniższe rysunki ilustrują możliwe sytuacje:

[[Plik:AIC_rys_1.png|thumb|center|800px|U góry: symulacja modelu autorgresyjnego:
''x''(''t'') = 0,5·''x''(''t''−1) − 0,75·''x''(''t''−2) + ''e''(''t'')
przy częstości próbkowania 100 Hz. Maksimum powinno być w 20 Hz.

AIC daje prawidłowo minimum dla rzędu 2 i widmo jest zgodne z oczekiwanym.]]

[[Plik:AIC_rys_2.png|thumb|center|800px|U góry: symulacja sygnału:

''x''(''t'') = cos(2π·20''t'') + ''e''(''t'')
AIC nie daje jednoznacznego wyniku.
Wydaje się, że minimum istnieje dla rzędu 9.
Wybranie takiego rzędu powoduje wytworzenie maksimum nie tylko w 20 Hz ale i w 43 Hz. ]]
 

===Sygnały wielokanałowe===
Sygnały wielokanałowe to zbiory danych, w których podczas jednej sesji zapisu zbieramy wartości wielu sygnałów w tych samych chwilach czasu. Zapisy EEG z wielu elektrod są oczywiście zapisami wielokanałowymi. Ważna jest tu ''jednoczesność'' rejestracji wielkości powiązanych ze sobą.

Przykładem danych wielokanałowych jest zapis EEG z wielu elektrod.

[[Plik:Czlowiek_badanie.gif|800px|thumb|center|Rejestracja EEG jako zapis wielokanałowy.]]

W przypadku wielokanałowego modelu w wyżej wypisanych wzorach opisujących model AR musimy dokonać pewnych modyfikacji. Jeśli zbieramy jednocześnie ''k'' sygnałów (kanałów), to ''X''(''t'') jest w rzeczywistości wektorem ''k''-wierszowym [''X''1(''t''), ''X''2(''t''),..., ''Xk''(''t'')]T, współczynniki modelu są (każdy z nich) macierzami rozmiaru ''k''×''k''; wartości szumu są inne w każdym sygnale więc ''E''(''t'') jest również wektorem [''E''1(''t''), ''E''2(''t''),..., ''Ek''(''t'')]T.

Po zaaplikowaniu transformacji Z i przejściu do dziedziny częstości, każda z uzyskanych transformat jest również albo wektorem ''k''-wierszowym (''X''(''f''), ''E''(''f'')) albo macierzą ''k''×''k'' (''A''(''f''), ''H''(''f'')).

Gęstość widmowa mocy jest w tym przypadku dana jako (znak + oznacza tu transpozycję macierzy połączoną ze sprzężeniem zespolonym jej elementów):
<equation id="8"><math>
S(f)=X(f)X^+(f)=H(f)E(f)[H(f)E(f)]^+=H(f)E(f)E^+(f)H^+(f)=H(f)VH^+(f)
</math></equation>

Skorzystaliśmy tu z wiadomości, że widmo procesu czysto losowego ''E''(''f'') jest funkcją stałą, a po wymnożeniu ''E''(''f'')''E''+(''f'') dostajemy macierz wariancji szumów ''V'' (rozmiaru ''k''×''k''), niezależną od częstości.

Z powyższego wzoru widać, że funkcja gęstości widmowej mocy jest macierzą rozmiaru ''k''×''k''. Jej diagonalne elementy zawierają tzw. widma własne (auto-widma) każdego z sygnałów składowych, a elementy pozadiagonalne widma wzajemne (kross-widma).

Widzimy więc, że w przypadku analizy danych wielokanałowych mamy nie tylko wielkości opisujące każdy kanał osobno, ale również wielkości mówiące o informacji zawartej w zależnościach istniejących pomiędzy kanałami.

Widmo wzajemne opisuje istnienie spójnej zależności między dwoma sygnałami dla danej częstości. Jego moduł mówi nam o tym jak silna jest ta zależność, a faza mówi o wzajemnym przesunięciu fazowym składowych o danej częstości w każdym z dwóch sygnałów. Jeśli oba sygnały zawierają daną częstość, ale faza wzajemna tych składowych zmienia się, to widmo wzajemne będzie mieć wartość niską.
Aby mieć wygodniejsze narzędzie porównawcze wprowadza się znormalizowaną wersję widma wzajemnego zwane koherencją (zwyczajną):
<equation id="9"><math>
K_{ij}(f)=\frac{S_{ij}(f)}{\sqrt{S_{ii}(f)S_{jj}(f)}}
</math></equation>

Moduł koherencji zawiera się w przedziale [0,1], co znacznie ułatwia porównywanie wyników.

===Miary cząstkowe===

W przypadku, gdy nasz zbiór danych składa się z dwóch kanałów, interpretacja koherencji jest w zasadzie jednoznaczna. Wydawać by się mogło, że jeśli będziemy ich używać do badania układów trzy- i więcej-kanałowych, to poza większą ilością obliczeń sytuacja ideowo nie będzie się różnić. Niestety, wraz ze wzrostem liczby kanałów sytuacja ulega zmianie.

Już w sytuacji trzech kanałów możemy napotkać tzw. wspólne źródło: kanał będący źródłem sygnału, który pojawia się w pozostałych kanałach (jak ta sama audycja u dwóch słuchaczy radia w innych miastach). Wtedy wartości koherencji nawet pomiędzy kanałami-odbiorcami sygnału będą wskazywać na istnienie związku między nimi, chociaż kanały te mogą nie być w żaden inny sposób ze sobą związane.

Aby móc łatwiej odróżnić taką sytuację dobrze byłoby umieć jakoś &bdquo;odjąć” wpływ kanału-źródła na pozostałe. Czynność taka nazywa się w literaturze ''parcjalizacją'' względem danego kanału.

W ogólności mamy do dyspozycji funkcję koherencji cząstkowej, która zachowuje się podobnie do koherencji zwyczajnej, ale pokazuje związek między kanałami po odjęciu wszystkich kombinacji liniowych pozostałych kanałów. Zdefiniowana jest ona następująco:
<equation id="10"><math>
C_{ij}(f)=\frac{\mathrm{M}_{ij}(f)}{\sqrt{\mathrm{M}_{ii}(f)\mathrm{M}_{jj}(f)}}
</math></equation>

We wzorze tym M''ij'' jest minorem macierzy widmowej ''S'', czyli wyznacznikiem macierzy ''S'' w której usunięto ''i''-ty wiersz i ''j''-tą kolumnę. Można tę definicję przekształcić do łatwiejszej do zastosowania postaci z użyciem elementów macierzy odwrotnej ''S''−1. Jeśli ''dij''(''f'') = [''S''−1]''ij''(''f''), mamy:

<equation id="11"><math>
C_{ij}(f)=(-1)^{i+j}\frac{d_{ji}(f)}{\sqrt{d_{ii}(f)d_{jj}(f)}}
</math></equation>

Tak więc miary cząstkowe muszą operować na więcej niż dwóch kanałach jednocześnie. Dzięki zastosowaniu wielokanałowego modelu AR założenie to jest spełnione i możemy w prosty sposób policzyć zarówno koherencje zwyczajne jak i cząstkowe dla dowolnej liczby kanałów w zestawie.

==Ćwiczenia==

W tekście ćwiczeń używać będziemy następujących założeń: posiadamy ''k'' kanałów danych, używamy modelu AR rzędu ''p'', częstość próbkowania danych wynosi ''fs''. W każdym kanale zebrano ''N'' próbek danych.

Aby ułatwić zapoznanie się z parametrycznymi metodami analizy widmowej, a nie rozpraszać uwagi na dopasowywanie współczynników modelu, przygotowana została biblioteka procedur (w języku Python) estymacji współczynników wielokanałowego modelu AR dla posiadanych danych. Aby jej użyć musimy napisać:
<tt>import mtmvar</tt>

W zaimportowanym module mamy do dyspozycji funkcję <tt>mult_AR</tt>, która oczekuje parametrów:
# macierzy danych o wymiarach (''k'', ''N'');
# wybranego rzędu modelu;
# numeru metody liczenia współczynników (aktualnie należy wybrać zawsze liczbę 1).

Funkcja zwraca krotkę zawierającą dwa obiekty:
# macierz policzonych współczynników, rozmiaru (''p'', ''k'', ''k'') — czyli ''p'' współczynników macierzowych rozmiaru ''k''×''k'';
# macierz wariancji szumów ''V'', rozmiaru (''k'', ''k'') — patrz równanie (<xr id="8"/>).

Uwaga: macierz danych wejściowych musi mieć zawsze rozmiar (''k'',''N''), nawet jeśli ''k''=1 (możemy ją wtedy uzyskać z pojedynczego wektora <tt>dane</tt> funkcją <tt>numpy.reshape(dane,(1,-1))</tt>).

===Kilka słów o transformacji Z===

Dla skończonego ciągu współczynników ''A''(0), ''A''(1), ..., ''A''(''p'') ich transformata Z może być obliczona następująco:
<equation id="12"><math>
A(z)=A(0)+A(1)z^{-1}+A(2)z^{-2}+...+A(p)z^{-p}=\sum_{j=0}^{p}A(j)z^{-j}
</math></equation>

Aby obliczyć wartość transformaty dla konkretnej częstości ''f'' musimy w powyższym wzorze dokonać podstawienia
<equation id="13"><math>
z=\exp(2\pi if \Delta t),
</math></equation>
gdzie Δ''t'' = 1 / ''fs''.

Uwaga: procedura <tt>mult_AR</tt> zwraca współczynniki od ''A''(1) do ''A''(''p'') jak dla równania (<xr id="3"/>). Aby mieć zgodność z równaniem (<xr id="4"/>) musimy założyć ''A''(0) = 1 oraz zmienić znak pozostałych współczynników na przeciwny.

===Ćwiczenie 1===

Z danych EEG zebranych na zajęciach dotyczących EEG spoczynkowego wyodrębnij jeden kanał. Wytnij z niego sygnał o długości 1000 próbek. Przefiltruj wycięty sygnał filtrem górnoprzepustowym (np. Butterwortha) o częstości odcięcia 1 Hz.

Oblicz współczynniki modelu AR dla wyciętego sygnału dla rzędów od 1 do 5. Zobacz również jak ze wzrostem rzędu modelu zmienia się macierz wariancji szumu.

Powtórz to samo dla sygnału w postaci pojedynczego sinusa oraz dla szumu.

Napisz funkcję liczącą kryterium Akaikego dla posiadanych danych dla zakresu rzędów 1-20. Funkcja powinna działać dla dowolnej liczby kanałów. Następnie napisz procedurę rysującą policzone kryterium tak, aby można było ocenić wizualnie jego przebieg i wybrać optymalny rząd modelu AR.

===Ćwiczenie 2===
Napisz funkcję obliczającą macierze ''A''(''f'') i ''H''(''f'') z równań (<xr id="4"/>) i (<xr id="5"/>) dla wybranego zestawu częstości z zakresu ''f''0-''f''max. Wykorzystaj tutaj równanie (<xr id="12"/>). Funkcja ma działać dla danych wielokanałowych (no i oczywiście jednokanałowych jako przypadek szczególny), tzn. jej argumentami powinny być: macierz zawierająca sygnał i rząd modelu.

Stosując napisaną funkcję oraz równanie (<xr id="8"/>) oblicz macierz gęstości widmowej mocy w zakresie częstości od 0 Hz do częstości Nyquista dla danych z poprzedniego ćwiczenia (z użyciem optymalnego rzędu modelu AR). Narysuj wykresy widm własnych i wzajemnych.

===Ćwiczenie 3===

* Wygeneruj dwa sygnały sinusoidalne o długości 1000 próbek każdy, o tej samej częstości 32 Hz i częstości próbkowania 128 Hz, ale różnych fazach początkowych.
* Pierwszy sygnał powinien mieć fazę początkową równą 0, drugi sygnał sinusoidalny powinien mieć fazę początkową równą π/4.
* Do drugiego z sygnałów dodaj małą (o amplitudzie ok 0,2 amplitudy sinusoidy) składową losową (czyli dodatkowy niezależny szum biały) o średniej 0.
* Z tak otrzymanych sygnałów utwórz jeden sygnał dwukanałowy (macierz o rozmiarze <tt>(2,1000)</tt>).

Podobnie jak poprzednio, ustal optymalny rząd modelu AR (tym razem dwukanałowego) i oblicz macierz gęstości widmowej mocy. Oblicz koherencje między tymi sygnałami. Narysuj moduł i fazę koherencji ''C''12 i ''C''21.

Zmień fazę początkową drugiego sygnału. Jak zmienia się funkcja koherencji?

===Ćwiczenie 4===

Wygeneruj układ trzech sygnałów w następujący sposób:
* jako pierwszego kanału użyj sygnału z [[Pracownia_EEG/AR_1#Ćwiczenie 1|ćwiczenia 1];
* sygnał_w_drugim_kanale(''t'') = 0,4 * sygnał_z_pierwszego_kanału(''t''−1) + szum1;
* sygnał_w_trzecim_kanale(''t'') = 0,3 * sygnał_z_pierwszego_kanału(''t''−2) + szum2.

Oblicz macierz koherencji zwyczajnych dla tego układu i na ich podstawie wyznacz zależności między kanałami. Powtórz to samo dla koherencji cząstkowych.

Wygeneruj zestaw danych jak poprzednio używając w kanale 1 sygnału z ćwiczenia 1. Powtórz obliczenia i porównaj wyniki.

Wyniki wszystkich obliczeń przedstaw na rysunkach.

===Ćwiczenie 5===

Z danych zawierających spoczynkowe EEG wytnij dwa fragmenty: zawierający i nie zawierający czynności alfa. Fragmenty powinny mieć cztery wybrane kanały danych (dwa z tyłu i dwa z przodu głowy, na przykład O1, O2, F3, F4) oraz długość ok. 500 próbek.

Dopasuj czterokanałowe modele AR do wyciętych fragmentów danych. Oblicz macierze gęstości widmowej mocy, koherencji zwyczajnych i koherencji cząstkowych dla obu fragmentów. Narysuj wykresy otrzymanych funkcji.

Pracownia EEG 2/AR 1

2024-12-10T10:52:41Z

Maciek: /* Ćwiczenie 3 */

[[Pracownia EEG 2|Pracownia EEG 2]] / Widmowa analiza parametryczna

==Model autoregresyjny stochastycznego szeregu czasowego==
===Wstęp===
Do tej pory, aby zbadać własności widmowe sygnałów, używaliśmy transformacji Fouriera. Sygnał ''X''(''t'') z dziedziny czasu transformowaliśmy do dziedziny częstości ''X''(''f''):
<equation id="1">
<math>X(f)=\mathcal{F}[X(t)]</math>
</equation>

Następnie z transformaty estymowaliśmy funkcję gęstości widmowej mocy danego sygnału zgodnie ze wzorem:
<equation id="2">
<math id=2>S(f)=X(f)X^*(f)</math>.
</equation>

Możliwe jest jednak trochę inne podejście: załóżmy, że nasz sygnał jest ''realizacją procesu stochastycznego'' opisanego pewną, znaną nam zależnością. Typowym założeniem w dziedzinie analizy sygnałów EEG jest opisanie ich jako procesów ''autoregresyjnych'' (AR):
<equation id="3">
<math>X(t)=\sum_{j=1}^{p}A(j)X(t-j)+E(t)</math>
</equation>

Ze względu na charakter widma takiego procesu dobrze nadaje się on do opisu sygnałów składających się z kilku rytmów o częstościach zawierających się w pewnych zakresach oraz tła o charakterze szumu. EEG i wiele innych sygnałów biologicznych ma właśnie taką strukturę.

Co to znaczy opisać sygnał modelem AR? Musimy dopasować tak współczynniki ''A'' ze wzoru (<xr id="3"/>), czyli tzw. współczynniki modelu, aby realizowany za jego pomocą proces AR miał funkcję autokowariancji jak najbliższą do badanego sygnału. Jeśli się nam to uda, to wszystkie wnioski dotyczące badanego sygnału możemy wyciągać na podstawie analizy parametrów modelu, a nie wartości sygnału.

===Parametryczna analiza widmowa===
Równanie opisujące proces AR transformujemy do przestrzeni częstości za pomocą transformacji Z — jest to uogólnienie transformacji Fouriera stosowane dla dyskretnych ciągów wartości. Skorzystamy tu z faktu, że transformacja Z ma (podobnie do transformacji Fouriera) własność transformowania splotu sygnałów w iloczyn ich transformat. Zauważmy, że jeśli przepiszemy równanie (<xr id="3"/>) tak, aby włączyć ''X''(''t'') do sumowania (możemy to zrobić przyjmując ''A''(0) = 1 oraz zmieniając znak pozostałych współczynników), to po lewej stronie równania otrzymujemy splot ciągu współczynników ''A'' z ciągiem wartości ''X''. Tak więc po przetransformowaniu tego równania otrzymujemy iloczyn odpowiednich transformat:
<equation id="4">
<math>
\begin{array}{lcl}
\displaystyle{\sum_{j=0}^{p}A(t)X(t-j) = E(t)}&&\\
\;\;\Downarrow\;\scriptstyle{\mathrm{transformacja\ Z}}\;\Downarrow&&\\
\\
A(z)X(z)=E(z) & \Rightarrow & X(z)=A^{-1}(z)E(z)=H(z)E(z)
\end{array}
</math>
</equation>

Z dziedziny zmiennej ''z'' możemy przejść do dziedziny częstości podstawiając ''z'' = ''e''2π''if''Δ''t'' (''f'' — częstość, Δ''t'' — odstęp czasu między kolejnymi próbkami sygnału):
<equation id="5"><math>
X(f)=H(f)E(f)
</math></equation>

Funkcję ''H''(''f'') nazywamy macierzą przejścia modelu.

Gęstość widmową mocy uzyskamy ze znanej już zależności (<xr id="2"/>):
<equation id="6"><math>
S(f)=X(f)X^*(f)
</math></equation>

Opis własności sygnałów w języku modeli stochastycznych ma kilka zalet. Jedną z nich jest możliwość zastosowania w przypadku krótkich odcinków sygnału. Ale dla nas najważniejsza będzie łatwość modelowania sygnałów wielokanałowych przez jeden wielokanałowy model AR.

===Wybór rzędu modelu===
Przyglądając się równaniu (<xr id="3"/>) widzimy, że musimy również wiedzieć ''ile'' wcześniejszych próbek sygnału należy uwzględnić w naszych obliczeniach, czyli ustalić liczbę ''p''. Liczbę tę nazywamy ''rzędem modelu''. Wydawać by się mogło, że im więcej uwzględnimy poprzednich próbek, tym lepsze dopasowanie uzyskamy. Tak jednak nie jest. Ponieważ teoretyczne widmo procesu AR posiada maksima zależne od liczby użytych współczynników, modele o zbyt wysokich rzędach mają tendencję do generowania fałszywych maksimów w estymowanym widmie. Jeśli nie wiemy ilu składowych oczekujemy w naszym widmie, do oszacowania optymalnego rzędu modelu możemy zastosować jedno z kryteriów statystycznych, dostępnych w literaturze. Kryteria takie przeważnie mają dwie składowe: człon &bdquo;nagradzający” za coraz &bdquo;ściślejsze” dopasowanie wraz z rosnącym rzędem modelu oraz człon &bdquo;karzący” za nadmierny wzrost rzędu. Szukamy wtedy minimum funkcji kryterium policzonej dla pewnego zakresu rzędów i tak wybraną wartość stosujemy potem w obliczeniach.

Jednym z popularnych kryteriów jest kryterium Akaikego (Hirotugu Akaike — matematyk japoński). Jest to funkcja:
<equation id="7"><math>
\mathrm{AIC}(p)=\mathrm{ln}(\det({V}))+2\frac{pk^2}{N}
</math></equation>
gdzie: 
''N'' — liczba próbek w analizowanym sygnale, ''k'' — liczba kanałów.

Logarytm wyznacznika macierzy wariancji szumów jest coraz bardziej ujemny, bo dopasowanie się polepsza i elementy macierzy ''V'' maleją. Funkcją kary jest tu 2''pk''2/''N'' — funkcja liniowa rosnąca (od ''p''). Szukamy pierwszego istotnego minimum krzywej opisywanej tą funkcją. W praktyce analizy EEG najczęściej stosuje się rzędy w zakresie od 4 do 9. Poniższe rysunki ilustrują możliwe sytuacje:

[[Plik:AIC_rys_1.png|thumb|center|800px|U góry: symulacja modelu autorgresyjnego:
''x''(''t'') = 0,5·''x''(''t''−1) − 0,75·''x''(''t''−2) + ''e''(''t'')
przy częstości próbkowania 100 Hz. Maksimum powinno być w 20 Hz.

AIC daje prawidłowo minimum dla rzędu 2 i widmo jest zgodne z oczekiwanym.]]

[[Plik:AIC_rys_2.png|thumb|center|800px|U góry: symulacja sygnału:

''x''(''t'') = cos(2π·20''t'') + ''e''(''t'')
AIC nie daje jednoznacznego wyniku.
Wydaje się, że minimum istnieje dla rzędu 9.
Wybranie takiego rzędu powoduje wytworzenie maksimum nie tylko w 20 Hz ale i w 43 Hz. ]]
 

===Sygnały wielokanałowe===
Sygnały wielokanałowe to zbiory danych, w których podczas jednej sesji zapisu zbieramy wartości wielu sygnałów w tych samych chwilach czasu. Zapisy EEG z wielu elektrod są oczywiście zapisami wielokanałowymi. Ważna jest tu ''jednoczesność'' rejestracji wielkości powiązanych ze sobą.

Przykładem danych wielokanałowych jest zapis EEG z wielu elektrod.

[[Plik:Czlowiek_badanie.gif|800px|thumb|center|Rejestracja EEG jako zapis wielokanałowy.]]

W przypadku wielokanałowego modelu w wyżej wypisanych wzorach opisujących model AR musimy dokonać pewnych modyfikacji. Jeśli zbieramy jednocześnie ''k'' sygnałów (kanałów), to ''X''(''t'') jest w rzeczywistości wektorem ''k''-wierszowym [''X''1(''t''), ''X''2(''t''),..., ''Xk''(''t'')]T, współczynniki modelu są (każdy z nich) macierzami rozmiaru ''k''×''k''; wartości szumu są inne w każdym sygnale więc ''E''(''t'') jest również wektorem [''E''1(''t''), ''E''2(''t''),..., ''Ek''(''t'')]T.

Po zaaplikowaniu transformacji Z i przejściu do dziedziny częstości, każda z uzyskanych transformat jest również albo wektorem ''k''-wierszowym (''X''(''f''), ''E''(''f'')) albo macierzą ''k''×''k'' (''A''(''f''), ''H''(''f'')).

Gęstość widmowa mocy jest w tym przypadku dana jako (znak + oznacza tu transpozycję macierzy połączoną ze sprzężeniem zespolonym jej elementów):
<equation id="8"><math>
S(f)=X(f)X^+(f)=H(f)E(f)[H(f)E(f)]^+=H(f)E(f)E^+(f)H^+(f)=H(f)VH^+(f)
</math></equation>

Skorzystaliśmy tu z wiadomości, że widmo procesu czysto losowego ''E''(''f'') jest funkcją stałą, a po wymnożeniu ''E''(''f'')''E''+(''f'') dostajemy macierz wariancji szumów ''V'' (rozmiaru ''k''×''k''), niezależną od częstości.

Z powyższego wzoru widać, że funkcja gęstości widmowej mocy jest macierzą rozmiaru ''k''×''k''. Jej diagonalne elementy zawierają tzw. widma własne (auto-widma) każdego z sygnałów składowych, a elementy pozadiagonalne widma wzajemne (kross-widma).

Widzimy więc, że w przypadku analizy danych wielokanałowych mamy nie tylko wielkości opisujące każdy kanał osobno, ale również wielkości mówiące o informacji zawartej w zależnościach istniejących pomiędzy kanałami.

Widmo wzajemne opisuje istnienie spójnej zależności między dwoma sygnałami dla danej częstości. Jego moduł mówi nam o tym jak silna jest ta zależność, a faza mówi o wzajemnym przesunięciu fazowym składowych o danej częstości w każdym z dwóch sygnałów. Jeśli oba sygnały zawierają daną częstość, ale faza wzajemna tych składowych zmienia się, to widmo wzajemne będzie mieć wartość niską.
Aby mieć wygodniejsze narzędzie porównawcze wprowadza się znormalizowaną wersję widma wzajemnego zwane koherencją (zwyczajną):
<equation id="9"><math>
K_{ij}(f)=\frac{S_{ij}(f)}{\sqrt{S_{ii}(f)S_{jj}(f)}}
</math></equation>

Moduł koherencji zawiera się w przedziale [0,1], co znacznie ułatwia porównywanie wyników.

===Miary cząstkowe===

W przypadku, gdy nasz zbiór danych składa się z dwóch kanałów, interpretacja koherencji jest w zasadzie jednoznaczna. Wydawać by się mogło, że jeśli będziemy ich używać do badania układów trzy- i więcej-kanałowych, to poza większą ilością obliczeń sytuacja ideowo nie będzie się różnić. Niestety, wraz ze wzrostem liczby kanałów sytuacja ulega zmianie.

Już w sytuacji trzech kanałów możemy napotkać tzw. wspólne źródło: kanał będący źródłem sygnału, który pojawia się w pozostałych kanałach (jak ta sama audycja u dwóch słuchaczy radia w innych miastach). Wtedy wartości koherencji nawet pomiędzy kanałami-odbiorcami sygnału będą wskazywać na istnienie związku między nimi, chociaż kanały te mogą nie być w żaden inny sposób ze sobą związane.

Aby móc łatwiej odróżnić taką sytuację dobrze byłoby umieć jakoś &bdquo;odjąć” wpływ kanału-źródła na pozostałe. Czynność taka nazywa się w literaturze ''parcjalizacją'' względem danego kanału.

W ogólności mamy do dyspozycji funkcję koherencji cząstkowej, która zachowuje się podobnie do koherencji zwyczajnej, ale pokazuje związek między kanałami po odjęciu wszystkich kombinacji liniowych pozostałych kanałów. Zdefiniowana jest ona następująco:
<equation id="10"><math>
C_{ij}(f)=\frac{\mathrm{M}_{ij}(f)}{\sqrt{\mathrm{M}_{ii}(f)\mathrm{M}_{jj}(f)}}
</math></equation>

We wzorze tym M''ij'' jest minorem macierzy widmowej ''S'', czyli wyznacznikiem macierzy ''S'' w której usunięto ''i''-ty wiersz i ''j''-tą kolumnę. Można tę definicję przekształcić do łatwiejszej do zastosowania postaci z użyciem elementów macierzy odwrotnej ''S''−1. Jeśli ''dij''(''f'') = [''S''−1]''ij''(''f''), mamy:

<equation id="11"><math>
C_{ij}(f)=(-1)^{i+j}\frac{d_{ji}(f)}{\sqrt{d_{ii}(f)d_{jj}(f)}}
</math></equation>

Tak więc miary cząstkowe muszą operować na więcej niż dwóch kanałach jednocześnie. Dzięki zastosowaniu wielokanałowego modelu AR założenie to jest spełnione i możemy w prosty sposób policzyć zarówno koherencje zwyczajne jak i cząstkowe dla dowolnej liczby kanałów w zestawie.

==Ćwiczenia==

W tekście ćwiczeń używać będziemy następujących założeń: posiadamy ''k'' kanałów danych, używamy modelu AR rzędu ''p'', częstość próbkowania danych wynosi ''fs''. W każdym kanale zebrano ''N'' próbek danych.

Aby ułatwić zapoznanie się z parametrycznymi metodami analizy widmowej, a nie rozpraszać uwagi na dopasowywanie współczynników modelu, przygotowana została biblioteka procedur (w języku Python) estymacji współczynników wielokanałowego modelu AR dla posiadanych danych. Aby jej użyć musimy napisać:
<tt>import mtmvar</tt>

W zaimportowanym module mamy do dyspozycji funkcję <tt>mult_AR</tt>, która oczekuje parametrów:
# macierzy danych o wymiarach (''k'', ''N'');
# wybranego rzędu modelu;
# numeru metody liczenia współczynników (aktualnie należy wybrać zawsze liczbę 1).

Funkcja zwraca krotkę zawierającą dwa obiekty:
# macierz policzonych współczynników, rozmiaru (''p'', ''k'', ''k'') — czyli ''p'' współczynników macierzowych rozmiaru ''k''×''k'';
# macierz wariancji szumów ''V'', rozmiaru (''k'', ''k'') — patrz równanie (<xr id="8"/>).

Uwaga: macierz danych wejściowych musi mieć zawsze rozmiar (''k'',''N''), nawet jeśli ''k''=1 (możemy ją wtedy uzyskać z pojedynczego wektora <tt>dane</tt> funkcją <tt>numpy.reshape(dane,(1,-1))</tt>).

===Kilka słów o transformacji Z===

Dla skończonego ciągu współczynników ''A''(0), ''A''(1), ..., ''A''(''p'') ich transformata Z może być obliczona następująco:
<equation id="12"><math>
A(z)=A(0)+A(1)z^{-1}+A(2)z^{-2}+...+A(p)z^{-p}=\sum_{j=0}^{p}A(j)z^{-j}
</math></equation>

Aby obliczyć wartość transformaty dla konkretnej częstości ''f'' musimy w powyższym wzorze dokonać podstawienia
<equation id="13"><math>
z=\exp(2\pi if \Delta t),
</math></equation>
gdzie Δ''t'' = 1 / ''fs''.

Uwaga: procedura <tt>mult_AR</tt> zwraca współczynniki od ''A''(1) do ''A''(''p'') jak dla równania (<xr id="3"/>). Aby mieć zgodność z równaniem (<xr id="4"/>) musimy założyć ''A''(0) = 1 oraz zmienić znak pozostałych współczynników na przeciwny.

===Ćwiczenie 1===

Z danych EEG zebranych na zajęciach dotyczących EEG spoczynkowego wyodrębnij jeden kanał. Wytnij z niego sygnał o długości 1000 próbek. Przefiltruj wycięty sygnał filtrem górnoprzepustowym (np. Butterwortha) o częstości odcięcia 1 Hz.

Oblicz współczynniki modelu AR dla wyciętego sygnału dla rzędów od 1 do 5. Zobacz również jak ze wzrostem rzędu modelu zmienia się macierz wariancji szumu.

Powtórz to samo dla sygnału w postaci pojedynczego sinusa oraz dla szumu.

Napisz funkcję liczącą kryterium Akaikego dla posiadanych danych dla zakresu rzędów 1-20. Funkcja powinna działać dla dowolnej liczby kanałów. Następnie napisz procedurę rysującą policzone kryterium tak, aby można było ocenić wizualnie jego przebieg i wybrać optymalny rząd modelu AR.

===Ćwiczenie 2===
Napisz funkcję obliczającą macierze ''A''(''f'') i ''H''(''f'') z równań (<xr id="4"/>) i (<xr id="5"/>) dla wybranego zestawu częstości z zakresu ''f''0-''f''max. Wykorzystaj tutaj równanie (<xr id="12"/>). Funkcja ma działać dla danych wielokanałowych (no i oczywiście jednokanałowych jako przypadek szczególny), tzn. jej argumentami powinny być: macierz zawierająca sygnał i rząd modelu.

Stosując napisaną funkcję oraz równanie (<xr id="8"/>) oblicz macierz gęstości widmowej mocy w zakresie częstości od 0 Hz do częstości Nyquista dla danych z poprzedniego ćwiczenia (z użyciem optymalnego rzędu modelu AR). Narysuj wykresy widm własnych i wzajemnych.

===Ćwiczenie 3===

* Wygeneruj dwa sygnały sinusoidalne o długości 1000 próbek każdy, o tej samej częstości 32 Hz i częstości próbkowania 128 Hz, ale różnych fazach początkowych.
* Pierwszy sygnał powinien mieć fazę początkową równą 0, drugi sygnał sinusoidalny powinien mieć fazę początkową równą π/4.
* Do drugiego z sygnałów dodaj małą (o amplitudzie ok 0,2 amplitudy sinusoidy) składową losową (czyli dodatkowy niezależny szum biały) o średniej 0.
* Z tak otrzymanych sygnałów utwórz jeden sygnał dwukanałowy (macierz o rozmiarze <tt>(2,1000)</tt>).

Podobnie jak poprzednio, ustal optymalny rząd modelu AR (tym razem dwukanałowego) i oblicz macierz gęstości widmowej mocy. Oblicz koherencje między tymi sygnałami. Narysuj moduł i fazę koherencji ''C''12 i ''C''21.

Zmień fazę początkową drugiego sygnału. Jak zmienia się funkcja koherencji?

===Ćwiczenie 4===

Wygeneruj układ trzech sygnałów w następujący sposób:
* jako pierwszego kanału użyj sygnału z [[Pracownia_EEG/AR_1#Ćwiczenie 3|ćwiczenia 3]];
* sygnał_w_drugim_kanale(''t'') = 0,4 * sygnał_z_pierwszego_kanału(''t''−1) + szum1;
* sygnał_w_trzecim_kanale(''t'') = 0,3 * sygnał_z_pierwszego_kanału(''t''−2) + szum2.

Oblicz macierz koherencji zwyczajnych dla tego układu i na ich podstawie wyznacz zależności między kanałami. Powtórz to samo dla koherencji cząstkowych.

Wygeneruj zestaw danych jak poprzednio używając w kanale 1 sygnału z ćwiczenia 1. Powtórz obliczenia i porównaj wyniki.

Wyniki wszystkich obliczeń przedstaw na rysunkach.

===Ćwiczenie 5===

Z danych zawierających spoczynkowe EEG wytnij dwa fragmenty: zawierający i nie zawierający czynności alfa. Fragmenty powinny mieć cztery wybrane kanały danych (dwa z tyłu i dwa z przodu głowy, na przykład O1, O2, F3, F4) oraz długość ok. 500 próbek.

Dopasuj czterokanałowe modele AR do wyciętych fragmentów danych. Oblicz macierze gęstości widmowej mocy, koherencji zwyczajnych i koherencji cząstkowych dla obu fragmentów. Narysuj wykresy otrzymanych funkcji.

Pracownia EEG 2/AR 1

2024-12-10T10:12:58Z

Maciek: /* Ćwiczenie 1 */

[[Pracownia EEG 2|Pracownia EEG 2]] / Widmowa analiza parametryczna

==Model autoregresyjny stochastycznego szeregu czasowego==
===Wstęp===
Do tej pory, aby zbadać własności widmowe sygnałów, używaliśmy transformacji Fouriera. Sygnał ''X''(''t'') z dziedziny czasu transformowaliśmy do dziedziny częstości ''X''(''f''):
<equation id="1">
<math>X(f)=\mathcal{F}[X(t)]</math>
</equation>

Następnie z transformaty estymowaliśmy funkcję gęstości widmowej mocy danego sygnału zgodnie ze wzorem:
<equation id="2">
<math id=2>S(f)=X(f)X^*(f)</math>.
</equation>

Możliwe jest jednak trochę inne podejście: załóżmy, że nasz sygnał jest ''realizacją procesu stochastycznego'' opisanego pewną, znaną nam zależnością. Typowym założeniem w dziedzinie analizy sygnałów EEG jest opisanie ich jako procesów ''autoregresyjnych'' (AR):
<equation id="3">
<math>X(t)=\sum_{j=1}^{p}A(j)X(t-j)+E(t)</math>
</equation>

Ze względu na charakter widma takiego procesu dobrze nadaje się on do opisu sygnałów składających się z kilku rytmów o częstościach zawierających się w pewnych zakresach oraz tła o charakterze szumu. EEG i wiele innych sygnałów biologicznych ma właśnie taką strukturę.

Co to znaczy opisać sygnał modelem AR? Musimy dopasować tak współczynniki ''A'' ze wzoru (<xr id="3"/>), czyli tzw. współczynniki modelu, aby realizowany za jego pomocą proces AR miał funkcję autokowariancji jak najbliższą do badanego sygnału. Jeśli się nam to uda, to wszystkie wnioski dotyczące badanego sygnału możemy wyciągać na podstawie analizy parametrów modelu, a nie wartości sygnału.

===Parametryczna analiza widmowa===
Równanie opisujące proces AR transformujemy do przestrzeni częstości za pomocą transformacji Z — jest to uogólnienie transformacji Fouriera stosowane dla dyskretnych ciągów wartości. Skorzystamy tu z faktu, że transformacja Z ma (podobnie do transformacji Fouriera) własność transformowania splotu sygnałów w iloczyn ich transformat. Zauważmy, że jeśli przepiszemy równanie (<xr id="3"/>) tak, aby włączyć ''X''(''t'') do sumowania (możemy to zrobić przyjmując ''A''(0) = 1 oraz zmieniając znak pozostałych współczynników), to po lewej stronie równania otrzymujemy splot ciągu współczynników ''A'' z ciągiem wartości ''X''. Tak więc po przetransformowaniu tego równania otrzymujemy iloczyn odpowiednich transformat:
<equation id="4">
<math>
\begin{array}{lcl}
\displaystyle{\sum_{j=0}^{p}A(t)X(t-j) = E(t)}&&\\
\;\;\Downarrow\;\scriptstyle{\mathrm{transformacja\ Z}}\;\Downarrow&&\\
\\
A(z)X(z)=E(z) & \Rightarrow & X(z)=A^{-1}(z)E(z)=H(z)E(z)
\end{array}
</math>
</equation>

Z dziedziny zmiennej ''z'' możemy przejść do dziedziny częstości podstawiając ''z'' = ''e''2π''if''Δ''t'' (''f'' — częstość, Δ''t'' — odstęp czasu między kolejnymi próbkami sygnału):
<equation id="5"><math>
X(f)=H(f)E(f)
</math></equation>

Funkcję ''H''(''f'') nazywamy macierzą przejścia modelu.

Gęstość widmową mocy uzyskamy ze znanej już zależności (<xr id="2"/>):
<equation id="6"><math>
S(f)=X(f)X^*(f)
</math></equation>

Opis własności sygnałów w języku modeli stochastycznych ma kilka zalet. Jedną z nich jest możliwość zastosowania w przypadku krótkich odcinków sygnału. Ale dla nas najważniejsza będzie łatwość modelowania sygnałów wielokanałowych przez jeden wielokanałowy model AR.

===Wybór rzędu modelu===
Przyglądając się równaniu (<xr id="3"/>) widzimy, że musimy również wiedzieć ''ile'' wcześniejszych próbek sygnału należy uwzględnić w naszych obliczeniach, czyli ustalić liczbę ''p''. Liczbę tę nazywamy ''rzędem modelu''. Wydawać by się mogło, że im więcej uwzględnimy poprzednich próbek, tym lepsze dopasowanie uzyskamy. Tak jednak nie jest. Ponieważ teoretyczne widmo procesu AR posiada maksima zależne od liczby użytych współczynników, modele o zbyt wysokich rzędach mają tendencję do generowania fałszywych maksimów w estymowanym widmie. Jeśli nie wiemy ilu składowych oczekujemy w naszym widmie, do oszacowania optymalnego rzędu modelu możemy zastosować jedno z kryteriów statystycznych, dostępnych w literaturze. Kryteria takie przeważnie mają dwie składowe: człon &bdquo;nagradzający” za coraz &bdquo;ściślejsze” dopasowanie wraz z rosnącym rzędem modelu oraz człon &bdquo;karzący” za nadmierny wzrost rzędu. Szukamy wtedy minimum funkcji kryterium policzonej dla pewnego zakresu rzędów i tak wybraną wartość stosujemy potem w obliczeniach.

Jednym z popularnych kryteriów jest kryterium Akaikego (Hirotugu Akaike — matematyk japoński). Jest to funkcja:
<equation id="7"><math>
\mathrm{AIC}(p)=\mathrm{ln}(\det({V}))+2\frac{pk^2}{N}
</math></equation>
gdzie: 
''N'' — liczba próbek w analizowanym sygnale, ''k'' — liczba kanałów.

Logarytm wyznacznika macierzy wariancji szumów jest coraz bardziej ujemny, bo dopasowanie się polepsza i elementy macierzy ''V'' maleją. Funkcją kary jest tu 2''pk''2/''N'' — funkcja liniowa rosnąca (od ''p''). Szukamy pierwszego istotnego minimum krzywej opisywanej tą funkcją. W praktyce analizy EEG najczęściej stosuje się rzędy w zakresie od 4 do 9. Poniższe rysunki ilustrują możliwe sytuacje:

[[Plik:AIC_rys_1.png|thumb|center|800px|U góry: symulacja modelu autorgresyjnego:
''x''(''t'') = 0,5·''x''(''t''−1) − 0,75·''x''(''t''−2) + ''e''(''t'')
przy częstości próbkowania 100 Hz. Maksimum powinno być w 20 Hz.

AIC daje prawidłowo minimum dla rzędu 2 i widmo jest zgodne z oczekiwanym.]]

[[Plik:AIC_rys_2.png|thumb|center|800px|U góry: symulacja sygnału:

''x''(''t'') = cos(2π·20''t'') + ''e''(''t'')
AIC nie daje jednoznacznego wyniku.
Wydaje się, że minimum istnieje dla rzędu 9.
Wybranie takiego rzędu powoduje wytworzenie maksimum nie tylko w 20 Hz ale i w 43 Hz. ]]
 

===Sygnały wielokanałowe===
Sygnały wielokanałowe to zbiory danych, w których podczas jednej sesji zapisu zbieramy wartości wielu sygnałów w tych samych chwilach czasu. Zapisy EEG z wielu elektrod są oczywiście zapisami wielokanałowymi. Ważna jest tu ''jednoczesność'' rejestracji wielkości powiązanych ze sobą.

Przykładem danych wielokanałowych jest zapis EEG z wielu elektrod.

[[Plik:Czlowiek_badanie.gif|800px|thumb|center|Rejestracja EEG jako zapis wielokanałowy.]]

W przypadku wielokanałowego modelu w wyżej wypisanych wzorach opisujących model AR musimy dokonać pewnych modyfikacji. Jeśli zbieramy jednocześnie ''k'' sygnałów (kanałów), to ''X''(''t'') jest w rzeczywistości wektorem ''k''-wierszowym [''X''1(''t''), ''X''2(''t''),..., ''Xk''(''t'')]T, współczynniki modelu są (każdy z nich) macierzami rozmiaru ''k''×''k''; wartości szumu są inne w każdym sygnale więc ''E''(''t'') jest również wektorem [''E''1(''t''), ''E''2(''t''),..., ''Ek''(''t'')]T.

Po zaaplikowaniu transformacji Z i przejściu do dziedziny częstości, każda z uzyskanych transformat jest również albo wektorem ''k''-wierszowym (''X''(''f''), ''E''(''f'')) albo macierzą ''k''×''k'' (''A''(''f''), ''H''(''f'')).

Gęstość widmowa mocy jest w tym przypadku dana jako (znak + oznacza tu transpozycję macierzy połączoną ze sprzężeniem zespolonym jej elementów):
<equation id="8"><math>
S(f)=X(f)X^+(f)=H(f)E(f)[H(f)E(f)]^+=H(f)E(f)E^+(f)H^+(f)=H(f)VH^+(f)
</math></equation>

Skorzystaliśmy tu z wiadomości, że widmo procesu czysto losowego ''E''(''f'') jest funkcją stałą, a po wymnożeniu ''E''(''f'')''E''+(''f'') dostajemy macierz wariancji szumów ''V'' (rozmiaru ''k''×''k''), niezależną od częstości.

Z powyższego wzoru widać, że funkcja gęstości widmowej mocy jest macierzą rozmiaru ''k''×''k''. Jej diagonalne elementy zawierają tzw. widma własne (auto-widma) każdego z sygnałów składowych, a elementy pozadiagonalne widma wzajemne (kross-widma).

Widzimy więc, że w przypadku analizy danych wielokanałowych mamy nie tylko wielkości opisujące każdy kanał osobno, ale również wielkości mówiące o informacji zawartej w zależnościach istniejących pomiędzy kanałami.

Widmo wzajemne opisuje istnienie spójnej zależności między dwoma sygnałami dla danej częstości. Jego moduł mówi nam o tym jak silna jest ta zależność, a faza mówi o wzajemnym przesunięciu fazowym składowych o danej częstości w każdym z dwóch sygnałów. Jeśli oba sygnały zawierają daną częstość, ale faza wzajemna tych składowych zmienia się, to widmo wzajemne będzie mieć wartość niską.
Aby mieć wygodniejsze narzędzie porównawcze wprowadza się znormalizowaną wersję widma wzajemnego zwane koherencją (zwyczajną):
<equation id="9"><math>
K_{ij}(f)=\frac{S_{ij}(f)}{\sqrt{S_{ii}(f)S_{jj}(f)}}
</math></equation>

Moduł koherencji zawiera się w przedziale [0,1], co znacznie ułatwia porównywanie wyników.

===Miary cząstkowe===

W przypadku, gdy nasz zbiór danych składa się z dwóch kanałów, interpretacja koherencji jest w zasadzie jednoznaczna. Wydawać by się mogło, że jeśli będziemy ich używać do badania układów trzy- i więcej-kanałowych, to poza większą ilością obliczeń sytuacja ideowo nie będzie się różnić. Niestety, wraz ze wzrostem liczby kanałów sytuacja ulega zmianie.

Już w sytuacji trzech kanałów możemy napotkać tzw. wspólne źródło: kanał będący źródłem sygnału, który pojawia się w pozostałych kanałach (jak ta sama audycja u dwóch słuchaczy radia w innych miastach). Wtedy wartości koherencji nawet pomiędzy kanałami-odbiorcami sygnału będą wskazywać na istnienie związku między nimi, chociaż kanały te mogą nie być w żaden inny sposób ze sobą związane.

Aby móc łatwiej odróżnić taką sytuację dobrze byłoby umieć jakoś &bdquo;odjąć” wpływ kanału-źródła na pozostałe. Czynność taka nazywa się w literaturze ''parcjalizacją'' względem danego kanału.

W ogólności mamy do dyspozycji funkcję koherencji cząstkowej, która zachowuje się podobnie do koherencji zwyczajnej, ale pokazuje związek między kanałami po odjęciu wszystkich kombinacji liniowych pozostałych kanałów. Zdefiniowana jest ona następująco:
<equation id="10"><math>
C_{ij}(f)=\frac{\mathrm{M}_{ij}(f)}{\sqrt{\mathrm{M}_{ii}(f)\mathrm{M}_{jj}(f)}}
</math></equation>

We wzorze tym M''ij'' jest minorem macierzy widmowej ''S'', czyli wyznacznikiem macierzy ''S'' w której usunięto ''i''-ty wiersz i ''j''-tą kolumnę. Można tę definicję przekształcić do łatwiejszej do zastosowania postaci z użyciem elementów macierzy odwrotnej ''S''−1. Jeśli ''dij''(''f'') = [''S''−1]''ij''(''f''), mamy:

<equation id="11"><math>
C_{ij}(f)=(-1)^{i+j}\frac{d_{ji}(f)}{\sqrt{d_{ii}(f)d_{jj}(f)}}
</math></equation>

Tak więc miary cząstkowe muszą operować na więcej niż dwóch kanałach jednocześnie. Dzięki zastosowaniu wielokanałowego modelu AR założenie to jest spełnione i możemy w prosty sposób policzyć zarówno koherencje zwyczajne jak i cząstkowe dla dowolnej liczby kanałów w zestawie.

==Ćwiczenia==

W tekście ćwiczeń używać będziemy następujących założeń: posiadamy ''k'' kanałów danych, używamy modelu AR rzędu ''p'', częstość próbkowania danych wynosi ''fs''. W każdym kanale zebrano ''N'' próbek danych.

Aby ułatwić zapoznanie się z parametrycznymi metodami analizy widmowej, a nie rozpraszać uwagi na dopasowywanie współczynników modelu, przygotowana została biblioteka procedur (w języku Python) estymacji współczynników wielokanałowego modelu AR dla posiadanych danych. Aby jej użyć musimy napisać:
<tt>import mtmvar</tt>

W zaimportowanym module mamy do dyspozycji funkcję <tt>mult_AR</tt>, która oczekuje parametrów:
# macierzy danych o wymiarach (''k'', ''N'');
# wybranego rzędu modelu;
# numeru metody liczenia współczynników (aktualnie należy wybrać zawsze liczbę 1).

Funkcja zwraca krotkę zawierającą dwa obiekty:
# macierz policzonych współczynników, rozmiaru (''p'', ''k'', ''k'') — czyli ''p'' współczynników macierzowych rozmiaru ''k''×''k'';
# macierz wariancji szumów ''V'', rozmiaru (''k'', ''k'') — patrz równanie (<xr id="8"/>).

Uwaga: macierz danych wejściowych musi mieć zawsze rozmiar (''k'',''N''), nawet jeśli ''k''=1 (możemy ją wtedy uzyskać z pojedynczego wektora <tt>dane</tt> funkcją <tt>numpy.reshape(dane,(1,-1))</tt>).

===Kilka słów o transformacji Z===

Dla skończonego ciągu współczynników ''A''(0), ''A''(1), ..., ''A''(''p'') ich transformata Z może być obliczona następująco:
<equation id="12"><math>
A(z)=A(0)+A(1)z^{-1}+A(2)z^{-2}+...+A(p)z^{-p}=\sum_{j=0}^{p}A(j)z^{-j}
</math></equation>

Aby obliczyć wartość transformaty dla konkretnej częstości ''f'' musimy w powyższym wzorze dokonać podstawienia
<equation id="13"><math>
z=\exp(2\pi if \Delta t),
</math></equation>
gdzie Δ''t'' = 1 / ''fs''.

Uwaga: procedura <tt>mult_AR</tt> zwraca współczynniki od ''A''(1) do ''A''(''p'') jak dla równania (<xr id="3"/>). Aby mieć zgodność z równaniem (<xr id="4"/>) musimy założyć ''A''(0) = 1 oraz zmienić znak pozostałych współczynników na przeciwny.

===Ćwiczenie 1===

Z danych EEG zebranych na zajęciach dotyczących EEG spoczynkowego wyodrębnij jeden kanał. Wytnij z niego sygnał o długości 1000 próbek. Przefiltruj wycięty sygnał filtrem górnoprzepustowym (np. Butterwortha) o częstości odcięcia 1 Hz.

Oblicz współczynniki modelu AR dla wyciętego sygnału dla rzędów od 1 do 5. Zobacz również jak ze wzrostem rzędu modelu zmienia się macierz wariancji szumu.

Powtórz to samo dla sygnału w postaci pojedynczego sinusa oraz dla szumu.

Napisz funkcję liczącą kryterium Akaikego dla posiadanych danych dla zakresu rzędów 1-20. Funkcja powinna działać dla dowolnej liczby kanałów. Następnie napisz procedurę rysującą policzone kryterium tak, aby można było ocenić wizualnie jego przebieg i wybrać optymalny rząd modelu AR.

===Ćwiczenie 2===
Napisz funkcję obliczającą macierze ''A''(''f'') i ''H''(''f'') z równań (<xr id="4"/>) i (<xr id="5"/>) dla wybranego zestawu częstości z zakresu ''f''0-''f''max. Wykorzystaj tutaj równanie (<xr id="12"/>). Funkcja ma działać dla danych wielokanałowych (no i oczywiście jednokanałowych jako przypadek szczególny), tzn. jej argumentami powinny być: macierz zawierająca sygnał i rząd modelu.

Stosując napisaną funkcję oraz równanie (<xr id="8"/>) oblicz macierz gęstości widmowej mocy w zakresie częstości od 0 Hz do częstości Nyquista dla danych z poprzedniego ćwiczenia (z użyciem optymalnego rzędu modelu AR). Narysuj wykresy widm własnych i wzajemnych.

===Ćwiczenie 3===

* Wygeneruj dwa sygnały sinusoidalne o długości 1000 próbek każdy, o tej samej częstości 32 Hz i częstości próbkowania 128 Hz, ale różnych fazach początkowych.
* Pierwszy sygnał powinien mieć fazę początkową równą 0, drugi sygnał sinusoidalny powinien mieć fazę początkową równą π/4.
* Do drugiego z sygnałów dodaj małą (o amplitudzie ok 0,2 amplitudy sinusoidy) składową losową (czyli dodatkowy niezależny szum biały).
* Z tak otrzymanych sygnałów utwórz jeden sygnał dwukanałowy (macierz o rozmiarze <tt>(2,1000)</tt>).

Podobnie jak poprzednio, ustal optymalny rząd modelu AR (tym razem dwukanałowego) i oblicz macierz gęstości widmowej mocy. Oblicz koherencje między tymi sygnałami. Narysuj moduł i fazę koherencji ''C''12 i ''C''21.

Zmień fazę początkową drugiego sygnału. Jak zmienia się funkcja koherencji?

===Ćwiczenie 4===

Wygeneruj układ trzech sygnałów w następujący sposób:
* jako pierwszego kanału użyj sygnału z [[Pracownia_EEG/AR_1#Ćwiczenie 3|ćwiczenia 3]];
* sygnał_w_drugim_kanale(''t'') = 0,4 * sygnał_z_pierwszego_kanału(''t''−1) + szum1;
* sygnał_w_trzecim_kanale(''t'') = 0,3 * sygnał_z_pierwszego_kanału(''t''−2) + szum2.

Oblicz macierz koherencji zwyczajnych dla tego układu i na ich podstawie wyznacz zależności między kanałami. Powtórz to samo dla koherencji cząstkowych.

Wygeneruj zestaw danych jak poprzednio używając w kanale 1 sygnału z ćwiczenia 1. Powtórz obliczenia i porównaj wyniki.

Wyniki wszystkich obliczeń przedstaw na rysunkach.

===Ćwiczenie 5===

Z danych zawierających spoczynkowe EEG wytnij dwa fragmenty: zawierający i nie zawierający czynności alfa. Fragmenty powinny mieć cztery wybrane kanały danych (dwa z tyłu i dwa z przodu głowy, na przykład O1, O2, F3, F4) oraz długość ok. 500 próbek.

Dopasuj czterokanałowe modele AR do wyciętych fragmentów danych. Oblicz macierze gęstości widmowej mocy, koherencji zwyczajnych i koherencji cząstkowych dla obu fragmentów. Narysuj wykresy otrzymanych funkcji.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-27T13:39:07Z

Maciek: /* Polecenie: */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>scipy.signal.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Uwaga: funkcja <tt>numpy.correlate</tt> zasadniczo robi to samo, ale wyraźnie dłużej, szczególnie dla dłuższych sygnałów.

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print(koreluj(a,a))
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]</math>    (10)
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie <xr id="uid98">(%i)</xr>).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print(koreluj(a,b))
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-27T12:27:52Z

Maciek:

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print(koreluj(a,a))
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]</math>    (10)
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie <xr id="uid98">(%i)</xr>).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print(koreluj(a,b))
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-23T22:02:27Z

Maciek: /* Polecenie: */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print(koreluj(a,a))
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]</math>    (10)
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie <xr id="uid98">(%i)</xr>).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print(koreluj(a,b))
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-23T21:58:26Z

Maciek: /* Polecenie: */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print(koreluj(a,a))
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]</math>    (10)
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie <xr id="uid98">(%i)</xr>).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print(koreluj(a,b))
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-23T21:57:59Z

Maciek: /* Polecenie */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]</math>    (10)
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie <xr id="uid98">(%i)</xr>).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print(koreluj(a,b))
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T21:30:36Z

Maciek: /* Funkcja kowariancji (wzajemnej) */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]</math>    (10)
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie <xr id="uid98">(%i)</xr>).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:46:21Z

Maciek: /* Polecenie */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie <xr id="uid98">(%i)</xr>).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:45:59Z

Maciek: /* Polecenie */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie <xr id="uid98"> %i</xr>).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:45:37Z

Maciek: /* Polecenie */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie<xr id="uid98"> %i</xr>).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:44:41Z

Maciek: /* Polecenie */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie <xr id="uid98">%i</xr>).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:44:04Z

Maciek: /* Polecenie */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie <xr id="uid98">%i</xr>).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:43:09Z

Maciek: /* Polecenie */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie <xr id="uid82">%i</xr>).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:42:07Z

Maciek: /* Polecenie */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie <xr id="uid82">%i</xr>) skorzystaj przy tym z własności opisanej równaniem <xr id="uid82">(%i)</xr>.
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:41:16Z

Maciek: /* Polecenie: */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82">(%i)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie 13) skorzystaj przy tym z własności opisanej równaniem (14).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:40:51Z

Maciek: /* Polecenie: */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem (<xr id="uid82">(%i)</xr>). Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie 13) skorzystaj przy tym z własności opisanej równaniem (14).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:40:34Z

Maciek: /* Polecenie: */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem (<xr id="uid82"> </xr>). Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie 13) skorzystaj przy tym z własności opisanej równaniem (14).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:40:18Z

Maciek: /* Polecenie: */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem (<xr id="uid82"></xr>). Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie 13) skorzystaj przy tym z własności opisanej równaniem (14).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:39:59Z

Maciek: /* Polecenie: */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem (<xr id="uid82">)</xr>. Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie 13) skorzystaj przy tym z własności opisanej równaniem (14).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:39:14Z

Maciek: /* Polecenie: */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid82"></xr>(4). Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie 13) skorzystaj przy tym z własności opisanej równaniem (14).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:38:37Z

Maciek: /* Polecenie: */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="uid79">%i</xr>(4). Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie 13) skorzystaj przy tym z własności opisanej równaniem (14).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T16:37:59Z

Maciek: /* Polecenie: */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem <xr id="id89">%i</xr>(4). Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie 13) skorzystaj przy tym z własności opisanej równaniem (14).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T15:57:58Z

Maciek: /* Polecenie */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem (4). Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie 13) skorzystaj przy tym z własności opisanej równaniem (14).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]



===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/EEG wlasności EEG spoczynkowego

2024-11-22T15:57:20Z

Maciek: /* Polecenie: */

[[Pracownia EEG 2|Pracownia EEG 2]] / Własności EEG spoczynkowego: funkcja autokorelacji i widmo

=Estymacja funkcji autokowariancji, autokorelacji i koherencji sygnału.=
==Wstęp==
Z funkcjami tymi spotkaliśmy się już na zajęciach z [[Ćwiczenia_4|analizy sygnałów]].

Funkcja autokowariancji sygnału charakteryzuje liniową zależność wartości tego sygnału w danej określonej chwili czasu od wartości (tego samego sygnału) w innej chwili.
W przypadku [[Nieparametryczne_widmo_mocy#Sygna.C5.82y_stochastyczne | stacjonarnych procesów stochastycznych]], przebieg tej funkcji nie zależy od czasu.
Oznacza to, że obliczając funkcję autokorelacji sygnału pomiędzy chwilą czasu <math>x(t)</math> i <math>x(t+\tau )</math> otrzymamy tę samą wartość, jak dla przypadku obliczania funkcji autokorelacji pomiędzy momentami <math>x(t + T)</math> i <math>x(t + T+\tau )</math>, gdzie <math>T</math> to dowolny przedział czasu. Innymi słowy, funkcja autokorelacji procesu stacjonarnego zależy tylko od odstępu czasu pomiędzy próbkami <math>\tau</math>, dla którego jest wyznaczana, a nie od konkretnej chwili czasu. Odrębną klasę sygnałów stanowią procesy niestacjonarne, w przypadku których funkcja autokorelacji będzie zależeć od czasu <math>t</math> w którym jest obliczana. Estymator funkcji autokowariancji uzyskuje się poprzez obliczanie iloczynów wartości sygnału <math>x</math> w chwilach czasu <math>t</math> czyli <math>x(t)</math> i wartości sygnału <math>x</math> w chwili czasu ''t''+τ czyli <math>x(t+\tau)</math> i uśredniając wartości iloczynów po czasie <math>T</math>:

<equation id="uid79">
<math>
\gamma (\tau) = \mathrm{cov}(x(t),x(t-\tau ))=\mathrm{E}[(x(t)-\mu )(x(t-\tau )-\mu )]
</math>     (1)
</equation>

gdzie:

<equation id="uid80">
<math>
\mu = \mathrm{E}[x(t)]
</math>     (2)
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid81">
<math>
\gamma (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu )(x(t-\tau )-\mu )dt
</math>     (3)
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid82">
<math>
\gamma (k) = \frac{1}{N-1}\sum _{i=1}^{N-|k|}(x(i+k)-x_s)(x(i)-x_s)
</math>     (4)
</equation>

gdzie:

<equation id="uid83">
<math>
x_s = \frac{\sum _{i=1}^{N}x(i)}{N}
</math>     (5)
</equation>

Funkcja autokowariancji może osiągać dowolne wartości, dlatego aby można było porównać przebieg tej funkcji np. pomiędzy dwoma sygnałami, wprowadzono wersję znormalizowaną tej funkcji — ''funkcję autokorelacji''. Normalizacja ta wygląda następująco:

<equation id="uid84">
<math>
\rho (k) = \frac{\gamma (\tau )}{\sigma^2}
</math>     (6)
</equation>

gdzie:

<equation id="uid85">
<math>
\sigma ^2 = \mathrm{E}[(x(t)-\mu )^2]
</math>     (7)
</equation>

Wariancję sygnału (<math>\gamma (0)=\sigma ^2</math>) można wyrazić przez funkcję autokowariancji dla przesunięcia <math>\tau =0</math>. Wynika z tego, że funkcja korelacji przyjmuje wartości z zakresu [−1, 1]. Ostatecznie estymator funkcji autokorelacji można zapisać jak poniżej:

<equation id="uid86">
<math>
\rho(k) = \frac{\gamma (k)}{\gamma (0)}
</math>     (8)
</equation>

Funkcję autokorelacji estymuje się w celu określenia, w jakim stopniu wartości sygnału w danej chwili czasu wpływają na wartości sygnału w kolejnych chwilach czasu. Ma to kluczowe znaczenie przy rozpoznawaniu rodzaju procesów fizycznych odpowiedzialnego za generowanie sygnału. Funkcja ta zawsze mam maksimum dla przesunięcia <math>\tau =0</math>.

Cechą charakterystyczną funkcji autokorelacji jest to, iż w przypadku sygnałów harmonicznych, przebieg funkcji ma charakter okresowy, z okresem takim samym jak okres badanego sygnału. W przypadku szumu, funkcja autokorelacji ma kształt funkcji delta Diraca.

==Polecenie:==
Do policzenia funkcji autokorelacji posłużymy się funkcją biblioteczną <tt>numpy.correlate</tt>. Funkcja ta, wbrew nazwie, oblicza wyłącznie splot swoich dwóch pierwszych argumentów wywołania. Musimy je więc przystosować do obliczenia wielkości zgodnie ze wzorem (4).

Zaimplementuj funkcję do obliczania funkcji korelacji zgodnie ze wzorem (4). Funkcja powinna przyjmować jako parametry dwa wektory, a zwracać wektor zawierający ich funkcję autokorelacji.

Wywołanie przykładowe:
<source lang = python>
a = np.array([1,2,3])
print koreluj(a,a)
</source>
powinno dać wynik:
[-0.5 0. 1. 0. -0.5]







==Zadanie 1: Pomiar sygnału EEG ==

Zarejestruj 10 minut sygnału EEG, w trakcie których badana osoba będzie siedziała z otwartymi oczami oraz kolejne 10 minut w stanie czuwania z zamkniętymi oczami. Rejestrację należy wykonać na pełnym czepku 10-20 z częstością próbkowania 128 Hz.

==Zadanie 2: Funkcje autokowariancji i autokorelacji==
W tym zadaniu posłużymy się sygnałami zarejestrowanymi w punkcie 3. poprzedniego ćwiczenia. Zaobserwuj, na którym kanale rytm alfa osiąga najwyższą wartość. Następnie zaimplementuj w Pythonie następujące kroki:

# Wczytaj dane z wybranego kanału.
# Oblicz funkcję autokorelacji dla sygnału zarejestrowanego w warunkach, gdy osoba badana siedziała z otwartymi oczami. Narysuj autokorelogram, to jest wykres wartości funkcji autokorelacji względem przesunięcia <math>\tau </math>. Oś <math>\tau </math> wyskaluj w sekundach.
# Powtórz krok 2, tym razem dla sygnału zebranego w warunkach czuwania z zamkniętymi oczami.
# Porównaj autokorelogramy.

=Związek autokorelacji z widmem sygnału=
==Wstęp==
Zgodnie z twierdzeniem Chinczyna, z którym zapoznaliśmy się na wykładzie z [[Twierdzenie_Wienera-Chinczyna|Analizy Sygnałów]], widmową gęstość mocy sygnału można policzyć jako transformatę Fouriera funkcji autokowariancji:

<equation id="uid93">
<math>
S(f) = \int _{-\infty }^{\infty }\gamma (\tau )e^{-2\pi i f \tau}d\tau </math>     (9)
</equation>

gdzie:

<ul>

<li>
<math>f</math> — częstość

<li>
<math>S(f)</math> — gęstość widmowa mocy

</ul>



==Polecenie ==
Zaimplementuj funkcję obliczającą transformację Fouriera dyskretyzując wzór (9) dla zadanego wektora częstości <tt>f</tt> i zadanej częstości próbkowania sygnału (tutaj: 10).





==Zadanie 3: Związek autokorelacji z widmem sygnału==
Oblicz gęstość widmową mocy sygnału zarejestrowanego w trakcie czuwania z zamkniętymi oczami, korzystając z twierdzenia Chinczyna oraz [[Nieparametryczne_widmo_mocy#Metoda_Welcha | metodą Welcha]].
Znajdź częstość rytmu α dla osoby, która była badana.

==Funkcja kowariancji (wzajemnej)==

W celu scharakteryzowania zależności wzajemnej dwóch sygnałów losowych, stosuje się funkcję kowariancji, zdefiniowaną w następujący sposób:

<equation id="uid98">
<math>
\gamma _{xy} (\tau ) = \mathrm{cov}(x(t),y(t-\tau ))=\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]
</math>
</equation>

gdzie:

<equation id="uid99">
<math>
\begin{array}{l}
\mu _x = \mathrm{E}[x(t)]\\
\mu _y = \mathrm{E}[y(t)]\\ \end{array}
</math>
</equation>

W przypadku sygnałów ciągłych estymatę tę można zapisać w poniższy sposób:

<equation id="uid100">
<math>
\gamma _{xy} (\tau ) = \frac{1}{T}\int _0^{T}(x(t)-\mu_x)(y(t-\tau)-\mu_y)dt
</math>
</equation>

natomiast dla sygnałów dyskretnych jako:

<equation id="uid101">
<math>
\gamma _{xy}(k) = \frac{1}{N-1}\sum _{i=0}^{N-k}(x(i+k)-x_s)(y(i)-y_s)
</math>
</equation>

W odróżnieniu od funkcji autokowariancji, funkcja kowariancji nie musi mieć maksimum dla przesunięcia <math>\tau =0</math>. Ponadto posiada ona następującą cechę:

<equation id="uid102">
<math>
\gamma _{xy}(-\tau ) = \gamma _{yx}(\tau )
</math>
</equation>

Funkcję kowariancji można znormalizować:

<equation id="uid103">
<math>
\rho (\tau) = \frac{\mathrm{E}[(x(t)-\mu _x)(y(t-\tau )-\mu _y)]}{\sqrt{\mathrm{E}[(x(t)-\mu _x)^2]\mathrm{E}[(y(t)-\mu _y)^2]}} = \frac{\gamma _{xy}}{\sigma_x\sigma_y}
</math>
</equation>
Otrzymaną funkcję nazywamy funkcją korelacji.
Jednym z zastosowań funkcji korelacji jest wyznaczanie czasu przejścia sygnału przez dany układ liniowy. Funkcja korelacji pomiędzy sygnałem na wejściu układu i sygnałem na jego wyjściu osiągnie wartość maksymalną dla przesunięcia <math>\tau </math> równego czasowi, jaki potrzebował sygnał na pokonanie danego układu. Niestety, taka metoda wyznaczania opóźnienia obarczona jest pewną wadą — w przypadku gdy prędkość sygnału bądź jego droga zależą od częstości, wtedy na wykresie funkcji korelacji nie uzyskamy wyraźnego maksimum.

=====Polecenie =====
Zaimplementuj funkcję obliczającą funkcję kowariancji dla różnych sygnałów ''x'' i ''y'' (równanie 13) skorzystaj przy tym z własności opisanej równaniem (14).
Przykładowe wywołanie:
<source lang = python>
a = np.array([1,2,3])
b = np.array([-1,-2,-3])

print koreluj(a,b,2)
</source>
powinno dać w wyniku:
[ 0.5 0. -1. 0. 0.5]


===Zadanie 4===
Z danych zarejestrowanych w trakcie czuwania z zamkniętymi oczami wybierz sygnały z następujących kanałów: Fp1, P3, Pz, P4, Fp2, O1, O2.

<ol>

<li>
Dla każdego kanału oblicz funkcję autokorelacji, zaś dla każdej pary kanałów oblicz funkcję korelacji wzajemnej. Wyniki zaprezentuj w formie kwadratowej macierzy wykresów (za pomocą funkcji subplot, tak jak na przykładowym rys. (rys. <xr id="uid9"> %i</xr>)). Na przekątnej macierzy narysuj funkcję autokorelacji odpowiednich kanałów, poza przekątną — funkcję korelacji wzajemnej. Wskaż kanały, które są najbardziej skorelowane ze sobą. Czy możliwe jest wyznaczenie opóźnienia sygnału pomiędzy tymi kanałami?

<li>
Powtórz punkt 1, tym razem jednak funkcję autokorelacji i korelacji wzajemnej oblicz na sygnałach przefiltrowanych filtrem wąskopasmowym w paśmie alfa charakterystycznym dla badanej osoby. ([[%C4%86wiczenia_7#Funkcje_do_projektowania_filtr.C3.B3w_IIR_dost.C4.99pne_w_module_scipy.signal|przypomnienie konstrukcji filtrów]])

<li>
Oszacuj istotność statystyczną zależności między parami kanałów. Twoją hipotezą zerową jest brak istotnej korelacji pomiędzy sygnałami zarejestrowanymi przez dwie różne elektrody EEG. Hipoteza alternatywna to występowanie zależności pomiędzy tymi sygnałami. Podanie estymatorów wariancji funkcji korelacji jest bardzo trudne, dlatego jednym ze sposobów oszacowania progu powyżej którego wartość funkcji korelacji można byłoby uznać za istotną statystycznie, jest zastosowanie metody ''bootstrap''. Teoretycznie, funkcja korelacji policzona dla dwóch rzeczywistych, nieskorelowanych sygnałów, powinna wynosić 0 dla każdego przesunięcia <math>\tau</math>. Tak jest jednak w przypadku sygnałów nieskończonych; w analizie sygnałów takowych nie spotkamy.

Dokonując losowej zamiany kolejności próbek, możemy doprowadzić do wytworzenia sygnałów zależnych losowo, które jednak ze względu na skończony czas trwania, dadzą niezerową funkcję korelacji. Poziom losowych fluktuacji tej funkcji oszacujemy wykonując następujące kroki:
<ol type="A">
<li> Losowa zamiana kolejności próbek w analizowanych sygnałach. Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji wzajemnej dla sygnałów policzonych w punkcie A.
<li> Powtórzenie kroków A i B wiele (np. 1000) razy.
<li> Oszacowanie 95% przedziału ufności dla wartości średniej funkcji korelacji wzajemnej dla danego przesunięcia <math>\tau</math> korzystając z otrzymanego w kroku C empirycznego rozkładu wartości tych funkcji dla sygnałów niezależnych.
<li> Powtórzenie kroków A-D dla kolejnych przesunięć <math>\tau</math>.
<li> Sprawdzenie, dla których przesunięć <math>\tau </math> funkcje autokorelacji i korelacji obliczone dla oryginalnych sygnałów uzyskały wartości wyższe niż wartości progowe oszacowane dla sygnałów o losowych zależnościach.
</ol>

Procedura opisana powyżej ma jednak '''zasadniczą wadę'''. Staramy się w niej oszacować poziom przypadkowych korelacji pomiędzy dwoma sygnałami dla kolejnych przesunięć <math>\tau </math>, co jest niczym innym jak wielokrotnym powtórzeniem pewnego testu. Obserwowanie korelacji dla wielu par kanałów równocześnie również prowadzi do zwiększenia szansy na zaobserwowanie ekstremalnie dużych fluktuacji.
Występuje tu zatem ''problem wielokrotnych porównań''.
Przypominamy, iż może to doprowadzić do przypadkowego uznania wyników jako &bdquo;istotnych” statystycznie. Np. jeśli pojedynczy test wykonujemy na poziomie istotności 5% to dopuszczamy odrzucenie w 1 przypadku na 20 hipotezy zerowej pomimo, iż jest ona prawdziwa. Z drugiej jednak strony, jeśli powtórzymy wykonywany test 20 razy, to oczekujemy uzyskania 1 przypadku, w którym poziom ''p'' będzie mniejszy od 5% co jest przesłanką za odrzuceniem hipotezy zerowej.

W przypadku wykonywania serii testów należałoby więc zastosować odpowiednie poprawki, np. [http://www.bmj.com/content/310/6973/170.full korektę Bonferroniego] czy [http://en.wikipedia.org/wiki/False_discovery_rate false discovery rate (FDR)]. Innym rozwiązaniem w analizowanym przez nas problemie jest zastosowanie tzw. statystyk wartości ekstremalnych, które prowadzą do następujących zmian w procedurze:

<ol type="A">
<li> Losowa zmiana kolejności próbek w analizowanych sygnałach (we wszystkich analizowanych kanałach). Jeżeli pomiędzy dwoma sygnałami istnieją jakieś zależności, losowa zamiana próbek doprowadzi do zniszczenia tych związków. W ten sposób uzyskujemy sygnały, które teoretycznie są nieskorelowane.
<li> Obliczenie funkcji korelacji dla sygnałów otrzymanych w punkcie A.
<li> Zapamiętanie maksymalnej wartości bezwzględnej funkcji korelacji z punktu B (maksimum bierzemy po wszystkich przesunięciach i po wszystkich parach kanałów; dla funkcji autokorelacji, ze względu na jej normalizację do 1 dla zerowego przesunięcia, tam maksymalnych wartości poszukujemy dla przesunięć innych niż 0).
<li> Powtórzenie kroków A-C 1000 razy. Uzyskamy w ten sposób rozkład maksymalnych wartości funkcji korelacji możliwych do zaobserwowania dla sygnałów niezależnych.
<li> Wyznaczenie 95 centyla rozkładu wartości maksymalnych.
<li> Nałożenie na rysunki funkcji korelacji uzyskane w Zadaniu 2 poziomych linii symbolizujących poziom zależności dwóch sygnałów o losowych zależnościach i sprawdzenie, dla których przesunięć <math>\tau </math> wartości funkcji korelacji przekraczają estymowane progi istotności statystycznej.
</ol>

</ol>

[[Plik:Korelacje_wzajemne.png|700px|center|thumb|<figure id="uid9" />Przykład wyniku analizy korelacji wzajemnych dla sygnału niefiltrowanego z naniesionymi granicami możliwych fluktuacji.]]

==Wzajemna gęstość widmowa sygnałów==

Podobnie jak w przypadku twierdzenia Chinczyna dla pojedynczego sygnału, możliwe jest policzenie transformaty Fouriera funkcji kowariancji. Uzyskana w ten sposób wielkość nazywa się funkcją wzajemnej gęstości mocy widmowej sygnału:

<equation id="uid122">
<math>
S_{xy}(f) = \int _{-\infty }^{\infty }\gamma_{xy}(\tau )e^{-2\pi i f \tau}d\tau </math>
</equation>

W celu dalszego omówienia własności funkcji wzajemnej mocy widmowej sygnałów funkcję tę zapiszemy w postaci:

<equation id="uid123">
<math>
\begin{array}{l}
S_{xy}(f) = |S_{xy}(f)|e^{i\phi _{xy}(f)}\\
\\
\phi _{xy} = \arg(S_{xy})
\end{array} </math>
</equation>


Wartość bezwzględna funkcji wzajemnej gęstości mocy widmowej osiąga największą wartość dla '''częstości''', w których sygnały <math>x(t)</math> i <math>y(t)</math> są ze sobą skorelowane. Funkcja wzajemnej mocy widmowej sygnałów pozbawiona jest zatem wady, która charakteryzowała funkcję korelacji, to jest problemu z wyznaczeniem czasu transmisji sygnału, w przypadku gdy czas ten zależał od częstości. Przy pomocy funkcji wzajemnej mocy widmowej, czas ten można oszacować przy pomocy fazy tej funkcji — <math>\phi _{xy}(f)</math>. Jeśli funkcja wzajemnej mocy widmowej została wyznaczona pomiędzy sygnałami na wejściu i wyjściu układu liniowego, to faza ta reprezentuje przesunięcie fazowe sygnału przy przejściu przez układ. Czas tego przejścia można oszacować za pomocą następującej wyrażenia:

<equation id="uid124">
<math>
\tau = \frac{\phi _{xy}(f)}{2\pi f}
</math>
</equation>



===Zadanie 5===
Zaimplementuj funkcję obliczającą wzajemną gęstość widmową dla pary kanałów.

Oblicz i narysuj macierz gęstości widmowych (własnych i wzajemnych) dla kolejnych par kanałów (tych samych co w zadaniu 3). Wyniki zaprezentuj w postaci kwadratowej macierzy rysunków. Ponieważ są to funkcje zespolone, dobrze jest zaprezentować osobno ich wartość i fazę. Uzyskane wartości bezwzględne narysuj nad przekątną tej macierzy, a fazę pod przekątną.

===Zadanie 6===
Przygotuj sygnał dwukanałowy, w którym jako pierwszy sygnał wybierz fragment sygnału EEG (z danych zebranych wcześniej) o długości 2000 próbek, a jako drugiego sygnału użyj tego samego fragmentu EEG, ale opóźnionego o wybraną liczbę (1 - 5) próbek. Oblicz widma wzajemne tych sygnałów i zaprezentuj ich fazy na rysunku. Na podstawie tych widm znajdź wartość przesunięcia czasowego tych sygnałów.

Obliczenia powtórz w przypadku, gdy do drugiego sygnału dodany będzie szum o wariancji równej 0,25 wariancji oryginalnego sygnału.

Pracownia EEG 2/SSVEP 1

2024-11-12T11:59:17Z

Maciek: /* Analiza danych */

[[Pracownia EEG 2|Pracownia EEG 2]] / SSVEP

=Wstęp=
===Potencjały wywołane stanu ustalonego (ang. ''Steady State Evoked Potentials'', ''SSEP'')===

[[Plik:ep_ssep.png|768px|thumb|right|<figure id="fig:ep_ssep"></figure>
Porównanie przebiegu bodźców stosowanych do rejestracji Potencjałów Wywołanych oraz Potencjałów Wywołanych Stanu ustalonego.]]

Potencjały wywołane EEG, które mierzyliśmy na poprzednich zajęciach, są śladami reakcji mózgu na pewne specyficzne bodźce. Jak pamiętamy, były to podawane w pewnych odstępach czasu (zwykle około 1 s), krótkotrwałe (~20 ms) błyski światła. W trakcie bieżących zajęć będziemy kontynuowali pomiar czynności elektrycznej mózgu w trakcie oddziaływania na badanego pewnymi bodźcami, jednakże przebieg stymulacji zostanie zmieniony. W tym eksperymencie bodźcem będzie seria powtarzających się w sposób ściśle periodyczny błysków światła (<xr id="fig:ep_ssep">rys. %i</xr>).
Bodźce o takim przebiegu mogą mieć również postać krótkotrwałych dźwięków (np. trzasków), czy też impulsów mechanicznych (np. rytmiczny nacisk na skórę). Ślad elektrycznej odpowiedzi mózgu na szybko powtarzające się bodźce nazywamy '''potencjałami wywołanymi stanu ustalonego''' (ang. ''Steady State Evoked Potentials'', ''SSEP''). W zależności od modalności bodźca (czyli zmysłu, który jest poddawany stymulacji) wyróżniamy:
* wzrokowe potencjały wywołane stanu ustalonego (ang. ''Steady State Visual Evoked Potentials'', ''SSVEP''), w przypadku gdy stymulacja odbywa się za pomocą fali świetlnej (Silberstein, 1995; Vialatte, 2010).
* słuchowe potencjały stanu ustalonego (ang. ''Auditory Steady State Evoked Response'', ''ASSR''), w przypadku gdy stymulacja odbywa się za pomocą fali dźwiękowej.
* czuciowe potencjały wywołane stanu ustalonego (ang. ''Steady-State Somatosensory Evoked Potentials'', ''SSSEP''), wywoływane przy pomocy bodźców mechanicznych.
W języku polskim brakuje zwrotów, za pomocą których można prawidłowo scharakteryzować niektóre parametry bodźców wywołujących odpowiedź SSEP. W związku z tym, na potrzeby niniejszych ćwiczeń zostanie wprowadzona następująca nomenklatura:
* składowa bodźca — przebieg bodźca w jednym okresie stymulacji, np. pojedynczy, krótkotrwały błysk światła, dźwięk lub impuls mechaniczny (patrz <xr id="fig:ep_ssep">rys. %i</xr>),
* bodziec/stymulacja/pobudzenie — jest to ciąg o czasie trwania ''T'', złożony z kolejnych występujących po sobie składowych, powtarzających się co okres τ (patrz <xr id="fig:ep_ssep">rys. %i</xr>).
Charakterystyczną cechą zjawiska SSEP jest wzrost mocy sygnału EEG w częstości, z którą powtarzane są składowe bodźca. Np. jeśli błysk światła występuje co τ=100 ms, możemy oczekiwać wzrostu mocy elektrycznej aktywności mózgu dla częstości 10 Hz oraz niejednokrotnie dla jej harmonicznych. Moc sygnału ulega dodatkowemu zwiększeniu, jeśli badana osoba koncentruje silnie swoją uwagę na bodźcu. Cecha ta wykorzystywana jest m. in. do budowania tzw. interfejsów mózg komputer, czyli systemów, umożliwiających człowiekowi komunikację z komputerem bez pośrednictwa mięśni.

===Modulacja===
Analizując od strony fizycznej przebieg bodźców wywołujących zjawisko SSEP możemy zauważyć, iż mamy do czynienia z [[wikipl:Modulacja|procesem modulacji sygnału]], czyli chwilową zmianą jego parametrów. Niezależnie od tego, który z tych parametrów ulega zmianie, w procesie modulacji wyróżniamy dwa podstawowe sygnały — sygnał nośny oraz sygnał modulujący [[http://en.wikipedia.org/wiki/Modulation]]. W technice radiowej czy telewizyjnej sygnałem nośnym są fale elektromagnetyczne. W przypadku wywoływania zjawiska SSVEP sygnałem nośnym też jest fala elektromagnetyczna, ale o długości z zakresu światła widzialnego. Z kolei zjawisko ASSR powstaje na skutek stymulacji, w której falą nośną jest fala dźwiękowa o częstości od kilkuset do kilku tysięcy Hz. Sygnał, który zmienia parametry fali nośnej nazywamy sygnałem modulującym. Przebieg sygnału modulującego może mieć różny charakter, jednakże najczęściej stosowane są sygnały o kształcie sinusoidalnym lub prostokątnym. W przypadku modulacji za pomocą sygnału sinusoidalnego zmianie może ulec amplituda, częstość lub faza sygnału nośnego. Mówimy wtedy odpowiednio o modulacji amplitudowej (ang. ''Amplitude Modulation'', ''AM''), częstościowej (ang. ''Frequency Modulation'', ''FM'') lub fazowej (ang. ''Phase Modulation'', ''PM''). Modulacja FM i PM nie jest stosowana do wywoływania zjawiska SSEP, natomiast modulację AM wykorzystuje się do pomiaru ASSR, w związku z czym zostanie opisana szerzej.

===Modulacja amplitudowa sygnałem sinusoidalnym===

Niech:
<math>x(t) = A \sin(\Omega t)</math>
będzie sygnałem nośnym o częstości Ω i amplitudzie ''A'', zaś
<math>y(t) = B \sin(\omega t+ \varphi)</math>
będzie sygnałem modulującym o częstości ω, amplitudzie ''B'' i fazie początkowej φ. Sygnałem zmodulowanym amplitudowo nazywamy następujący sygnał:
<math>z(t) = A \sin(\Omega t) + B \sin(\omega t + \varphi)\cdot \sin(\Omega t)</math>
Korzystając ze wzorów trygonometrycznych, powyższy wzór można zapisać w postaci:
<math>z(t) = A \sin(\Omega t) + B \frac{\cos((\Omega - \omega) t+\varphi)}{2} - B \frac{\cos((\Omega + \omega) t+\varphi)}{2}</math>
Jak można zauważyć, energia sygnału zmodulowanego amplitudowo skupiona jest wokół trzech częstości:
* częstości nośnej <math>f_0=\Omega</math>,
* częstości <math>f_1=\Omega - \omega</math> i <math>f_2=\Omega + \omega</math>.
Część widma sygnału zmodulowanego skupioną w częstościach <math>f_1</math> i <math>f_2</math>
nazywamy wstęgami bocznymi.
[[Plik:glebokosc_modulacji.png|600px|thumb|right|<figure id="fig:glebokosc_modulacji"></figure>
Maksymalna i minimalna amplituda sygnału zmodulowanego w systemie AM.]]
[[Plik:AM_signals.png|600px|thumb|right|<figure id="fig:AM_signals"></figure>
Przebieg sygnału zmodulowanego w systemie AM w zależności od głębokości modulacji.]]
Modulację amplitudową można scharakteryzować za pomocą tzw. współczynnika głębokości modulacji, zdefiniowanego w następujący sposób (patrz <xr id="fig:glebokosc_modulacji">rys. %i</xr>):
<math>m=\frac{A_{max}-A_{min}}{A_{max}+A_{min}}</math>
Powyższy wzór można w prosty sposób przekształcić do następującej postaci:
<math>m=\frac{A_{max}-A_{min}}{A_{max}+A_{min}} = \frac{B}{A}</math>
Głębokość modulacji może osiągać dowolne wartości dodatnie, jednakże w praktyce współczynnik ten powinien zawierać się w granicy pomiędzy 0 a 1 (bądź od 0 do 100 %). W przypadku gdy głębokość modulacji osiąga wartość wyższą niż 1, sygnał zostaje zniekształcony (patrz <xr id="fig:AM_signals">rys. %i</xr>) i nie ma praktycznego wykorzystania.

===Modulacja amplitudowa falą prostokątną===
[[Plik:modulacja_fala_prostokatna.png|600px|thumb|right|<figure id="fig:modulacja_fala_prostokatna"></figure>
A. Przykład sygnału zmodulowanego amplitudowo fala sinusoidalną. B. Przebieg sygnału zmodulowanego falą prostokątną. Kolor niebieski — fala nośna, kolor czerwony — fala modulująca.]]
[[Plik:wypelnienie.png|600px|thumb|right|<figure id="fig:wypelnienie"></figure>
Współczynnik wypełnienia fali prostokątnej jest stosunkiem czasu trwania impulsu τ do okresu jego powtarzania ''T''.]]
W przypadku wywoływania zjawiska SSEP stosuje się bodźce, w których fala nośna (światło) zostaje zmodulowany sygnałem prostokątnym. Porównanie modulacji amplitudowej sygnałem o przebiegu sinusoidalnym i sygnałem o przebiegu prostokątnym zaprezentowano na rysunku
<xr id="fig:modulacja_fala_prostokatna">rys. %i</xr>.
W przypadku modulacji falą prostokątną rozważamy następujące parametry:
* częstość modulacji, która równa jest odwrotności okresu powtarzania się impulsu prostokątnego (na <xr id="fig:modulacja_fala_prostokatna">rys. %i</xr> okres ten jest równy ''T''),
* amplitudę modulacji,
* wypełnienie fali, które zdefiniowane jest w następujący sposób:
<math> d = \frac{\tau}{T}</math>

=Fizjologia zjawisk SSEP i SSVEP=

==SSEP==
Potencjały Wywołane Stanu Ustalonego to typ odpowiedzi mózgu na bodziec powtarzany ze stałą częstotliwością. Efektem takiej stymulacji jest pojawienie się w określonych obszarach kory mózgowej częstotliwości korespondującej z częstotliwością podawanego bodźca.

Stawianych jest kilka hipotez, z których trzy starają się tłumaczyć najbardziej podstawowy mechanizm pojawiania się tego zjawiska w mózgu:
* Pierwsza z nich mówi, iż powtarzany z określoną częstością bodziec wywołuje każdorazowo odpowiedź, a ich ciąg znajduje odbicie w rejestrowanym sygnale EEG (Lachowska, 2009; Rance, 2008). Zakłada się tutaj, iż do powstania odpowiedzi konieczne są niższe piętra przetwarzania informacji oraz brak specyficznego obszaru kory lub sieci neuronalnej odpowiedzialnej za obróbkę tego typu bodźców. Argumentów potwierdzających dostarczają tutaj badania na zwierzętach, gdzie rejestrowano SSEP z poszczególnych pięter układu nerwowego (Yoris, 1992; za: Rance, 2008). Słabe strony tej hipotezy ujawniają badania neuroobrazownia, w których rejestruje się aktywność w rejonach niezwiązanych z przetwarzaniem pojedynczego impulsu danej modalności (Pastor, 2003; Reyes, 2004). Sugeruje to, iż istnieje obszar lub sieć neuronów odpowiedzialna za przetwarzanie tego typu bodźca i jest ona aktywowana wraz z rejonami kory, których zadaniem jest odbiór i interpretacja danych dostarczanych przez poszczególne zmysły.
* Druga z tych hipotez mówi, iż w trakcie stymulacji dochodzi do synchronizacji odpalania potencjałów czynnościowych przez neurony, co przejawia się zwiększeniem siły odpowiedzi w danej częstotliwości na tle aktywności spontanicznej mózgu (Moratti, 2007).
* Trzecia hipoteza zakłada, że obserwowany w sygnale potencjał jest związany ze wzrostem amplitudy odpowiedzi aktywowanych neuronów (Nikulin, 2007; za: Vialatte, 2010).

Żadne ze wspomnianych badań nie zostało przeprowadzone z myślą o pokazaniu
genezy indukowania potencjału SSEP, lecz dotyczyły wybranych bodźców i zagadnień
związanych z ich charakterystyką odpowiedzi. Na podstawie zebranych dotychczas danych trudno orzec o słuszności którejś z wyżej wymienionych hipotez.

==SSVEP==

Wzrokowe Potencjały Wywołane Stanu Ustalonego (SSVEP) powstają pod wpływem stymulacji bodźcem świetlnym powtarzanym ze stałą częstością. W trakcie stymulacji w sygnale EEG obserwowany jest wzrost mocy w częstościach związanych z częstością pulsującego światła. Charakterystyczne dla potencjałów SSVEP jest występowanie zarówno częstości podstawowej — analogicznej jak częstość stymulatora — jak i pierwszej i drugiej harmonicznej oraz subharmonicznych (Hermann, 2001; Pastor, 2003; Vialatte, 2008). W pracy (Regan, 1989; za: Silberstein, 1995) wyróżniono szereg komponentów, które są charakterystyczne dla SSVEP. W zależności od częstości stymulacji zaobserwowana została zmienność w kształcie oraz latencji charakterystycznych załamków SSVEP. Dla częstości wysokich od 25 do 60 Hz — charakterystyczna składowa fali pojawia się do 30 do 60 ms po bodźcu i odznacza się małą zmiennością międzyosobniczą. Wcześniejsze załamki (ok. 10 ms) są obserwowane, ich latencja wydaje się być zależna od wieku osoby. Przedział częstości niskich od 15 do 25 Hz — odznacza się obecnością swoistego komponentu od około 85 do 120 ms po bodźcu. W tym przypadku wariancja wewnątrz grupy jest większa w porównaniu do częstości wysokich. Najtrudniej trafnie wyodrębnić charakterystyczne składowe dla odpowiedzi na niskie częstotliwości stymulatora. Latencja w tym przypadku waha się od 135 do 350 ms.

===Przestrzenna lokalizacja generatorów SSVEP.===
Pomimo, iż powstanie SSVEP jest nierozerwalnie związane z okolicami wzrokowymi kory mózgowej (Bianciardi, 2009; Pastor, 2003; Silberstein, 1995), jego występowanie mapuje się również w innych rejonach mózgu. Wytyczenie obszarów odpowiedzialnych za generowanie potencjału zostało podjęte przy pomocy różnych metod mierzących aktywność mózgu. Oprócz EEG wykorzystano PET (Pastor, 2003), MEG (Fewcett, 2004; za: Vialatte, 2010) i fMRI (Bayram, 2011; Bianciardi, 2009; Parkes, 2003). Wyniki tych badań nie dają jednoznacznej odpowiedzi na stawiane pytanie, ale można na ich podstawie wskazać na kilka struktur, których aktywność wydaje się być znacząca i każdorazowo rejestrowana. Głównym obszarem generującym oscylujący potencjał jest pierwszorzędowa kora wzrokowa V1. Jej aktywacja zaznacza się w momencie stymulacji bodźcami świetlnymi bez względu na przedział częstotliwości i ich parametry. Różne badania donoszą natomiast o dodatkowych obszarach mających swój udział w generowaniu odpowiedzi mózgowej na pulsujący bodziec (V5, (Fawcett, 2004; za: Vialatte, 2010) kora czołowa i skroniowa, V2 (Sriniviasan, 2006, 2007; za: Vialatte, 2010). Badanie wykonane za pomocą PET (Pastor, 2003) przybliżyło szczegóły rozkładu aktywacji ośrodków korowych podczas generowania SSVEP. Oprócz zlokalizowania jego występowania w obszarach płatów potylicznych, skroniowych oraz ciemieniowych, dzięki użyciu różnych znaczników nakreślone zostały granice aktywności kory w zależności od częstotliwości stymulatora. Dla niskich częstotliwości (w badaniu reprezentowanych przez 5Hz) obserwuje się aktywność w polach Brodmanna (BA) 17 i 18 oraz w lewej półkuli móżdżku, dla częstości średnich pobudzony był obszar pierwszorzędowej kory wzrokowej oraz kory asocjacyjnej (BA 17 i 18). Nieco odmienne rezultaty otrzymano dla częstości 40 Hz, która pobudzała tylną część V1 oraz korę asocjacyjną prawej półkuli. Taki rozkład aktywacji przy wyżej
wymienionych częstościach może być związany z funkcjonalny podziałem V1 — obszar przedni pobudzany przez niskie i średnie częstości (<30 Hz) jest odpowiedzialny za widzenie peryferyjne, wtedy pobudzona była dość duża powierzchnia kory. 40 Hz aktywuje natomiast rejony odpowiedzialne za widzenie centralne, stąd mały, ograniczony do wybranych kolumn, obszar pobudzenia. Rejony, którym przypisane zostało generowanie SSVEP, nie ograniczały się do okolic wzrokowych. Oprócz okolicy V1 wymieniany jest również obszar V5, odpowiedzialny za detekcje ruchu, mający bezpośrednie połączenia z V1, inne okolice wzrokowe oraz kora czołowa. Niskoczęstotliwościowe SSVEP zauważano również na poziomie struktur śródmózgowia — w ciele kolankowatym bocznym, co zaowocowało hipotezą o podkorowej proweniencji takich potencjałów.

Tak zróżnicowany obraz aktywności wywoływanych przez różne częstości SSVEP może wynikać z różnych funkcjonalnych i anatomicznych właściwości poszczególnych regionów. W układzie wzrokowym człowieka rozpoznane zostały 3 odmienne drogi przetwarzania informacji odpowiadającej tej modalności (Chatterjee, 2003; za: Vialatte, 2010; Gazzaniga, 2004; za: Vialatte, 2010). Każda z nich związana jest z innym typem czopków: odpowiadającymi na krótkie, średnie o długie fale. Droga ''Parvocellular'' (PC) mająca swój początek w ''midget retinal ganglion cells'' (RGCs) przetwarza informację o kolorze, kształcie oraz przestrzennym kontraście. Jest wyczulona szczególnie na przenoszenie informacji o kolorze czerwonym i zielonym, która jest przekazywana z czopków L i M (''long-'' i ''mediumwave''). Z kolei droga ''Magnocellular'' (MC), będąca dużo szybszym kanałem, bierze swój początek w ''parasol retinal ganglion cells''. Odpowiada ona za dostarczenie informacji o ruchu i głębi. Również korzysta z informacji z czopków M i L. Ostatnio odkryto trzeci z kanałów — drogę ''Koniocellular'' (KC) zaczynającą się w ''bistratisfied retina ganglion cells'', odpowiadający za percepcję kolorów błękitnego oraz żółtego. Niektórzy badacze wysuwają hipotezę, że wyłącznie tan kanał dostarcza informacji o kolorach, podczas gdy kanał PC odpowiada za dobrą rozdzielczość percepowanej informacji (Foxe, 2008; za: Vialatte, 2010; Chatterjee, 2003; za: Vialatte, 2010). Droga MC tworzy tzw. kanał brzuszny obróbki informacji a szlak KC i PC — kanały grzbietowe. Na pytanie o zależność pomiędzy rodzajem kanału a SSVEP żaden z badaczy nie udzielił wyczerpującej odpowiedzi. Podejrzewa się, iż w zależności od miejsca generowania SSVEP siła odpowiedzi będzie zależna od wyglądu bodźca. Możliwe, iż obszary kanału grzbietowego będą odznaczały się predylekcją do bodźców jednobarwnych, niejaskrawych, o dość dużych rozmiarach oraz migających z wysoką częstotliwością. Drogi KC i PC natomiast będą generować mocne SSVEP, jeżeli będą pobudzane przez kolorowe kontrastowe bodźce o małych rozmiarach w niskiej częstości. Odmienną hipotezę zaproponował McKeefry (McKeefry, 1996, za: Vialatte, 2010), który skojarzył drogi obróbki informacji z rodzajem komórek. W ten sposób upatruje on powstawanie pierwszej harmonicznej dzięki aktywności komórek tonicznych i drogi PC, a drugiej harmonicznej — dzięki komórkom fazowym i szlakowi MC. W świetle tych hipotez należałoby się spodziewać, iż siła odpowiedzi będzie zależeć od wyglądu stosowanego bodźca, lokalizacji rejestracji sygnału na głowie oraz częstości.

==Zadanie 1==

===Procedura 1 ===
W programie Psychopy przygotuj procedurę, w ramach której osoba badana będzie patrzeć na migający biały kwadrat na czarnym tle. Częstość migania ma być wybierana losowo z puli: 5, 12, 15, 20 Hz, wypełnienie ma wynosić 50%. Jedna próba ma trwać 5 s. Po 5-sekundowym okresie migania, powinna się pojawić przerwa o losowym czasie trwania od 3 do 7 sekund. Momenty pojawiania się poszczególnych częstości powinny być zapisywane w tagach. Każdego warunku należy zebrać po 30 powtórzeń.

===Procedura 2 ===
W programie Psychopy przygotuj procedurę, w ramach której osoba badana będzie reagować na czerwony kwadrat pojawiający się wśród białych migających kwadratów na czarnym tle. Częstość migania ma wynosić 12 i 15 Hz, odpowiednia dla pierwszego i drugiego bloku, wypełnienie ma wynosić 50%. Jedna próba ma trwać 7 s, próby powtarzają się po 50 razy. W ramach próby badany patrzy migający z zadaną częstością kwadrat. Po czasie 2,5 lub 5,5 sekund kwadrat zmienia kolor na czerwony (na jedno błyśnięcie). Osoba ma jak najszybciej zareagować na moment zmiany koloru kwadratu. Po 7-sekundowym okresie migania, powinna się pojawić przerwa o losowym czasie trwania od 3 do 7 sekund. Momenty pojawiania się poszczególnych częstości powinny być zapisywane w tagach.

Pomiar wykonujemy za pomocą następujących elektrod: Fp1, Fp2, Fpz, Cz, P3, Pz, P4, O1, O2 oraz jeśli twój czepek to umożliwia również elektrody P7 i P8. Jako elektrody referencyjne załóż elektrody M1 i M2. Częstość próbkowania: 256 Hz.

===Analiza danych===
# Przefiltruj sygnały EEG w paśmie 1-45 Hz za pomocą procedury <tt>filtfilt</tt>. Na podstawie tagów wyodrębnij sygnały EEG zarejestrowane w trakcie stymulacji z odpowiednimi częstościami.
# Dla każdej realizacji wyestymuj przy pomocy transformaty Fouriera widmo mocy sygnału EEG. Widma odpowiadające tej samej częstości stymulacji uśrednij ze sobą. Zaprezentuj widma otrzymane przy stymulacjach różnymi częstościami.
#Dla każdej częstości stymulacji wyznacz miarę odpowiedzi SSVEP (amplitudę widma odpowiadającą częstości stymulacji) wraz z 95% przedziałem ufności dla średniej. Można to zrobić np. metodą bootstrap. Dla każdej częstości stymulacji wyznacz także poziom tła na podstawie widm pochodzących ze stymulacji innymi częstościami. Np. dla stymulacji częstością 12 Hz poziom tła można wyznaczyć jako 95 centyl ze zbioru wartości widma w częstości 12 Hz dla stymulacji pozostałymi częstościami.
#Sporządź wykres odpowiedzi SSVEP od częstości z zaznaczeniem przedziałów ufności i poziomu tła. Znajdź częstości, dla których odpowiedź ta była najsilniejsza.

=Koncepcja drgania uogólnionego. Transformacja Hilberta=
==Wstęp==
Sygnałem najczęściej występującym w przyrodzie oraz najczęściej stosowanym w technice jest sygnał harmoniczny o postaci:

''x''(''t'') = ''A''sin(ω''t''+φ0), 
gdzie: 
''t'' — chwila czasu 
''A'' — amplituda sygnału, 
ω — częstość sygnału, 
φ0 — faza początkowa sygnału. 

Okazuje się, że istnieje szeroka klasa sygnałów rzeczywistych, które można przedstawić w postaci tzw.
drgania uogólnionego:
''x''(''t'') = ''A''(''t'')sin(Ω(''t'') · ''t'')

gdzie: 
''t'' — chwila czasu 
''A''(''t'') — amplituda chwilowa sygnału ''x''(''t'') (jego obwiednia), 
Ω(''t'') — częstość chwilowa sygnału ''x''(''t''), 

Do klasy sygnałów, które mogą być reprezentowane w postaci drgania uogólnionego, należą m.in. wszystkie sygnały o ograniczonej energii i ograniczonej mocy średniej przedziałami ciągłe i bez składowej stałej (tzw. sygnały przestrzeni ''L''2).
W celu przedstawienia sygnału ''x''(''t'') jako drgania uogólnionego należy wpierw wyznaczyć jego ''sygnał analityczny'' ''z''(''t''), który zdefiniowany jest w następujący sposób:

''z''(''t'') = ''x''(''t'') + ''ix''H(''t'')

gdzie: 
<math>i=\sqrt{-1}</math> 
''x''H(''t'') — transformata Hilberta sygnału ''x''(''t''). 

Transformatę Hilberta ''x''H(''t'') sygnału ''x''(''t'') i transformatę do niej odwrotną definiujemy jak poniżej: 
<math>
x_H(t) = \frac{1}{\pi}\int_{-\infty}^{\infty} \frac{x(\tau)}{t - \tau}d\tau
</math>
 
<math>
x(t) = -\frac{1}{\pi}\int_{-\infty}^{\infty} \frac{x_H(\tau)}{t - \tau}d\tau
</math>

'''Uwaga praktyczna:'''
do wyznaczania sygnału analitycznego korzysta się z jego następującej własności:
Widmo sygnału analitycznego odpowiadającego sygnałowi rzeczywistemu jest zerowe
dla ujemnych częstości, zaś dla dodatnich częstości ma podwojoną amplitudę:
''x''''a'' = ''F''−1(''F''(''x'')·2''U'')
gdzie ''F'' — transformacja Fouriera, a ''U'' funkcja schodkowa.
Metoda ta zaimplementowana jest w funkcji <tt>scipy.signal.hilbert</tt>

Jak można zauważyć, sygnał analityczny jest funkcją zespoloną, w związku z czym można go przedstawić w postaci:
<math>
z(t) = \left|z(t)\right|e^{i\varphi(t)}
</math>
gdzie (patrz równanie (3)): 
<math>
\begin{array}{l}
\left|z(t)\right| = \sqrt{x^2(t) + x^2_H(t)} \\
\\
\varphi(t) = \mathrm{arc\,tg}(\frac{x_H(t)}{x(t)})
\end{array}
</math>
 

Wielkości te służą do wyznaczania chwilowej fazy φ (wzór powyżej), chwilowej amplitudy ''A'' (obwiedni) oraz chwilowej częstości Ω sygnału <math>x(t)</math>:

<math>
\begin{array}{l}
A(t)=\left|z(t)\right| \\
\\
\Omega(t) = \frac{d\varphi(t)}{dt}
\end{array}
</math>

co umożliwia przedstawienie sygnału ''x''(''t'') w postaci drgania uogólnionego:
<math>x(t) = A(t) \sin(\Omega(t)\cdot t)</math>

Porównując powyższy wzór ze wzorem na funkcję harmoniczną:
<math>x(t) = A \sin(\omega_0 t + \varphi_0)</math>

widzimy, że sygnały nieharmoniczne charakteryzują się zmienną w czasie amplitudą i częstością oraz nie mają określonej fazy początkowej. Ten ostatni parametr jednak również może być wyznaczony, pod warunkiem iż określimy go względem pewnej stałej w czasie częstości ω0(''t''):
<math>\varphi(t)=\omega_0\cdot t + \varphi_0(t)</math>
gdzie: 
<math>\varphi_0(t)</math> — faza chwilowa sygnału <math>x(t)</math>. 

Faza chwilowa jest zatem zdefiniowana jednoznacznie, ale tylko względem określonej częstości <math>\omega_0</math>. W przypadku gdy analizujemy sygnały szerokopasmowe, wyznaczenie fazy chwilowej jest możliwe po przefiltrowaniu sygnału filtrem pasmowo-przepustowym.

===Zadanie 2===
W zebranych sygnałach SSVEP wybierz zapisy dla trzech różnych częstości stymulacji (po jednym dla każdej częstości). Do analizy wybierz trzy kanały EEG, dla których sygnał SSVEP jest a) bardzo wyraźny; b) widoczny, ale słabszy; c) w zasadzie niewidoczny. Do analizy wybierz fragmenty od 2 sekund przed rozpoczęciem stymulacji do 2 sekund po jej zakończeniu.

Dla każdej wybranej częstości stymulacji wybrane kanały EEG przefiltruj filtrem wąskopasmowym przepuszczającym częstości skupione wokół tej częstości stymulacji. Do przefiltrowanych sygnałów zastosuj transformację Hilberta, wyznacz amplitudę i częstość chwilową. Wyznacz fazę chwilową dla ω0 równej częstości stymulacji. Wypróbuj dwa sposoby filtrowania: &bdquo;w jedną stronę” (<tt>filter</tt>) i &bdquo;w obie strony” (<tt>filtfilt</tt>).

Wyrysuj przefiltrowane sygnały wraz z wyliczoną amplitudą chwilową. Na rysunku zaznacz początek i koniec stymulacji. Narysuj też wykres zależności częstości chwilowej i fazy chwilowej od czasu.

=Podsumowanie=
W ramach podsumowania uzupełnij poniższą tabelę

{| class="wikitable"
|+ Porównanie metod
|-
! . !! ERP !! moc widmowa FFT !! transformata Hilberta
|-
| ilość wymaganych danych || ... || ... || ...
|-
| założenia fizjologiczne || ... || ... || ...
|-
| przykłady aktywności mózgu, które analizujemy daną metodą || ... || ... || ...
|-
| charakterystyka danych || ... || ... || ...

|}





=Bibliografia=
# Silberstein, R. (1995). Steady-state visually evoked potentials, brain resonances, and cognitive processes. W: Nunez, P. (red.), Neocortical Dynamics and Human EEG Rhythms (272-303). Oxford University Press, Oxford.
# Vialatte, F., Maurice, M., Dauwels, J. i Cichocki, A. (2010). Steady- state visually evoked potentials: Focus on essential paradigms and future perspectives. Progress in Neurobiology, 90, 418-438.
# Lachowska, M., Morawski, K., Delgado, R. i Niemczyk, K. (2009). Postępy w audiologii. Słuchowe potencjały wywołane stanu ustalonego. Otorynolaryngologia, 8(1), 1-7.
# Rance, G. (red.) (2008). The Auditory Steady-State Response: Generation, Recording and Clinical Application. Plural Publishing, San Diego.
# Scherer, R., Muller-Putz, G. i Pfurtscheller, G. (2009). Flexibility and practicality: Graz Brain-Computer Interface approach. Internationl Review of Neurobiology, 86.
# Pastor, M., Artieda, J., Arbizu,J., Valencia, M. i Masdeu, J. (2003). Human cerebral activation during steady-state visual-evoked responses. Journal of Neuroscience, 23(37), 621-627.
# Moratti, S., Clementz, B., Gao, Y., Ortiz, T. i Keil, A. (2007). Neural mechanisms of evoked oscillations: stability and interaction with transient events. Human Brain Mapping, 28(12), 1318-1333.
# [http://durka.name/papers/OpenBCI_and_BCI_Appliance.pdf Artykuł o BCI Appliance z prostą funkcją detekcji SSVEP] P. J. Durka, R. Kuś, J. Ż̇ygierewicz, M. Michalska, P. Milanowski, M. Łabę̨cki, T. Spustek, D. Laszuk, A. Duszyk, M. Kruszyński. User-centered design of brain-computer interfaces: OpenBCI.pl and BCI Appliance. Bulletin of the Polish Academy of Sciences, vol. 60, No 3, september 2012, pp. 427-433

Pracownia EEG 2/SSVEP 1

2024-11-05T10:52:12Z

Maciek: /* Koncepcja drgania uogólnionego. Transformata Hilberta */

[[Pracownia EEG 2|Pracownia EEG 2]] / SSVEP

=Wstęp=
===Potencjały wywołane stanu ustalonego (ang. ''Steady State Evoked Potentials'', ''SSEP'')===

[[Plik:ep_ssep.png|768px|thumb|right|<figure id="fig:ep_ssep"></figure>
Porównanie przebiegu bodźców stosowanych do rejestracji Potencjałów Wywołanych oraz Potencjałów Wywołanych Stanu ustalonego.]]

Potencjały wywołane EEG, które mierzyliśmy na poprzednich zajęciach, są śladami reakcji mózgu na pewne specyficzne bodźce. Jak pamiętamy, były to podawane w pewnych odstępach czasu (zwykle około 1 s), krótkotrwałe (~20 ms) błyski światła. W trakcie bieżących zajęć będziemy kontynuowali pomiar czynności elektrycznej mózgu w trakcie oddziaływania na badanego pewnymi bodźcami, jednakże przebieg stymulacji zostanie zmieniony. W tym eksperymencie bodźcem będzie seria powtarzających się w sposób ściśle periodyczny błysków światła (<xr id="fig:ep_ssep">rys. %i</xr>).
Bodźce o takim przebiegu mogą mieć również postać krótkotrwałych dźwięków (np. trzasków), czy też impulsów mechanicznych (np. rytmiczny nacisk na skórę). Ślad elektrycznej odpowiedzi mózgu na szybko powtarzające się bodźce nazywamy '''potencjałami wywołanymi stanu ustalonego''' (ang. ''Steady State Evoked Potentials'', ''SSEP''). W zależności od modalności bodźca (czyli zmysłu, który jest poddawany stymulacji) wyróżniamy:
* wzrokowe potencjały wywołane stanu ustalonego (ang. ''Steady State Visual Evoked Potentials'', ''SSVEP''), w przypadku gdy stymulacja odbywa się za pomocą fali świetlnej (Silberstein, 1995; Vialatte, 2010).
* słuchowe potencjały stanu ustalonego (ang. ''Auditory Steady State Evoked Response'', ''ASSR''), w przypadku gdy stymulacja odbywa się za pomocą fali dźwiękowej.
* czuciowe potencjały wywołane stanu ustalonego (ang. ''Steady-State Somatosensory Evoked Potentials'', ''SSSEP''), wywoływane przy pomocy bodźców mechanicznych.
W języku polskim brakuje zwrotów, za pomocą których można prawidłowo scharakteryzować niektóre parametry bodźców wywołujących odpowiedź SSEP. W związku z tym, na potrzeby niniejszych ćwiczeń zostanie wprowadzona następująca nomenklatura:
* składowa bodźca — przebieg bodźca w jednym okresie stymulacji, np. pojedynczy, krótkotrwały błysk światła, dźwięk lub impuls mechaniczny (patrz <xr id="fig:ep_ssep">rys. %i</xr>),
* bodziec/stymulacja/pobudzenie — jest to ciąg o czasie trwania ''T'', złożony z kolejnych występujących po sobie składowych, powtarzających się co okres τ (patrz <xr id="fig:ep_ssep">rys. %i</xr>).
Charakterystyczną cechą zjawiska SSEP jest wzrost mocy sygnału EEG w częstości, z którą powtarzane są składowe bodźca. Np. jeśli błysk światła występuje co τ=100 ms, możemy oczekiwać wzrostu mocy elektrycznej aktywności mózgu dla częstości 10 Hz oraz niejednokrotnie dla jej harmonicznych. Moc sygnału ulega dodatkowemu zwiększeniu, jeśli badana osoba koncentruje silnie swoją uwagę na bodźcu. Cecha ta wykorzystywana jest m. in. do budowania tzw. interfejsów mózg komputer, czyli systemów, umożliwiających człowiekowi komunikację z komputerem bez pośrednictwa mięśni.

===Modulacja===
Analizując od strony fizycznej przebieg bodźców wywołujących zjawisko SSEP możemy zauważyć, iż mamy do czynienia z [[wikipl:Modulacja|procesem modulacji sygnału]], czyli chwilową zmianą jego parametrów. Niezależnie od tego, który z tych parametrów ulega zmianie, w procesie modulacji wyróżniamy dwa podstawowe sygnały — sygnał nośny oraz sygnał modulujący [[http://en.wikipedia.org/wiki/Modulation]]. W technice radiowej czy telewizyjnej sygnałem nośnym są fale elektromagnetyczne. W przypadku wywoływania zjawiska SSVEP sygnałem nośnym też jest fala elektromagnetyczna, ale o długości z zakresu światła widzialnego. Z kolei zjawisko ASSR powstaje na skutek stymulacji, w której falą nośną jest fala dźwiękowa o częstości od kilkuset do kilku tysięcy Hz. Sygnał, który zmienia parametry fali nośnej nazywamy sygnałem modulującym. Przebieg sygnału modulującego może mieć różny charakter, jednakże najczęściej stosowane są sygnały o kształcie sinusoidalnym lub prostokątnym. W przypadku modulacji za pomocą sygnału sinusoidalnego zmianie może ulec amplituda, częstość lub faza sygnału nośnego. Mówimy wtedy odpowiednio o modulacji amplitudowej (ang. ''Amplitude Modulation'', ''AM''), częstościowej (ang. ''Frequency Modulation'', ''FM'') lub fazowej (ang. ''Phase Modulation'', ''PM''). Modulacja FM i PM nie jest stosowana do wywoływania zjawiska SSEP, natomiast modulację AM wykorzystuje się do pomiaru ASSR, w związku z czym zostanie opisana szerzej.

===Modulacja amplitudowa sygnałem sinusoidalnym===

Niech:
<math>x(t) = A \sin(\Omega t)</math>
będzie sygnałem nośnym o częstości Ω i amplitudzie ''A'', zaś
<math>y(t) = B \sin(\omega t+ \varphi)</math>
będzie sygnałem modulującym o częstości ω, amplitudzie ''B'' i fazie początkowej φ. Sygnałem zmodulowanym amplitudowo nazywamy następujący sygnał:
<math>z(t) = A \sin(\Omega t) + B \sin(\omega t + \varphi)\cdot \sin(\Omega t)</math>
Korzystając ze wzorów trygonometrycznych, powyższy wzór można zapisać w postaci:
<math>z(t) = A \sin(\Omega t) + B \frac{\cos((\Omega - \omega) t+\varphi)}{2} - B \frac{\cos((\Omega + \omega) t+\varphi)}{2}</math>
Jak można zauważyć, energia sygnału zmodulowanego amplitudowo skupiona jest wokół trzech częstości:
* częstości nośnej <math>f_0=\Omega</math>,
* częstości <math>f_1=\Omega - \omega</math> i <math>f_2=\Omega + \omega</math>.
Część widma sygnału zmodulowanego skupioną w częstościach <math>f_1</math> i <math>f_2</math>
nazywamy wstęgami bocznymi.
[[Plik:glebokosc_modulacji.png|600px|thumb|right|<figure id="fig:glebokosc_modulacji"></figure>
Maksymalna i minimalna amplituda sygnału zmodulowanego w systemie AM.]]
[[Plik:AM_signals.png|600px|thumb|right|<figure id="fig:AM_signals"></figure>
Przebieg sygnału zmodulowanego w systemie AM w zależności od głębokości modulacji.]]
Modulację amplitudową można scharakteryzować za pomocą tzw. współczynnika głębokości modulacji, zdefiniowanego w następujący sposób (patrz <xr id="fig:glebokosc_modulacji">rys. %i</xr>):
<math>m=\frac{A_{max}-A_{min}}{A_{max}+A_{min}}</math>
Powyższy wzór można w prosty sposób przekształcić do następującej postaci:
<math>m=\frac{A_{max}-A_{min}}{A_{max}+A_{min}} = \frac{B}{A}</math>
Głębokość modulacji może osiągać dowolne wartości dodatnie, jednakże w praktyce współczynnik ten powinien zawierać się w granicy pomiędzy 0 a 1 (bądź od 0 do 100 %). W przypadku gdy głębokość modulacji osiąga wartość wyższą niż 1, sygnał zostaje zniekształcony (patrz <xr id="fig:AM_signals">rys. %i</xr>) i nie ma praktycznego wykorzystania.

===Modulacja amplitudowa falą prostokątną===
[[Plik:modulacja_fala_prostokatna.png|600px|thumb|right|<figure id="fig:modulacja_fala_prostokatna"></figure>
A. Przykład sygnału zmodulowanego amplitudowo fala sinusoidalną. B. Przebieg sygnału zmodulowanego falą prostokątną. Kolor niebieski — fala nośna, kolor czerwony — fala modulująca.]]
[[Plik:wypelnienie.png|600px|thumb|right|<figure id="fig:wypelnienie"></figure>
Współczynnik wypełnienia fali prostokątnej jest stosunkiem czasu trwania impulsu τ do okresu jego powtarzania ''T''.]]
W przypadku wywoływania zjawiska SSEP stosuje się bodźce, w których fala nośna (światło) zostaje zmodulowany sygnałem prostokątnym. Porównanie modulacji amplitudowej sygnałem o przebiegu sinusoidalnym i sygnałem o przebiegu prostokątnym zaprezentowano na rysunku
<xr id="fig:modulacja_fala_prostokatna">rys. %i</xr>.
W przypadku modulacji falą prostokątną rozważamy następujące parametry:
* częstość modulacji, która równa jest odwrotności okresu powtarzania się impulsu prostokątnego (na <xr id="fig:modulacja_fala_prostokatna">rys. %i</xr> okres ten jest równy ''T''),
* amplitudę modulacji,
* wypełnienie fali, które zdefiniowane jest w następujący sposób:
<math> d = \frac{\tau}{T}</math>

=Fizjologia zjawisk SSEP i SSVEP=

==SSEP==
Potencjały Wywołane Stanu Ustalonego to typ odpowiedzi mózgu na bodziec powtarzany ze stałą częstotliwością. Efektem takiej stymulacji jest pojawienie się w określonych obszarach kory mózgowej częstotliwości korespondującej z częstotliwością podawanego bodźca.

Stawianych jest kilka hipotez, z których trzy starają się tłumaczyć najbardziej podstawowy mechanizm pojawiania się tego zjawiska w mózgu:
* Pierwsza z nich mówi, iż powtarzany z określoną częstością bodziec wywołuje każdorazowo odpowiedź, a ich ciąg znajduje odbicie w rejestrowanym sygnale EEG (Lachowska, 2009; Rance, 2008). Zakłada się tutaj, iż do powstania odpowiedzi konieczne są niższe piętra przetwarzania informacji oraz brak specyficznego obszaru kory lub sieci neuronalnej odpowiedzialnej za obróbkę tego typu bodźców. Argumentów potwierdzających dostarczają tutaj badania na zwierzętach, gdzie rejestrowano SSEP z poszczególnych pięter układu nerwowego (Yoris, 1992; za: Rance, 2008). Słabe strony tej hipotezy ujawniają badania neuroobrazownia, w których rejestruje się aktywność w rejonach niezwiązanych z przetwarzaniem pojedynczego impulsu danej modalności (Pastor, 2003; Reyes, 2004). Sugeruje to, iż istnieje obszar lub sieć neuronów odpowiedzialna za przetwarzanie tego typu bodźca i jest ona aktywowana wraz z rejonami kory, których zadaniem jest odbiór i interpretacja danych dostarczanych przez poszczególne zmysły.
* Druga z tych hipotez mówi, iż w trakcie stymulacji dochodzi do synchronizacji odpalania potencjałów czynnościowych przez neurony, co przejawia się zwiększeniem siły odpowiedzi w danej częstotliwości na tle aktywności spontanicznej mózgu (Moratti, 2007).
* Trzecia hipoteza zakłada, że obserwowany w sygnale potencjał jest związany ze wzrostem amplitudy odpowiedzi aktywowanych neuronów (Nikulin, 2007; za: Vialatte, 2010).

Żadne ze wspomnianych badań nie zostało przeprowadzone z myślą o pokazaniu
genezy indukowania potencjału SSEP, lecz dotyczyły wybranych bodźców i zagadnień
związanych z ich charakterystyką odpowiedzi. Na podstawie zebranych dotychczas danych trudno orzec o słuszności którejś z wyżej wymienionych hipotez.

==SSVEP==

Wzrokowe Potencjały Wywołane Stanu Ustalonego (SSVEP) powstają pod wpływem stymulacji bodźcem świetlnym powtarzanym ze stałą częstością. W trakcie stymulacji w sygnale EEG obserwowany jest wzrost mocy w częstościach związanych z częstością pulsującego światła. Charakterystyczne dla potencjałów SSVEP jest występowanie zarówno częstości podstawowej — analogicznej jak częstość stymulatora — jak i pierwszej i drugiej harmonicznej oraz subharmonicznych (Hermann, 2001; Pastor, 2003; Vialatte, 2008). W pracy (Regan, 1989; za: Silberstein, 1995) wyróżniono szereg komponentów, które są charakterystyczne dla SSVEP. W zależności od częstości stymulacji zaobserwowana została zmienność w kształcie oraz latencji charakterystycznych załamków SSVEP. Dla częstości wysokich od 25 do 60 Hz — charakterystyczna składowa fali pojawia się do 30 do 60 ms po bodźcu i odznacza się małą zmiennością międzyosobniczą. Wcześniejsze załamki (ok. 10 ms) są obserwowane, ich latencja wydaje się być zależna od wieku osoby. Przedział częstości niskich od 15 do 25 Hz — odznacza się obecnością swoistego komponentu od około 85 do 120 ms po bodźcu. W tym przypadku wariancja wewnątrz grupy jest większa w porównaniu do częstości wysokich. Najtrudniej trafnie wyodrębnić charakterystyczne składowe dla odpowiedzi na niskie częstotliwości stymulatora. Latencja w tym przypadku waha się od 135 do 350 ms.

===Przestrzenna lokalizacja generatorów SSVEP.===
Pomimo, iż powstanie SSVEP jest nierozerwalnie związane z okolicami wzrokowymi kory mózgowej (Bianciardi, 2009; Pastor, 2003; Silberstein, 1995), jego występowanie mapuje się również w innych rejonach mózgu. Wytyczenie obszarów odpowiedzialnych za generowanie potencjału zostało podjęte przy pomocy różnych metod mierzących aktywność mózgu. Oprócz EEG wykorzystano PET (Pastor, 2003), MEG (Fewcett, 2004; za: Vialatte, 2010) i fMRI (Bayram, 2011; Bianciardi, 2009; Parkes, 2003). Wyniki tych badań nie dają jednoznacznej odpowiedzi na stawiane pytanie, ale można na ich podstawie wskazać na kilka struktur, których aktywność wydaje się być znacząca i każdorazowo rejestrowana. Głównym obszarem generującym oscylujący potencjał jest pierwszorzędowa kora wzrokowa V1. Jej aktywacja zaznacza się w momencie stymulacji bodźcami świetlnymi bez względu na przedział częstotliwości i ich parametry. Różne badania donoszą natomiast o dodatkowych obszarach mających swój udział w generowaniu odpowiedzi mózgowej na pulsujący bodziec (V5, (Fawcett, 2004; za: Vialatte, 2010) kora czołowa i skroniowa, V2 (Sriniviasan, 2006, 2007; za: Vialatte, 2010). Badanie wykonane za pomocą PET (Pastor, 2003) przybliżyło szczegóły rozkładu aktywacji ośrodków korowych podczas generowania SSVEP. Oprócz zlokalizowania jego występowania w obszarach płatów potylicznych, skroniowych oraz ciemieniowych, dzięki użyciu różnych znaczników nakreślone zostały granice aktywności kory w zależności od częstotliwości stymulatora. Dla niskich częstotliwości (w badaniu reprezentowanych przez 5Hz) obserwuje się aktywność w polach Brodmanna (BA) 17 i 18 oraz w lewej półkuli móżdżku, dla częstości średnich pobudzony był obszar pierwszorzędowej kory wzrokowej oraz kory asocjacyjnej (BA 17 i 18). Nieco odmienne rezultaty otrzymano dla częstości 40 Hz, która pobudzała tylną część V1 oraz korę asocjacyjną prawej półkuli. Taki rozkład aktywacji przy wyżej
wymienionych częstościach może być związany z funkcjonalny podziałem V1 — obszar przedni pobudzany przez niskie i średnie częstości (<30 Hz) jest odpowiedzialny za widzenie peryferyjne, wtedy pobudzona była dość duża powierzchnia kory. 40 Hz aktywuje natomiast rejony odpowiedzialne za widzenie centralne, stąd mały, ograniczony do wybranych kolumn, obszar pobudzenia. Rejony, którym przypisane zostało generowanie SSVEP, nie ograniczały się do okolic wzrokowych. Oprócz okolicy V1 wymieniany jest również obszar V5, odpowiedzialny za detekcje ruchu, mający bezpośrednie połączenia z V1, inne okolice wzrokowe oraz kora czołowa. Niskoczęstotliwościowe SSVEP zauważano również na poziomie struktur śródmózgowia — w ciele kolankowatym bocznym, co zaowocowało hipotezą o podkorowej proweniencji takich potencjałów.

Tak zróżnicowany obraz aktywności wywoływanych przez różne częstości SSVEP może wynikać z różnych funkcjonalnych i anatomicznych właściwości poszczególnych regionów. W układzie wzrokowym człowieka rozpoznane zostały 3 odmienne drogi przetwarzania informacji odpowiadającej tej modalności (Chatterjee, 2003; za: Vialatte, 2010; Gazzaniga, 2004; za: Vialatte, 2010). Każda z nich związana jest z innym typem czopków: odpowiadającymi na krótkie, średnie o długie fale. Droga ''Parvocellular'' (PC) mająca swój początek w ''midget retinal ganglion cells'' (RGCs) przetwarza informację o kolorze, kształcie oraz przestrzennym kontraście. Jest wyczulona szczególnie na przenoszenie informacji o kolorze czerwonym i zielonym, która jest przekazywana z czopków L i M (''long-'' i ''mediumwave''). Z kolei droga ''Magnocellular'' (MC), będąca dużo szybszym kanałem, bierze swój początek w ''parasol retinal ganglion cells''. Odpowiada ona za dostarczenie informacji o ruchu i głębi. Również korzysta z informacji z czopków M i L. Ostatnio odkryto trzeci z kanałów — drogę ''Koniocellular'' (KC) zaczynającą się w ''bistratisfied retina ganglion cells'', odpowiadający za percepcję kolorów błękitnego oraz żółtego. Niektórzy badacze wysuwają hipotezę, że wyłącznie tan kanał dostarcza informacji o kolorach, podczas gdy kanał PC odpowiada za dobrą rozdzielczość percepowanej informacji (Foxe, 2008; za: Vialatte, 2010; Chatterjee, 2003; za: Vialatte, 2010). Droga MC tworzy tzw. kanał brzuszny obróbki informacji a szlak KC i PC — kanały grzbietowe. Na pytanie o zależność pomiędzy rodzajem kanału a SSVEP żaden z badaczy nie udzielił wyczerpującej odpowiedzi. Podejrzewa się, iż w zależności od miejsca generowania SSVEP siła odpowiedzi będzie zależna od wyglądu bodźca. Możliwe, iż obszary kanału grzbietowego będą odznaczały się predylekcją do bodźców jednobarwnych, niejaskrawych, o dość dużych rozmiarach oraz migających z wysoką częstotliwością. Drogi KC i PC natomiast będą generować mocne SSVEP, jeżeli będą pobudzane przez kolorowe kontrastowe bodźce o małych rozmiarach w niskiej częstości. Odmienną hipotezę zaproponował McKeefry (McKeefry, 1996, za: Vialatte, 2010), który skojarzył drogi obróbki informacji z rodzajem komórek. W ten sposób upatruje on powstawanie pierwszej harmonicznej dzięki aktywności komórek tonicznych i drogi PC, a drugiej harmonicznej — dzięki komórkom fazowym i szlakowi MC. W świetle tych hipotez należałoby się spodziewać, iż siła odpowiedzi będzie zależeć od wyglądu stosowanego bodźca, lokalizacji rejestracji sygnału na głowie oraz częstości.

==Zadanie 1==

===Procedura 1 ===
W programie Psychopy przygotuj procedurę, w ramach której osoba badana będzie patrzeć na migający biały kwadrat na czarnym tle. Częstość migania ma być wybierana losowo z puli: 5, 12, 15, 20 Hz, wypełnienie ma wynosić 50%. Jedna próba ma trwać 5 s. Po 5-sekundowym okresie migania, powinna się pojawić przerwa o losowym czasie trwania od 3 do 7 sekund. Momenty pojawiania się poszczególnych częstości powinny być zapisywane w tagach. Każdego warunku należy zebrać po 30 powtórzeń.

===Procedura 2 ===
W programie Psychopy przygotuj procedurę, w ramach której osoba badana będzie reagować na czerwony kwadrat pojawiający się wśród białych migających kwadratów na czarnym tle. Częstość migania ma wynosić 12 i 15 Hz, odpowiednia dla pierwszego i drugiego bloku, wypełnienie ma wynosić 50%. Jedna próba ma trwać 7 s, próby powtarzają się po 50 razy. W ramach próby badany patrzy migający z zadaną częstością kwadrat. Po czasie 2,5 lub 5,5 sekund kwadrat zmienia kolor na czerwony (na jedno błyśnięcie). Osoba ma jak najszybciej zareagować na moment zmiany koloru kwadratu. Po 7-sekundowym okresie migania, powinna się pojawić przerwa o losowym czasie trwania od 3 do 7 sekund. Momenty pojawiania się poszczególnych częstości powinny być zapisywane w tagach.

Pomiar wykonujemy za pomocą następujących elektrod: Fp1, Fp2, Fpz, Cz, P3, Pz, P4, O1, O2 oraz jeśli twój czepek to umożliwia również elektrody P7 i P8. Jako elektrody referencyjne załóż elektrody M1 i M2. Częstość próbkowania: 256 Hz.

===Analiza danych===
# Przefiltruj sygnały EEG w paśmie 1-45 Hz za pomocą procedury <tt>filtfilt</tt>. Na podstawie tagów wyodrębnij sygnały EEG zarejestrowane w trakcie stymulacji z odpowiednimi częstościami.
# Dla każdej realizacji wyestymuj przy pomocy transformaty Fouriera widmo amplitudowe sygnału EEG. Widma odpowiadające tej samej częstości stymulacji uśrednij ze sobą. Zaprezentuj widma otrzymane przy stymulacjach różnymi częstościami.
#Dla każdej częstości stymulacji wyznacz miarę odpowiedzi SSVEP (amplitudę widma odpowiadającą częstości stymulacji) wraz z 95% przedziałem ufności dla średniej. Można to zrobić np. metodą bootstrap. Dla każdej częstości stymulacji wyznacz także poziom tła na podstawie widm pochodzących ze stymulacji innymi częstościami. Np. dla stymulacji częstością 12 Hz poziom tła można wyznaczyć jako 95 centyl ze zbioru wartości widma w częstości 12 Hz dla stymulacji pozostałymi częstościami.
#Sporządź wykres odpowiedzi SSVEP od częstości z zaznaczeniem przedziałów ufności i poziomu tła. Znajdź częstości, dla których odpowiedź ta była najsilniejsza.

=Koncepcja drgania uogólnionego. Transformacja Hilberta=
==Wstęp==
Sygnałem najczęściej występującym w przyrodzie oraz najczęściej stosowanym w technice jest sygnał harmoniczny o postaci:

''x''(''t'') = ''A''sin(ω''t''+φ0), 
gdzie: 
''t'' — chwila czasu 
''A'' — amplituda sygnału, 
ω — częstość sygnału, 
φ0 — faza początkowa sygnału. 

Okazuje się, że istnieje szeroka klasa sygnałów rzeczywistych, które można przedstawić w postaci tzw.
drgania uogólnionego:
''x''(''t'') = ''A''(''t'')sin(Ω(''t'') · ''t'')

gdzie: 
''t'' — chwila czasu 
''A''(''t'') — amplituda chwilowa sygnału ''x''(''t'') (jego obwiednia), 
Ω(''t'') — częstość chwilowa sygnału ''x''(''t''), 

Do klasy sygnałów, które mogą być reprezentowane w postaci drgania uogólnionego, należą m.in. wszystkie sygnały o ograniczonej energii i ograniczonej mocy średniej przedziałami ciągłe i bez składowej stałej (tzw. sygnały przestrzeni ''L''2).
W celu przedstawienia sygnału ''x''(''t'') jako drgania uogólnionego należy wpierw wyznaczyć jego ''sygnał analityczny'' ''z''(''t''), który zdefiniowany jest w następujący sposób:

''z''(''t'') = ''x''(''t'') + ''ix''H(''t'')

gdzie: 
<math>i=\sqrt{-1}</math> 
''x''H(''t'') — transformata Hilberta sygnału ''x''(''t''). 

Transformatę Hilberta ''x''H(''t'') sygnału ''x''(''t'') i transformatę do niej odwrotną definiujemy jak poniżej: 
<math>
x_H(t) = \frac{1}{\pi}\int_{-\infty}^{\infty} \frac{x(\tau)}{t - \tau}d\tau
</math>
 
<math>
x(t) = -\frac{1}{\pi}\int_{-\infty}^{\infty} \frac{x_H(\tau)}{t - \tau}d\tau
</math>

'''Uwaga praktyczna:'''
do wyznaczania sygnału analitycznego korzysta się z jego następującej własności:
Widmo sygnału analitycznego odpowiadającego sygnałowi rzeczywistemu jest zerowe
dla ujemnych częstości, zaś dla dodatnich częstości ma podwojoną amplitudę:
''x''''a'' = ''F''−1(''F''(''x'')·2''U'')
gdzie ''F'' — transformacja Fouriera, a ''U'' funkcja schodkowa.
Metoda ta zaimplementowana jest w funkcji <tt>scipy.signal.hilbert</tt>

Jak można zauważyć, sygnał analityczny jest funkcją zespoloną, w związku z czym można go przedstawić w postaci:
<math>
z(t) = \left|z(t)\right|e^{i\varphi(t)}
</math>
gdzie (patrz równanie (3)): 
<math>
\begin{array}{l}
\left|z(t)\right| = \sqrt{x^2(t) + x^2_H(t)} \\
\\
\varphi(t) = \mathrm{arc\,tg}(\frac{x_H(t)}{x(t)})
\end{array}
</math>
 

Wielkości te służą do wyznaczania chwilowej fazy φ (wzór powyżej), chwilowej amplitudy ''A'' (obwiedni) oraz chwilowej częstości Ω sygnału <math>x(t)</math>:

<math>
\begin{array}{l}
A(t)=\left|z(t)\right| \\
\\
\Omega(t) = \frac{d\varphi(t)}{dt}
\end{array}
</math>

co umożliwia przedstawienie sygnału ''x''(''t'') w postaci drgania uogólnionego:
<math>x(t) = A(t) \sin(\Omega(t)\cdot t)</math>

Porównując powyższy wzór ze wzorem na funkcję harmoniczną:
<math>x(t) = A \sin(\omega_0 t + \varphi_0)</math>

widzimy, że sygnały nieharmoniczne charakteryzują się zmienną w czasie amplitudą i częstością oraz nie mają określonej fazy początkowej. Ten ostatni parametr jednak również może być wyznaczony, pod warunkiem iż określimy go względem pewnej stałej w czasie częstości ω0(''t''):
<math>\varphi(t)=\omega_0\cdot t + \varphi_0(t)</math>
gdzie: 
<math>\varphi_0(t)</math> — faza chwilowa sygnału <math>x(t)</math>. 

Faza chwilowa jest zatem zdefiniowana jednoznacznie, ale tylko względem określonej częstości <math>\omega_0</math>. W przypadku gdy analizujemy sygnały szerokopasmowe, wyznaczenie fazy chwilowej jest możliwe po przefiltrowaniu sygnału filtrem pasmowo-przepustowym.

===Zadanie 2===
W zebranych sygnałach SSVEP wybierz zapisy dla trzech różnych częstości stymulacji (po jednym dla każdej częstości). Do analizy wybierz trzy kanały EEG, dla których sygnał SSVEP jest a) bardzo wyraźny; b) widoczny, ale słabszy; c) w zasadzie niewidoczny. Do analizy wybierz fragmenty od 2 sekund przed rozpoczęciem stymulacji do 2 sekund po jej zakończeniu.

Dla każdej wybranej częstości stymulacji wybrane kanały EEG przefiltruj filtrem wąskopasmowym przepuszczającym częstości skupione wokół tej częstości stymulacji. Do przefiltrowanych sygnałów zastosuj transformację Hilberta, wyznacz amplitudę i częstość chwilową. Wyznacz fazę chwilową dla ω0 równej częstości stymulacji. Wypróbuj dwa sposoby filtrowania: &bdquo;w jedną stronę” (<tt>filter</tt>) i &bdquo;w obie strony” (<tt>filtfilt</tt>).

Wyrysuj przefiltrowane sygnały wraz z wyliczoną amplitudą chwilową. Na rysunku zaznacz początek i koniec stymulacji. Narysuj też wykres zależności częstości chwilowej i fazy chwilowej od czasu.

=Podsumowanie=
W ramach podsumowania uzupełnij poniższą tabelę

{| class="wikitable"
|+ Porównanie metod
|-
! . !! ERP !! moc widmowa FFT !! transformata Hilberta
|-
| ilość wymaganych danych || ... || ... || ...
|-
| założenia fizjologiczne || ... || ... || ...
|-
| przykłady aktywności mózgu, które analizujemy daną metodą || ... || ... || ...
|-
| charakterystyka danych || ... || ... || ...

|}





=Bibliografia=
# Silberstein, R. (1995). Steady-state visually evoked potentials, brain resonances, and cognitive processes. W: Nunez, P. (red.), Neocortical Dynamics and Human EEG Rhythms (272-303). Oxford University Press, Oxford.
# Vialatte, F., Maurice, M., Dauwels, J. i Cichocki, A. (2010). Steady- state visually evoked potentials: Focus on essential paradigms and future perspectives. Progress in Neurobiology, 90, 418-438.
# Lachowska, M., Morawski, K., Delgado, R. i Niemczyk, K. (2009). Postępy w audiologii. Słuchowe potencjały wywołane stanu ustalonego. Otorynolaryngologia, 8(1), 1-7.
# Rance, G. (red.) (2008). The Auditory Steady-State Response: Generation, Recording and Clinical Application. Plural Publishing, San Diego.
# Scherer, R., Muller-Putz, G. i Pfurtscheller, G. (2009). Flexibility and practicality: Graz Brain-Computer Interface approach. Internationl Review of Neurobiology, 86.
# Pastor, M., Artieda, J., Arbizu,J., Valencia, M. i Masdeu, J. (2003). Human cerebral activation during steady-state visual-evoked responses. Journal of Neuroscience, 23(37), 621-627.
# Moratti, S., Clementz, B., Gao, Y., Ortiz, T. i Keil, A. (2007). Neural mechanisms of evoked oscillations: stability and interaction with transient events. Human Brain Mapping, 28(12), 1318-1333.
# [http://durka.name/papers/OpenBCI_and_BCI_Appliance.pdf Artykuł o BCI Appliance z prostą funkcją detekcji SSVEP] P. J. Durka, R. Kuś, J. Ż̇ygierewicz, M. Michalska, P. Milanowski, M. Łabę̨cki, T. Spustek, D. Laszuk, A. Duszyk, M. Kruszyński. User-centered design of brain-computer interfaces: OpenBCI.pl and BCI Appliance. Bulletin of the Polish Academy of Sciences, vol. 60, No 3, september 2012, pp. 427-433