Wnioskowanie Statystyczne - wykład: Różnice pomiędzy wersjami

Z Brain-wiki
 
(Nie pokazano 19 pośrednich wersji utworzonych przez tego samego użytkownika)
Linia 1: Linia 1:
 
[[Category:Przedmioty specjalizacyjne]]
 
[[Category:Przedmioty specjalizacyjne]]
<!--
+
<!-- program ćwiczeń:
https://docs.google.com/document/d/1PHoVNlKhBkOVmkJzgvm7Tu7nF-aXlhWAEXTJbv5qqQY/edit
+
https://docs.google.com/document/d/1PHoVNlKhBkOVmkJzgvm7Tu7nF-aXlhWAEXTJbv5qqQY/edit -->
-->
 
 
 
 
 
 
=Wnioskowanie statystyczne (wykład)=
 
=Wnioskowanie statystyczne (wykład)=
 
 
'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''
 
'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''
 
<!-- Zajęcia zdalne w roku 2021 odbywają się pod adresem https://kampus.come.uw.edu.pl/course/view.php?id=5295
 
-->
 
 
 
#  
 
#  
 
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
 
## [[WnioskowanieStatystyczne/Rozklady|Rozkłady gęstości prawdopodobieństwa]]
Linia 29: Linia 21:
 
#
 
#
 
##  [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
 
##  [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
 
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
 
#
 
 
#
 
#
 
##  [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
 
##  [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
 
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
 
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
 
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
 
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
 +
#
 +
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
 +
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
 
#
 
#
 
##  [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
 
##  [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
Linia 43: Linia 35:
 
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
 
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
 
#
 
#
## [[WnioskowanieStatystyczne/Bonferroni|TP/FP, ROC. Problem porównań wielokrotnych — miejskie legendy i przepowiednie]]
+
## [[WnioskowanieStatystyczne/ROC|TP, FP, ROC]]
 +
#
 +
## [[WnioskowanieStatystyczne/Bonferroni|Problem porównań wielokrotnych — miejskie legendy i przepowiednie]]
 
#
 
#
 
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
 
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
 
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
 
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
#
+
## [[WnioskowanieStatystyczne/Effect_size|Wielkość efektu]]
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
+
#  
#
+
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|PCA, MANOVA, analiza skupień]]
## [[Sztuczne sieci neuronowe (ANN )|Sztuczne sieci neuronowe]]
+
## [[Sztuczne sieci neuronowe (ANN )|LDA, LR, ANN]]
 
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]
 
## [[Algorytmy Genetyczne|Algorytmy Genetyczne]]
 +
# Maris, E., Oostenveld, R. (2007). [https://www.researchgate.net/publication/6316066_Nonparametric_statistical_testing_of_EEG-_and_MEG-data Nonparametric statistical testing of EEG- and MEG-data]. Journal of Neuroscience Methods, 164(1), 177–190.
 +
  
 
----
 
----
Linia 64: Linia 60:
 
* książka [https://www.deeplearningbook.org "Deep Learning"] Ian Goodfellow, Yoshua Bengio and Aaron Courville
 
* książka [https://www.deeplearningbook.org "Deep Learning"] Ian Goodfellow, Yoshua Bengio and Aaron Courville
  
 
+
=Egzamin i zaliczenie=
 
 
==Organizacja egzaminu==
 
 
Do egzaminu podchodzą osoby, które zaliczą [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczenia]] — w braku zaliczonych ćwiczeń wynik egzaminu z wykładu nie "przenosi się" na przyszły rok. Egzamin składał się będzie z testu jednokrotnego wyboru (<math>N</math> pytań, każde z czterema odpowiedziami do wyboru, bez punktów ujemnych za błędne odpowiedzi, ale z korektą dla <math>p</math> poprawnych odpowiedzi  
 
Do egzaminu podchodzą osoby, które zaliczą [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczenia]] — w braku zaliczonych ćwiczeń wynik egzaminu z wykładu nie "przenosi się" na przyszły rok. Egzamin składał się będzie z testu jednokrotnego wyboru (<math>N</math> pytań, każde z czterema odpowiedziami do wyboru, bez punktów ujemnych za błędne odpowiedzi, ale z korektą dla <math>p</math> poprawnych odpowiedzi  
 
<math>
 
<math>
Linia 72: Linia 66:
 
</math>
 
</math>
 
po jednym punkcie za poprawną) i kilku pytań otwartych (po 2—4 punkty). Ostateczne przeliczenie punktów na oceny, jednakowe dla wszystkich, będzie ustalone a posteriori na podstawie statystyki i zdrowego rozsądku — w każdym razie próg zaliczenia powinien wyraźnie przekraczać 50% (po korekcie na odpowiedzi przypadkowe w części testowej).
 
po jednym punkcie za poprawną) i kilku pytań otwartych (po 2—4 punkty). Ostateczne przeliczenie punktów na oceny, jednakowe dla wszystkich, będzie ustalone a posteriori na podstawie statystyki i zdrowego rozsądku — w każdym razie próg zaliczenia powinien wyraźnie przekraczać 50% (po korekcie na odpowiedzi przypadkowe w części testowej).
 +
 +
Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu (koniunkcja warunków).
 +
 +
==Organizacja egzaminu==
 +
 +
Egzamin rozpocznie się w piątek 30 czerwca 2023 roku o godzinie 10 rano w sali 1.40 (Pasteura 5).
  
 
* nie wychodzimy z sali w trakcie egzaminu — bardzo proszę o przygotowanie się pod tym kątem :)  
 
* nie wychodzimy z sali w trakcie egzaminu — bardzo proszę o przygotowanie się pod tym kątem :)  
Linia 85: Linia 85:
 
* oddajemy kompletne arkusze wraz z notatkami i brudnopisami, nie jest dozwolone robienie kopii "na pamiątkę".
 
* oddajemy kompletne arkusze wraz z notatkami i brudnopisami, nie jest dozwolone robienie kopii "na pamiątkę".
  
Tematy do przemyślenia przed egzaminem == przerobiony na wykładzie program. Dla ustalenia uwagi, na przykład:
+
==Tematy do przemyślenia przed egzaminem ==  
** Sformułuj Centralne Twierdzenie Graniczne.  
+
Dla ustalenia uwagi, na przykład:
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
+
* Sformułuj Centralne Twierdzenie Graniczne.  
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
+
* Wypisz i przedyskutuj definicje prawdopodobieństwa.
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami  p(''x'') =  0,5 dla <math>0\leq x\leq 2</math> i p(''x'') =  0 dla ''x''>2  lub  ''x''<0.
+
* Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami  p(''x'') =  0,5 dla <math>0\leq x\leq 2</math> i p(''x'') =  0 dla ''x''>2 lub  ''x''<0
+
* Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami  p(''x'') =  0,5 dla <math>0\leq x\leq 2</math> i p(''x'') =  0 dla ''x''>2  lub  ''x''<0.
** Co to jest <math>\chi^2</math>?
+
* Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami  p(''x'') =  0,5 dla <math>0\leq x\leq 2</math> i p(''x'') =  0 dla ''x''>2 lub  ''x''<0
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
+
* Co to jest <math>\chi^2</math>?
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
+
* Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
+
* Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
+
* Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
** Co to jest i jak obliczamy moc testu?
+
* Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
+
* Co to jest i jak obliczamy moc testu?
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
+
* Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.
+
* Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
<!-- * Jeśli będzie egzamin ustny, to będzie obejmował tematy omawiane na wykładzie, jak np. powyższe.
+
* Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.
* W obu przypadkach na ocenę końcową mogą wpływać również punkty za aktywność na zajęciach.-->
+
* Wyjaśnij różnicę między poziomem istotności hipotezy o różnicy średnich a rozmiarem efektu, wyliczonymi dla tych samych danych.
 
+
* Opisz w kategoriach wejścia i wyjścia algorytmy realizujące: regresję liniową, regresję logistyczną, liniową analizę dyskryminacyjną, analizę skupień, analizę wariancji i analizę składowych głównych.
Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.
 

Aktualna wersja na dzień 18:35, 11 kwi 2024

Wnioskowanie statystyczne (wykład)

UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń

    1. Rozkłady gęstości prawdopodobieństwa
    2. Wariancja, mediana...
    3. Przykładowe rozkłady
    1. Centralne Twierdzenie Graniczne
    1. Wstęp
    2. Teoria klasyczna
    3. Statystyki i estymatory
    1. Weryfikacja hipotez statystycznych
    2. Test t Studenta
    1. Test [math]\chi^2[/math]
    1. Monte Carlo
    1. Testy nieparametryczne
    2. Test serii
    3. Test Wilcoxona-Manna-Whitneya
    1. Testy permutacyjne
    2. Bootstrap
    1. Metoda największej wiarygodności
    2. Regresja liniowa
    1. Interpretacja współczynnika korelacji
    2. Analiza wariancji
    1. TP, FP, ROC
    1. Problem porównań wielokrotnych — miejskie legendy i przepowiednie
    1. Prawdopodobieństwo
    2. Twierdzenie Bayesa
    3. Wielkość efektu
    1. PCA, MANOVA, analiza skupień
    2. LDA, LR, ANN
    3. Algorytmy Genetyczne
  1. Maris, E., Oostenveld, R. (2007). Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods, 164(1), 177–190.



Całość podręcznika jest udostępniona na licencji Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska. CC-88x31.png Na podstawie książki Wstęp do współczesnej statystyki. Autor: Piotr Durka.


Egzamin i zaliczenie

Do egzaminu podchodzą osoby, które zaliczą ćwiczenia — w braku zaliczonych ćwiczeń wynik egzaminu z wykładu nie "przenosi się" na przyszły rok. Egzamin składał się będzie z testu jednokrotnego wyboru ([math]N[/math] pytań, każde z czterema odpowiedziami do wyboru, bez punktów ujemnych za błędne odpowiedzi, ale z korektą dla [math]p[/math] poprawnych odpowiedzi [math] p_{\% kor} = \frac{p - N/4}{N - N/4} [/math] po jednym punkcie za poprawną) i kilku pytań otwartych (po 2—4 punkty). Ostateczne przeliczenie punktów na oceny, jednakowe dla wszystkich, będzie ustalone a posteriori na podstawie statystyki i zdrowego rozsądku — w każdym razie próg zaliczenia powinien wyraźnie przekraczać 50% (po korekcie na odpowiedzi przypadkowe w części testowej).

Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń i wykładu (koniunkcja warunków).

Organizacja egzaminu

Egzamin rozpocznie się w piątek 30 czerwca 2023 roku o godzinie 10 rano w sali 1.40 (Pasteura 5).

  • nie wychodzimy z sali w trakcie egzaminu — bardzo proszę o przygotowanie się pod tym kątem :)
  • nie ściągamy. To niemodne i passé, a przeprowadzenie egzaminu w przyjaznej atmosferze leży w Waszym interesie
  • dla zachowania przyjaznej atmosfery i oddalenia pokus nieetycznych zachowań, torby/teczki/ubrania nie pozostawione w szatni zostawiamy na podłodze na froncie sali. Do ławki zabieramy ze sobą tylko długopis (lub dwa) oraz dowolne ID ze zdjęciem, które okazujemy na ew. prośbę Prowadzących (elegancko jest od razu położyć ID na brzegu ławki po podpisaniu testu)
  • w ławkach siadamy, zajmując dostępną przestrzeń możliwie równomiernie według wskazań Prowadzących, poczynając od pierwszych ławek
  • nie jest dopuszczalny kontakt z urządzeniami komunikacyjnymi i/lub elektronicznymi. Jeśli ktoś oczekuje pilnego telefonu w czasie egzaminu, powinien ten fakt zgłosić Prowadzącym _przed_ rozpoczęciem egzaminu. W pozostałych wypadkach telefony (po wyciszeniu a najlepiej wyłączeniu) itp. urządzenia potencjalnie komunikacyjne i elektroniczne pozostawiamy w torbach lub ew. w kieszeniach i nie wyjmujemy w czasie egzaminu. Do wykonania nielicznych wyliczeń wystarczy głowa, ew. długopis
  • odpowiedzi na pytania testowe będziemy wpisywać "na czysto" w tabelce przed samym oddaniem testu, strony z pytaniami testowymi można dowolnie pomazać, oznaczenia na pytaniach nie będą brane pod uwagę przy sprawdzaniu
  • odpowiedzi do pytań otwartych wpisujemy maksymalnie czytelnie i "na czysto". Nieczytelne i niewyraźne wywody nie będą sprawdzane. Kartki użyte jako brudnopis przed oddaniem przekreślamy.
  • oddajemy kompletne arkusze wraz z notatkami i brudnopisami, nie jest dozwolone robienie kopii "na pamiątkę".

Tematy do przemyślenia przed egzaminem

Dla ustalenia uwagi, na przykład:

  • Sformułuj Centralne Twierdzenie Graniczne.
  • Wypisz i przedyskutuj definicje prawdopodobieństwa.
  • Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
  • Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(x) = 0,5 dla [math]0\leq x\leq 2[/math] i p(x) = 0 dla x>2 lub x<0.
  • Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(x) = 0,5 dla [math]0\leq x\leq 2[/math] i p(x) = 0 dla x>2 lub x<0
  • Co to jest [math]\chi^2[/math]?
  • Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
  • Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
  • Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
  • Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
  • Co to jest i jak obliczamy moc testu?
  • Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników [math]\{x_{i}, i=1\dots N\}[/math] i [math]\{y_{j}, j=1\dots M\}[/math] metodą repróbkowania (resampling).
  • Wyprowadź wzór na średnią N pomiarów [math]x_i[/math] o różnych wariancjach [math]\sigma_{i}^2[/math] z metody największej wiarygodności.
  • Dany jest zbiór rozłącznych hipotez [math]H_{i}[/math] pokrywających całą przestrzeń zdarzeń [math]\Omega[/math]: [math]\sum_{i}H_{i}=\Omega[/math] oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez [math]H_{i}[/math], czyli [math]P(W\mid H_{i})[/math]. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy [math]H_{j}[/math] w świetle wyników eksperymentu W.
  • Wyjaśnij różnicę między poziomem istotności hipotezy o różnicy średnich a rozmiarem efektu, wyliczonymi dla tych samych danych.
  • Opisz w kategoriach wejścia i wyjścia algorytmy realizujące: regresję liniową, regresję logistyczną, liniową analizę dyskryminacyjną, analizę skupień, analizę wariancji i analizę składowych głównych.