Wnioskowanie Statystyczne - wykład: Różnice pomiędzy wersjami

Z Brain-wiki
(Nie pokazano 55 wersji utworzonych przez 3 użytkowników)
Linia 6: Linia 6:
  
 
=Wnioskowanie statystyczne (wykład)=
 
=Wnioskowanie statystyczne (wykład)=
 +
 +
'''UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń'''
 +
 +
<!-- Zajęcia zdalne w roku 2021 odbywają się pod adresem https://kampus.come.uw.edu.pl/course/view.php?id=5295
 +
-->
  
 
#  
 
#  
Linia 16: Linia 21:
 
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
 
## [[WnioskowanieStatystyczne/wstep|Wstęp]]
 
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
 
## [[WnioskowanieStatystyczne/Klasyczna_teoria|Teoria klasyczna]]
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
+
## [[WnioskowanieStatystyczne/Statystyki_i_estymatory|Statystyki i estymatory]]
 
#
 
#
 
##  [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]  
 
##  [[WnioskowanieStatystyczne/Weryfikacja_hipotez|Weryfikacja hipotez statystycznych]]  
#
 
 
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
 
## [[WnioskowanieStatystyczne/Test_t|Test ''t'' Studenta]]
 
#
 
#
 
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
 
## [[WnioskowanieStatystyczne/Test_chi2|Test <math>\chi^2</math>]]
 +
#
 +
##
 +
#
 
##  [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
 
##  [[WnioskowanieStatystyczne/Z_komputerem|Monte Carlo]]
 +
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
 +
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
 +
#
 
#
 
#
 
##  [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
 
##  [[WnioskowanieStatystyczne/Testy_nieprametryczne|Testy nieparametryczne]]
 
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
 
## [[WnioskowanieStatystyczne/Test_serii|Test serii]]
 
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
 
## [[WnioskowanieStatystyczne/Test_Wilcoxona|Test Wilcoxona-Manna-Whitneya]]
#
 
## [[WnioskowanieStatystyczne/Testy_permutacyjne|Testy permutacyjne]]
 
## [[WnioskowanieStatystyczne/Bootstrap|Bootstrap]]
 
 
#
 
#
 
##  [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
 
##  [[WnioskowanieStatystyczne/MLF|Metoda największej wiarygodności]]
 
##  [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
 
##  [[WnioskowanieStatystyczne/Regresja_liniowa|Regresja liniowa]]
 
#
 
#
## [[WnioskowanieStatystyczne/Bonferroni|Problem porównań wielokrotnych  -- miejskie legendy i przepowiednie]]
+
## [[WnioskowanieStatystyczne/Interpretacja współczynnika korelacji|Interpretacja współczynnika korelacji]]
 +
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
 
#
 
#
## [[WnioskowanieStatystyczne/Analiza_wariancji|Analiza wariancji]]
+
## [[WnioskowanieStatystyczne/Bonferroni|TP/FP, ROC. Problem porównań wielokrotnych — miejskie legendy i przepowiednie]]
 
#
 
#
 +
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
 
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
 
## [[WnioskowanieStatystyczne/Twierdzenie_Bayesa|Twierdzenie Bayesa]]
## [[WnioskowanieStatystyczne/Prawdopodobienstwo|Prawdopodobieństwo]]
 
 
#
 
#
 
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
 
## [[WnioskowanieStatystyczne/Elementy_statystyki_wielowymiarowej|Elementy statystyki wielowymiarowej]]
Linia 50: Linia 58:
 
{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
 
{{color|green|'''Całość podręcznika jest udostępniona na licencji [http://creativecommons.org/licenses/by-sa/3.0/pl Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska].'''}} [[Grafika:CC-88x31.png]]
 
Autor: [http://durka.name Piotr Durka].
 
Autor: [http://durka.name Piotr Durka].
 +
 +
 +
[https://drive.google.com/drive/folders/1yPKnOfmO3dEp0SeslNXwSfOoPzQFSanc?usp=sharing slajdy z wykładów]
  
 
===zasady zaliczenia przedmiotu===
 
===zasady zaliczenia przedmiotu===
  
 
Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
 
Punktacja [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]]:
* 10 wejściówek (po 1 pkt) na początku zajęć
+
*'''Kartkówki (16 pkt)''': 4 kartkówki po 4 pkt w trakcie semestru
** materiał obejmuje zagadnienia z poprzednich wykładów i ćwiczeń, wybrane pod kątem najbliższych ćwiczeń
+
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
** polecenia będą obejmować przykładowo naszkicowanie zadanego rozkładu, podania definicji, przeprowadzenia prostego rachunku czy zaproponowania fragmentu kodu
+
*'''Prace domowe/Aktywność (4 pkt)'''
* 2 kolokwia (po 14 pkt), poniedziałki rano
+
*'''Kolokwium (20 pkt)'''
** 24.04.17 - zmienne losowe i przedziały ufności
+
**data: '''30.05.2022''', w godz. 9:00 - 12:00
** 05.06.17 - testowanie hipotez i regresja liniowa
+
**zakres: zmienne losowe, przedziały ufności, testowanie hipotez
** możliwość korzystania z własnych notatek i programów
+
*'''Projekt (10 pkt)'''
* 2 projekty (po 6 pkt)
+
**kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do '''22.06.2022''')
** do oddania odpowiednio do 10.04.17 i 29.05.17
+
**zakres: chi2
** propozycje projektów zostaną podane w trakcie semestru:
+
**propozycje zadań zostaną podane w trakcie semestru
*** [http://fuw.edu.pl/~mpietrzak/wnioskowanie/e3rdtf5guimo2017/projekt_WS_1-2017.pdf Projekt nr 1-2017]
+
*'''Obecność'''
*** [http://fuw.edu.pl/~mpietrzak/wnioskowanie/e3rdtf5guimo2017/projekt_WS_2-2017.pdf Projekt nr 2-2017]
+
**Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.
  
 
Zaliczenie ćwiczeń:
 
Zaliczenie ćwiczeń:
* Minimum 25 pkt łącznie
+
* > 50% z 50 pkt łącznie
* W tym min. 7 pkt z wejściówek
+
* Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu pisemnego (z wykładu). Możliwe, że dla studentów, którzy uzyskali co najmniej 25 pkt łącznie i co najmniej 4 pkt z wejściówek, konieczna będzie kartkówka poprawkowa (przed egzaminem końcowym) pozwalająca zaliczyć ćwiczenia.
+
* W przypadku braku uzyskania zaliczenia z ćwiczeń: '''kolokwium poprawkowe''' w czerwcu ('''24.06.2022''') lub w sesji jesiennej ('''x''').
 +
* Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z '''wyzerowaniem punktów z całego semestru'''.
  
 
Zaliczenie wykładu:
 
Zaliczenie wykładu:
* Egzamin pisemny  
+
* Egzamin pisemny w sali. Tematy do przemyślenia przed egzaminem == przerobiony na wykładzie program. Dla ustalenia uwagi, na przykład:
 
+
** Sformułuj Centralne Twierdzenie Graniczne.
Ocena końcowa z przedmiotu = średnia ocen z [[Wnioskowanie_Statystyczne_-_ćwiczenia | ćwiczeń]] i z wykładu.
+
** Wypisz i przedyskutuj definicje prawdopodobieństwa.
 
+
** Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
 
+
** Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami  p(''x'') =  0,5 dla <math>0\leq x\leq 2</math> i p(''x'') =  0 dla ''x''>2  lub  ''x''<0.
==wyniki ćwiczeń 2017.06==
+
** Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami  p(''x'') =  0,5 dla <math>0\leq x\leq 2</math> i p(''x'') =  0 dla ''x''>2 lub  ''x''<0
 
+
** Co to jest <math>\chi^2</math>?
 
+
** Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
Egzamin pisemny odbędzie się w środę 21 czerwca 2017 w sali 1.01. Do egzaminu dopuszczone są osoby, które zaliczyły ćwiczenia lub są w trakcie ich zaliczania (nie później niż 20 czerwca). Osoby, którym nie udało zdobyć się zaliczenia ćwiczeń będą mogły to zrobić w sesji wrześniowej, pisząc kolokwium poprawkowe. Wynik egzaminu nie przenosi się na przyszły rok w przypadku poprawiania przedmiotu z powodu niezaliczenia ćwiczeń.
+
** Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
 
+
** Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
<pre>
+
** Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
indeks OC_ĆW
+
** Co to jest i jak obliczamy moc testu?
383301
+
** Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników <math>\{x_{i}, i=1\dots N$\}</math> i <math>\{y_{j}, j=1\dots M\}</math> metodą repróbkowania (resampling).
358252
+
** Wyprowadź wzór na średnią ''N'' pomiarów <math>x_i</math> o różnych wariancjach <math>\sigma_{i}^2</math> z metody największej wiarygodności.
385532
+
** Dany jest zbiór rozłącznych hipotez <math>H_{i}</math> pokrywających całą przestrzeń zdarzeń <math>\Omega</math>: <math>\sum_{i}H_{i}=\Omega</math> oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez <math>H_{i}</math>, czyli <math>P(W\mid H_{i})</math>. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy <math>H_{j}</math> w świetle wyników eksperymentu W.
383249 4
+
<!-- * Jeśli będzie egzamin ustny, to będzie obejmował tematy omawiane na wykładzie, jak np. powyższe.
374702
+
* W obu przypadkach na ocenę końcową mogą wpływać również punkty za aktywność na zajęciach.-->
383882
 
382358 4,5
 
383336 4,5
 
383898 4
 
360731
 
383381 3,5
 
358323
 
374226
 
383331
 
 
374714
 
372393
 
382395 4
 
374760 4
 
382443 4,5
 
359079 3,5
 
315748
 
372202 4,5
 
383365 3,5
 
383251 4
 
325637 4
 
383253 3,5
 
374888 3,5
 
383288
 
382440 4
 
362873 4
 
384416
 
322230
 
332819
 
293258
 
308698
 
335737 4
 
383902 4
 
372768
 
383887
 
383375 4
 
370617 4,5
 
382275
 
370420 3,5
 
382407
 
382428
 
342315
 
</pre>
 
  
<!--
+
Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń '''i''' wykładu.
 
 
==wyniki egzaminu w terminie zerowym 2016.06.10 i niekóre punkty z ćwiczeń==
 
legenda:
 
* kart/10 -- suma punktów z kartkówek (max 10)
 
* kol1/10 -- suma punktów z pierwszego kolokwium (max 10)
 
* ust.ćw. -- ustne zal. ćwiczeń (jeśli kartk. < 7/10)
 
* test/21 -- wynik części testowej egzaminu (max 21)
 
* otw12/4 -- punktacja pytań otwartych I i II (max. 4)
 
 
 
 
<pre>indeks kart/10 kol1/15 kol2/15 proj/10 zal.ust cw/50 oc.cw test/21 otw12/4 otw34/4 %egz0 egz0oc test/22 otw/18 egz% egz_oc OCENA KOŃCOWA
 
357725 7 15 14 7 - 43 4,5 20 17 92.50% 5 5
 
370469 6 12 12 10 tak 40 4 20 10 75.00% 4.5 4.5
 
374722 3 11 11 10 tak 35 3,5 14 11 62.50% 3.5 3.5
 
372772 5 3 9 8 tak 25 3 18 7 62.50% 3.5 3.5
 
374715 7 11 7 nb - 25 3 11 4 1.5 57% 3 0.00% 3 3
 
370527 9 14 11 10 - 44 5 14 4 1.5 67% 3.5 0.00% 3.5 4.5
 
370471 4 9 14 nb nb 0 2! 0.00% --
 
345752 8 15 14 8 - 45 5 18 16 85.00% 5 5!
 
374723 1 nb nb nb 0 2 0.00% --
 
370530 6 13 9 9 tak 37 4 14 4 4 76% 4.5 0.00% 4.5 4.5
 
360731 nb nb nb 0 2! 0.00% --
 
374758 2 nb nb 0 2! 0.00% --
 
370449 8 13 11 8 - 40 4,5 18 4 3 86% 5 0.00% 5 5
 
380926 0 0.00% --
 
374764 3 nb 2 nb nb 0 2 0.00% --
 
374714 5 11 4 nb nb 0 2 14 7 52.50% 3
 
380966 6 8 11 10 tak 35 4 18 13.5 78.75% 4.5 4.5
 
359079 3 10 11 nb tak 0 2 14 2 40.00% --
 
315748 2 nb nb 0 2! 0.00% --
 
374761 4 12 8 10 tak 34 3,5 16 10.5 66.25% 3.5 3.5
 
378738 6 8 7 10 tak 31 3,5 14 12 65.00% 3.5 3.5
 
370486 8 10 10 7 - 35 4 16 4 5 86% 5 0.00% 5 4.5
 
372777 4 9 5 8 tak 26 3 12 8 50.00% --
 
306921 0 0.00% --
 
370543 2 14 3 8 tak 27 3 14 4 0 62% 3.5 0.00% 3.5 3.5
 
374762 3 nb nb nb 0 2! 0.00% --
 
372860 5 12 5 10 tak 32 3,5 17 7 60.00% 3 3.5
 
370618 8 14 14 10 - 46 5 18 4.5 56.25% 3 4
 
372771 6 8 7 10 tak 31 3,5 14 6.5 51.25% 3 3.5
 
372768 5 8 5 10 tak 28 3 12 2 35.00% --
 
335315 4 14 11 10 tak 39 4 0.00% --
 
370490 8 12 12 6 - 38 4 19 4 3 90% 5 0.00% 5 4.5
 
373218 6 12 11 10 tak 39 4 17 4 5 90% 5 0.00% 5 4.5
 
305957 9 13 15 10 - 47 5 18 16 85.00% 5 5!
 
370420 0 nb nb 0 2! 0.00% --
 
335598 nb nb nb 0 2! 0.00% --
 
370493 7 15 13 10 - 45 5 19 4 4.5 95% 5 0.00% 5 5
 
370467 9 14 15 10 - 48 5 20 4 4.5 98% 5 0.00% 5 5!
 
380960 5 12 7 10 tak 34 3,5 12 8 50.00% --
 
374763 3 6 nb nb nb 0 2! 0.00% --
 
370496 3 11 15 8 tak 37 4 14 7 52.50% 3 3.5
 
374711 5 13 13 9 tak 40 4 16 4 4 83% 4.5 0.00% 4.5 4.5
 
372766 6 10 6 6 tak 28 3 11 7.5 46.25% --
 
</pre>
 
 
 
-->
 

Wersja z 22:17, 18 cze 2022


Wnioskowanie statystyczne (wykład)

UWAGA: wymagane zaliczenie Technologii Informacyjnych i Komunikacyjnych z ćwiczeniami z programowania w Pythonie w wymiarze 45 godzin ćwiczeń


    1. Rozkłady gęstości prawdopodobieństwa
    2. Wariancja, mediana...
    3. Przykładowe rozkłady
    1. Centralne Twierdzenie Graniczne
    1. Wstęp
    2. Teoria klasyczna
    3. Statystyki i estymatory
    1. Weryfikacja hipotez statystycznych
    2. Test t Studenta
    1. Test [math]\chi^2[/math]
    1. Monte Carlo
    2. Testy permutacyjne
    3. Bootstrap
    1. Testy nieparametryczne
    2. Test serii
    3. Test Wilcoxona-Manna-Whitneya
    1. Metoda największej wiarygodności
    2. Regresja liniowa
    1. Interpretacja współczynnika korelacji
    2. Analiza wariancji
    1. TP/FP, ROC. Problem porównań wielokrotnych — miejskie legendy i przepowiednie
    1. Prawdopodobieństwo
    2. Twierdzenie Bayesa
    1. Elementy statystyki wielowymiarowej
    1. Sztuczne sieci neuronowe
    2. Algorytmy Genetyczne


Całość podręcznika jest udostępniona na licencji Creative Commons Uznanie autorstwa-Na tych samych zasadach 3.0 Polska. CC-88x31.png Autor: Piotr Durka.


slajdy z wykładów

zasady zaliczenia przedmiotu

Punktacja ćwiczeń:

  • Kartkówki (16 pkt): 4 kartkówki po 4 pkt w trakcie semestru
    • zakres: zmienne losowe, przedziały ufności, testowanie hipotez
  • Prace domowe/Aktywność (4 pkt)
  • Kolokwium (20 pkt)
    • data: 30.05.2022, w godz. 9:00 - 12:00
    • zakres: zmienne losowe, przedziały ufności, testowanie hipotez
  • Projekt (10 pkt)
    • kod do napisania i indywidualnej obrony u prowadzącego (kod należy wysłać, a następnie umówić się indywidualnie na obronę do 22.06.2022)
    • zakres: chi2
    • propozycje zadań zostaną podane w trakcie semestru
  • Obecność
    • Obecność na ćwiczeniach jest obowiązkowa. Dopuszczalne są dwie nieusprawiedliwione nieobecności.

Zaliczenie ćwiczeń:

  • > 50% z 50 pkt łącznie
  • Zaliczenie ćwiczeń jest warunkiem koniecznym dopuszczenia do egzaminu z wykładu.
  • W przypadku braku uzyskania zaliczenia z ćwiczeń: kolokwium poprawkowe w czerwcu (24.06.2022) lub w sesji jesiennej (x).
  • Do kolokwium można podejść również w sytuacji chęci poprawienia oceny z ćwiczeń. Podejście do kolokwium poprawkowego jest równoznaczne z wyzerowaniem punktów z całego semestru.

Zaliczenie wykładu:

  • Egzamin pisemny w sali. Tematy do przemyślenia przed egzaminem == przerobiony na wykładzie program. Dla ustalenia uwagi, na przykład:
    • Sformułuj Centralne Twierdzenie Graniczne.
    • Wypisz i przedyskutuj definicje prawdopodobieństwa.
    • Wypisz założenia wersji Centralnego Twierdzenia Granicznego, którą można stosunkowo prosto udowodnić (twierdzenie Lindeberga-Levy'ego). Udowodnij lub spróbuj nakreślić szkic dowodu.
    • Oblicz wartość oczekiwaną rozkładu równomiernego, określonego na odcinku [0, 2], danego wzorami p(x) = 0,5 dla [math]0\leq x\leq 2[/math] i p(x) = 0 dla x>2 lub x<0.
    • Oblicz wariancję rozkładu równomiernego określonego na odcinku [0, 2], danego wzorami p(x) = 0,5 dla [math]0\leq x\leq 2[/math] i p(x) = 0 dla x>2 lub x<0
    • Co to jest [math]\chi^2[/math]?
    • Wypisz / wyprowadź wzory na wartość oczekiwaną i wariancję rozkładu Poissona.
    • Z rozkładu dwumianowego wylicz prawdopodobieństwo, że wśród czworga dzieci będą co najmniej trzy dziewczynki — zakładając, że prawdopodobieństwa urodzenia dziecka każdej płci są równe.
    • Testy parametryczne i nieparametryczne: wady, zalety, przykłady.
    • Co ma wspólnego poziom istotności testu z poprawką Bonferroniego?
    • Co to jest i jak obliczamy moc testu?
    • Opisz w punktach (zwięźle i konkretnie) procedurę weryfikacji hipotezy o różnicy średnich dwóch grup wyników [math]\{x_{i}, i=1\dots N$\}[/math] i [math]\{y_{j}, j=1\dots M\}[/math] metodą repróbkowania (resampling).
    • Wyprowadź wzór na średnią N pomiarów [math]x_i[/math] o różnych wariancjach [math]\sigma_{i}^2[/math] z metody największej wiarygodności.
    • Dany jest zbiór rozłącznych hipotez [math]H_{i}[/math] pokrywających całą przestrzeń zdarzeń [math]\Omega[/math]: [math]\sum_{i}H_{i}=\Omega[/math] oraz prawdopodobieństwa wyniku eksperymentu W w świetle każdej z hipotez [math]H_{i}[/math], czyli [math]P(W\mid H_{i})[/math]. Korzystając z tych oznaczeń, wypisz i wyprowadź twierdzenie Bayesa, czyli wzór na prawdopodobieństwo prawdziwości hipotezy [math]H_{j}[/math] w świetle wyników eksperymentu W.

Ocena końcowa z przedmiotu = średnia ocen z ćwiczeń i z wykładu, pod warunkiem zaliczenia ćwiczeń i wykładu.