WnioskowanieStatystyczne/Statystyki i estymatory: Różnice pomiędzy wersjami
(Nie pokazano 20 pośrednich wersji utworzonych przez tego samego użytkownika) | |||
Linia 128: | Linia 128: | ||
==Estymator wariancji== | ==Estymator wariancji== | ||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
Spróbujmy skonstruować estymator wariancji z próby jako <math> s_o^{2}=\frac{1}{n} | Spróbujmy skonstruować estymator wariancji z próby jako <math> s_o^{2}=\frac{1}{n} | ||
\underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}.</math> | \underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}.</math> | ||
− | + | Aby wyliczyć jego wartość oczekiwaną, wyprowadźmy jeszcze kilka prostych zależności. Na początek wykażemy, że wariancja zmiennej losowej jest równa różnicy wartości oczekiwanej kwadratu tej zmiennej i kwadratu jej wartości oczekiwanej: | |
<math> | <math> | ||
− | E\ | + | \sigma^{2}(x_i)=E((x_i-\mu |
− | \ | + | )^{2})=E(x_i^{2}-2x_i\mu+\mu ^{2})=E(x_i^{2})-2\mu E(x_i)+\mu^{2}=E(x_i^{2})-\mu^{2}=E(x_i^{2})-\left\{ E(x_i)\right\} ^{2} |
</math> | </math> | ||
− | <math> | + | Czyli <equation id="eq:64"> |
− | + | <center><math> | |
− | </math> | + | \sigma ^{2}(x_i) = E(x_i^{2})-\left\{ E(x_i)\right\} ^{2} = E(x_i^{2}) - \mu^2 |
+ | </math></center> | ||
+ | </equation> | ||
− | <math> | + | Wynika stąd w szczególności, że |
− | + | <center><math> | |
− | </math> | + | E(x_i^{2}) = \sigma_{x_i}^2 + \mu^2 |
+ | </math></center> | ||
− | <math> | + | Analogicznie dla wariancji wartości średniej |
− | + | <center><math> | |
− | </math> | + | E(\overline{x}^2) = \sigma_\overline{x}^2 + \mu^2 |
+ | </math></center> | ||
+ | Ponieważ | ||
<math> | <math> | ||
− | + | { \sigma ^{2}_\overline{x}=\frac{1}{n}\sigma^{2}_x } | |
</math> | </math> | ||
+ | dostajemy | ||
+ | <center><math> | ||
+ | \frac{1}{n}\sigma^{2}_\overline{x} = E(\overline{x}^2) + \mu^2 | ||
+ | </math></center> | ||
+ | czyli | ||
+ | <center><math> | ||
+ | E(\overline{x}^2) = \frac{1}{n}\sigma^{2}_{x_i} + \mu^2 | ||
+ | </math></center> | ||
− | |||
− | |||
− | |||
+ | Policzmy teraz wartość oczekiwaną proponowanego estymatora wariancji | ||
+ | <math> s_o^{2}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}</math> | ||
<math> | <math> | ||
− | = \frac{1}{n} | + | E\left( s_o^{2}\right) = |
+ | \frac{1}{n} E\left(\sum\limits_{i=1}^{n}(x_{i}-\overline{x})^{2}\right) | ||
</math> | </math> | ||
+ | <math> = | ||
+ | \frac{1}{n} E\left(\sum\limits_{i=1}^{n}x_{i}^2 + \sum\limits_{i=1}^{n}\overline{x}^{2} - 2\sum\limits_{i=1}^{n} \overline{x} x_i \right) | ||
+ | </math> | ||
− | <math> | + | <math> = |
− | + | \frac{1}{n} \left(\sum\limits_{i=1}^{n}E(x_{i}^2) + \sum\limits_{i=1}^{n}E(\overline{x}^{2}) - 2 E \left(\overline{x} \sum\limits_{i=1}^{n} x_i \right) \right) | |
</math> | </math> | ||
+ | <math> = | ||
+ | \frac{1}{n} \left(\sum\limits_{i=1}^{n}E(x_{i}^2) + n E(\overline{x}^{2}) - 2 n E (\overline{x}^2 ) \right) | ||
+ | </math> | ||
− | <math> | + | <math> = |
− | + | \frac{1}{n} \left(n E(x_{i}^2) - n E(\overline{x}^{2}) \right) | |
</math> | </math> | ||
+ | |||
+ | podstawiając wyprowadzone wcześniej wzory na <math>E(x_{i}^2)</math> i <math>E(\overline{x}^{2})</math> dostajemy | ||
<math> | <math> | ||
− | =\frac{n-1}{n}\sigma ^{2} | + | E\left( s_o^{2}\right) = \frac{1}{n} \left( n (\sigma^2_{x_i} + \mu^2) -n ( \frac{1}{n}\sigma^2_{x_i} + \mu^2 ) \right) |
+ | =\frac{n-1}{n}\sigma^{2}_{x_i} | ||
</math> | </math> | ||
czyli nie jest dla każdej wielkości próby <math>n</math> wartość oczekiwana tego estymatora wyniesie <math>\sigma^2(x)</math>. Tak więc <math>s_o^2</math> jest estymatorem obciążonym. | czyli nie jest dla każdej wielkości próby <math>n</math> wartość oczekiwana tego estymatora wyniesie <math>\sigma^2(x)</math>. Tak więc <math>s_o^2</math> jest estymatorem obciążonym. | ||
− | |||
− | |||
W tej sytuacji, jako nieobciążony estymator wariancji możemy zaproponować | W tej sytuacji, jako nieobciążony estymator wariancji możemy zaproponować | ||
<equation id="eq:93"> | <equation id="eq:93"> | ||
− | <math> | + | <center><math> |
{ s^{2}=\frac{1}{n-1}\underset{i=1}{\overset{n}{\sum }}(x_{i}- | { s^{2}=\frac{1}{n-1}\underset{i=1}{\overset{n}{\sum }}(x_{i}- | ||
\overline{x})^{2} } | \overline{x})^{2} } | ||
− | </math> | + | </math></center> |
</equation> | </equation> | ||
− | Podstawiając | + | ===Estymator wariancji wartości średniej=== |
+ | Podstawiając tę zależność do wyprowadzonego powyżej wzoru na | ||
wariancję wartości średniej <xr id="eq:91">(%i)</xr> | wariancję wartości średniej <xr id="eq:91">(%i)</xr> | ||
w miejsce <math>\sigma^2</math>, dostajemy wzór na estymator wariancji wartości | w miejsce <math>\sigma^2</math>, dostajemy wzór na estymator wariancji wartości | ||
średniej próby | średniej próby | ||
− | |||
<equation id="eq:94"> | <equation id="eq:94"> | ||
− | <math> | + | <center><math> |
s^2_{\overline{x}} = \frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}. | s^2_{\overline{x}} = \frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}. | ||
</math> | </math> | ||
− | </equation> | + | </equation></center> |
Pierwiastek tej wielkości | Pierwiastek tej wielkości | ||
− | |||
<equation id="eq:94a"> | <equation id="eq:94a"> | ||
− | <math> | + | <center><math> |
s_{\overline{x}} = \sqrt{ | s_{\overline{x}} = \sqrt{ | ||
\frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}} | \frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}} | ||
</math> | </math> | ||
− | </equation> | + | </equation></center> |
− | |||
− | jest estymatorem '''odchylenia standardowego wartości średniej''' | + | jest estymatorem '''odchylenia standardowego wartości średniej'''. |
Aktualna wersja na dzień 10:23, 18 mar 2024
Wnioskowanie_Statystyczne_-_wykład
Spis treści
Statystyki i estymatory
Funkcję [math]S(x_{1},x_{2},...x_{n})[/math] określoną na elementach próby [math]\{x_i\}[/math] zwiemy statystyką. Obliczane w praktyce statystyki służą weryfikacji hipotez statystycznych (zwiemy je wtedy statystykami testowymi — tym zajmiemy się w następnym rozdziale) lub estymacji (szacowaniu) parametrów rozkładu prawdopodobieństwa w populacji zmiennej [math]x[/math], z której pobierana jest próba. W tym drugim przypadku zwiemy je estymatorami. Na przykład wartość średnia próby
może być estymatorem wartości oczekiwanej populacji [math]\mu=E(x)[/math].
Estymator zwiemy nieobciążonym, jeśli dla każdej wielkości próby [math]n[/math] jego wartość oczekiwana jest równa wartości estymowanego parametru (oznaczmy go np. [math]\beta[/math]):
[math] \forall n \ E(S(x_{1}...x_{n}))=\beta. [/math]
Estymator zwiemy zgodnym, jeśli przy wielkości próby dążącej do nieskończoności jego wariancja dąży do zera:
[math] \underset{n\rightarrow \infty }{\lim }\sigma (S(x_{1}...x_{n}))=0. [/math]
Estymator wartości oczekiwanej
[math] \mu=E(x)=\overset{n}{\underset{i=1}{\sum }}x_{i}P(X=x_{i}) [/math]
[math] \mu=E(x)=\underset{-\infty }{\overset{\infty }{\int }}x p(x)dx. [/math]
Estymator wartości oczekiwanej postaci
[math] \overline{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i} [/math]
jest nieobciążony i zgodny.
Dowód:
[math] E(\overline{x})=E\left(\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i}\right)= \frac{1}{n}\underset{i=1}{\overset{n}{\sum }}E(x_{i}) =\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}\mu =\frac{1}{n}n\mu =\mu [/math]
[math] \sigma ^{2}\left( \overline{x}\right) = E \left( \left( \overline{x}-E(\overline{x})\right)^{2}\right) = E\left(\left(\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i}- \frac{1}{n}\underset{i=1}{\overset{n}{\sum }}\mu \right)^{2}\right) = [/math]
[math] =\frac{1}{n^{2}}E\left(\left(\underset{i=1}{\overset{n}{\sum }}(x_{i}-\mu )\right)^{2}\right) [/math]
Jeśli elementy próby są niezależne, to
gdzie [math]\delta_{ij}[/math] oznacza deltę Kroneckera ([math]\delta_{ij}=1\ \textrm{ dla }\ i=j, \delta_{ij}=0\ \textrm{ dla }\ i\neq j[/math]), czyli:
[math]\sigma ^{2}\left( \overline{x}\right) =\frac{1}{n^{2}}E\left(\underset{i=1}{\overset{n}{\sum }}(x_{i}-\mu )^{2}\right) =\frac{1}{n^{2}}\left(\underset{i=1}{\overset{n}{\sum }}E(x_{i}-\mu )^{2}\right) = \frac{1}{n^{2}}\underset{i=1}{\overset{n}{ \sum }}\sigma ^{2}(x_i) [/math]
Ponadto, jeśli elementy próby pochodzą z tego samego rozkładu, to
[math]\sigma ^{2}(x_{i})=\sigma^{2}(x)[/math], czyli
Estymator wariancji
Spróbujmy skonstruować estymator wariancji z próby jako [math] s_o^{2}=\frac{1}{n} \underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}.[/math]
Aby wyliczyć jego wartość oczekiwaną, wyprowadźmy jeszcze kilka prostych zależności. Na początek wykażemy, że wariancja zmiennej losowej jest równa różnicy wartości oczekiwanej kwadratu tej zmiennej i kwadratu jej wartości oczekiwanej:
[math] \sigma^{2}(x_i)=E((x_i-\mu )^{2})=E(x_i^{2}-2x_i\mu+\mu ^{2})=E(x_i^{2})-2\mu E(x_i)+\mu^{2}=E(x_i^{2})-\mu^{2}=E(x_i^{2})-\left\{ E(x_i)\right\} ^{2} [/math]
Czyli
Wynika stąd w szczególności, że
Analogicznie dla wariancji wartości średniej
Ponieważ [math] { \sigma ^{2}_\overline{x}=\frac{1}{n}\sigma^{2}_x } [/math] dostajemy
czyli
Policzmy teraz wartość oczekiwaną proponowanego estymatora wariancji
[math] s_o^{2}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}[/math]
[math] E\left( s_o^{2}\right) = \frac{1}{n} E\left(\sum\limits_{i=1}^{n}(x_{i}-\overline{x})^{2}\right) [/math]
[math] = \frac{1}{n} E\left(\sum\limits_{i=1}^{n}x_{i}^2 + \sum\limits_{i=1}^{n}\overline{x}^{2} - 2\sum\limits_{i=1}^{n} \overline{x} x_i \right) [/math]
[math] = \frac{1}{n} \left(\sum\limits_{i=1}^{n}E(x_{i}^2) + \sum\limits_{i=1}^{n}E(\overline{x}^{2}) - 2 E \left(\overline{x} \sum\limits_{i=1}^{n} x_i \right) \right) [/math]
[math] = \frac{1}{n} \left(\sum\limits_{i=1}^{n}E(x_{i}^2) + n E(\overline{x}^{2}) - 2 n E (\overline{x}^2 ) \right) [/math]
[math] = \frac{1}{n} \left(n E(x_{i}^2) - n E(\overline{x}^{2}) \right) [/math]
podstawiając wyprowadzone wcześniej wzory na [math]E(x_{i}^2)[/math] i [math]E(\overline{x}^{2})[/math] dostajemy
[math] E\left( s_o^{2}\right) = \frac{1}{n} \left( n (\sigma^2_{x_i} + \mu^2) -n ( \frac{1}{n}\sigma^2_{x_i} + \mu^2 ) \right) =\frac{n-1}{n}\sigma^{2}_{x_i} [/math]
czyli nie jest dla każdej wielkości próby [math]n[/math] wartość oczekiwana tego estymatora wyniesie [math]\sigma^2(x)[/math]. Tak więc [math]s_o^2[/math] jest estymatorem obciążonym.
W tej sytuacji, jako nieobciążony estymator wariancji możemy zaproponować
Estymator wariancji wartości średniej
Podstawiając tę zależność do wyprowadzonego powyżej wzoru na wariancję wartości średniej (3) w miejsce [math]\sigma^2[/math], dostajemy wzór na estymator wariancji wartości średniej próby
Pierwiastek tej wielkości
jest estymatorem odchylenia standardowego wartości średniej.