WnioskowanieStatystyczne/Statystyki i estymatory: Różnice pomiędzy wersjami

Z Brain-wiki
 
(Nie pokazano 33 pośrednich wersji utworzonych przez tego samego użytkownika)
Linia 32: Linia 32:
  
 
==Estymator wartości oczekiwanej==
 
==Estymator wartości oczekiwanej==
 +
<math>
 +
\mu=E(x)=\overset{n}{\underset{i=1}{\sum }}x_{i}P(X=x_{i})
 +
</math>
 +
 +
<math>
 +
\mu=E(x)=\underset{-\infty }{\overset{\infty }{\int }}x p(x)dx.
 +
</math>
 +
 +
Estymator wartości oczekiwanej postaci
 +
 +
<math>
 +
\overline{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i}
 +
</math>
  
Zaproponowany estymator wartości oczekiwanej <xr id="eq:89">(%i)</xr> jest nieobciążony i zgodny.
+
jest nieobciążony i zgodny.
  
 
'''Dowód:'''
 
'''Dowód:'''
Linia 56: Linia 69:
  
 
Jeśli elementy próby są niezależne, to  
 
Jeśli elementy próby są niezależne, to  
 +
 
<equation id="eq:90">
 
<equation id="eq:90">
 
<math>
 
<math>
Linia 61: Linia 75:
 
</math>
 
</math>
 
</equation>
 
</equation>
gdzie <math>\delta_{ij}</math> oznacza deltę Kroneckera:
 
  
<math>\delta_{ij}=1\ \textrm{ dla }\ i=j,
+
gdzie <math>\delta_{ij}</math> oznacza deltę Kroneckera
\delta_{ij}=0\ \textrm{ dla }\ i\neq j</math>.
+
(<math>\delta_{ij}=1\ \textrm{ dla }\ i=j,
 +
\delta_{ij}=0\ \textrm{ dla }\ i\neq j</math>), czyli:
 +
 
 +
<math>\sigma ^{2}\left( \overline{x}\right)
 +
=\frac{1}{n^{2}}E\left(\underset{i=1}{\overset{n}{\sum }}(x_{i}-\mu )^{2}\right)
 +
=\frac{1}{n^{2}}\left(\underset{i=1}{\overset{n}{\sum }}E(x_{i}-\mu )^{2}\right)
 +
= \frac{1}{n^{2}}\underset{i=1}{\overset{n}{
 +
\sum }}\sigma ^{2}(x_i)
 +
</math>
 +
 
  
 
Ponadto, jeśli elementy próby pochodzą z tego samego rozkładu, to
 
Ponadto, jeśli elementy próby pochodzą z tego samego rozkładu, to
Linia 106: Linia 128:
  
 
==Estymator wariancji==
 
==Estymator wariancji==
przypomnijmy wzory na wariancję dla przypadku, kiedy znany jest rozkład:
+
Spróbujmy skonstruować estymator wariancji z próby jako <math> s_o^{2}=\frac{1}{n}
 
+
\underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}.</math>
 +
 +
Aby wyliczyć jego wartość oczekiwaną, wyprowadźmy jeszcze kilka prostych zależności. Na początek wykażemy, że wariancja zmiennej losowej jest równa różnicy wartości oczekiwanej kwadratu tej zmiennej i kwadratu jej wartości oczekiwanej:
  
 
<math>
 
<math>
\sigma ^{2}(x)=E((x-\mu)^{2})=\overset{n}{\underset{i=1}{\sum }}
+
\sigma^{2}(x_i)=E((x_i-\mu
P(X=x_{i})(x_{i}-\mu)^{2}
+
)^{2})=E(x_i^{2}-2x_i\mu+\mu ^{2})=E(x_i^{2})-2\mu E(x_i)+\mu^{2}=E(x_i^{2})-\mu^{2}=E(x_i^{2})-\left\{ E(x_i)\right\} ^{2}
 
</math>
 
</math>
  
 +
Czyli <equation id="eq:64">
 +
<center><math>
 +
\sigma ^{2}(x_i) = E(x_i^{2})-\left\{ E(x_i)\right\} ^{2} = E(x_i^{2}) - \mu^2
 +
</math></center>
 +
</equation>
 +
 +
Wynika stąd w szczególności, że
 +
<center><math>
 +
E(x_i^{2}) = \sigma_{x_i}^2 + \mu^2
 +
</math></center>
 +
 +
Analogicznie dla wariancji wartości średniej
 +
<center><math>
 +
E(\overline{x}^2) = \sigma_\overline{x}^2 + \mu^2
 +
</math></center>
 +
 +
Ponieważ
 
<math>
 
<math>
\sigma ^2(x)=E((x-\mu)^{2})=\underset{-\infty }{\overset{\infty }{
+
{ \sigma ^{2}_\overline{x}=\frac{1}{n}\sigma^{2}_x }
\int }}(x-\mu)^{2} p(x)dx
 
 
</math>
 
</math>
 +
dostajemy
  
 +
<center><math>
 +
\frac{1}{n}\sigma^{2}_\overline{x} = E(\overline{x}^2) + \mu^2
 +
</math></center>
  
Spróbujmy skonstruować estymator wariancji z próby jako <math> s_o^{2}=\frac{1}{n}
+
czyli
\underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}.</math>  
+
 
+
<center><math>
Jego wartość oczekiwana wyniesie
+
E(\overline{x}^2) = \frac{1}{n}\sigma^{2}_{x_i} + \mu^2
 +
</math></center>
 +
 
 +
 
 +
Policzmy teraz wartość oczekiwaną proponowanego estymatora wariancji  
 +
<math> s_o^{2}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}</math>
  
 
<math>
 
<math>
Linia 130: Linia 179:
 
</math>
 
</math>
  
<math>
+
<math> =
= \frac{1}{n} E\left( \sum\limits_{i=1}^{n} (x_{i}-\mu  -\overline{x}+\mu)^2 \right) \right]
+
\frac{1}{n} E\left(\sum\limits_{i=1}^{n}x_{i}^2 + \sum\limits_{i=1}^{n}\overline{x}^{2} - 2\sum\limits_{i=1}^{n} \overline{x} x_i \right)  
 
</math>
 
</math>
  
<math>
+
<math> =
= \frac{1}{n} E\left( \sum\limits_{i=1}^{n} \left[  (x_{i}-\mu)^2   + (\overline{x}-\mu)^2 - 2 (x_{i}-\mu) (\overline{x}-\mu) \right] \right)
+
\frac{1}{n} \left(\sum\limits_{i=1}^{n}E(x_{i}^2) + \sum\limits_{i=1}^{n}E(\overline{x}^{2}) - 2 E \left(\overline{x} \sum\limits_{i=1}^{n} x_i \right) \right)
 
</math>
 
</math>
  
<math>
+
<math> =
= \frac{1}{n} E\left( \sum\limits_{i=1}^{n} \left[(x_i-\mu)^2 - (\overline{x}-\mu )^{2} \right] \right)
+
\frac{1}{n} \left(\sum\limits_{i=1}^{n}E(x_{i}^2) + n E(\overline{x}^{2}) - 2 n E (\overline{x}^2 ) \right)
 
</math>
 
</math>
  
<math>
+
<math> =
= \frac{1}{n} \left( \sum\limits_{i=1}^{n} E (x_i-\mu)^2 - n E (\overline{x}-\mu )^{2} \right)
+
\frac{1}{n} \left(n E(x_{i}^2) - n E(\overline{x}^{2}) \right)
 
</math>
 
</math>
  
<math>
+
 
= \frac{1}{n} \left[ n \sigma^{2}(x)-n\left(\frac{1}{n}\sigma^{2}(x)\right)\right]
+
podstawiając wyprowadzone wcześniej wzory na <math>E(x_{i}^2)</math> i <math>E(\overline{x}^{2})</math> dostajemy
</math>
 
  
 
<math>
 
<math>
=\frac{n-1}{n}\sigma ^{2}(x) ,
+
E\left( s_o^{2}\right) =  \frac{1}{n} \left( n (\sigma^2_{x_i} + \mu^2) -n ( \frac{1}{n}\sigma^2_{x_i} + \mu^2 ) \right)
 +
=\frac{n-1}{n}\sigma^{2}_{x_i}
 
</math>
 
</math>
  
  
czyli nie jest dla każdej wielkości próby <math>n</math> równa <math>\sigma^2(x)</math>. Tak więc <math>s_o^2</math> jest estymatorem obciążonym.  
+
czyli nie jest dla każdej wielkości próby <math>n</math> wartość oczekiwana tego estymatora wyniesie <math>\sigma^2(x)</math>. Tak więc <math>s_o^2</math> jest estymatorem obciążonym.  
Jako nieobciążony estymator wariancji możemy zaproponować
+
W tej sytuacji, jako nieobciążony estymator wariancji możemy zaproponować
 
<equation id="eq:93">
 
<equation id="eq:93">
<math>
+
<center><math>
 
{ s^{2}=\frac{1}{n-1}\underset{i=1}{\overset{n}{\sum }}(x_{i}-
 
{ s^{2}=\frac{1}{n-1}\underset{i=1}{\overset{n}{\sum }}(x_{i}-
 
\overline{x})^{2} }
 
\overline{x})^{2} }
</math>
+
</math></center>
 
</equation>
 
</equation>
Podstawiając ten estymator wariancji do wyprowadzonego powyżej wzoru na
+
 
 +
 
 +
===Estymator wariancji wartości średniej===
 +
Podstawiając tę zależność do wyprowadzonego powyżej wzoru na
 
wariancję wartości średniej <xr id="eq:91">(%i)</xr>
 
wariancję wartości średniej <xr id="eq:91">(%i)</xr>
 
w miejsce <math>\sigma^2</math>, dostajemy wzór na estymator wariancji wartości
 
w miejsce <math>\sigma^2</math>, dostajemy wzór na estymator wariancji wartości
średniej próby:
+
średniej próby
 +
 
 
<equation id="eq:94">
 
<equation id="eq:94">
<math>
+
<center><math>
 
s^2_{\overline{x}} = \frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}.
 
s^2_{\overline{x}} = \frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}.
 
</math>
 
</math>
</equation>
+
</equation></center>
 +
 
  
 
Pierwiastek tej wielkości  
 
Pierwiastek tej wielkości  
  
<math>
+
<equation id="eq:94a">
 +
<center><math>
 
s_{\overline{x}} = \sqrt{
 
s_{\overline{x}} = \sqrt{
 
\frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}}
 
\frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}}
 
</math>
 
</math>
 +
</equation></center>
  
jest estymatorem '''odchylenia standardowego wartości średniej'''. Wielkość tę czasem utożsamia się z "błędem wartości średniej".
+
jest estymatorem '''odchylenia standardowego wartości średniej'''.
 
 
 
 
--------------------------
 
<references>
 

Aktualna wersja na dzień 10:23, 18 mar 2024

Wnioskowanie_Statystyczne_-_wykład


Statystyki i estymatory

Funkcję [math]S(x_{1},x_{2},...x_{n})[/math] określoną na elementach próby [math]\{x_i\}[/math] zwiemy statystyką. Obliczane w praktyce statystyki służą weryfikacji hipotez statystycznych (zwiemy je wtedy statystykami testowymi — tym zajmiemy się w następnym rozdziale) lub estymacji (szacowaniu) parametrów rozkładu prawdopodobieństwa w populacji zmiennej [math]x[/math], z której pobierana jest próba. W tym drugim przypadku zwiemy je estymatorami. Na przykład wartość średnia próby

[math] \overline{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i} [/math]

może być estymatorem wartości oczekiwanej populacji [math]\mu=E(x)[/math].

Estymator zwiemy nieobciążonym, jeśli dla każdej wielkości próby [math]n[/math] jego wartość oczekiwana jest równa wartości estymowanego parametru (oznaczmy go np. [math]\beta[/math]):

[math] \forall n \ E(S(x_{1}...x_{n}))=\beta. [/math]

Estymator zwiemy zgodnym, jeśli przy wielkości próby dążącej do nieskończoności jego wariancja dąży do zera:

[math] \underset{n\rightarrow \infty }{\lim }\sigma (S(x_{1}...x_{n}))=0. [/math]

Estymator wartości oczekiwanej

[math] \mu=E(x)=\overset{n}{\underset{i=1}{\sum }}x_{i}P(X=x_{i}) [/math]

[math] \mu=E(x)=\underset{-\infty }{\overset{\infty }{\int }}x p(x)dx. [/math]

Estymator wartości oczekiwanej postaci

[math] \overline{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i} [/math]

jest nieobciążony i zgodny.

Dowód:

[math] E(\overline{x})=E\left(\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i}\right)= \frac{1}{n}\underset{i=1}{\overset{n}{\sum }}E(x_{i}) =\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}\mu =\frac{1}{n}n\mu =\mu [/math]

[math] \sigma ^{2}\left( \overline{x}\right) = E \left( \left( \overline{x}-E(\overline{x})\right)^{2}\right) = E\left(\left(\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i}- \frac{1}{n}\underset{i=1}{\overset{n}{\sum }}\mu \right)^{2}\right) = [/math]

[math] =\frac{1}{n^{2}}E\left(\left(\underset{i=1}{\overset{n}{\sum }}(x_{i}-\mu )\right)^{2}\right) [/math]

Jeśli elementy próby są niezależne, to

[math] E\left((x_{i}-\mu)(x_{j}-\mu )\right) =\delta _{ij}\sigma ^{2}(x_{i}), [/math]

gdzie [math]\delta_{ij}[/math] oznacza deltę Kroneckera ([math]\delta_{ij}=1\ \textrm{ dla }\ i=j, \delta_{ij}=0\ \textrm{ dla }\ i\neq j[/math]), czyli:

[math]\sigma ^{2}\left( \overline{x}\right) =\frac{1}{n^{2}}E\left(\underset{i=1}{\overset{n}{\sum }}(x_{i}-\mu )^{2}\right) =\frac{1}{n^{2}}\left(\underset{i=1}{\overset{n}{\sum }}E(x_{i}-\mu )^{2}\right) = \frac{1}{n^{2}}\underset{i=1}{\overset{n}{ \sum }}\sigma ^{2}(x_i) [/math]


Ponadto, jeśli elementy próby pochodzą z tego samego rozkładu, to [math]\sigma ^{2}(x_{i})=\sigma^{2}(x)[/math], czyli

[math] { \sigma ^{2}(\overline{x})=\frac{1}{n^{2}}\underset{i=1}{\overset{n}{ \sum }}\sigma ^{2}(x)=\frac{1}{n}\sigma ^{2}(x)\ }. [/math]


Estymator wariancji

Spróbujmy skonstruować estymator wariancji z próby jako [math] s_o^{2}=\frac{1}{n} \underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}.[/math]

Aby wyliczyć jego wartość oczekiwaną, wyprowadźmy jeszcze kilka prostych zależności. Na początek wykażemy, że wariancja zmiennej losowej jest równa różnicy wartości oczekiwanej kwadratu tej zmiennej i kwadratu jej wartości oczekiwanej:

[math] \sigma^{2}(x_i)=E((x_i-\mu )^{2})=E(x_i^{2}-2x_i\mu+\mu ^{2})=E(x_i^{2})-2\mu E(x_i)+\mu^{2}=E(x_i^{2})-\mu^{2}=E(x_i^{2})-\left\{ E(x_i)\right\} ^{2} [/math]

Czyli

[math] \sigma ^{2}(x_i) = E(x_i^{2})-\left\{ E(x_i)\right\} ^{2} = E(x_i^{2}) - \mu^2 [/math]

Wynika stąd w szczególności, że

[math] E(x_i^{2}) = \sigma_{x_i}^2 + \mu^2 [/math]

Analogicznie dla wariancji wartości średniej

[math] E(\overline{x}^2) = \sigma_\overline{x}^2 + \mu^2 [/math]

Ponieważ [math] { \sigma ^{2}_\overline{x}=\frac{1}{n}\sigma^{2}_x } [/math] dostajemy

[math] \frac{1}{n}\sigma^{2}_\overline{x} = E(\overline{x}^2) + \mu^2 [/math]

czyli

[math] E(\overline{x}^2) = \frac{1}{n}\sigma^{2}_{x_i} + \mu^2 [/math]


Policzmy teraz wartość oczekiwaną proponowanego estymatora wariancji [math] s_o^{2}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}[/math]

[math] E\left( s_o^{2}\right) = \frac{1}{n} E\left(\sum\limits_{i=1}^{n}(x_{i}-\overline{x})^{2}\right) [/math]

[math] = \frac{1}{n} E\left(\sum\limits_{i=1}^{n}x_{i}^2 + \sum\limits_{i=1}^{n}\overline{x}^{2} - 2\sum\limits_{i=1}^{n} \overline{x} x_i \right) [/math]

[math] = \frac{1}{n} \left(\sum\limits_{i=1}^{n}E(x_{i}^2) + \sum\limits_{i=1}^{n}E(\overline{x}^{2}) - 2 E \left(\overline{x} \sum\limits_{i=1}^{n} x_i \right) \right) [/math]

[math] = \frac{1}{n} \left(\sum\limits_{i=1}^{n}E(x_{i}^2) + n E(\overline{x}^{2}) - 2 n E (\overline{x}^2 ) \right) [/math]

[math] = \frac{1}{n} \left(n E(x_{i}^2) - n E(\overline{x}^{2}) \right) [/math]


podstawiając wyprowadzone wcześniej wzory na [math]E(x_{i}^2)[/math] i [math]E(\overline{x}^{2})[/math] dostajemy

[math] E\left( s_o^{2}\right) = \frac{1}{n} \left( n (\sigma^2_{x_i} + \mu^2) -n ( \frac{1}{n}\sigma^2_{x_i} + \mu^2 ) \right) =\frac{n-1}{n}\sigma^{2}_{x_i} [/math]


czyli nie jest dla każdej wielkości próby [math]n[/math] wartość oczekiwana tego estymatora wyniesie [math]\sigma^2(x)[/math]. Tak więc [math]s_o^2[/math] jest estymatorem obciążonym. W tej sytuacji, jako nieobciążony estymator wariancji możemy zaproponować

[math] { s^{2}=\frac{1}{n-1}\underset{i=1}{\overset{n}{\sum }}(x_{i}- \overline{x})^{2} } [/math]


Estymator wariancji wartości średniej

Podstawiając tę zależność do wyprowadzonego powyżej wzoru na wariancję wartości średniej (3) w miejsce [math]\sigma^2[/math], dostajemy wzór na estymator wariancji wartości średniej próby

[math] s^2_{\overline{x}} = \frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}. [/math]


Pierwiastek tej wielkości

[math] s_{\overline{x}} = \sqrt{ \frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}} [/math]

jest estymatorem odchylenia standardowego wartości średniej.