WnioskowanieStatystyczne/Statystyki i estymatory

Wnioskowanie_Statystyczne_-_wykład

Statystyki i estymatory

Funkcję [math]S(x_{1},x_{2},...x_{n})[/math] określoną na elementach próby [math]\{x_i\}[/math] zwiemy statystyką. Obliczane w praktyce statystyki służą weryfikacji hipotez statystycznych (zwiemy je wtedy statystykami testowymi — tym zajmiemy się w następnym rozdziale) lub estymacji (szacowaniu) parametrów rozkładu prawdopodobieństwa w populacji zmiennej [math]x[/math], z której pobierana jest próba. W tym drugim przypadku zwiemy je estymatorami. Na przykład wartość średnia próby

[math] \overline{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i} [/math]

może być estymatorem wartości oczekiwanej populacji [math]\mu=E(x)[/math].

Estymator zwiemy nieobciążonym, jeśli dla każdej wielkości próby [math]n[/math] jego wartość oczekiwana jest równa wartości estymowanego parametru (oznaczmy go np. [math]\beta[/math]):

[math] \forall n \ E(S(x_{1}...x_{n}))=\beta. [/math]

Estymator zwiemy zgodnym, jeśli przy wielkości próby dążącej do nieskończoności jego wariancja dąży do zera:

[math] \underset{n\rightarrow \infty }{\lim }\sigma (S(x_{1}...x_{n}))=0. [/math]

Estymator wartości oczekiwanej

[math] \mu=E(x)=\overset{n}{\underset{i=1}{\sum }}x_{i}P(X=x_{i}) [/math]

[math] \mu=E(x)=\underset{-\infty }{\overset{\infty }{\int }}x p(x)dx. [/math]

Estymator wartości oczekiwanej postaci

[math] \overline{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i} [/math]

jest nieobciążony i zgodny.

Dowód:

[math] E(\overline{x})=E\left(\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i}\right)= \frac{1}{n}\underset{i=1}{\overset{n}{\sum }}E(x_{i}) =\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}\mu =\frac{1}{n}n\mu =\mu [/math]

[math] \sigma ^{2}\left( \overline{x}\right) = E \left( \left( \overline{x}-E(\overline{x})\right)^{2}\right) = E\left(\left(\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}x_{i}- \frac{1}{n}\underset{i=1}{\overset{n}{\sum }}\mu \right)^{2}\right) = [/math]

[math] =\frac{1}{n^{2}}E\left(\left(\underset{i=1}{\overset{n}{\sum }}(x_{i}-\mu )\right)^{2}\right) [/math]

Jeśli elementy próby są niezależne, to

[math] E\left((x_{i}-\mu)(x_{j}-\mu )\right) =\delta _{ij}\sigma ^{2}(x_{i}), [/math]

gdzie [math]\delta_{ij}[/math] oznacza deltę Kroneckera ([math]\delta_{ij}=1\ \textrm{ dla }\ i=j, \delta_{ij}=0\ \textrm{ dla }\ i\neq j[/math]), czyli:

[math]\sigma ^{2}\left( \overline{x}\right) =\frac{1}{n^{2}}E\left(\underset{i=1}{\overset{n}{\sum }}(x_{i}-\mu )^{2}\right) =\frac{1}{n^{2}}\left(\underset{i=1}{\overset{n}{\sum }}E(x_{i}-\mu )^{2}\right) = \frac{1}{n^{2}}\underset{i=1}{\overset{n}{ \sum }}\sigma ^{2}(x_i) [/math]

Ponadto, jeśli elementy próby pochodzą z tego samego rozkładu, to [math]\sigma ^{2}(x_{i})=\sigma^{2}(x)[/math], czyli

[math] { \sigma ^{2}(\overline{x})=\frac{1}{n^{2}}\underset{i=1}{\overset{n}{ \sum }}\sigma ^{2}(x)=\frac{1}{n}\sigma ^{2}(x)\ }. [/math]

Estymator wariancji

przypomnijmy wzory na wariancję dla przypadku, kiedy znany jest rozkład:

[math] \sigma ^{2}(x)=E((x-\mu)^{2})=\overset{n}{\underset{i=1}{\sum }} P(X=x_{i})(x_{i}-\mu)^{2} [/math]

[math] \sigma ^2(x)=E((x-\mu)^{2})=\underset{-\infty }{\overset{\infty }{ \int }}(x-\mu)^{2} p(x)dx [/math]

Spróbujmy skonstruować estymator wariancji z próby jako [math] s_o^{2}=\frac{1}{n} \underset{i=1}{\overset{n}{\sum }}(x_{i}-\overline{x})^{2}.[/math]

Jego wartość oczekiwana wyniesie

[math] E\left( s_o^{2}\right) = \frac{1}{n} E\left(\sum\limits_{i=1}^{n}(x_{i}-\overline{x})^{2}\right) [/math]

[math] = \frac{1}{n} E\left( \sum\limits_{i=1}^n (x_i-\mu -\overline{x}+\mu)^2 \right) [/math]

[math] = \frac{1}{n} E\left( \sum\limits_{i=1}^{n} (x_{i}-\mu)^2 + \sum\limits_{i=1}^{n} (\overline{x}-\mu)^2 - 2\sum\limits_{i=1}^{n}\left( (x_{i}-\mu) (\overline{x}-\mu) \right)\right) [/math]

[math] = \frac{1}{n}\left( \sum\limits_{i=1}^{n} E (x_{i}-\mu)^2 + \sum\limits_{i=1}^{n} E(\overline{x}-\mu)^2 - 2 \sum\limits_{i=1}^{n} E\left((x_{i}-\mu) (\overline{x}-\mu)\right)\right) [/math]

[math] = \frac{1}{n}\left( \sum\limits_{i=1}^{n} E (x_{i}-\mu)^2 + n E(\overline{x}-\mu)^2 - 2 n E(\overline{x}-\mu)\sum\limits_{i=1}^{n} E(x_{i}-\mu) \right) [/math]

[math] = \frac{1}{n} \left( \sum\limits_{i=1}^{n} E (x_i-\mu)^2 - n E (\overline{x}-\mu )^{2} \right) [/math]

[math] = \frac{1}{n} \left[ \sum\limits_{i=1}^{n} \sigma^{2}(x_i)-n\left(\sigma^{2}(\overline{x})\right)\right] [/math]

[math] = \frac{1}{n} \left[ n \sigma^{2}(x)-n\left(\frac{1}{n}\sigma^{2}(x)\right)\right] [/math]

[math] =\frac{n-1}{n}\sigma ^{2}(x) [/math]

czyli nie jest dla każdej wielkości próby [math]n[/math] wartość oczekiwana tego estymatora wyniesie [math]\sigma^2(x)[/math]. Tak więc [math]s_o^2[/math] jest estymatorem obciążonym.

W tej sytuacji, jako nieobciążony estymator wariancji możemy zaproponować

[math] { s^{2}=\frac{1}{n-1}\underset{i=1}{\overset{n}{\sum }}(x_{i}- \overline{x})^{2} } [/math]

Podstawiając ten estymator wariancji do wyprowadzonego powyżej wzoru na wariancję wartości średniej (3) w miejsce [math]\sigma^2[/math], dostajemy wzór na estymator wariancji wartości średniej próby

[math] s^2_{\overline{x}} = \frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}. [/math]

Pierwiastek tej wielkości

[math] s_{\overline{x}} = \sqrt{ \frac{1}{n(n-1)}\sum_{i=1}^n(x_{i}-\overline{x})^{2}} [/math]

jest estymatorem odchylenia standardowego wartości średniej. Wielkość tę czasem utożsamia się z "błędem wartości średniej".