WnioskowanieStatystyczne/CLT: Różnice pomiędzy wersjami

Z Brain-wiki
 
(Nie pokazano 76 pośrednich wersji utworzonych przez tego samego użytkownika)
Linia 6: Linia 6:
 
Rozkład Gaussa (zwany też rozkładem normalnym lub krzywą dzwonową) zależy od
 
Rozkład Gaussa (zwany też rozkładem normalnym lub krzywą dzwonową) zależy od
 
parametrów <math>\mu</math> i <math>\sigma</math>. Jego gęstość prawdopodobieństwa określona jest wzorem:
 
parametrów <math>\mu</math> i <math>\sigma</math>. Jego gęstość prawdopodobieństwa określona jest wzorem:
<equation id="eq:78">
+
 
<math>
+
<center><math display="block">
p(x)=N(\mu, \sigma)= \frac{1}{\sqrt{2\pi }\sigma }e^{\frac{-(x-\mu )^{2}}{2\sigma ^{2}}}.
+
p(x)=N(\mu, \sigma)= \frac{1}{\sqrt{2\pi }\sigma }e^{\frac{-(x-\mu )^{2}}{2\sigma ^{2}}}.
</math>
+
</math></center>
</equation>
 
  
 
Parametry te są tak dobrane, że wartość oczekiwana wynosi
 
Parametry te są tak dobrane, że wartość oczekiwana wynosi
<math>\mu</math>, a wariancja <math>\sigma^2</math>, co można
+
<math>\mu</math>, a wariancja <math>\sigma^2</math>.
sprawdzić wstawiając <xr id="eq:78">(%i)</xr> do wzorów na
 
[[STAT:Momenty#label-eq:60|wartość oczekiwaną]] i
 
[[STAT:Momenty#label-eq:63|wariancję]].
 
  
[[Plik:Rozklad_gaussa.png|400px|thumb|left|<figure
+
[[Plik:Rozklad_gaussa.png|600px|thumb|left|<math>N(0,1)</math>, czyli
id="fig:rozklad_gaussa"></figure><math>N(0,1)</math>, czyli
 
 
standardowy rozkład Gaussa o zerowej średniej (<math>\mu=0</math>) i
 
standardowy rozkład Gaussa o zerowej średniej (<math>\mu=0</math>) i
 
jednostkowej wariancji (<math>\sigma=1</math>).]]
 
jednostkowej wariancji (<math>\sigma=1</math>).]]
  
 
Rozkład Gaussa dla zerowej wartości oczekiwanej i jednostkowej
 
Rozkład Gaussa dla zerowej wartości oczekiwanej i jednostkowej
wariancji (<math>\mu=0, \sigma^2=1</math>) zwiemy ''standardowym
+
wariancji (<math>\mu=0, \sigma^2=1</math>) zwiemy  
rozkładem Gaussa'' i oznaczamy zwykle <math>N(0,1)</math>.
+
''standardowym rozkładem Gaussa''  
Przedstawia go rysunek <xr id="fig:rozklad_gaussa"> %i</xr>.
+
i oznaczamy zwykle <math>N(0,1)</math>.
Zaznaczono na nim m. in. wartość całki od <math>-\infty</math> do
+
Na wykresie zaznaczono na nim m. in. wartość całki od <math>-\infty</math> do
 
<math>-1</math>, czyli prawdopodobieństwo, że wylosowana z tego
 
<math>-1</math>, czyli prawdopodobieństwo, że wylosowana z tego
 
rozkładu liczba będzie mniejsza niż <math>-1</math>. Jak widać, wynosi
 
rozkładu liczba będzie mniejsza niż <math>-1</math>. Jak widać, wynosi
 
ono ok. 16%, a jeśli weźmiemy pod uwagę również wartości większe od 1,
 
ono ok. 16%, a jeśli weźmiemy pod uwagę również wartości większe od 1,
 
będzie to aż 32%! Oznacza to, że przy losowaniu wielu liczb z tego
 
będzie to aż 32%! Oznacza to, że przy losowaniu wielu liczb z tego
rozkładu prawie dwie spośród pięciu mogą znaleźć się w odległości
+
rozkładu niemal 1/3 wyników może znaleźć się w odległości
większej niż <math>\sigma</math> od wartości oczekiwanej. Warto o tym
+
większej niż <math>\sigma</math> od wartości oczekiwanej.
pamiętać, gdyż odchylenie standardowe <math>\sigma</math> bywa czasami
 
nazywane "błędem". 
 
<!--
 
Stwierdzenie "w granicach błędu" może odnosić się
 
raczej np. do wartości 3<math>\sigma</math>: prawdopodobieństwo
 
wylosowania wartości oddalonej od średniej o więcej niż
 
<math>3\sigma</math> dla rozkładu Gaussa wynosi zaledwie 0,003 wartości
 
prawdopodobieństw odchyleń większych niż <math>1\div 3\sigma</math>
 
dla zmiennych z rozkładu normalnego:
 
-->
 
  
 
<equation id="eq:80">
 
<equation id="eq:80">
Linia 56: Linia 41:
 
</equation>
 
</equation>
  
Gęstość prawdopodobieństwa dana równaniem
+
<!-- Gęstość prawdopodobieństwa dana równaniem
 
<xr id="eq:78">(%i)</xr> zanika w nieskończoności tylko
 
<xr id="eq:78">(%i)</xr> zanika w nieskończoności tylko
 
asymptotycznie, i dlatego w świetle tego rozkładu prawdopodobieństwo
 
asymptotycznie, i dlatego w świetle tego rozkładu prawdopodobieństwo
Linia 67: Linia 52:
 
wartości zmiennej losowej, którą w tym przypadku będzie mierzona
 
wartości zmiennej losowej, którą w tym przypadku będzie mierzona
 
masa.</ref> Jest to cena za korzystanie ze zwięzłej i eleganckiej
 
masa.</ref> Jest to cena za korzystanie ze zwięzłej i eleganckiej
postaci analitycznej rozkładu.
+
postaci analitycznej rozkładu. -->
 +
 
  
==Centralne Twierdzenie Graniczne==
+
Rozkład Gaussa pełni w statystyce bardzo znaczącą rolę ze względu na ''Centralne Twierdzenie Graniczne'', mówiące o asysmptotycznym rozkładzie sumy dużej liczby niezależnych zmiennych losowych, których rozkłady spełniają pewne warunki. Udowodnimy je w najprostszym przypadku, kiedy wszystkie te zmienne pochodzą z tego samego rozkładu gęstości prawdopodobieństwa. Na potrzeby tego dowodu musimy najpierw wprowadzić pojęcie funkcji charakterystycznej.
  
 +
<!--
 
Rozkład Gaussa pełni w statystyce bardzo znaczącą rolę ze względu na
 
Rozkład Gaussa pełni w statystyce bardzo znaczącą rolę ze względu na
''Centralne Twierdzenie Graniczne'', według którego rozkład sumy
+
''Centralne Twierdzenie Graniczne'', według którego rozkład zmiennej losowej <math>y</math>, będącej sumą dużej liczby zmiennych losowych <math>x_i</math> (czyli <math>y=\sum_{i=1}^{N} x_i</math>) dąży, przy liczbie sumowanych zmiennych dążących do
dużej liczby zmiennych losowych o podobnych wielkościach <ref>Chodzi o
+
nieskończoności (czyli <math>N\rightarrow\infty</math>), do rozkładu Gaussa.
to, aby żadna ze zmiennych w tej sumie nie dominowała nad
+
 
innymi.</ref> dąży, przy liczbie sumowanych zmiennych dążących do
+
Poniżej przytoczymy dowód tego
nieskończoności, do rozkładu Gaussa. Poniżej przytoczymy dowód tego
 
 
twierdzenia dla uproszczonego przypadku sumy zmiennych pochodzących z
 
twierdzenia dla uproszczonego przypadku sumy zmiennych pochodzących z
 
tego samego rozkładu.<ref>Dokładniejsze sformułowania Twierdzenia
 
tego samego rozkładu.<ref>Dokładniejsze sformułowania Twierdzenia
 
można znaleźć np. w [http://www.wnt.com.pl/product.php?action=0&prod_id=1488&hot=1 książce "Probabilistyka. Rachunek Prawdopodobieństwa. Statystyka matematyczna. Procesy stochastyczne" Agnieszki i Edmunda Plucińskich].</ref>
 
można znaleźć np. w [http://www.wnt.com.pl/product.php?action=0&prod_id=1488&hot=1 książce "Probabilistyka. Rachunek Prawdopodobieństwa. Statystyka matematyczna. Procesy stochastyczne" Agnieszki i Edmunda Plucińskich].</ref>
 +
-->
  
===Twierdzenie Lindeberga &mdash; Levy'ego===
+
==Funkcja charakterystyczna rozkładu prawdopodobieństwa==
 
Zakładamy, że <math>x_{i}</math> są niezależnymi zmiennymi
 
podlegającymi (dowolnemu) rozkładowi o skończonej wartości
 
oczekiwanej <math>\mu</math> i wariancji <math>\sigma
 
^{2}</math>. Dla <math>n\rightarrow \infty</math>, wielkość
 
 
 
<center>
 
<equation id="eq:82"> <math>
 
y=\frac{ \left(\sum\limits_{i=1}^{n}
 
x_{i}\right) -n\mu }{\sigma \sqrt{n}}
 
</math> </equation>
 
</center>
 
 
 
podlega rozkładowi normalnemu o wartości średniej 0 i wariancji 1.
 
  
 
+
Dla zmiennej losowej <math>x</math> jest to wartość oczekiwana wyrażenia <math>e^{itx}</math>, gdzie <math>i=\sqrt{-1}</math>. Dla rozkładów ciągłych jest to [[Przekształcenie_Fouriera|transformata Fouriera]] funkcji gęstości prawdopodobieństwa <math>f(x)</math>:
====Funkcja tworząca rozkładu====
 
 
 
W dowodzie skorzystamy z pojęcia funkcji tworzącej (charakterystycznej) rozkładu. Dla zmiennej losowej <math>x</math> jest to wartość oczekiwana wyrażenia <math>e^{itx}</math>, gdzie <math>i=\sqrt{-1}</math>. Dla rozkładów ciągłych jest to transformata Fouriera funkcji gęstości prawdopodobieństwa <math>f(x)</math>:
 
 
<center><math>
 
<center><math>
 
\phi_x (t)=E(e^{itx})=\underset{-\infty }{\overset{\infty }{\int }}
 
\phi_x (t)=E(e^{itx})=\underset{-\infty }{\overset{\infty }{\int }}
 
e^{itx}f\left( x\right) dx
 
e^{itx}f\left( x\right) dx
 
</math></center>
 
</math></center>
 
 
 
Użyteczne będą poniższe związki, które wyprowadzić można bezpośrednio z definicji:
 
Użyteczne będą poniższe związki, które wyprowadzić można bezpośrednio z definicji:
  
====funkcja tworząca sumy zmiennych niezależnych====
+
====Funkcja charakterystyczna rozkładu sumy zmiennych niezależnych====
Dla niezależnych zmiennych <math>x</math> i <math>y</math>:
+
Dla ''niezależnych'' zmiennych <math>x</math> i <math>y</math>:
 
 
 
<equation id="eq:85">
 
<equation id="eq:85">
 
<center>
 
<center>
Linia 129: Linia 96:
 
</math>
 
</math>
  
====pochodna funkcji tworzącej====
+
====Pochodna funkcji charakterystycznej====
Bezpośrednio z definicji (''różniczkujemy po <math>dt</math>, więc przy każdym różniczkowaniu spada nam z wykładnika <math>i x</math>, <math>x</math> zostaje pod całką a <math>i</math> jako stała wychodzi przed całkę'') widać, że:
+
Bezpośrednio z definicji (różniczkujemy po <math>dt</math>, więc przy każdym różniczkowaniu spada nam z wykładnika <math>i x</math>, <math>x</math> zostaje pod całką a <math>i</math> jako stała wychodzi przed całkę) widać, że:
 
<equation id="eq:pochodna_funkcji_tworzacej">
 
<equation id="eq:pochodna_funkcji_tworzacej">
 
<center><math>
 
<center><math>
Linia 138: Linia 105:
 
</equation>
 
</equation>
  
====związek pochodnej funkcji tworzącej z momentami zmiennej losowej====
+
====Związek pochodnej funkcji charakterystycznej z momentami zmiennej losowej====
 
+
<math>n</math>-ta pochodna funkcji charakterystycznej w zerze (czyli dla <math>t=0</math>) wynosi
<math>n</math>-ta pochodna funkcji tworzącej w zerze (czyli dla <math>t=0</math>) wynosi
 
 
<equation id="eq:84">
 
<equation id="eq:84">
 
<center><math>
 
<center><math>
Linia 149: Linia 115:
 
</math></center>
 
</math></center>
 
</equation>
 
</equation>
 +
 +
==Twierdzenie Lindeberga&ndash;Lévy'ego==
 +
Zakładamy, że <math>x_{i}</math> są niezależnymi zmiennymi podlegającymi (dowolnemu) rozkładowi o skończonej wartości oczekiwanej <math>\mu</math> i wariancji <math>\sigma^{2}</math>, czyli wszystkie sumowane zmienne <math>x_i</math> pochodzą z tego samego rozkładu prawdopodobieństwa, o którym nie zakładamy nic ponad to, że ma skończone <math>\mu</math> i <math>\sigma</math>.
 +
Wielkość
 +
 +
<center>
 +
<equation id="eq:82"> <math>
 +
S=\dfrac{ \sum\limits_{i=1}^{n}x_{i}\; -\; n\mu}{\sigma \sqrt{n}}
 +
</math> </equation>
 +
</center>
 +
 +
dla <math>n\rightarrow \infty</math> zbiega do rozkładu normalnego o zerowej wartości średniej i jednostkowej wariancji.
 +
  
  
===Dowód===
+
===Dowód twierdzenia Lindeberga&ndash;Lévy'ego===
 +
Rozważmy zmienną <math>y_i</math> o zerowej wartości oczekiwanej i jednostkowej wariancji
 +
<center><math>
 +
y_{i} = \dfrac{x_{i}-\mu}{\sigma} .
 +
</math></center>
  
rozważamy zmienną <math>x_i</math> pochodzących z rozkładu o wartości oczekiwanej
+
Funkcję charakterystyczną rozkładu zmiennej <math>y_i</math>  
<math>\mu</math> i wariancji <math>\sigma^2</math>.
+
<center><math>\phi_{y_i}(z) = E(e^{i z y_i}) </math></center>
Funkcję tworzącą tego rozkładu <math>\phi(z)</math> możemy rozwinąć w szereg Taylora wokół <math>z_0</math>
+
możemy rozwinąć w szereg Taylora wokół <math>z=0</math>
 
<equation id="eq:86">
 
<equation id="eq:86">
<math>
 
\phi(z)=\underset{n=0}{\overset{\infty }{\sum }}\frac{\phi^{(n)}(z_{0})}{n!}
 
(z-z_{0})^{n}
 
</math>
 
</equation>
 
Rozpatrzmy zmienną <math>y_i</math> przesuniętą względem <math>x_i</math> o <math>-\mu</math> i przeskalowaną czynnikiem <math>\sigma\sqrt{n}</math>:
 
 
<center><math>
 
<center><math>
y_{i}=\frac{x_{i}-\mu}{\sigma \sqrt{n}}.
+
\phi_{y_i}(z)=\underset{n=0}{\overset{\infty }{\sum }}\frac{\phi^{(n)}(0)}{n!}z^n
 
</math></center>
 
</math></center>
Rozważać będziemy funkcję tworzącą rozkładu gęstości prawdopodobieństwa tej zmiennej. Przypomnijmy własność funkcji tworzącej wokól zera
+
</equation>
<xr id="eq:84">(%i)</xr>
+
Z wyprowadzonej wcześniej własności funkcji charakterystycznej <xr id="eq:84">(%i)</xr>  
 
<math>
 
<math>
 
\phi^{(n)}(0)=
 
\phi^{(n)}(0)=
 
i^{n}E(x^{n})
 
i^{n}E(x^{n})
</math>; wynika stąd, że
+
</math>
 +
wynika, że
  
 
<math>\phi_{y_i}^{(0)}(0)=1</math>,  
 
<math>\phi_{y_i}^{(0)}(0)=1</math>,  
  
<math>\phi_{y_i}^{(1)}(0)=0</math>,
+
<math>\phi_{y_i}^{(1)}(0)=0</math> (wartość oczekiwana),
 
 
<math>\phi_{y_i}^{(2)}(0)=-\frac1 n</math>,  
 
  
czyli funkcja tworząca <math>y_i</math>
+
<math>\phi_{y_i}^{(2)}(0)=-1</math> (<math>i^2</math> * wariancja),
rozwinięta w szereg Taylora <xr id="eq:86">(%i)</xr> będzie miała postać
 
  
 +
czyli funkcja charakterystyczna zmiennej <math>y_i</math> rozwinięta w szereg Taylora <xr id="eq:86">(%i)</xr> do wyrazów drugiego rzędu będzie miała postać
 
<equation id="eq:87">
 
<equation id="eq:87">
<math>
+
<center><math>
\phi_{y_i}(z)=1-\frac{z^{2}}{2n}+\cdots .
+
\phi_{y_i}(z)=1-\frac{z^{2}}{2}+\cdots .
</math>
+
</math></center>
 
</equation>
 
</equation>
  
Korzystając ze udowodnionej powyżej własności <xr id="eq:85">(%i)</xr>
 
  
<math>
+
Wrócmy do występującej w twierdzeniu sumy <math>S</math>
w=x+y\Rightarrow \phi _{w}(t)
+
 
=\phi _{x}\left( t\right) \cdot \phi_{y}(t).
+
<math>
 +
S=\dfrac{ \sum\limits_{i=1}^{n}x_{i}\; -\; n\mu}{\sigma \sqrt{n}} =  
 +
\dfrac{1}{\sigma \sqrt{n}} \sum\limits_{i=1}^{n}(x_{i} -\mu) =
 +
\dfrac{1}{\sqrt{n}} \sum\limits_{i=1}^{n}\dfrac{x_{i} -\mu}{\sigma}
 +
= \dfrac{1}{\sqrt{n}} \sum\limits_{i=1}^{n} y_i
 
</math>
 
</math>
  
możemy przedstawić pierwsze wyrazy
 
rozwinięcia Taylora sumy <math>y=\sum_{i=1}^n y_i</math>, odpowiadającej wprowadzonej wcześniej wielkości <xr id="eq:82">(%i)</xr>
 
<math>
 
y=\frac{ \left(\sum\limits_{i=1}^{n}
 
x_{i}\right) -n\mu }{\sigma \sqrt{n}}
 
</math>,
 
jako iloczyn <math>n</math> rozwinięć funkcji tworzących <xr id="eq:87">(%i)</xr>:
 
  
 +
Jej funkcja charakterystyczna
 +
 +
<math>\phi_S(z) = E(e^{izS}) = E\left(e^{iz \frac{1}{\sqrt{n}} \sum\limits_{i=1}^{n} y_i}  \right)
 +
</math>
 
<math>
 
<math>
\phi_y(z)=\left(1-\frac{z^2}{2n}+\ldots\right)^n.
+
=  E\left(\prod_{i=1}^{n} e^{iz \frac{1}{\sqrt{n}}  y_i}  \right)
 +
</math>
 +
 
 +
ponieważ zmienne <math>y_i</math> są wzajemnie niezależne,
 +
 
 +
<math>\phi_S(z)= \prod_{i=1}^{n} E\left( e^{i\frac{z}{\sqrt{n}} y_i }  \right)
 +
= \prod_{i=1}^{n} \phi_{y_i}\left(\frac{z}{\sqrt{n}}\right)
 +
</math>
 +
 
 +
ponieważ zmienne <math>y_i</math> pochodzą z tego samego rozkładu prawdopodobieństwa,
 +
 
 +
<math>\phi_S(z)=
 +
\prod_{i=1}^{n} \phi_{y_i}\left(\frac{z}{\sqrt{n}}\right) =
 +
\left( \phi_{y_i}\left(\frac{z}{\sqrt{n}}\right) \right)^n =
 +
\left( 1-\frac{(z/\sqrt{n})^{2}}{2}+\cdots \right)^n =
 +
\left( 1-\frac{z^2}{2n}+\cdots \right)^n
 
</math>
 
</math>
  
Przy przejściu z <math>n</math> do nieskończoności (i konsekwentnym pomijaniu wyrazów wyższego rzędu) dostajemy
+
 
 +
Przy przejściu z <math>n</math> do nieskończoności (i pomijaniu wyrazów rzędu wyższego niż drugi) dostajemy
 
<center><math>
 
<center><math>
\phi_y(t)\rightarrow
+
\phi_y(z)\rightarrow
 
\underset{n\rightarrow \infty }{\lim }\left(1-\frac{z^2}{2n}\right)^n=
 
\underset{n\rightarrow \infty }{\lim }\left(1-\frac{z^2}{2n}\right)^n=
 
e^{\frac{-z^{2}}{2}}
 
e^{\frac{-z^{2}}{2}}
 
</math></center>
 
</math></center>
 +
 
bo  
 
bo  
 
<math>e^x=\lim_{n\rightarrow\infty} (1+x/n)^n</math>
 
<math>e^x=\lim_{n\rightarrow\infty} (1+x/n)^n</math>
  
 +
Pozostaje pokazać, że jest to postać funkcji charakterystycznej rozkładu Gaussa.
 +
 +
====Transformata Fouriera funkcji Gaussa====
 +
Funkcja charakterystyczna rozkładu normalnego o wartości oczekiwanej 0 i jednostkowej wariancji będzie miała postać
  
====transformata Fouriera funkcji Gaussa====
+
<math>
Funkcja tworząca rozkładu normalnego o wartości oczekiwanej 0 i jednostkowej wariancji będzie miała postać
 
<center><math>
 
 
\phi _{x}(t)=
 
\phi _{x}(t)=
\int\limits_{-\infty}^\infty e^{itx}\frac{1}{\sqrt{2\pi }} e^{\frac{-x^{2}}{2}} dx
+
\int\limits_{-\infty}^\infty e^{itx}\frac{1}{\sqrt{2\pi }} e^{\frac{-x^{2}}{2}} dx =
</math></center>
+
</math>
  
 
<math>
 
<math>
Linia 256: Linia 251:
 
=
 
=
 
\sqrt{2\pi} e^{-\frac{t^2}{2}}
 
\sqrt{2\pi} e^{-\frac{t^2}{2}}
</math>  
+
</math> , czyli
  
  
Linia 267: Linia 262:
  
  
W analizie sygnałów wynik ten będzie oznaczał, że transformacja Fouriera funkcji Gaussa jest funkcją Gaussa. W tym konkretnym przypadku otrzymaliśmy funkcję tożsamą z funkcją tworzącą rozkładu rozważanej sumy zmiennych, czyli rozkład ten będzie (w przypadku granicznym) miał postać funkcji Gaussa.
+
W analizie sygnałów wynik ten będzie oznaczał, że transformacja Fouriera funkcji Gaussa jest funkcją Gaussa. W tym konkretnym przypadku otrzymaliśmy funkcję tożsamą z funkcją charakterystyczną rozkładu rozważanej sumy zmiennych, czyli rozkład ten będzie (w przypadku granicznym) miał postać funkcji Gaussa.
  
  
Linia 273: Linia 268:
 
[[Plik:Ctg.png|300px|thumb|left|<figure id="fig:ctg"></figure>Ilustracja działania Centralnego Twierdzenia Granicznego. Zmienną
 
[[Plik:Ctg.png|300px|thumb|left|<figure id="fig:ctg"></figure>Ilustracja działania Centralnego Twierdzenia Granicznego. Zmienną
 
<math>x_i</math> bierzemy z rozkładu równomiernego, kolejne histogramy przedstawiają sumę 2, 3 i 4
 
<math>x_i</math> bierzemy z rozkładu równomiernego, kolejne histogramy przedstawiają sumę 2, 3 i 4
zmiennych <math>x_i</math> dla \mbox{10 000} losowań. Widać dużą zgodność z dopasowanym rozkładem
+
zmiennych <math>x_i</math> dla 10 000 losowań. Widać dużą zgodność z dopasowanym rozkładem
 
normalnym (ciągła linia) już dla niewielu sumowanych zmiennych.
 
normalnym (ciągła linia) już dla niewielu sumowanych zmiennych.
 
]]
 
]]

Aktualna wersja na dzień 14:10, 18 mar 2024

Wnioskowanie_Statystyczne_-_wykład

Rozkład Gaussa

Rozkład Gaussa (zwany też rozkładem normalnym lub krzywą dzwonową) zależy od parametrów [math]\mu[/math] i [math]\sigma[/math]. Jego gęstość prawdopodobieństwa określona jest wzorem:

[math] p(x)=N(\mu, \sigma)= \frac{1}{\sqrt{2\pi }\sigma }e^{\frac{-(x-\mu )^{2}}{2\sigma ^{2}}}. [/math]

Parametry te są tak dobrane, że wartość oczekiwana wynosi [math]\mu[/math], a wariancja [math]\sigma^2[/math].

[math]N(0,1)[/math], czyli standardowy rozkład Gaussa o zerowej średniej ([math]\mu=0[/math]) i jednostkowej wariancji ([math]\sigma=1[/math]).

Rozkład Gaussa dla zerowej wartości oczekiwanej i jednostkowej wariancji ([math]\mu=0, \sigma^2=1[/math]) zwiemy standardowym rozkładem Gaussa i oznaczamy zwykle [math]N(0,1)[/math]. Na wykresie zaznaczono na nim m. in. wartość całki od [math]-\infty[/math] do [math]-1[/math], czyli prawdopodobieństwo, że wylosowana z tego rozkładu liczba będzie mniejsza niż [math]-1[/math]. Jak widać, wynosi ono ok. 16%, a jeśli weźmiemy pod uwagę również wartości większe od 1, będzie to aż 32%! Oznacza to, że przy losowaniu wielu liczb z tego rozkładu niemal 1/3 wyników może znaleźć się w odległości większej niż [math]\sigma[/math] od wartości oczekiwanej.

[math] x\in N(\mu,\sigma)\quad \Rightarrow \quad \begin{cases} P(\left| x-\mu \right| \geq \sigma )\approx 0,\!317,\\ P(\left| x-\mu \right| \geq 2\sigma )\ \approx 0,\!046,\\ \ P(\left| x-\mu \right| \geq 3\sigma )\approx 0,\!003. \end{cases} [/math]


Rozkład Gaussa pełni w statystyce bardzo znaczącą rolę ze względu na Centralne Twierdzenie Graniczne, mówiące o asysmptotycznym rozkładzie sumy dużej liczby niezależnych zmiennych losowych, których rozkłady spełniają pewne warunki. Udowodnimy je w najprostszym przypadku, kiedy wszystkie te zmienne pochodzą z tego samego rozkładu gęstości prawdopodobieństwa. Na potrzeby tego dowodu musimy najpierw wprowadzić pojęcie funkcji charakterystycznej.


Funkcja charakterystyczna rozkładu prawdopodobieństwa

Dla zmiennej losowej [math]x[/math] jest to wartość oczekiwana wyrażenia [math]e^{itx}[/math], gdzie [math]i=\sqrt{-1}[/math]. Dla rozkładów ciągłych jest to transformata Fouriera funkcji gęstości prawdopodobieństwa [math]f(x)[/math]:

[math] \phi_x (t)=E(e^{itx})=\underset{-\infty }{\overset{\infty }{\int }} e^{itx}f\left( x\right) dx [/math]

Użyteczne będą poniższe związki, które wyprowadzić można bezpośrednio z definicji:

Funkcja charakterystyczna rozkładu sumy zmiennych niezależnych

Dla niezależnych zmiennych [math]x[/math] i [math]y[/math]:

[math] w=x+y\Rightarrow \phi _{w}(t) =\phi _{x}\left( t\right) \cdot \phi_{y}(t). [/math]

Dowód:

[math] \phi _{w}(t) = E(e^{it(x+y)})=E(e^{itx}\cdot e^{ity}) = E(e^{itx})\cdot E(e^{ity})=\phi _{x}\left( t\right) \cdot \phi_{y}(t). [/math]

Pochodna funkcji charakterystycznej

Bezpośrednio z definicji (różniczkujemy po [math]dt[/math], więc przy każdym różniczkowaniu spada nam z wykładnika [math]i x[/math], [math]x[/math] zostaje pod całką a [math]i[/math] jako stała wychodzi przed całkę) widać, że:

[math] \frac{d^{n}\phi (t)}{dt^{n}}=i^{n}\underset{}{\underset{-\infty }{\overset{ \infty }{\int }}x^{n}}\ e^{itx}f(x) dx [/math]

Związek pochodnej funkcji charakterystycznej z momentami zmiennej losowej

[math]n[/math]-ta pochodna funkcji charakterystycznej w zerze (czyli dla [math]t=0[/math]) wynosi

[math] \phi^{(n)}(0)= i^{n}\underset{}{\underset{-\infty }{\overset{\infty }{\int }}x^{n}}\ e^{i 0 x} f(x) dx = i^{n}\underset{}{\underset{-\infty }{\overset{\infty }{\int }}x^{n}} f(x) dx = i^{n}E(x^{n}) [/math]

Twierdzenie Lindeberga–Lévy'ego

Zakładamy, że [math]x_{i}[/math] są niezależnymi zmiennymi podlegającymi (dowolnemu) rozkładowi o skończonej wartości oczekiwanej [math]\mu[/math] i wariancji [math]\sigma^{2}[/math], czyli wszystkie sumowane zmienne [math]x_i[/math] pochodzą z tego samego rozkładu prawdopodobieństwa, o którym nie zakładamy nic ponad to, że ma skończone [math]\mu[/math] i [math]\sigma[/math]. Wielkość

[math] S=\dfrac{ \sum\limits_{i=1}^{n}x_{i}\; -\; n\mu}{\sigma \sqrt{n}} [/math]

dla [math]n\rightarrow \infty[/math] zbiega do rozkładu normalnego o zerowej wartości średniej i jednostkowej wariancji.


Dowód twierdzenia Lindeberga–Lévy'ego

Rozważmy zmienną [math]y_i[/math] o zerowej wartości oczekiwanej i jednostkowej wariancji

[math] y_{i} = \dfrac{x_{i}-\mu}{\sigma} . [/math]

Funkcję charakterystyczną rozkładu zmiennej [math]y_i[/math]

[math]\phi_{y_i}(z) = E(e^{i z y_i}) [/math]

możemy rozwinąć w szereg Taylora wokół [math]z=0[/math]

[math] \phi_{y_i}(z)=\underset{n=0}{\overset{\infty }{\sum }}\frac{\phi^{(n)}(0)}{n!}z^n [/math]

Z wyprowadzonej wcześniej własności funkcji charakterystycznej (4) [math] \phi^{(n)}(0)= i^{n}E(x^{n}) [/math] wynika, że

[math]\phi_{y_i}^{(0)}(0)=1[/math],

[math]\phi_{y_i}^{(1)}(0)=0[/math] (wartość oczekiwana),

[math]\phi_{y_i}^{(2)}(0)=-1[/math] ([math]i^2[/math] * wariancja),

czyli funkcja charakterystyczna zmiennej [math]y_i[/math] rozwinięta w szereg Taylora (6) do wyrazów drugiego rzędu będzie miała postać

[math] \phi_{y_i}(z)=1-\frac{z^{2}}{2}+\cdots . [/math]


Wrócmy do występującej w twierdzeniu sumy [math]S[/math]

[math] S=\dfrac{ \sum\limits_{i=1}^{n}x_{i}\; -\; n\mu}{\sigma \sqrt{n}} = \dfrac{1}{\sigma \sqrt{n}} \sum\limits_{i=1}^{n}(x_{i} -\mu) = \dfrac{1}{\sqrt{n}} \sum\limits_{i=1}^{n}\dfrac{x_{i} -\mu}{\sigma} = \dfrac{1}{\sqrt{n}} \sum\limits_{i=1}^{n} y_i [/math]


Jej funkcja charakterystyczna

[math]\phi_S(z) = E(e^{izS}) = E\left(e^{iz \frac{1}{\sqrt{n}} \sum\limits_{i=1}^{n} y_i} \right) [/math] [math] = E\left(\prod_{i=1}^{n} e^{iz \frac{1}{\sqrt{n}} y_i} \right) [/math]

ponieważ zmienne [math]y_i[/math] są wzajemnie niezależne,

[math]\phi_S(z)= \prod_{i=1}^{n} E\left( e^{i\frac{z}{\sqrt{n}} y_i } \right) = \prod_{i=1}^{n} \phi_{y_i}\left(\frac{z}{\sqrt{n}}\right) [/math]

ponieważ zmienne [math]y_i[/math] pochodzą z tego samego rozkładu prawdopodobieństwa,

[math]\phi_S(z)= \prod_{i=1}^{n} \phi_{y_i}\left(\frac{z}{\sqrt{n}}\right) = \left( \phi_{y_i}\left(\frac{z}{\sqrt{n}}\right) \right)^n = \left( 1-\frac{(z/\sqrt{n})^{2}}{2}+\cdots \right)^n = \left( 1-\frac{z^2}{2n}+\cdots \right)^n [/math]


Przy przejściu z [math]n[/math] do nieskończoności (i pomijaniu wyrazów rzędu wyższego niż drugi) dostajemy

[math] \phi_y(z)\rightarrow \underset{n\rightarrow \infty }{\lim }\left(1-\frac{z^2}{2n}\right)^n= e^{\frac{-z^{2}}{2}} [/math]

bo [math]e^x=\lim_{n\rightarrow\infty} (1+x/n)^n[/math]

Pozostaje pokazać, że jest to postać funkcji charakterystycznej rozkładu Gaussa.

Transformata Fouriera funkcji Gaussa

Funkcja charakterystyczna rozkładu normalnego o wartości oczekiwanej 0 i jednostkowej wariancji będzie miała postać

[math] \phi _{x}(t)= \int\limits_{-\infty}^\infty e^{itx}\frac{1}{\sqrt{2\pi }} e^{\frac{-x^{2}}{2}} dx = [/math]

[math] \dfrac{1}{\sqrt{2\pi}} \int\limits_{-\infty}^\infty \left( \cos(tx) + i \sin(tx) \right) e^{\frac{-x^2}{2}} dx = [/math]

[math] \dfrac{1}{\sqrt{2\pi}} \int\limits_{-\infty}^\infty \cos(tx) e^{\frac{-x^2}{2}} dx + \dfrac{1}{\sqrt{2\pi}} \int\limits_{-\infty}^\infty i \sin(tx) e^{\frac{-x^2}{2}} dx [/math]

ponieważ funkcja [math]\sin(x)[/math] jest antysymetryczna, druga całka znika. Dostajemy

[math] \int\limits_{-\infty}^\infty e^{itx}\frac{1}{\sqrt{2\pi }} e^{\frac{-x^2}{2}} dx = \dfrac{1}{\sqrt{2\pi}} \int\limits_{-\infty}^\infty \cos(tx) e^{\frac{-x^2}{2}} dx [/math]

Dla części symetrycznej znajdujemy w tablicach całkę oznaczoną

[math] \int\limits_{0}^{\infty} e^{-a^2 x^2} \cos(b x) dx = \frac{ \sqrt{\pi} e^{-\tfrac{b^2}{4a^2}} } {2 a} [/math]

po wymnożeniu przez 2 i podstawieniu [math] b=t[/math] i [math]a^2=\frac{1}{2}[/math] dostajemy

[math] \int\limits_{-\infty}^{\infty} e^{-\frac{1}{2} x^2} \cos(t x) dx = \frac{ \sqrt{\pi} e^{ -\frac{t^2} { 4 \frac{1}{2} } } } {\frac{1}{\sqrt{2}}} = \sqrt{2\pi} e^{-\frac{t^2}{2}} [/math] , czyli


[math] \phi _{x}(t) = \int\limits_{-\infty}^\infty e^{itx}\frac{1}{\sqrt{2\pi }} e^{\frac{-x^{2}}{2}} dx = e^{-t^2 / 2} [/math]


W analizie sygnałów wynik ten będzie oznaczał, że transformacja Fouriera funkcji Gaussa jest funkcją Gaussa. W tym konkretnym przypadku otrzymaliśmy funkcję tożsamą z funkcją charakterystyczną rozkładu rozważanej sumy zmiennych, czyli rozkład ten będzie (w przypadku granicznym) miał postać funkcji Gaussa.


Ilustracja działania Centralnego Twierdzenia Granicznego. Zmienną [math]x_i[/math] bierzemy z rozkładu równomiernego, kolejne histogramy przedstawiają sumę 2, 3 i 4 zmiennych [math]x_i[/math] dla 10 000 losowań. Widać dużą zgodność z dopasowanym rozkładem normalnym (ciągła linia) już dla niewielu sumowanych zmiennych.

Rysunek 1 ilustruje powyższe twierdzenie dla przypadku sumy zmiennych pochodzących z rozkładu równomiernego. Jak widać, już dla sumy 3 zmiennych rozkład wydaje się bardzo podobny do normalnego. Niestety, często istotne bywają różnice dla wartości bardzo dużych lub bardzo małych. Otóż według wzoru wartości gęstości prawdopodobieństwa rozkładu normalnego dążą do zera dla dużych wartości bezwzględnych zmiennej asymptotycznie, lecz zera faktycznie nie osiągają. Inaczej mówiąc, prawdopodobieństwo wylosowania dowolnie dużej wartości z rozkładu Gaussa będzie małe, ale nie zerowe. Za to suma np. czterech zmiennych z rozkładu równomiernego od zera do jedynki (prawy dolny wykres rys. 1) nie przekroczy nigdy wartości 4, czyli prawdopodobieństwo dla [math]x\gt 4[/math] będzie dokładnie zerem. I choć w skali rysunku 1 efekt ten jest prawie niewidoczny, warto pamiętać, że testy oparte na założeniu normalności rozkładów często operują właśnie w okolicach tych "ogonów", gdzie przybliżenie rozkładu normalnego, uzyskane za pomocą tej prostej procedury, zawodzi.