Z Brain-wiki
Skocz do: nawigacja, szukaj

Wnioskowanie_Statystyczne_-_wykład


Regresja liniowa

Pary pomiarów (x_{i},y_{i}). Dla każdego x_{i}, y_{i} traktujemy jak zmienną losową z rozkładu normalnego o wartości średniej a+b x_{i} i wariancji \sigma _{i}^{2}. Prawdopodobieństwo a posteriori otrzymania N wyników y_{i} dla określonych x_{i} przy założeniu wartości a i b

P(\overline{y}\mid \overline{x},a,b)=\underset{i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi \sigma _{i}^{2}}}e^{\frac{(y_{i}-a-bx_{i})^{2}}{2\sigma_{i}^{2}}}=\frac{1}{\sqrt{(2\pi )^{n}}} \cdot \underset{i=1}{\overset{N}{\prod }} \frac{1}{\sigma _{i}} \cdot e^{-\frac{1}{2}\underset{i=1}{\overset{N}{\sum }}\frac{(y_{i}-a-bx_{i})^{2}}{\sigma _{i}^{2}}}

logarytmiczna funkcja wiarygodności:

l=-\frac{N}{2}\ln 2\pi +\ln (\underset{i=1}{\overset{N}{\prod }}\frac{1}{\sigma _{i}})-\frac{1}{2}\underset{i=1}{\overset{N}{\sum }}\frac{(y_{i}-a-bx_{i})^{2}}{\sigma _{i}^{2}}

\sigma _{i} zwykle nie znamy, więc przyjmujemy jako stałą \forall i  \sigma _{i}=\sigma. Pozostaje szukanie minimum sumy S=\underset{i=1}{\overset{N}{\sum}}(y_{i}-a-bx_{i})^{2}, w zerze pochodnej po parametrach a i b

\frac{\partial S}{\partial a}=-2\underset{i=1}{\overset{N}{\sum }}(y_{i}-a-bx_{i})\\\sum_{i=1}^N \left(y_i - a - bx_i\right) = 0 \\\sum_{i=1}^N y_i = \sum_{i=1}^N a + b\sum_{i=1}^N x_i \\\sum_{i=1}^N y_i = n a + b\sum_{i=1}^N x_i \\\frac{1}{N}\sum_{i=1}^N y_{i} = a + \frac{1}{N} b\sum_{i=1}^N x_i

\bar{y} = a + b\bar{x}

a = \bar{y} - b\bar{x}

wyznaczone stąd a podstawiamy do wzoru na S

S=\underset{i=1}{\overset{N}{\sum}}(y_{i}-a-bx_{i})^{2}

= \underset{i=1}{\overset{N}{\sum}}(y_{i}-\bar{y} - b\bar{x}-bx_{i})^{2}

=\underset{i=1}{\overset{N}{\sum}}\left( (y_{i}-\bar{y}) - b (x_i - \bar{x}) \right)^2


po podstawieniu liczymy pochodną po b

\frac{\partial S}{\partial b}= -2\sum_{i=1}^N \left( (y_{i} - \bar{y}) - b(x_{i} - \bar{x})\right)\left(x_{i}-\bar{x}\right) = 0

\sum_{i=1}^N \left(y_{i} - \bar{y}\right)\left(x_i - \bar{x}\right) - b\sum_{i=1}^N \left(x_i - \bar{x}\right)^2 = 0

b = \frac{\sum_{i=1}^N \left(y_{i} - \bar{y}\right)\left(x_i - \bar{x}\right)}{\sum_{i=1}^N \left(x_{i}-\bar{x}\right)^2}

czyli

b=\frac{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})(y_{i}-\overline{y})}{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})^{2}},\qquad a=\overline{y}-b\overline{x}