Merge branch 'master' of raven.am28.uni-tuebingen.de:scientificComputing

likelihood/lecture/likelihood.tex

@@ -22,28 +22,25 @@ Parameter(n) $\theta$. Das k\"onnte die Normalverteilung
   p(x|\theta) = \frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}
 \end{equation}
 sein mit dem Mittelwert $\mu$ und der Standardabweichung $\sigma$ als
-Parameter $\theta$.
+den Parametern $\theta$.
 
 Wenn nun den $n$ unabh\"angigen Beobachtungen $x_1, x_2, \ldots x_n$
-die Wahrscheinlichkeitsverteilung $p(x|\theta)$ zugrundeliegt, dann
-ist die Verbundwahrscheinlichkeit $p(x_1,x_2, \ldots x_n|\theta)$ des
-Auftretens der Werte $x_1, x_2, \ldots x_n$ gegeben ein bestimmtes $\theta$
+die gleiche Wahrscheinlichkeitsverteilung $p(x|\theta)$ zugrundeliegt
+(\enterm{i.i.d.} idependent and identically distributed), dann ist die
+Verbundwahrscheinlichkeit $p(x_1,x_2, \ldots x_n|\theta)$ des
+Auftretens der Werte $x_1, x_2, \ldots x_n$, gegeben ein bestimmtes
+$\theta$,
 \begin{equation}
   p(x_1,x_2, \ldots x_n|\theta) = p(x_1|\theta) \cdot p(x_2|\theta)
   \ldots p(x_n|\theta) = \prod_{i=1}^n p(x_i|\theta) \; .
 \end{equation}
 Andersherum gesehen ist das die \determ{Likelihood}
-(\enterm{likelihood}, deutsch immer noch ``Wahrscheinlichleit'') den
-Parameter $\theta$ zu haben, gegeben die Me{\ss}werte $x_1, x_2,
-\ldots x_n$,
+(\enterm{likelihood}) den Parameter $\theta$ zu haben, gegeben die
+Me{\ss}werte $x_1, x_2, \ldots x_n$,
 \begin{equation}
-  {\cal L}(\theta|x_1,x_2, \ldots x_n) = p(x_1,x_2, \ldots x_n|\theta)
+  {\cal L}(\theta|x_1,x_2, \ldots x_n) = p(x_1,x_2, \ldots x_n|\theta) \; .
 \end{equation}
-Hinter dieser Umformung steht eigentlich der Satz von Bayes. Bei der
-einfachen Gleichsetzung von ${\cal L}$ mit $p$ fehlen
-Normierungsfaktoren, so dass ${\cal L}$ sich nicht auf Eins
-aufintegriert, und ${\cal L}$ deshalb keine
-Wahrscheinlichkeit(sdichte) ist.
+Beachte, dass die Likelihood ${\cal L}$ keine Wahrscheinlichkeit im engeren Sinne ist, da sie sich nicht zu Eins aufintegriert ($\int {\cal L}(\theta|x_1,x_2, \ldots x_n) \, d\theta \ne 1$).
 
 Wir sind nun an dem Wert des Parameters $\theta_{mle}$ interessiert, der die
 Likelihood maximiert (Maximum-Likelihood Estimate ``mle''):
@@ -55,8 +52,8 @@ dem $f(x)$ ihr globales Maximum annimmt. Wir suchen also den Wert von $\theta$
 bei dem die Likelihood ${\cal L}(\theta)$ ihr Maximum hat.
 
 An der Stelle eines Maximums einer Funktion \"andert sich nichts, wenn
-man die Funktionswerte mit einer streng monoton steigenden Funktion
-transformiert. Aus numerischen und gleich ersichtlichen mathematischen
+die Funktionswerte mit einer streng monoton steigenden Funktion
+transformiert werden. Aus numerischen und gleich ersichtlichen mathematischen
 Gr\"unden wird meistens das Maximum der logarithmierten Likelihood
 (\determ{log-Likelihood}, \enterm{log-likelihood}) gesucht:
 \begin{eqnarray}