213 lines
11 KiB
TeX
213 lines
11 KiB
TeX
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
|
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
|
\chapter{\tr{Maximum likelihood estimation}{Maximum-Likelihood Methode}}
|
|
|
|
In vielen Situationen wollen wir einen oder mehrere Parameter $\theta$
|
|
einer Wahrscheinlichkeitsverteilung sch\"atzen, so dass die Verteilung
|
|
die Daten $x_1, x_2, \ldots x_n$ am besten beschreibt. Bei der
|
|
Maximum-Likelihood-Methode w\"ahlen wir die Parameter so, dass die
|
|
Wahrscheinlichkeit, dass die Daten aus der Verteilung stammen, am
|
|
gr\"o{\ss}ten ist.
|
|
|
|
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
|
\section{Maximum Likelihood}
|
|
Sei $p(x|\theta)$ (lies ``Wahrscheinlichkeit(sdichte) von $x$ gegeben
|
|
$\theta$'') die Wahrscheinlichkeits(dichte)verteilung von $x$ mit dem
|
|
Parameter(n) $\theta$. Das k\"onnte die Normalverteilung
|
|
\begin{equation}
|
|
\label{normpdfmean}
|
|
p(x|\theta) = \frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{(x-\theta)^2}{2\sigma^2}}
|
|
\end{equation}
|
|
sein mit
|
|
fester Standardverteilung $\sigma$ und dem Mittelwert $\mu$ als
|
|
Parameter $\theta$.
|
|
|
|
Wenn nun den $n$ unabh\"angigen Beobachtungen $x_1, x_2, \ldots x_n$
|
|
die Wahrscheinlichkeitsverteilung $p(x|\theta)$ zugrundeliegt, dann
|
|
ist die Verbundwahrscheinlichkeit $p(x_1,x_2, \ldots x_n|\theta)$ des
|
|
Auftretens der Werte $x_1, x_2, \ldots x_n$ gegeben ein bestimmtes $\theta$
|
|
\begin{equation}
|
|
p(x_1,x_2, \ldots x_n|\theta) = p(x_1|\theta) \cdot p(x_2|\theta)
|
|
\ldots p(x_n|\theta) = \prod_{i=1}^n p(x_i|\theta) \; .
|
|
\end{equation}
|
|
Andersherum gesehen ist das die Likelihood (deutsch immer noch ``Wahrscheinlichleit'')
|
|
den Parameter $\theta$ zu haben, gegeben die Me{\ss}werte $x_1, x_2, \ldots x_n$,
|
|
\begin{equation}
|
|
{\cal L}(\theta|x_1,x_2, \ldots x_n) = p(x_1,x_2, \ldots x_n|\theta)
|
|
\end{equation}
|
|
|
|
Wir sind nun an dem Wert des Parameters $\theta_{mle}$ interessiert, der die
|
|
Likelihood maximiert (``mle'': Maximum-Likelihood Estimate):
|
|
\begin{equation}
|
|
\theta_{mle} = \text{argmax}_{\theta} {\cal L}(\theta|x_1,x_2, \ldots x_n)
|
|
\end{equation}
|
|
$\text{argmax}_xf(x)$ bezeichnet den Wert des Arguments $x$ der Funktion $f(x)$, bei
|
|
dem $f(x)$ ihr globales Maximum annimmt. Wir suchen also den Wert von $\theta$
|
|
bei dem die Likelihood ${\cal L}(\theta)$ ihr Maximum hat.
|
|
|
|
An der Stelle eines Maximums einer Funktion \"andert sich nichts, wenn
|
|
man die Funktionswerte mit einer streng monoton steigenden Funktion
|
|
transformiert. Aus gleich ersichtlichen mathematischen Gr\"unden wird meistens
|
|
das Maximum der logarithmierten Likelihood (``Log-Likelihood'') gesucht:
|
|
\begin{eqnarray}
|
|
\theta_{mle} & = & \text{argmax}_{\theta}\; {\cal L}(\theta|x_1,x_2, \ldots x_n) \nonumber \\
|
|
& = & \text{argmax}_{\theta}\; \log {\cal L}(\theta|x_1,x_2, \ldots x_n) \nonumber \\
|
|
& = & \text{argmax}_{\theta}\; \log \prod_{i=1}^n p(x_i|\theta) \nonumber \\
|
|
& = & \text{argmax}_{\theta}\; \sum_{i=1}^n \log p(x_i|\theta) \label{loglikelihood}
|
|
\end{eqnarray}
|
|
|
|
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
|
\subsection{Beispiel: Das arithmetische Mittel}
|
|
|
|
Wenn die Me{\ss}daten $x_1, x_2, \ldots x_n$ der Normalverteilung \eqnref{normpdfmean}
|
|
entstammen, und wir den Mittelwert $\mu$ als einzigen Parameter der Verteilung betrachten,
|
|
welcher Wert von $\theta$ maximiert dessen Likelhood?
|
|
|
|
\begin{figure}[t]
|
|
\includegraphics[width=1\textwidth]{mlemean}
|
|
\caption{\label{mlemeanfig} Maximum Likelihood Estimation des
|
|
Mittelwerts. Oben: Die Daten zusammen mit drei m\"oglichen
|
|
Normalverteilungen mit unterschiedlichen Mittelwerten (Pfeile) aus
|
|
denen die Daten stammen k\"onnten. Unteln links: Die Likelihood
|
|
in Abh\"angigkeit des Mittelwerts als Parameter der
|
|
Normalverteilungen. Unten rechts: die entsprechende
|
|
Log-Likelihood. An der Position des Maximums bei $\theta=2$
|
|
\"andert sich nichts (Pfeil).}
|
|
\end{figure}
|
|
|
|
Die Log-Likelihood \eqnref{loglikelihood} ist
|
|
\begin{eqnarray*}
|
|
\log {\cal L}(\theta|x_1,x_2, \ldots x_n)
|
|
& = & \sum_{i=1}^n \log \frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{(x_i-\theta)^2}{2\sigma^2}} \\
|
|
& = & \sum_{i=1}^n - \log \sqrt{2\pi \sigma^2} -\frac{(x_i-\theta)^2}{2\sigma^2}
|
|
\end{eqnarray*}
|
|
Zur Bestimmung des Maximums der Log-Likelihood berechnen wir deren Ableitung
|
|
nach dem Parameter $\theta$ und setzen diese gleich Null:
|
|
\begin{eqnarray*}
|
|
\frac{\text{d}}{\text{d}\theta} \log {\cal L}(\theta|x_1,x_2, \ldots x_n) & = & \sum_{i=1}^n \frac{2(x_i-\theta)}{2\sigma^2} \;\; = \;\; 0 \\
|
|
\Leftrightarrow \quad \sum_{i=1}^n x_i - \sum_{i=1}^n x_i \theta & = & 0 \\
|
|
\Leftrightarrow \quad n \theta & = & \sum_{i=1}^n x_i \\
|
|
\Leftrightarrow \quad \theta & = & \frac{1}{n} \sum_{i=1}^n x_i
|
|
\end{eqnarray*}
|
|
Der Maximum-Likelihood-Estimator ist das arithmetische Mittel der Daten. D.h.
|
|
das arithmetische Mittel maximiert die Wahrscheinlichkeit, dass die Daten aus einer
|
|
Normalverteilung mit diesem Mittelwert gezogen worden sind.
|
|
|
|
\begin{exercise}[mlemean.m]
|
|
Ziehe $n=50$ normalverteilte Zufallsvariablen mit einem Mittelwert $\ne 0$
|
|
und einer Standardabweichung $\ne 1$.
|
|
|
|
Plotte die Likelihood (aus dem Produkt der Wahrscheinlichkeiten) und
|
|
die Log-Likelihood (aus der Summe der logarithmierten
|
|
Wahrscheinlichkeiten) f\"ur den Mittelwert als Parameter. Vergleiche
|
|
die Position der Maxima mit den aus den Daten berechneten
|
|
Mittelwerte.
|
|
\end{exercise}
|
|
|
|
|
|
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
|
\section{Kurvenfit als Maximum Likelihood Estimation}
|
|
Beim Kurvenfit soll eine Funktion $f(x;\theta)$ mit den Parametern
|
|
$\theta$ an die Datenpaare $(x_i|y_i)$ durch Anpassung der Parameter
|
|
$\theta$ gefittet werden. Wenn wir annehmen, dass die $y_i$ um die
|
|
entsprechenden Funktionswerte $f(x_i;\theta)$ mit einer
|
|
Standardabweichung $\sigma_i$ normalverteilt streuen, dann lautet die
|
|
Log-Likelihood
|
|
\begin{eqnarray*}
|
|
\log {\cal L}(\theta|x_1,x_2, \ldots x_n)
|
|
& = & \sum_{i=1}^n \log \frac{1}{\sqrt{2\pi \sigma_i^2}}e^{-\frac{(y_i-f(x_i;\theta))^2}{2\sigma_i^2}} \\
|
|
& = & \sum_{i=1}^n - \log \sqrt{2\pi \sigma_i^2} -\frac{(x_i-f(y_i;\theta))^2}{2\sigma_i^2} \\
|
|
\end{eqnarray*}
|
|
Der einzige Unterschied zum vorherigen Beispiel ist, dass die
|
|
Mittelwerte der Normalverteilungen nun durch die Funktionswerte
|
|
gegeben sind.
|
|
|
|
Der Parameter $\theta$ soll so gew\"ahlt werden, dass die
|
|
Log-Likelihood maximal wird. Der erste Term der Summe ist
|
|
unabh\"angig von $\theta$ und kann deshalb bei der Suche nach dem
|
|
Maximum weggelassen werden.
|
|
\begin{eqnarray*}
|
|
& = & - \frac{1}{2} \sum_{i=1}^n \left( \frac{y_i-f(x_i;\theta)}{\sigma_i} \right)^2
|
|
\end{eqnarray*}
|
|
Anstatt nach dem Maximum zu suchen, k\"onnen wir auch das Vorzeichen der Log-Likelihood
|
|
umdrehen und nach dem Minimum suchen. Dabei k\"onnen wir auch den Faktor $1/2$ vor der Summe vernachl\"assigen --- auch das \"andert nichts an der Position des Minimums.
|
|
\begin{equation}
|
|
\theta_{mle} = \text{argmin}_{\theta} \; \sum_{i=1}^n \left( \frac{y_i-f(x_i;\theta)}{\sigma_i} \right)^2 \;\; = \;\; \text{argmin}_{\theta} \; \chi^2
|
|
\end{equation}
|
|
Die Summer der quadratischen Abst\"ande normiert auf die jeweiligen
|
|
Standardabweichungen wird auch mit $\chi^2$ bezeichnet. Der Wert des
|
|
Parameters $\theta$ welcher den quadratischen Abstand minimiert ist
|
|
also identisch mit der Maximierung der Wahrscheinlichkeit, dass die
|
|
Daten tats\"achlich aus der Funktion stammen k\"onnen. Minimierung des
|
|
$\chi^2$ ist also ein Maximum-Likelihood Estimate.
|
|
|
|
\begin{figure}[t]
|
|
\includegraphics[width=1\textwidth]{mlepropline}
|
|
\caption{\label{mleproplinefig} Maximum Likelihood Estimation der
|
|
Steigung einer Ursprungsgeraden.}
|
|
\end{figure}
|
|
|
|
|
|
\subsection{Beispiel: einfache Proportionalit\"at}
|
|
Als Funktion nehmen wir die Ursprungsgerade
|
|
\[ f(x) = \theta x \]
|
|
mit Steigung $\theta$. Die $\chi^2$-Summe lautet damit
|
|
\[ \chi^2 = \sum_{i=1}^n \left( \frac{y_i-\theta x_i}{\sigma_i} \right)^2 \; . \]
|
|
Zur Bestimmung des Minimums berechnen wir wieder die erste Ableitung nach $\theta$
|
|
und setzen diese gleich Null:
|
|
\begin{eqnarray}
|
|
\frac{\text{d}}{\text{d}\theta}\chi^2 & = & \frac{\text{d}}{\text{d}\theta} \sum_{i=1}^n \left( \frac{y_i-\theta x_i}{\sigma_i} \right)^2 \nonumber \\
|
|
& = & \sum_{i=1}^n \frac{\text{d}}{\text{d}\theta} \left( \frac{y_i-\theta x_i}{\sigma_i} \right)^2 \nonumber \\
|
|
& = & -2 \sum_{i=1}^n \frac{x_i}{\sigma_i} \left( \frac{y_i-\theta x_i}{\sigma_i} \right) \nonumber \\
|
|
& = & -2 \sum_{i=1}^n \left( \frac{x_iy_i}{\sigma_i^2} - \theta \frac{x_i^2}{\sigma_i^2} \right) \;\; = \;\; 0 \nonumber \\
|
|
\Leftrightarrow \quad \theta \sum_{i=1}^n \frac{x_i^2}{\sigma_i^2} & = & \sum_{i=1}^n \frac{x_iy_i}{\sigma_i^2} \nonumber \\
|
|
\Leftrightarrow \quad \theta & = & \frac{\sum_{i=1}^n \frac{x_iy_i}{\sigma_i^2}}{ \sum_{i=1}^n \frac{x_i^2}{\sigma_i^2}} \label{mleslope}
|
|
\end{eqnarray}
|
|
Damit haben wir nun einen anlytischen Ausdruck f\"ur die Bestimmung
|
|
der Steigung $\theta$ des Regressionsgeraden gewonnen. Ein
|
|
Gradientenabstieg ist f\"ur das Fitten der Geradensteigung also gar nicht
|
|
n\"otig. Das gilt allgemein f\"ur das Fitten von Koeffizienten von
|
|
linear kombinierten Basisfunktionen. Parameter die nichtlinear in
|
|
einer Funktion enthalten sind k\"onnen aber nicht analytisch aus den
|
|
Daten berechnet werden. Da bleibt dann nur auf numerische Verfahren
|
|
zur Optimierung der Kostenfunktion, wie z.B. der Gradientenabstieg,
|
|
zur\"uckzugreifen.
|
|
|
|
|
|
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
|
\section{Fits von Wahrscheinlichkeitsverteilungen}
|
|
Zum Abschluss betrachten wir noch den Fall, bei dem wir die Parameter
|
|
einer Wahrscheinlichkeitsdichtefunktion (z.B. Mittelwert und
|
|
Standardabweichung der Normalverteilung) an ein Datenset fitten wolle.
|
|
|
|
Ein erster Gedanke k\"onnte sein, die
|
|
Wahrscheinlichkeitsdichtefunktion durch Minimierung des quadratischen
|
|
Abstands an ein Histogram der Daten zu fitten. Das ist aber aus
|
|
folgenden Gr\"unden nicht die Methode der Wahl: (i)
|
|
Wahrscheinlichkeitsdichten k\"onnen nur positiv sein. Darum k\"onnen
|
|
insbesondere bei kleinen Werten die Daten nicht symmetrisch streuen,
|
|
wie es normalverteilte Daten machen sollten. (ii) Die Datenwerte sind
|
|
nicht unabh\"angig, da das normierte Histogram sich zu Eins
|
|
aufintegriert. Die beiden Annahmen normalverteilte und unabh\"angige Daten
|
|
die die Minimierung des quadratischen Abstands zu einem Maximum
|
|
Likelihood Estimator machen sind also verletzt. (iii) Das Histgramm
|
|
h\"angt von der Wahl der Klassenbreite ab.
|
|
|
|
Den direkten Weg, eine Wahrscheinlichkeitsdichtefunktion an ein
|
|
Datenset zu fitten, haben wir oben schon bei dem Beispiel zur
|
|
Absch\"atzung des Mittelwertes einer Normalverteilung gesehen ---
|
|
Maximum Likelihood! Wir suchen einfach die Parameter $\theta$ der
|
|
gesuchten Wahrscheinlichkeitsdichtefunktion bei der die Log-Likelihood
|
|
\eqnref{loglikelihood} maximal wird. Das ist im allgemeinen ein
|
|
nichtlinieares Optimierungsproblem, das mit numerischen Verfahren, wie
|
|
z.B. dem Gradientenabstieg, gel\"ost wird.
|
|
|
|
\begin{figure}[t]
|
|
\includegraphics[width=1\textwidth]{mlepdf}
|
|
\caption{\label{mlepdffig} Maximum Likelihood Estimation einer
|
|
Wahrscheinlichkeitsdichtefunktion. Links: die 100 Datenpunkte, die aus der Gammaverteilung
|
|
2. Ordnung (rot) gezogen worden sind. Der Maximum-Likelihood-Fit ist orange dargestellt.
|
|
Rechts: das normierte Histogramm der Daten zusammen mit der \"uber Minimierung
|
|
des quadratischen Abstands zum Histogramm berechneten Fits ist potentiell schlechter.}
|
|
\end{figure}
|