Improved indices
This commit is contained in:
@@ -5,7 +5,7 @@
|
||||
\lstset{inputpath=../code}
|
||||
\graphicspath{{figures/}}
|
||||
|
||||
\setcounter{page}{99}
|
||||
\setcounter{page}{101}
|
||||
\setcounter{chapter}{6}
|
||||
|
||||
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
||||
|
||||
@@ -7,7 +7,8 @@
|
||||
In vielen Situationen wollen wir einen oder mehrere Parameter $\theta$
|
||||
einer Wahrscheinlichkeitsverteilung sch\"atzen, so dass die Verteilung
|
||||
die Daten $x_1, x_2, \ldots x_n$ am besten beschreibt.
|
||||
Maximum-Likelihood-Sch\"atzer (maximum likelihood estimate, mle)
|
||||
\determ{Maximum-Likelihood-Sch\"atzer} (\enterm{maximum likelihood
|
||||
estimator}, \determ[mle|see{Maximum-Likelihood-Sch\"atzer}]{mle})
|
||||
w\"ahlen die Parameter so, dass die Wahrscheinlichkeit, dass die Daten
|
||||
aus der Verteilung stammen, am gr\"o{\ss}ten ist.
|
||||
|
||||
@@ -31,8 +32,10 @@ Auftretens der Werte $x_1, x_2, \ldots x_n$ gegeben ein bestimmtes $\theta$
|
||||
p(x_1,x_2, \ldots x_n|\theta) = p(x_1|\theta) \cdot p(x_2|\theta)
|
||||
\ldots p(x_n|\theta) = \prod_{i=1}^n p(x_i|\theta) \; .
|
||||
\end{equation}
|
||||
Andersherum gesehen ist das die Likelihood (deutsch immer noch ``Wahrscheinlichleit'')
|
||||
den Parameter $\theta$ zu haben, gegeben die Me{\ss}werte $x_1, x_2, \ldots x_n$,
|
||||
Andersherum gesehen ist das die \determ{Likelihood}
|
||||
(\enterm{likelihood}, deutsch immer noch ``Wahrscheinlichleit'') den
|
||||
Parameter $\theta$ zu haben, gegeben die Me{\ss}werte $x_1, x_2,
|
||||
\ldots x_n$,
|
||||
\begin{equation}
|
||||
{\cal L}(\theta|x_1,x_2, \ldots x_n) = p(x_1,x_2, \ldots x_n|\theta)
|
||||
\end{equation}
|
||||
@@ -55,7 +58,7 @@ An der Stelle eines Maximums einer Funktion \"andert sich nichts, wenn
|
||||
man die Funktionswerte mit einer streng monoton steigenden Funktion
|
||||
transformiert. Aus numerischen und gleich ersichtlichen mathematischen
|
||||
Gr\"unden wird meistens das Maximum der logarithmierten Likelihood
|
||||
(``Log-Likelihood'') gesucht:
|
||||
(\determ{log-Likelihood}, \enterm{log-likelihood}) gesucht:
|
||||
\begin{eqnarray}
|
||||
\theta_{mle} & = & \text{argmax}_{\theta}\; {\cal L}(\theta|x_1,x_2, \ldots x_n) \nonumber \\
|
||||
& = & \text{argmax}_{\theta}\; \log {\cal L}(\theta|x_1,x_2, \ldots x_n) \nonumber \\
|
||||
@@ -73,7 +76,7 @@ $\theta$ maximiert dessen Likelhood?
|
||||
|
||||
\begin{figure}[t]
|
||||
\includegraphics[width=1\textwidth]{mlemean}
|
||||
\titlecaption{\label{mlemeanfig} Maximum Likelihood Estimation des
|
||||
\titlecaption{\label{mlemeanfig} Maximum Likelihood Sch\"atzung des
|
||||
Mittelwerts.}{Oben: Die Daten zusammen mit drei m\"oglichen
|
||||
Normalverteilungen mit unterschiedlichen Mittelwerten (Pfeile) aus
|
||||
denen die Daten stammen k\"onnten. Unteln links: Die Likelihood
|
||||
@@ -121,7 +124,7 @@ diesem Mittelwert gezogen worden sind (\figref{mlemeanfig}).
|
||||
|
||||
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
|
||||
\section{Kurvenfit als Maximum-Likelihood Sch\"atzung}
|
||||
Beim Kurvenfit soll eine Funktion $f(x;\theta)$ mit den Parametern
|
||||
Beim \determ{Kurvenfit} soll eine Funktion $f(x;\theta)$ mit den Parametern
|
||||
$\theta$ an die Datenpaare $(x_i|y_i)$ durch Anpassung der Parameter
|
||||
$\theta$ gefittet werden. Wenn wir annehmen, dass die $y_i$ um die
|
||||
entsprechenden Funktionswerte $f(x_i;\theta)$ mit einer
|
||||
@@ -210,21 +213,21 @@ zur\"uckzugreifen \matlabfun{lsqcurvefit()}.
|
||||
\section{Fits von Wahrscheinlichkeitsverteilungen}
|
||||
Jetzt betrachten wir noch den Fall, bei dem wir die Parameter einer
|
||||
Wahrscheinlichkeitsdichtefunktion (z.B. den shape-Parameter einer
|
||||
Gamma-Verteilung) an ein Datenset fitten wollen.
|
||||
\determ{Gamma-Verteilung}) an ein Datenset fitten wollen.
|
||||
|
||||
Ein erster Gedanke k\"onnte sein, die
|
||||
Wahrscheinlichkeitsdichtefunktion durch Minimierung des quadratischen
|
||||
Abstands an ein Histogramm der Daten zu fitten. Das ist aber aus
|
||||
folgenden Gr\"unden nicht die Methode der Wahl: (i)
|
||||
Wahrscheinlichkeitsdichten k\"onnen nur positiv sein. Darum k\"onnen
|
||||
insbesondere bei kleinen Werten die Daten nicht symmetrisch streuen,
|
||||
wie es bei normalverteilten Daten der Fall ist. (ii) Die Datenwerte
|
||||
sind nicht unabh\"angig, da das normierte Histogram sich zu Eins
|
||||
aufintegriert. Die beiden Annahmen normalverteilte und unabh\"angige
|
||||
Daten, die die Minimierung des quadratischen Abstands
|
||||
\eqnref{chisqmin} zu einem Maximum-Likelihood Sch\"atzer machen, sind
|
||||
also verletzt. (iii) Das Histogramm h\"angt von der Wahl der
|
||||
Klassenbreite ab (\figref{mlepdffig}).
|
||||
\determ[Wahrscheinlichkeitsdichte]{Wahrscheinlichkeitsdichtefunktion}
|
||||
durch Minimierung des quadratischen Abstands an ein Histogramm der
|
||||
Daten zu fitten. Das ist aber aus folgenden Gr\"unden nicht die
|
||||
Methode der Wahl: (i) Wahrscheinlichkeitsdichten k\"onnen nur positiv
|
||||
sein. Darum k\"onnen insbesondere bei kleinen Werten die Daten nicht
|
||||
symmetrisch streuen, wie es bei normalverteilten Daten der Fall
|
||||
ist. (ii) Die Datenwerte sind nicht unabh\"angig, da das normierte
|
||||
Histogram sich zu Eins aufintegriert. Die beiden Annahmen
|
||||
normalverteilte und unabh\"angige Daten, die die Minimierung des
|
||||
quadratischen Abstands \eqnref{chisqmin} zu einem Maximum-Likelihood
|
||||
Sch\"atzer machen, sind also verletzt. (iii) Das Histogramm h\"angt
|
||||
von der Wahl der Klassenbreite ab (\figref{mlepdffig}).
|
||||
|
||||
\begin{figure}[t]
|
||||
\includegraphics[width=1\textwidth]{mlepdf}
|
||||
@@ -259,8 +262,9 @@ Aktivit\"at Eigenschaften von sensorischen Stimuli. z.B. im visuellen
|
||||
Kortex V1 die Orientierung eines Balkens. Traditionell wird die
|
||||
Antwort der Neurone f\"ur verschiedene Stimuli (z.B. verschiedene
|
||||
Orientierungen des Balkens) gemessen. Die mittlere Antwort der Neurone
|
||||
als Funktion eines Stimulusparameters ist dann die ``Tuning-curve''
|
||||
(z.B. Feuerrate als Funktion des Orientierungswinkels).
|
||||
als Funktion eines Stimulusparameters ist dann die
|
||||
\enterm{Tuning-curve} (deutsch \determ{Abstimmkurve}, z.B. Feuerrate
|
||||
als Funktion des Orientierungswinkels).
|
||||
|
||||
\begin{figure}[tp]
|
||||
\includegraphics[width=1\textwidth]{mlecoding}
|
||||
|
||||
Reference in New Issue
Block a user