\documentclass[12pt,a4paper,pdftex]{exam}

\usepackage[german]{babel}
\usepackage{pslatex}
\usepackage[mediumspace,mediumqspace,Gray]{SIunits}      % \ohm, \micro
\usepackage{xcolor}
\usepackage{graphicx}
\usepackage[breaklinks=true,bookmarks=true,bookmarksopen=true,pdfpagemode=UseNone,pdfstartview=FitH,colorlinks=true,citecolor=blue]{hyperref}

%%%%% layout %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\usepackage[left=20mm,right=20mm,top=25mm,bottom=25mm]{geometry}
\pagestyle{headandfoot}
\ifprintanswers
\newcommand{\stitle}{: L\"osungen}
\else
\newcommand{\stitle}{}
\fi
\header{{\bfseries\large \"Ubung 4\stitle}}{{\bfseries\large Statistik}}{{\bfseries\large 26. Oktober, 2015}}
\firstpagefooter{Prof. Dr. Jan Benda}{Phone: 29 74573}{Email:
jan.benda@uni-tuebingen.de}
\runningfooter{}{\thepage}{}

\setlength{\baselineskip}{15pt}
\setlength{\parindent}{0.0cm}
\setlength{\parskip}{0.3cm}
\renewcommand{\baselinestretch}{1.15}

%%%%% listings %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\usepackage{listings}
\lstset{
  language=Matlab,
  basicstyle=\ttfamily\footnotesize,
  numbers=left,
  numberstyle=\tiny,
  title=\lstname,
  showstringspaces=false,
  commentstyle=\itshape\color{darkgray},
  breaklines=true,
  breakautoindent=true,
  columns=flexible,
  frame=single,
  xleftmargin=1em,
  xrightmargin=1em,
  aboveskip=10pt
}

%%%%% math stuff: %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{bm} 
\usepackage{dsfont}
\newcommand{\naZ}{\mathds{N}}
\newcommand{\gaZ}{\mathds{Z}}
\newcommand{\raZ}{\mathds{Q}}
\newcommand{\reZ}{\mathds{R}}
\newcommand{\reZp}{\mathds{R^+}}
\newcommand{\reZpN}{\mathds{R^+_0}}
\newcommand{\koZ}{\mathds{C}}

%%%%% page breaks %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\newcommand{\continue}{\ifprintanswers%
\else
\vfill\hspace*{\fill}$\rightarrow$\newpage%
\fi}
\newcommand{\continuepage}{\ifprintanswers%
\newpage
\else
\vfill\hspace*{\fill}$\rightarrow$\newpage%
\fi}
\newcommand{\newsolutionpage}{\ifprintanswers%
\newpage%
\else
\fi}

%%%%% new commands %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\newcommand{\qt}[1]{\textbf{#1}\\}
\newcommand{\pref}[1]{(\ref{#1})}
\newcommand{\extra}{--- Zusatzaufgabe ---\ \mbox{}}
\newcommand{\code}[1]{\texttt{#1}}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}

\input{instructions}


\begin{questions}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\question \qt{Maximum Likelihood der Standardabweichung} 
Wir wollen uns die Likelihood und die Log-Likelihood am Beispiel der
Absch\"atzung der Standardabweichung verdeutlichen.
\begin{parts}
  \part Ziehe $n=50$ normalverteilte Zufallsvariablen mit Mittelwert $\mu=3$
  und einer Standardabweichung $\sigma=2$.

  \part
  Plotte die Likelihood (aus dem Produkt der Wahrscheinlichkeiten) und
  die Log-Likelihood (aus der Summe der logarithmierten
  Wahrscheinlichkeiten) f\"ur die Standardabweichung als Parameter. Vergleiche die
  Position der Maxima mit der aus den Daten berechneten Standardabweichung.

  \part
  Erh\"ohe $n$ auf 1000. Was passiert mit der Likelihood, was mit der Log-Likelihood? Warum?
\end{parts}
\begin{solution}
  \lstinputlisting{mlestd.m}
  \includegraphics[width=1\textwidth]{mlestd}
\end{solution}

\continue
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\question \qt{Maximum-Likelihood-Sch\"atzer einer Ursprungsgeraden} 
In der Vorlesung haben wir eine Gleichung f\"ur die Maximum-Likelihood
Absch\"atzung der Steigung einer Ursprungsgeraden hergeleitet.
\begin{parts}
  \part \label{mleslopefunc} Schreibe eine Funktion, die in einem $x$ und einem
  $y$ Vektor die Datenpaare \"uberreicht bekommt und die Steigung der
  Ursprungsgeraden, die die Likelihood maximiert, zur\"uckgibt
  ($\sigma=\text{const}$).

  \part
  Schreibe ein Skript, das Datenpaare erzeugt, die um eine
  Ursprungsgerade mit vorgegebener Steigung streuen. Berechne mit der
  Funktion aus \pref{mleslopefunc} die Steigung aus den Daten,
  vergleiche mit der wahren Steigung, und plotte die urspr\"ungliche
  sowie die gefittete Gerade zusammen mit den Daten.

  \part
  Ver\"andere die Anzahl der Datenpunkte, die Steigung, sowie die
  Streuung der Daten um die Gerade.
\end{parts}
\begin{solution}
  \lstinputlisting{mleslope.m}
  \lstinputlisting{mlepropfit.m}
  \includegraphics[width=1\textwidth]{mlepropfit}
\end{solution}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\question \qt{Maximum-Likelihood-Sch\"atzer einer Wahrscheinlichkeitsdichtefunktion} 
Verschiedene Wahrscheinlichkeitsdichtefunktionen haben Parameter, die
nicht so einfach wie der Mittelwert und die Standardabweichung einer
Normalverteilung direkt aus den Daten berechnet werden k\"onnen. Solche Parameter
m\"ussen dann aus den Daten mit der Maximum-Likelihood-Methode gefittet werden.

Um dies zu veranschaulichen ziehen wir uns diesmal Zufallszahlen, die nicht einer
Normalverteilung entstammen, sonder aus der Gamma-Verteilung.
\begin{parts}
  \part
  Finde heraus welche Funktion die Wahrscheinlichkeitsdichtefunktion
  (probability density function) der Gamma-Verteilung in \code{matlab}
  berechnet.

  \part
  Plotte mit Hilfe dieser Funktion die  Wahrscheinlichkeitsdichtefunktion
  der Gamma-Verteilung f\"ur verschiedene Werte des (positiven) ``shape'' Parameters.
  Den ``scale'' Parameter setzen wir auf Eins.

  \part
  Finde heraus mit welcher Funktion Gammaverteilte Zufallszahlen in
  \code{matlab} gezogen werden k\"onnen. Erzeuge mit dieser Funktion
  50 Zufallszahlen mit einem der oben geplotteten ``shape'' Parameter.

  \part
  Berechne und plotte ein normiertes Histogramm dieser Zufallszahlen.

  \part
  Finde heraus mit welcher \code{matlab}-Funktion eine beliebige
  Verteilung (``distribution'') und die Gammaverteilung an die
  Zufallszahlen nach der Maximum-Likelihood Methode gefittet werden
  kann.

  \part
  Bestimme mit dieser Funktion die Parameter der
  Gammaverteilung aus den Zufallszahlen. 

  \part
  Plotte anschlie{\ss}end
  die Gammaverteilung mit den gefitteten Parametern.
\end{parts}
\begin{solution}
  \lstinputlisting{mlepdffit.m}
  %\includegraphics[width=1\textwidth]{mlepdffit}
\end{solution}

\end{questions}

\end{document}