\chapter{\tr{Optimization and Gradient Descent}{Optimierung und Gradientenabstiegsverfahren}} Ein sehr \"ubliches Problem ist, dass die Abh\"angigkeit von Messwerten von einem Input Parameter durch ein Modell erkl\"art werden soll. Die Frage ist, wie man die beste Parametrisierung des Modells findet. Den Prozess der Prarmeteranpassung nennt man auch Optimierung oder English Fitting. Betrachtet man zum Beispiel die Punktewolke in Abbildung \ref{linregressiondatafig} liegt es nahe einen (verrauschten) linearen Zusammenhang zwischen Einganggr\"{\ss}e (Input) und Systemantwort (output) zu postulieren. \begin{figure} \includegraphics[width=0.45\columnwidth]{lin_regress.pdf} \caption{\textbf{Blick auf die Rohdaten.} F\"ur eine Reihe von Eingangswerten, z.B. Stimulusintensit\"aten wurden die Antworten eines Systems gemessen.}\label{linregressiondatafig} \end{figure} Wir nehmen an, dass die lineare Geradengleichung ein guten Modell f\"ur das zugrundeliegende System ist. \[f_{m,n}(x) = m\cdot x + n \] wobei $x$ die Eingangswerte, $f_{m,n}(x)$ die Systemantwort, $m$ die Steigung und $n$ der y-Achsenabschnitt darstellen (Abbildung \ref{linregressionslopeintersectfig}). In dieser Gleichung gibt es nur zwei Parameter und es wird die Kombination von Steigung ($m$) und y-Achsenabschnitt ($n$) gesucht, die die Systemantwort am besten vorhersagen. \begin{figure} \begin{minipage}[t]{0.45\columnwidth} \includegraphics[width=\textwidth]{figures/lin_regress_slope.pdf} \end{minipage} \begin{minipage}[t]{0.45\columnwidth} \includegraphics[width=\textwidth]{figures/lin_regress_abscissa.pdf} \end{minipage} \caption{\textbf{Ver\"anderungen der Parameter und ihre Folgen.} Die linke Abbildung zeigt den Effekt einer Ver\"anderung der Steigung w\"ahrend die reche Abbildung die Ver\"anderung des y-Achsenabschnittes illustriert. }\label{linregressionslopeintersectfig} \end{figure} Wie wird nun die optimale Kombination aus Steigung und y-Achsenabschnitt gefunden? \section{Methode der kleinsten Quadratischen Abweichung} Um die optimale Parameterkombination zu finden muss zun\"achst ein Ma{\ss} f\"ur den Unterschied zwischen den tats\"achlich gemessenen und den unter Verwendung eines Parametersatzes vorhergesagten Werten definiert werden. Eine der am h\"aufigsten verwendeten Fehlersch\"atzungen ist der \emph{mittlere qaudratische Abstand} (im Englischen auch mean square error genannt, Abbildung \ref{leastsquareerrorfig}). \[ e = \frac{1}{N}\sum^{N}_{1=1} \left( y_i - y^{est}_i)\right )^2\] wobei $e$ der Fehler, $N$ die Anzahl gemessener Datenpunkte $y_i$ die Messwerte und $y^{est}_i$ die Vorhersagewerte an den enstprechenden Stellen sind. \begin{figure} \includegraphics[width=0.5\columnwidth]{figures/linear_least_squares.pdf} \caption{\textbf{Ermittlung des Mittleren quadratischen Abstands.} Der Abstand zwischen der Vorhersage und dem Modell wird f\"ur jeden gemessenen Datenpunkt ermittelt. Die Differenz zwischen Messwert und Vorhersage wird quadriert, was zum einen das Vorzeichen einer Abweichung entfernt und zum anderen gro{\ss}e Abweichungen \"uberproportional st\"arker bestraft als kleine. Quelle: \url{http://en.wikipedia.org/wiki/Linear_least_squares_(mathematics)}} \label{leastsquareerrorfig} \end{figure} \begin{exercise}{mean_square_error.m}{} Schreibt eine Funktion, die die mittlere quardatische Abweichung zwischen den beobachteten Werten $y$ und der Vorhersage $y_{est}$ berechnet. \end{exercise} \section{Zielfunktion --- Objective function} Schliesst man in die Fehlerfunktion von oben die Vorhersage des Modells mit ein spricht man von der Zielfunktion oder Englisch ``objective function'': \[e(m,n) = \frac{1}{N}\sum^{N}_{1=1} \left( y_i - f_{m, n}(x_i)\right )^2\] Das Ziel der Parameteranpassung ist es, den Fehler zu minimieren, die Passung zu Optimieren. \begin{exercise}{lsq_error.m}{} Implementiere die Zielfunktion (\code{lsq\_error}) f\"ur die Optimierung mit der linearen Geradengleichung. \begin{itemize} \item Die Funktion \"ubernimmt drei Argumente: das erste ist ein 2-elementiger Vektor, der die Parameter \code{m} und \code{n} enth\"alt. Der zweite sind die x-Werte, an denen gemessen wurde und der dritte die zugeh\"origen y-Werte. \item Die Funktion gibt den Fehler zur\"uck. \end{itemize} \end{exercise} \section{Fehlerfl\"ache} Die beiden Parameter $m$ und $n$ spanngen eine 2-dimensionale F\"ache auf. F\"ur jede Kombination aus $m$ und $n$ erhalten wir Vorhersagewerte, die von den gemessenen Werten abweichen. Es gibt also f\ur jeden Punkt in der sogenannten \emph{Fehlerfl\"ache} einen Fehler. In diesem Beispiel kann man die Fehlerfl\"ache graphisch durch einen 3-d ``surface-plot'' darstellen. Wobei auf der x- und y-Achse die beiden Parameter und auf der z-Achse der Fehlerwert aufgetragen wird (Abbildung \ref{errorsurfacefig}). \begin{figure} \includegraphics[width=0.5\columnwidth]{figures/surface.pdf} \caption{\textbf{Fehlerfl\"ache.} }\label{errorsurfacefig} \end{figure} \textbf{Aufgabe} \begin{enumerate} \item Ladet den Datensatz \textit{lin\_regression.mat} in den Workspace. Wie sehen die Daten aus? \item Schreibt eine Funktion \code{lsq\_error}, die den Fehler brechnet: \begin{itemize} \item \"Ubernimmt einen 2-elementigen Vektor, der die Parameter \code{m} und \code{n} enth\"alt, die x-Werte und y-Werte. \item Die Funktion gibt den Fehler zur\"uck. \end{itemize} \item Schreibt ein Skript dass den Fehler in Abh\"angigkeit von \code{m} und \code{n} als surface plot darstellt (\code{surf} Funktion). \item Wie k\"onnen wir diesen Plot benutzen um die beste Kombination zu finden? \item Wo lieft die beste Kombination? \end{enumerate} \section{Gradient} \begin{itemize} \item Wie findet man die Extrempunkte in einer Kurve?\pause \item Ableitung der Funktion auf Null setzen und nach x aufl\"osen. \item Definition der Ableitung:\\ \vspace{0.25cm} \begin{center} $ f'(x) = \lim\limits_{h \rightarrow 0} \frac{f(x + h) - f(x)}{h} $ \vspace{0.25cm}\pause \end{center} \item Bei zwei Parametern $g(m,n)$ k\"onnen wie die partielle Ableitung bez\"uglich eines Parameters benutzen um die Ver\"anderung des Fehlers bei Ver\"anderung eines Parameters auszuwerten. \item Partielle Ableitung nach \code{m}?\\\pause \vspace{0.25cm} \begin{center} $\frac{\partial g(m,n)}{\partial m} = \lim\limits_{h \rightarrow 0} \frac{g(m + h, n) - g(m,n)}{h}$ \vspace{0.25cm} \end{center} \end{itemize} \section{Der Gradientenabstieg}