From 39ed3c716a0cc04dbf4f66dde81fac7b08c0d94e Mon Sep 17 00:00:00 2001 From: Jan Grewe Date: Fri, 11 Oct 2019 21:18:40 +0200 Subject: [PATCH] [bootstrap] translation to english --- bootstrap/lecture/bootstrap.tex | 301 ++++++++++++++--------------- bootstrap/lecture/bootstrap_de.tex | 203 +++++++++++++++++++ 2 files changed, 351 insertions(+), 153 deletions(-) create mode 100644 bootstrap/lecture/bootstrap_de.tex diff --git a/bootstrap/lecture/bootstrap.tex b/bootstrap/lecture/bootstrap.tex index f56eecf..e4654fc 100644 --- a/bootstrap/lecture/bootstrap.tex +++ b/bootstrap/lecture/bootstrap.tex @@ -3,200 +3,195 @@ \chapter{\tr{Bootstrap methods}{Bootstrap Methoden}} \label{bootstrapchapter} -\selectlanguage{ngerman} +\selectlanguage{english} -Beim \determ{Bootstrap} erzeugt man sich die Verteilung von Statistiken durch Resampling -aus der Stichprobe. Das hat mehrere Vorteile: +Bootstrapping methods are applied to create distributions of +statistical measures via resampling of a sample. Bootstrapping offers several +advantages: \begin{itemize} -\item Weniger Annahmen (z.B. muss eine Stichprobe nicht normalverteilt sein). -\item H\"ohere Genauigkeit als klassische Methoden. -\item Allgemeing\"ultigkeit: Bootstrap Methoden sind sich sehr - \"ahnlich f\"ur viele verschiedene Statistiken und ben\"otigen nicht - f\"ur jede Statistik eine andere Formel. +\item Fewer assumptions (e.g. a measured sample does not need to be + normally distributed). +\item Increased precision as compared to classical methods. %such as? +\item General applicability: The bootstrapping methods are very + similar for different statistics and there is no need to specialize + the method depending on the investigated statistic measure. \end{itemize} \begin{figure}[tp] \includegraphics[width=0.8\textwidth]{2012-10-29_16-26-05_771}\\[2ex] \includegraphics[width=0.8\textwidth]{2012-10-29_16-41-39_523}\\[2ex] \includegraphics[width=0.8\textwidth]{2012-10-29_16-29-35_312} - \titlecaption{\label{statisticalpopulationfig} Warum k\"onnen wir - nur eine Stichprobe der Grundgesamtheit messen?}{} + \titlecaption{\label{statisticalpopulationfig} Why can't we measure + the statistical population but only draw samples?}{} \end{figure} -Zur Erinnerung: In der Statistik interessieren wir uns f\"ur -Eigenschaften einer \determ{Grundgesamtheit}. z.B. die mittlere -L\"ange von sauren Gurken (\figref{statisticalpopulationfig}). Aus der -Grundgesamtheit wird eine \determ{Stichprobe} (\enterm{simple random - sample}, \enterm[SRS|see{simple random sample}]{SRS}) gezogen, da -niemals die gesamte Grundgesamtheit gemessen werden kann. Dann wird -aus dieser einzigen Stichprobe die gew\"unschte Gr\"o{\ss}e berechnet -(die mittlere Gr\"o{\ss}e der sauren Gurken) und man hofft, dass die -erhaltene Zahl an der entsprechenden unbekannten Gr\"o{\ss}e der -Grundgesamtheit (der \determ{Populationsparameter}) m\"oglichst nah dran -ist. Eine Aufgabe der Statistik ist es, herauszubekommen wie gut der -Populationsparameter abgesch\"atzt worden ist. - -Wenn wir viele Stichproben ziehen w\"urden, dann k\"onnte man f\"ur -jede Stichprobe den gew\"unschten Parameter berechnen, und von diesen -die Wahrscheinlichkeitsverteilung \"uber ein Histogramm bestimmen --- -die \determ{Stichprobenverteilung} (\enterm{sampling distribution}, +Reminder: in statistics we are interested in properties of the +``statistical population'' (in German: \determ{Grundgesamtheit}), e.g. the +average length of all pickles (\figref{statisticalpopulationfig}). But +we cannot measure the lengths of all pickles in the statistical +population. Rather, we draw samples (simple random sample +\enterm[SRS|see{simple random sample}]{SRS}, in German: +\determ{Stichprobe}). We then estimate a statistical measures +(e.g. the average length of the pickles) within in this sample and +hope that it is a good approximation of the unknown and immeasurable +real average length of the statistical population (in German aka +\determ{Populationsparameter}). We apply statistical methods to find +out how good this approximation is. + +If we could draw a large number of \textit{simple random samples} we could +estimate the statistical measure of interest for each sample and +estimate the probability distribution using a histogram. This +distribution is called the \enterm{sampling distribution} (German: +\determ{Stichprobenverteilung}, \subfigref{bootstrapsamplingdistributionfig}{a}). \begin{figure}[tp] \includegraphics[height=0.2\textheight]{srs1}\\[2ex] \includegraphics[height=0.2\textheight]{srs2}\\[2ex] \includegraphics[height=0.2\textheight]{srs3} - \titlecaption{\label{bootstrapsamplingdistributionfig}Bootstrap der - Stichprobenverteilung.}{(a) Von der Grundgesamtheit (population) mit - unbekanntem Parameter (z.B. Mittelwert $\mu$) zieht man - Stichproben (SRS: simple random samples). Die Statistik (hier - Bestimmung von $\bar x$) kann f\"ur jede Stichprobe berechnet - werden. Die erhaltenen Werte entstammen der - Stichprobenverteilung. Meisten wird aber nur eine Stichprobe - gezogen! (b) Mit bestimmten Annahmen und Theorien kann man auf - die Stichprobenverteilung schlie{\ss}en ohne sie gemessen zu - haben. (c) Alternativ k\"onnen aus der einen Stichprobe viele - Bootstrap-Stichproben generiert werden (resampling) und so - Eigenschaften der Stichprobenverteilung empirisch bestimmt - werden. Aus Hesterberg et al. 2003, Bootstrap Methods and - Permuation Tests} + \titlecaption{\label{bootstrapsamplingdistributionfig}Bootstrapping + the sampling distribution.}{(a) Simple random samples (SRS) are + drawn from a statistical population with an unknown population + parameter (e.g. the average $\mu$). The statistical measure (the + estimation of $\bar x$) is calculated for each sample. The + measured values originate from the sampling distribution. Often + only a single random sample is drawn! (b) By applying assumption + and theories one can guess the sampling distribution without + actually measuring it. (c) Alternatively, one can generate many + bootstrap-samples from the same SRS (resampling) and use these to + estimate the sampling distribution empirically. From Hesterberg et + al. 2003, Bootstrap Methods and Permutation Tests} \end{figure} -In Wirklichkeit haben wir aber nur eine Stichprobe. Wir behelfen uns -dann mit Theorien, die meistens bestimmte Annahmen \"uber die Daten -machen (z.B. Normalverteilung), und uns erlauben etwas \"uber die -Genaugigkeit unserer Sch\"atzung aus der Stichprobe auszusagen -(z.B. die Formel $\sigma/\sqrt{n}$ f\"ur den Standardfehler des -Mittelwerts, die uns die Standardabweichung angibt, mit dem die -Mittelwerte der Stichproben um den Populationsmittelwert streuen -\subfigref{bootstrapsamplingdistributionfig}{b}). - -Wir k\"onnen aber auch aus der einen Stichprobe die wir haben durch -\determ{Resampling} viele neue Stichproben generieren (Bootstrap). Von diesen -k\"onnen wir jeweils die gew\"unschte Gr\"o{\ss}e berechnen und ihre -Verteilung bestimmen (\determ{Bootstrapverteilung}, -\subfigref{bootstrapsamplingdistributionfig}{c}). Diese Verteilung ist -interessanterweise in ihrer Breite und Form der Stichprobenverteilung -sehr \"ahnlich. Nur streut sie nicht um den Populationswert sonder um -die Sch\"atzung aus der Stichprobe. Wir k\"onnen die -Bootstrapverteilung aber benutzen um Aussagen \"uber die Genauigkeit -unserer Sch\"atzung zu treffen (z.B. Standardfehler, -Konfidenzintervalle). - -Beim Bootstrap erzeugen wir durch Resampling neue Stichproben und -benutzen diese, um die Stichprobenverteilung einer Statistik zu -berechnen. Die Bootstrap Stichproben haben jeweils den gleichen Umfang -wie die urspr\"unglich gemessene Stichprobe und werden durch Ziehen -mit Zur\"ucklegen gewonnen. Jeder Wert der urspr\"unglichen Stichprobe -kann also einmal, mehrmals oder gar nicht in einer Bootstrap -Stichprobe vorkommen. - - -\section{Bootstrap des Standardfehlers} - -Am besten l\"asst sich die Bootstrap Methode am Beispiel des -Standardfehlers des Mittelwertes veranschaulichen. Aus der Stichprobe -k\"onnen wir den Mittelwert berechnen. Der \determ{Standardfehler} des -Mittelwerts gibt die Standardabweichung an, mit der wir erwarten, dass -der gemessene Mittelwert um den Populationsmittelwert streut. +Commonly, there will be only a single SRS. In such cases we make use +of certain assumptions (e.g. we assume a normal distribution) that +allow us to infer the precision of our estimation based on the +SRS. For example the formula $\sigma/\sqrt{n}$ gives the standard +error of the mean which is the standard deviation of the distribution +of average values around the mean of the statistical population +estimated in many SRS +(\subfigref{bootstrapsamplingdistributionfig}{b}). +%explicitely state that this is based on the assumption of a normal distribution? + +Alternatively, we can use ``bootstrapping'' to generate new samples +from the one set of measurements (resampling). From these bootstrapped +samples we calculate the desired statistical measure and estimate +their distribution (\enterm{bootstrap distribution}, +\subfigref{bootstrapsamplingdistributionfig}{c}). Interestingly, this +distribution is very similar to the sampling distribution regarding +its width. The only difference is that the bootstrapped values are +distributed around the measure of the original sample and not the one +of the statistical population. We can use the bootstrap distribution +to draw conclusion regarding the precision of our estimation (e.g. +standard errors and confidence intervals). + +Bootstrapping method create new SRS by resampling to estimate the +sampling distribution of a statistical measure. The bootstrapped +samples have the same size as the original sample and are created by +sampling with replacement, that is, each value of the original sample +can occur once, multiple time, or not at all in a bootstrapped sample. + + +\section{Bootstrap of the standard error} + +Bootstrapping can be nicely illustrated at the example the standard +error of the mean. The arithmetic mean is calculated for a simple +random sample. The standard error of the mean is the standard +deviation of the expected distribution of mean values around the mean +of the statistical population. \begin{figure}[tp] \includegraphics[width=1\textwidth]{bootstrapsem} - \titlecaption{\label{bootstrapsemfig}Bootstrap des Standardfehlers des - Mittelwertes.}{Die --- normalerweise unbekannte --- - Stichprobenverteilung des Mittelwerts (rot) ist um den - Populationsmittelwert bei $\mu=0$ zentriert. Die - Bootstrap-Verteilung (blau), die durch Resampling aus einer - Stichprobe gewonnen worden ist, hat die gleiche Form und Breite - wie die Stichprobenverteilung, ist aber um den Mittelwert der - Stichprobe zentriert. Die Standardabweichung der - Bootstrapverteilung kann also als Sch\"atzer f\"ur den - Standardfehler des Mittelwertes verwendet werden.} + \titlecaption{\label{bootstrapsemfig}Bootstrapping the standard + error of the mean.}{The --- usually unknown --- sampling + distribution of the mean is distributed around the true mean of + the statistical population ($\mu=0$, red). The bootstrap + distribution of the means calculated for many bootstrapped samples + has the same shape as the sampling distribution but is centered + around the mean of the SRS used for resampling. The standard + deviation of the bootstrap distribution (blue) is thus an estimator for + the standard error of the mean.} \end{figure} -Durch Bootstrap k\"onnen wir unsere Stichprobe resamplen und dadurch -eine ganze Verteilung von Mittelwerten generieren -(\figref{bootstrapsemfig}). Die Standardabweichung dieser Verteilung -ist dann der gesuchte Standardfehler des Mittelwerts. +Via bootstrapping we create a distribution of the mean values +(\figref{bootstrapsemfig}) and the standard deviation of this +distribution is the standard error of the mean. \pagebreak[4] \begin{exercise}{bootstrapsem.m}{bootstrapsem.out} - Erzeuge die Verteilung der Mittelwerte einer Stichprobe durch Bottstrapping, - um daraus den Standardfehler des Mittelwerts zu bestimmen. + Create the distribution of mean values from bootstrapped samples + resampled form a single SRS. Use this distribution to estimate the + standard error of the mean. \begin{enumerate} - \item Ziehe 1000 normalverteilte Zufallszahlen und berechne deren - Mittelwert, Standardabweichung und Standardfehler + \item Draw 1000 normally distributed random number and calculate the + mean, the standard deviation and the standard error ($\sigma/\sqrt{n}$). - \item Resample die Daten 1000 mal (Ziehen mit Zur\"ucklegen) und - berechne jeweils den Mittelwert. - \item Plotte ein Histogramm dieser Mittelwerte, berechne deren - Mittelwert und Standardabweichung und vergleiche mit den Werten - der Grundgesamtheit und der Stichprobe. + \item Resample the data 1000 times (draw and replace) and calculate + the mean of each bootstrapped sample. + \item Plot a histogram of the respective distribution and calculate its mean and + standard deviation. Compare with the + original values based on the statistical population. \end{enumerate} \end{exercise} -\section{Permutationstests} -Bei statistischen Tests wird nach der Wahrscheinlichkeit, ob die -beobachtete Me{\ss}gr\"o{\ss}e einer Stichprobe aus der Nullhypothese -kommt, gefragt. Ist diese Wahrscheinlichkeit kleiner als das -Signifikanzniveau, kann die Nullhypothese verworfen werden. - -Traditionell werden diese Wahrscheinlichkeiten \"uber theoretisch -hergeleitete Wahrscheinlichkeitsverteilungen berechnet. Dabei gehen -immer gewisse Annahmen \"uber die Daten ein und es mu{\ss} der zu den -Daten passende Test ausgew\"ahlt werden. +\section{Permutationtests} +Statistical tests ask for the probability that a measured value +originates from the null hypothesis. Is this probability smaller than +the desired significance level, the null hypothesis may be rejected. -Alternativ kann die Wahrscheinlichkeits(dichte)verteilung der -Nullhypothese aus den Daten selbst gewonnen werden. Dabei m\"ussen die -Daten entsprechend der Nullhypothese neu aus der Stichprobe gezogen -werden. - -Diese \determ{Permutationstests} haben den Vorteil, dass nur die -Eigenschaft von Interesse zerst\"ort wird, um die Nullhypothese zu -generieren. Alle anderen Eigenschaften der Daten bleiben erhalten. +Traditionally, such probabilities are taken from theoretical +distributions which are based on assumptions about the data. Thus the +applied statistical test has to be appropriate for the type of +data. An alternative approach is to calculate the probability density +of the null hypothesis directly from the data itself. To do this, we +need to resample the data according to the null hypothesis from the +SRS. By such permutation operations we destroy the feature of interest +while we conserve all other features of the data. \begin{figure}[tp] \includegraphics[width=1\textwidth]{permutecorrelation} - \titlecaption{\label{permutecorrelationfig}Permutationstest f\"ur - Korrelationen.}{Der Korrelationskoeffizient eines Datensatzes mit - 200 Datenpaaren ist $\rho=0.21$. Die Nullhypothesenverteilung der - aus den permutierten, unkorrelierten Datens\"atzen berechneten - Korrelationskoeffizienten ergibt die gelbe Verteilung, die um Null - streut. Der gemessene Korrelationskoeffizient ist deutlich - gr\"o{\ss}er als das 95\,\%-Perzentil der - Nullhypoothesenverteilung und darum eine signifikante - Korrelation.} + \titlecaption{\label{permutecorrelationfig}Permutation test for + correlations.}{Let the correlation coefficient of a dataset with + 200 samples be $\rho=0.21$. The distribution of the null + hypothesis, yielded from the correlation coefficients of + permuted and uncorrelated datasets is centered around zero + (yellow). The measured correlation coefficient is larger than the + 95\,\% percentile of the null hypothesis. The null hypothesis may + thus be rejected and the measured correlation is statistically + significant.} \end{figure} -Sehr sch\"on lassen sich Permutationstest am Beispiel von -Korrelationen veranschaulichen. Gegeben sind Datenpaare $(x_i, y_i)$. -Daraus k\"onnen wir den -\determ[Korrelationskoeffizient]{Korrelationskoeffizienten} -berechnen. Wir wissen dann aber noch nicht, ob der berechnete Wert -tats\"achlich eine Korrelation anzeigt. Die Nullhypothese ist, dass -die Daten nicht miteinander korreliert sind. Indem wir die $x$-Werte -und die $y$-Werte unabh\"angig voneinander permutieren (ihre -Reihenfolge zuf\"allig neu anordnen), werden die Korrelationen der -Datenpaare zerst\"ort. Wenn wir das viele Male wiederholen, bekommen -wir die Verteilung der Korrelationskoeffizienten f\"ur -nichtkorrelierte Daten. Aus dieser Verteilung der Nullhypothese -k\"onnen wir dann dann die Signifikanz der tats\"achlich gemessenen -Korrelation bestimmen. +A good example for the application of a permutaion test is the +statistical assessment of correlations. Given are measured pairs of +data points $(x_i, y_i)$. By calculating the correlation coefficient +we can quantify how strongly $y$ depends on $x$. The correlation +coefficient alone, however, does not tell whether it is statistically +significantly different from a random correlation. The null hypothesis +for such a situation would be that $y$ does not depend on $x$. In +order to perform a permutation test, we now destroy the correlation by +permuting the $(x_i, y_i)$ pairs, i.e. we rearrange the $x_i$ and +$y_i$ values in a random fashion. By creating many sets of random +pairs and calculating the resulting correlation coefficients, we yield +a distribution of correlation coefficients that are a result of +randomness. From this distribution we can directly measure the +statistical significance (figure\,\ref{permutecorrelationfig}). + \begin{exercise}{correlationsignificance.m}{correlationsignificance.out} -Bestimme die Signifikanz eines Korrelationskoeffizienten. +Estimate the statistical significance of a correlation coefficient. \begin{enumerate} -\item Erzeuge korrelierte Daten indem zu zuf\"allig gezogenen - $x$-Werten $y$-Werte gem\"a{\ss} $y=0.2 \cdot x$ berechnet werden, - zu denen weitere normalverteilte Zufallszahlen addiert werden. -\item Berechne den Korrelationskoeffizient dieser Datenpaare. -\item Generiere die Verteilung der Nullhypothese ``unkorrelierte - Daten'' indem die $x$- und $y$-Daten 1000-mal unabh\"angig - permutiert werden \matlabfun{randperm()} und jeweils der - Korrelationskoeffizient berechnet wird. -\item Bestimme aus den Nullhypothesendaten das 95\,\%-Perzentil und - vergleiche es mit dem tats\"achlichen Korrelationskoeffizienten. +\item Create pairs of $(x_i, y_i)$ values. Randomly choose $x$-values + and calculate the respective $y$-values according to $y=0.2 \cdot x$ + to which you add a random value drawn from a normal distribution. +\item Calculate the correlation coefficient. +\item Generate the distribution according to the null hypothesis by + generating uncorrelated pairs. For this permute $x$- and $y$-values + (\matlabfun{randperm()}) 1000 times and calculate for each + permutation the correlation coefficient. +\item From the resulting null hypothesis distribution the 95\,\% + percentile and compare it with the correlation coefficient + calculated for the original data. \end{enumerate} \end{exercise} diff --git a/bootstrap/lecture/bootstrap_de.tex b/bootstrap/lecture/bootstrap_de.tex new file mode 100644 index 0000000..f56eecf --- /dev/null +++ b/bootstrap/lecture/bootstrap_de.tex @@ -0,0 +1,203 @@ +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% +\chapter{\tr{Bootstrap methods}{Bootstrap Methoden}} +\label{bootstrapchapter} + +\selectlanguage{ngerman} + +Beim \determ{Bootstrap} erzeugt man sich die Verteilung von Statistiken durch Resampling +aus der Stichprobe. Das hat mehrere Vorteile: +\begin{itemize} +\item Weniger Annahmen (z.B. muss eine Stichprobe nicht normalverteilt sein). +\item H\"ohere Genauigkeit als klassische Methoden. +\item Allgemeing\"ultigkeit: Bootstrap Methoden sind sich sehr + \"ahnlich f\"ur viele verschiedene Statistiken und ben\"otigen nicht + f\"ur jede Statistik eine andere Formel. +\end{itemize} + +\begin{figure}[tp] + \includegraphics[width=0.8\textwidth]{2012-10-29_16-26-05_771}\\[2ex] + \includegraphics[width=0.8\textwidth]{2012-10-29_16-41-39_523}\\[2ex] + \includegraphics[width=0.8\textwidth]{2012-10-29_16-29-35_312} + \titlecaption{\label{statisticalpopulationfig} Warum k\"onnen wir + nur eine Stichprobe der Grundgesamtheit messen?}{} +\end{figure} + +Zur Erinnerung: In der Statistik interessieren wir uns f\"ur +Eigenschaften einer \determ{Grundgesamtheit}. z.B. die mittlere +L\"ange von sauren Gurken (\figref{statisticalpopulationfig}). Aus der +Grundgesamtheit wird eine \determ{Stichprobe} (\enterm{simple random + sample}, \enterm[SRS|see{simple random sample}]{SRS}) gezogen, da +niemals die gesamte Grundgesamtheit gemessen werden kann. Dann wird +aus dieser einzigen Stichprobe die gew\"unschte Gr\"o{\ss}e berechnet +(die mittlere Gr\"o{\ss}e der sauren Gurken) und man hofft, dass die +erhaltene Zahl an der entsprechenden unbekannten Gr\"o{\ss}e der +Grundgesamtheit (der \determ{Populationsparameter}) m\"oglichst nah dran +ist. Eine Aufgabe der Statistik ist es, herauszubekommen wie gut der +Populationsparameter abgesch\"atzt worden ist. + +Wenn wir viele Stichproben ziehen w\"urden, dann k\"onnte man f\"ur +jede Stichprobe den gew\"unschten Parameter berechnen, und von diesen +die Wahrscheinlichkeitsverteilung \"uber ein Histogramm bestimmen --- +die \determ{Stichprobenverteilung} (\enterm{sampling distribution}, +\subfigref{bootstrapsamplingdistributionfig}{a}). + +\begin{figure}[tp] + \includegraphics[height=0.2\textheight]{srs1}\\[2ex] + \includegraphics[height=0.2\textheight]{srs2}\\[2ex] + \includegraphics[height=0.2\textheight]{srs3} + \titlecaption{\label{bootstrapsamplingdistributionfig}Bootstrap der + Stichprobenverteilung.}{(a) Von der Grundgesamtheit (population) mit + unbekanntem Parameter (z.B. Mittelwert $\mu$) zieht man + Stichproben (SRS: simple random samples). Die Statistik (hier + Bestimmung von $\bar x$) kann f\"ur jede Stichprobe berechnet + werden. Die erhaltenen Werte entstammen der + Stichprobenverteilung. Meisten wird aber nur eine Stichprobe + gezogen! (b) Mit bestimmten Annahmen und Theorien kann man auf + die Stichprobenverteilung schlie{\ss}en ohne sie gemessen zu + haben. (c) Alternativ k\"onnen aus der einen Stichprobe viele + Bootstrap-Stichproben generiert werden (resampling) und so + Eigenschaften der Stichprobenverteilung empirisch bestimmt + werden. Aus Hesterberg et al. 2003, Bootstrap Methods and + Permuation Tests} +\end{figure} + +In Wirklichkeit haben wir aber nur eine Stichprobe. Wir behelfen uns +dann mit Theorien, die meistens bestimmte Annahmen \"uber die Daten +machen (z.B. Normalverteilung), und uns erlauben etwas \"uber die +Genaugigkeit unserer Sch\"atzung aus der Stichprobe auszusagen +(z.B. die Formel $\sigma/\sqrt{n}$ f\"ur den Standardfehler des +Mittelwerts, die uns die Standardabweichung angibt, mit dem die +Mittelwerte der Stichproben um den Populationsmittelwert streuen +\subfigref{bootstrapsamplingdistributionfig}{b}). + +Wir k\"onnen aber auch aus der einen Stichprobe die wir haben durch +\determ{Resampling} viele neue Stichproben generieren (Bootstrap). Von diesen +k\"onnen wir jeweils die gew\"unschte Gr\"o{\ss}e berechnen und ihre +Verteilung bestimmen (\determ{Bootstrapverteilung}, +\subfigref{bootstrapsamplingdistributionfig}{c}). Diese Verteilung ist +interessanterweise in ihrer Breite und Form der Stichprobenverteilung +sehr \"ahnlich. Nur streut sie nicht um den Populationswert sonder um +die Sch\"atzung aus der Stichprobe. Wir k\"onnen die +Bootstrapverteilung aber benutzen um Aussagen \"uber die Genauigkeit +unserer Sch\"atzung zu treffen (z.B. Standardfehler, +Konfidenzintervalle). + +Beim Bootstrap erzeugen wir durch Resampling neue Stichproben und +benutzen diese, um die Stichprobenverteilung einer Statistik zu +berechnen. Die Bootstrap Stichproben haben jeweils den gleichen Umfang +wie die urspr\"unglich gemessene Stichprobe und werden durch Ziehen +mit Zur\"ucklegen gewonnen. Jeder Wert der urspr\"unglichen Stichprobe +kann also einmal, mehrmals oder gar nicht in einer Bootstrap +Stichprobe vorkommen. + + +\section{Bootstrap des Standardfehlers} + +Am besten l\"asst sich die Bootstrap Methode am Beispiel des +Standardfehlers des Mittelwertes veranschaulichen. Aus der Stichprobe +k\"onnen wir den Mittelwert berechnen. Der \determ{Standardfehler} des +Mittelwerts gibt die Standardabweichung an, mit der wir erwarten, dass +der gemessene Mittelwert um den Populationsmittelwert streut. + +\begin{figure}[tp] + \includegraphics[width=1\textwidth]{bootstrapsem} + \titlecaption{\label{bootstrapsemfig}Bootstrap des Standardfehlers des + Mittelwertes.}{Die --- normalerweise unbekannte --- + Stichprobenverteilung des Mittelwerts (rot) ist um den + Populationsmittelwert bei $\mu=0$ zentriert. Die + Bootstrap-Verteilung (blau), die durch Resampling aus einer + Stichprobe gewonnen worden ist, hat die gleiche Form und Breite + wie die Stichprobenverteilung, ist aber um den Mittelwert der + Stichprobe zentriert. Die Standardabweichung der + Bootstrapverteilung kann also als Sch\"atzer f\"ur den + Standardfehler des Mittelwertes verwendet werden.} +\end{figure} + +Durch Bootstrap k\"onnen wir unsere Stichprobe resamplen und dadurch +eine ganze Verteilung von Mittelwerten generieren +(\figref{bootstrapsemfig}). Die Standardabweichung dieser Verteilung +ist dann der gesuchte Standardfehler des Mittelwerts. + +\pagebreak[4] +\begin{exercise}{bootstrapsem.m}{bootstrapsem.out} + Erzeuge die Verteilung der Mittelwerte einer Stichprobe durch Bottstrapping, + um daraus den Standardfehler des Mittelwerts zu bestimmen. + \begin{enumerate} + \item Ziehe 1000 normalverteilte Zufallszahlen und berechne deren + Mittelwert, Standardabweichung und Standardfehler + ($\sigma/\sqrt{n}$). + \item Resample die Daten 1000 mal (Ziehen mit Zur\"ucklegen) und + berechne jeweils den Mittelwert. + \item Plotte ein Histogramm dieser Mittelwerte, berechne deren + Mittelwert und Standardabweichung und vergleiche mit den Werten + der Grundgesamtheit und der Stichprobe. + \end{enumerate} +\end{exercise} + + +\section{Permutationstests} +Bei statistischen Tests wird nach der Wahrscheinlichkeit, ob die +beobachtete Me{\ss}gr\"o{\ss}e einer Stichprobe aus der Nullhypothese +kommt, gefragt. Ist diese Wahrscheinlichkeit kleiner als das +Signifikanzniveau, kann die Nullhypothese verworfen werden. + +Traditionell werden diese Wahrscheinlichkeiten \"uber theoretisch +hergeleitete Wahrscheinlichkeitsverteilungen berechnet. Dabei gehen +immer gewisse Annahmen \"uber die Daten ein und es mu{\ss} der zu den +Daten passende Test ausgew\"ahlt werden. + +Alternativ kann die Wahrscheinlichkeits(dichte)verteilung der +Nullhypothese aus den Daten selbst gewonnen werden. Dabei m\"ussen die +Daten entsprechend der Nullhypothese neu aus der Stichprobe gezogen +werden. + +Diese \determ{Permutationstests} haben den Vorteil, dass nur die +Eigenschaft von Interesse zerst\"ort wird, um die Nullhypothese zu +generieren. Alle anderen Eigenschaften der Daten bleiben erhalten. + +\begin{figure}[tp] + \includegraphics[width=1\textwidth]{permutecorrelation} + \titlecaption{\label{permutecorrelationfig}Permutationstest f\"ur + Korrelationen.}{Der Korrelationskoeffizient eines Datensatzes mit + 200 Datenpaaren ist $\rho=0.21$. Die Nullhypothesenverteilung der + aus den permutierten, unkorrelierten Datens\"atzen berechneten + Korrelationskoeffizienten ergibt die gelbe Verteilung, die um Null + streut. Der gemessene Korrelationskoeffizient ist deutlich + gr\"o{\ss}er als das 95\,\%-Perzentil der + Nullhypoothesenverteilung und darum eine signifikante + Korrelation.} +\end{figure} + +Sehr sch\"on lassen sich Permutationstest am Beispiel von +Korrelationen veranschaulichen. Gegeben sind Datenpaare $(x_i, y_i)$. +Daraus k\"onnen wir den +\determ[Korrelationskoeffizient]{Korrelationskoeffizienten} +berechnen. Wir wissen dann aber noch nicht, ob der berechnete Wert +tats\"achlich eine Korrelation anzeigt. Die Nullhypothese ist, dass +die Daten nicht miteinander korreliert sind. Indem wir die $x$-Werte +und die $y$-Werte unabh\"angig voneinander permutieren (ihre +Reihenfolge zuf\"allig neu anordnen), werden die Korrelationen der +Datenpaare zerst\"ort. Wenn wir das viele Male wiederholen, bekommen +wir die Verteilung der Korrelationskoeffizienten f\"ur +nichtkorrelierte Daten. Aus dieser Verteilung der Nullhypothese +k\"onnen wir dann dann die Signifikanz der tats\"achlich gemessenen +Korrelation bestimmen. + +\begin{exercise}{correlationsignificance.m}{correlationsignificance.out} +Bestimme die Signifikanz eines Korrelationskoeffizienten. +\begin{enumerate} +\item Erzeuge korrelierte Daten indem zu zuf\"allig gezogenen + $x$-Werten $y$-Werte gem\"a{\ss} $y=0.2 \cdot x$ berechnet werden, + zu denen weitere normalverteilte Zufallszahlen addiert werden. +\item Berechne den Korrelationskoeffizient dieser Datenpaare. +\item Generiere die Verteilung der Nullhypothese ``unkorrelierte + Daten'' indem die $x$- und $y$-Daten 1000-mal unabh\"angig + permutiert werden \matlabfun{randperm()} und jeweils der + Korrelationskoeffizient berechnet wird. +\item Bestimme aus den Nullhypothesendaten das 95\,\%-Perzentil und + vergleiche es mit dem tats\"achlichen Korrelationskoeffizienten. +\end{enumerate} +\end{exercise} + +\selectlanguage{english}