Maximum-Likelihood-Methode

Die Maximum-Likelihood-Methode ist eine Methode zur Schätzung von Parametern einer Verteilung. Es liegen Daten vor und man will wissen, welche Parameter die Daten "am besten erklären". Dabei muss eine Annahme über die Verteilung gemacht werden. Zum Beispiel wird häufig angenommen, dass die Daten einer Normalverteilung folgen. Es lassen sich also nur die Parameter einer Verteilung schätzen, aber nicht die Verteilung selbst.

Beispiel Dartscheibe

Wir nehmen an, dass jemand auf eine quadratische Dartscheibe geworfen hat und wir herausfinden wollen, wie die Würfe verteilt sind. Wir nehmen an, dass die Würfe normalverteilt um die Mitte der Scheibe sind, da dort die höchste Punktzahl erreicht werden kann (es gibt bei unserer Scheibe keine triple 20 ). Die Parameter der Normalverteilung sind Varianz und Mittelwert. Als Mittelwert nehmen wir die Mitte der Scheibe an und die Varianz bestimmen wir mit der Maximum-Likelihood-Methode. Wie der Name schon sagt, wollen wir jetzt die Varianz finden, die die maximale Likelihood liefert. Sei \( x_i \) die Position des i-ten Pfeils und \( p(x_i|\sigma^2, \mu )\) die Wahrscheinlichkeit von \( x_i \), wenn \( X \) normalverteilt mit Parametern \( \sigma^2 \) und \( \mu \) ist. Likelihood ist wie folgt definiert: $$L(\mu, \sigma^2 ; x) = \prod_{i=1}^{n} p(x_i|\mu, \sigma^2)$$

Oft wird der Logarithmus der Likelihood gebildet, so verwandelt sich das Produkt in eine Summe. $$ log(L(\mu, \sigma^2 ; x)) = \sum_{i=1}^{n} log(p(x_i|\mu, \sigma^2))$$ In der Animation unten ist die Log-Likelihood von jedem einzelnen Dartpfeil dargestellt. Drückt man auf Play, startet die Animation mit einer Varianz von 100 und endet mit einer Varianz von 300. Dabei kann man sehen, wie sich die Wahrscheinlichkeiten bei unterschiedlicher Varianz verändern.

Das Optimum kann man leicht finden, indem man nach \( \sigma^2 \) ableitet. In unserem Beispiel ist eine Varianz von 200 optimal. Das soll nochmal in dem folgenden Plot veranschaulicht werden.