Anzahl der Freiheitsgrade (Statistik)

In der Statistik gibt die Anzahl der Freiheitsgrade (englisch number of degrees of freedom, kurz df oder dof) an, wie viele Werte in einer Berechnungsformel (genauer: Statistik) frei variieren dürfen.

Schätzungen statistischer Parameter können auf unterschiedlichen Mengen an Informationen oder Daten basieren. Die Anzahl unabhängiger Information, die in die Schätzung eines Parameters einfließen, wird als Anzahl der Freiheitsgrade bezeichnet. Im Allgemeinen sind die Freiheitsgrade einer Schätzung eines Parameters gleich der Anzahl unabhängiger Einzelinformationen, die in die Schätzung einfließen, abzüglich der Anzahl der zu schätzenden Parameter, die als Zwischenschritte bei der Schätzung des Parameters selbst verwendet werden. Beispielsweise fließen ${\displaystyle n}$ Werte in die Berechnung der Stichprobenvarianz ein. Dennoch lautet die Anzahl der Freiheitsgrade ${\displaystyle n-1}$, da als Zwischenschritt der Mittelwert geschätzt wird und somit ein Freiheitsgrad verloren geht.

Definition

Die Anzahl ${\displaystyle n}$ der unabhängigen Beobachtungswerte abzüglich der Anzahl der schätzbaren Parameter ${\displaystyle p}$ wird als Anzahl der Freiheitsgrade ${\displaystyle fg}$ bezeichnet. Da es in einem multiplen linearen Regressionsmodell ${\displaystyle p=(k+1)}$ Parameter mit ${\displaystyle k}$ Steigungsparametern ${\displaystyle \beta _{1},\beta _{2},\ldots ,\beta _{k}}$ und einem Niveauparameter ${\displaystyle \beta _{0}}$ gibt, kann man schreiben

${\displaystyle fg=n-p=n-(k+1)=(\mathrm {Anzahl\;der\;Beobachtungen} )-(\mathrm {Anzahl\;der\;gesch{\ddot {a}}tzten\;Parameter} )}$.

Die Freiheitsgrade kann man auch als Anzahl der „überflüssigen“ Messungen interpretieren, die nicht zur Bestimmung der Parameter benötigt werden.^[1]

Die Freiheitsgrade werden bei der Schätzung von Varianzen benötigt. Außerdem sind verschiedene Wahrscheinlichkeitsverteilungen, mit denen anhand der Stichprobe Hypothesentests durchgeführt werden, von den Freiheitsgraden abhängig.

Beispiele

Beim Erwartungswert der Residuenquadratsumme

Für die Schätzung der Störgrößenvarianz wird die Residuenquadratsumme

${\displaystyle \mathrm {RSS} =\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}={\hat {\boldsymbol {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}}}$

benötigt. Der erwartungstreue Schätzer für die Störgrößenvarianz ist im multiplen linearen Regressionsmodell

${\displaystyle {\hat {\sigma }}^{2}={\frac {\left(\mathbf {y} -\mathbf {X} \mathbf {b} \right)^{\top }\left(\mathbf {y} -\mathbf {X} \mathbf {b} \right)}{n-p}}={\frac {{\hat {\boldsymbol {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}}}{n-p}}}$,

da ${\displaystyle \operatorname {E} ({\hat {\sigma }}^{2})=\sigma ^{2}}$. Die Residuenquadratsumme hat ${\displaystyle (n-p)}$ Freiheitsgrade, entsprechend der Anzahl der unabhängigen Residuen. Der Erwartungswert der Residuenquadratsumme ist aufgrund der Formel für die erwartungstreue Störgrößenvarianz gegeben durch

${\displaystyle \operatorname {E} ({\hat {\sigma }}^{2})=\sigma ^{2}\Longleftrightarrow \operatorname {E} ({\hat {\boldsymbol {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}})=(n-p)\sigma ^{2}}$.

Um intuitiv herausfinden zu können, warum die Anpassung der Freiheitsgrade notwendig ist, kann man die Bedingungen erster Ordnung für die KQ-Schätzer betrachten. Diese können als

${\displaystyle \textstyle \sum \nolimits _{i=1}^{n}{\hat {\varepsilon }}_{i}=0}$

und

${\displaystyle \textstyle \sum \nolimits _{i=1}^{n}x_{ij}{\hat {\varepsilon }}_{i}=0,\;j=1,\ldots ,k}$

ausgedrückt werden. Beim Erhalten der KQ-Schätzer werden somit den KQ-Residuen ${\displaystyle k+1}$ Restriktionen auferlegt. Dies bedeutet, dass bei gegebenen ${\displaystyle n-(k+1)}$ Residuen die verbleibenden ${\displaystyle (k+1)}$ Residuen bekannt sind: In den Residuen gibt es folglich nur ${\displaystyle n-(k+1)}$ Freiheitsgrade (Im Gegensatz dazu gibt es in den wahren Störgrößen ${\displaystyle \varepsilon _{i}}$ n Freiheitsgrade in der Stichprobe.)

Eine verzerrte Schätzung, die nicht die Anzahl der Freiheitsgrade berücksichtigt ist die Größe

${\displaystyle {\hat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}{\hat {e}}_{i}^{2}={\frac {{\hat {\boldsymbol {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}}}{n}}}$.

Den Schätzer bekommt man bei Anwendung der Maximum-Likelihood-Schätzung.

Bei der empirischen Varianz

Für eine erwartungstreue Schätzung der Varianz der Grundgesamtheit wird die Quadratsumme von ${\displaystyle X}$ durch die Anzahl der Freiheitsgrade geteilt und man erhält die Stichprobenvarianz (Schätzfunktion)

${\displaystyle S^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}$.

Da diese Varianz erwartungstreu ist, gilt für sie ${\displaystyle \operatorname {E} (S^{2})=\sigma ^{2}}$. Das empirische Pendant zu dieser Varianz ist die empirische Varianz

${\displaystyle s^{2}:={\frac {1}{n-1}}\sum \limits _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}$

Intuitiv lässt sich bei der empirischen Varianz die Mittelung durch ${\displaystyle (n-1)}$ statt durch ${\displaystyle n}$ bei der modifizierten Form der empirischen Varianz wie folgt erklären: Aufgrund der Schwerpunkteigenschaft des empirischen Mittels ${\displaystyle \sum \nolimits _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)=0}$ ist die letzte Abweichung ${\displaystyle \left(x_{n}-{\overline {x}}\right)}$ bereits durch die ersten ${\displaystyle (n-1)}$ bestimmt. Folglich variieren nur ${\displaystyle (n-1)}$ Abweichungen frei und man mittelt deshalb, indem man durch die Anzahl der Freiheitsgrade ${\displaystyle (n-1)}$ dividiert.^[2]

Anzahl der Freiheitsgrade von wichtigen Quadratsummen

Die folgende Tafel der Varianzanalyse zeigt die Anzahl der Freiheitsgrade einiger wichtiger Quadratsummen im multiplen linearen Regressionsmodell ${\displaystyle y_{i}=\beta _{0}+x_{i1}\beta _{1}+x_{i2}\beta _{2}+\dotsc +x_{ik}\beta _{k}+\varepsilon _{i},\quad i=1,\ldots ,n}$:^[3]

Variationsquelle	Abweichungsquadratsummen	Anzahl der Freiheitsgrade	mittlere Abweichungsquadrate
Regression	${\displaystyle \displaystyle \sum \nolimits _{i=1}^{n}({\hat {y}}_{i}-{\overline {\hat {y}}})^{2}}$	${\displaystyle k}$
Residual	${\displaystyle \displaystyle \sum \nolimits _{i=1}^{n}\left(y_{i}-{\hat {y}}_{i}\right)^{2}}$	(n-k)	${\displaystyle \displaystyle \sum \nolimits _{i=1}^{n}\left(y_{i}-{\hat {y}}_{i}\right)^{2}/(n-p)={\hat {\sigma }}^{2}}$
Total	${\displaystyle \displaystyle \sum \nolimits _{i=1}^{n}\left(y_{i}-{\overline {y}}\right)^{2}}$	${\displaystyle (n-1)}$	${\displaystyle \displaystyle \sum \nolimits _{i=1}^{n}\left(y_{i}-{\overline {y}}\right)^{2}/(n-1)=s_{y}^{2}}$

Diese Quadratsummen spielen bei der Berechnung des Bestimmtheitsmaßes eine große Rolle.

Freiheitsgrade als Parameter von Verteilungen

Die Anzahl der Freiheitsgrade ist auch Parameter mehrerer Verteilungen. Wenn die Beobachtungen normalverteilt sind, dann folgt der Quotient aus der Residuenquadratsumme ${\displaystyle {\text{RSS}}}$ und der Störgrößenvarianz ${\displaystyle \sigma ^{2}}$ einer Chi-Quadrat-Verteilung mit ${\displaystyle n-p}$ Freiheitsgraden:

${\displaystyle {\frac {\text{RSS}}{\sigma ^{2}}}={\frac {{\hat {\boldsymbol {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}}}{\sigma ^{2}}}={\frac {{\boldsymbol {\varepsilon }}^{\top }\left(\mathbf {I} _{n}-\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\right){\boldsymbol {\varepsilon }}}{\sigma ^{2}}}\sim \chi ^{2}(n-p)}$.

Die Größe ${\displaystyle {\text{RSS}}/\sigma ^{2}}$ folgt einer Chi-Quadrat-Verteilung mit ${\displaystyle n-p}$ Freiheitsgraden, weil die Anzahl der Freiheitsgrade der Chi-Quadrat-Verteilung der Spur der Projektionsmatrix ${\displaystyle \left(\mathbf {I} _{n}-\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\right)}$ entspricht, also

${\displaystyle {\frac {{\boldsymbol {\varepsilon }}^{\top }\left(\mathbf {I} -\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\right){\boldsymbol {\varepsilon }}}{\sigma ^{2}}}\sim \chi ^{2}(\operatorname {Spur} \left(\mathbf {I} _{n}-\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\right)}$

Für die Spur von ${\displaystyle \left(\mathbf {I} _{n}-\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\right)}$ gilt ${\displaystyle \operatorname {Spur} \left(\mathbf {I} _{n}-\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\right)=n-p}$. Weitere von der Anzahl der Freiheitsgrade abhängige Verteilungen sind die t-Verteilung und die F-Verteilung. Diese Verteilungen werden für die Schätzung von Konfidenzintervallen der Parameter und für Hypothesentests benötigt.^[4]

Eine weitere wichtige Größe, die für die statistische Inferenz benötigt wird und deren Verteilung von Freiheitsgraden abhängt, ist die t-Statistik. Man kann zeigen, dass die Größe

${\displaystyle {\frac {\frac {{\boldsymbol {R}}_{1}{\boldsymbol {\hat {\beta }}}-{\boldsymbol {R}}_{1}{\boldsymbol {\beta }}}{\sqrt {\sigma ^{2}{\boldsymbol {R}}_{1}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {R}}_{1}^{\top }}}}{\sqrt {\frac {(n-p){\hat {\sigma }}^{2}}{\sigma ^{2}(n-p)}}}}={\frac {{\mathcal {N}}(0;1)}{\sqrt {\frac {\chi _{n}^{2}}{n}}}}\;\;{\stackrel {H_{0}}{\sim }}\;\;{\mathcal {t}}(n-p)}$

einer t-Verteilung mit ${\displaystyle (t-k)}$ Freiheitsgraden folgt (siehe Testen allgemeiner linearer Hypothesen).