不偏分散(unbiased estimator of the population variance)
なぜ $n-1$ で割り算するのか
標本分散 $S^2$ の期待値をとってみると
\[\dfrac{n-1}{n}\sigma^2\]となります。
これは、母分散を $\dfrac{1}{n}$ だけ過小評価していることがわかります。
この過小評価を打ち消すために、不偏分散 $s^2$ は $n-1$ で割り算しています。
数式で確認
標本分散は
\[S^2 = \dfrac{1}{n}\sum^{n}_{i=1}(X_i - \bar{X})^2\]です。
準備のため次の演算をします。
\[\begin{aligned} \dfrac{1}{n}\sum^{n}_{i=1}(X_i - \bar{X})^2 &= \dfrac{1}{n}\sum^{n}_{i=1}(X_i {\color{red} - \mu + \mu } - \bar{X})^2 \\ &= \dfrac{1}{n}\sum^{n}_{i=1} \left[(X_i - \mu) - (\bar{X} - \mu) \right]^2 \\ &= \dfrac{1}{n}\sum^{n}_{i=1} \left[ (X_i - \mu)^2 - 2(X_i - \mu)(\bar{X} - \mu ) + (\bar{X} - \mu )^2 \right] \\ &= \dfrac{1}{n}\sum^{n}_{i=1} (X_i - \mu)^2 - \dfrac{1}{n}\sum^{n}_{i=1} \left[ 2(X_i - \mu)(\bar{X} - \mu ) \right] + \dfrac{1}{n}\sum^{n}_{i=1} (\bar{X} - \mu )^2 \\ &= \dfrac{1}{n}\sum^{n}_{i=1} (X_i - \mu)^2 {\color{red} - \dfrac{2(\bar{X} - \mu)}{n} \sum^{n}_{i=1} (X_i - \mu) + (\bar{X} - \mu)^2 } \\ &= \dfrac{1}{n}\sum^{n}_{i=1} (X_i - \mu)^2 - \dfrac{2(\bar{X} - \mu)}{n} {\color{red} \left[ (X_1 + X_2 + \cdots + X_n) - n\mu \right]} + (\bar{X} - \mu)^2 \\ &= \dfrac{1}{n}\sum^{n}_{i=1} (X_i - \mu)^2 - \dfrac{2(\bar{X} - \mu)}{n} \left( n\bar{X} - n\mu \right) + (\bar{X} - \mu)^2 \\ &= \dfrac{1}{n}\sum^{n}_{i=1} (X_i - \mu)^2 - 2(\bar{X} - \mu) (\bar{X} - \mu) + (\bar{X} - \mu)^2 \\ &= \dfrac{1}{n}\sum^{n}_{i=1} (X_i - \mu)^2 - 2(\bar{X} - \mu)^2 + (\bar{X} - \mu)^2 \\ &= \dfrac{1}{n}\sum^{n}_{i=1} (X_i - \mu)^2 - (\bar{X} - \mu)^2 \end{aligned}\]また
\[\begin{aligned} Var(X) &= \dfrac{1}{n} \sum^{n}_{i=1} (X_i - \mu)^2 \\ &= \sigma^2 \\ Var(\bar{X}) &= Var\left( \dfrac{1}{n} \sum^{n}_{i=1} X_i \right) \\ &= \dfrac{1}{n^2} \sum^{n}_{i=1} Var\left( X_i \right) \\ &= \dfrac{1}{n^2} \left[ Var\left( X_1 \right) + Var\left( X_2 \right) + \cdots + Var\left( X_n \right) \right] \\ &= \dfrac{1}{n^2}n\sigma^2 = \dfrac{\sigma^2}{n} \end{aligned}\]です。
これで準備が整いました。
いま、標本分散の期待値を考えますと、
\[\begin{aligned} E(S^2) &= E \left[ \dfrac{1}{n}\sum^{n}_{i=1} (X_i - \mu)^2 - (\bar{X} - \mu)^2 \right] \\ &= E \left[ \dfrac{1}{n}\sum^{n}_{i=1} (X_i - \mu)^2 \right] - E \left[ (\bar{X} - \mu)^2 \right] \\ &= \dfrac{1}{n}\sum^{n}_{i=1} E \left[ (X_i - \mu)^2 \right] - Var(\bar{X}) \\ &= \dfrac{1}{n}\sum^{n}_{i=1} Var(X_i) - Var(\bar{X}) \\ &= \sigma^2 - \dfrac{\sigma^2}{n} \\ &= \dfrac{n-1}{n}\sigma^2 \end{aligned}\]ここで、$\dfrac{1}{n}$ 過小評価されていることが分かります。
式のかたちを変えてみますと、
\[\begin{aligned} & E(S^2) \\ =~& \dfrac{1}{n}\sum^{n}_{i=1}(X_i - \bar{X})^2 = \dfrac{n-1}{n}\sigma^2 \\ \Leftrightarrow~& \dfrac{n}{n-1} \cdot \dfrac{1}{n}\sum^{n}_{i=1}(X_i - \bar{X})^2 = \dfrac{n}{n-1} \cdot \dfrac{n-1}{n}\sigma^2 \\ \Leftrightarrow~& \dfrac{1}{n-1} \sum^{n}_{i=1}(X_i - \bar{X})^2 = \sigma^2 \end{aligned}\]よって、不偏分散は $n-1$ で除算することにより、母分散を推定できることが示されました。
\[s^2 = \dfrac{1}{n-1} \sum^{n}_{i=1}(X_i - \bar{X})^2 = \sigma^2\]