こんにちは、えびかずきです。
今回は中心極限定理の証明をわかりやすく説明していきたいと思います。
こんな人におすすめ：
・中心極限定理をしっかり理解したい。
・教科書の証明が簡略化され過ぎてわからないのでヒントが欲しい
中心極限定理といえば、統計学の最重要定理ですね。
統計を学んでいれば必ずこれに出くわすことになります。
しかし、いざ証明となると意外とネット上に情報が少ないように感じました。
一方、いくつかの教科書には証明が載っていますが、かなり証明が簡略化されていて理解するのが難しい場合があります。
そこで、ここでは多少数学の素養がある人なら、理解できるようになるべくわかりやすく証明を説明してみようと思います。
中心極限定理とは
中心極限定理とは、ある分布関数に従う確率変数Xの試行をnも繰り返したその平均値の分布は、nが十分大きい時、平均=μ,分散=\(σ^2/n\)の正規分布で近似できるという定理です。
この定理の注目すべきところは、正規分布で近似できるという部分です。
理解の助けとして具体的な例で説明しましょう。
例えば、1等〜10等までのかならず当たるくじ引きがあるとします。
ただしくじは引いたら戻すこととします。
中心極限定理が言っていることは、このくじをn回引いた時の平均値を\( \overline X\)の分布は、nが大きければ大きいほど正規分布に近くなっていくということです。
これは驚くべきことです。
もとの確率分布がなんであれ、その平均値はnが大きければ必ず正規分布に近づくというのですから、とても使い勝手の良い定理だということがご理解いただけると思います。
と、ここまでの内容は、この記事を読んできるほとんどの方が理解していることだと思います。
ではどうしてこんなことが言えるのでしょうか？
ということで、ここからは順を追って証明をしていこうと思います。
証明の準備：モーメント母関数
証明に入る前に一つ理解してもらいたい概念があります。
それはモーメント母関数です。
モーメント母関数とは、ある確率変数Xに対して以下のように定義される関数です。
\(\displaystyle M(t)=\int_{-\infty}^{\infty}e^{Xt}f(X)dX\)
この関数の何が良いかというと、このモーメント関数があれば簡単に期待値や分散などの統計量を導けるという性質があります。
たとえば、期待値はtで一回微分をしてt=0を代入したM'(0)で導けますし、\(M”(1)=E(X^2)\)となることを利用して、分散は、\(M'(0)^2-M”(1)\)で導けます。
要するにとっても便利な関数なわけです。
それに加えて、
モーメント母関数は分布関数と一対一の関係にあることが既にわかっています。
この証明はフーリエ変換とルベーグ積分の知識が必要なので今回は割愛。
詳しくは補足URLを参照の事。
今回はこの一対一関係を利用して、モーメント母関数が正規分布のそれと一致することを利用して証明することを目指します。
では証明に入っていきましょう。
証明
証明したいことは、ある独立な確率変数\(X_i\)をn回繰り返した時の平均値
\(\displaystyle \overline X = \dfrac{1}{n}\sum_i^n{X_i}\)
がn→∞で正規分布に従うということです。
まず、\(\overline X\)を標準化します。
Xが期待値=μ,分散=\(σ^2\)の確率分布に従うとした場合、
期待値と分散の加法性から、\(\overline X\)は、期待値=μ,分散=\(σ^2/n\)となります。（ここがわからない人は補足1へ）
ということで、\(\overline X\)を標準化した、
\(\displaystyle S_n=\dfrac{\overline X -μ}{\sqrt{σ^2/n}}\)
が、n→∞の時に正規分布\((μ,σ^2/n)\)に従うことが示せれば良いということになります。
ここで、Snのモーメント母関数は、
\(\displaystyle M_{S_n}(t)=\int_{-\infty}^{\infty}e^{S_nt}f(S_n)dS_n\)
これは、\(e^{(S_nt)}\)という変数の期待値であるともみなせるので、
\( =E(e^{S_nt})=E\left(e^{(\overline X -μ)t/\sqrt{σ^2/n}}\right)=E\left(e^{( \sum_i^n{X_i} -μ)t/n\sqrt{σ^2/n}}\right)\)
と表すことができる。（ここがわからない人は補足2へ）
ここで、\(Z_i\equiv(X_i-μ)/\sqrt{σ^2}\)とすると、
\( M_{S_n}(t)=E\left(e^{ \sum_i^n{Z_i}t/\sqrt{n}}\right)\)
\( =E\left(e^{ Z_1t/\sqrt{n}}e^{ Z_2t/\sqrt{n}}e^{ Z_3t/\sqrt{n}}・・・e^{ Z_nt/\sqrt{n}}\right)\)
\( =E\left(e^{ Z_1t/\sqrt{n}}\right)E\left(e^{ Z_2t/\sqrt{n}}\right)E\left(e^{ Z_3t/\sqrt{n}}\right)・・・E\left(e^{ Z_nt/\sqrt{n}}\right)\)
Ziのモーメント母関数を使ってさらに変形すると、
\( =(M_z\left(t/\sqrt{n}\right))^n\)
となる。
ここで、Mzをマクローリン展開すると、
\(M_z\left(t/\sqrt{n}\right)\)
\(=M(0)+M’(0)\dfrac{t}{\sqrt{n}}+M’’(0)(\dfrac{t}{\sqrt{n}})^2/2+M’’’(0)(\dfrac{t}{\sqrt{n}})^3/6+・・・\)
ただしMに付与したクオーテーションはt/√nによる微分を表す
ここでモーメント母関数Mzは、
\(M_z\left(t/\sqrt{n}\right)=\int_{-\infty}^{\infty}e^{zt/\sqrt{n}}f(z)dz\)
であることを思い出すと、M(0)=M(t/√n=0)は1となる。
さらにZiは、その定義から標準化されたXiであると言えるので、平均=0,分散=1であることを使って、M’(0)=0,M’’(0)=1である。
よって、
\(M_z\left(t/\sqrt{n}\right)=1+(\dfrac{t}{\sqrt{n}})^2/2+M’’’(0)(\dfrac{t}{\sqrt{n}})^3/6+・・・\)
さらに三行目以降を便宜的にO(オー)という文字でおくと、
\(M_z\left(t/\sqrt{n}\right)=1+(\dfrac{t}{\sqrt{n}})^2/2+O\)
となる。
ここでSnに話を戻そう。
上の式を使うと、Snは下のように表される
\(S_n=\left(1+(\dfrac{t^2}{n})/2+O\right)^n\)
さらに二項定理によって展開すると、
\(=\displaystyle \sum_i^n{ {}_n C_i \left(1+\dfrac{t^2}{2n}\right)^{n-i}O^i}\)
となる。
ここで、Oの中身について考える。
Oを構成している項に着目すると、それらは全てn→∞の極限を考えた時に1/nよりもはるかに小さくなっている。（例えば\(1/n^2\)とか\(1/n^3\)とかそういう項になっているということ。）
とすると、上式中のi>1の場合の項についても、n→∞では全てが1/nよりはるかに小さくなっていることが容易にわかる。
なぜなら1/nより小さい項に\(1+t^2/n\)の項が掛け合わされたところで、それはやはり1/nより小さくなるからである。
そこでn→∞の極限の時に1/nよりはるかに小さくなるこのような関数を、
\(o(1/n)\)
と表記することとします。
（実はこれには名前がついていてランダウの記号と言います。）
するとSnの式は、
\(S_n=\left(1+(\dfrac{t^2}{n})/2\right)^n+no(1/n)\)
と変形することができて、
n→∞に飛ばすと、
\(=e^{t^2/2}\)
となります。
すなわちこれが標準化した\(\overline X\)であるSnのモーメント母関数ということになるが、これが実は標準正規分布のモーメント母関数と一致する。
これはすなわち、nを大きくすると、Snの分布関数は標準正規分布に近づいていくということを示している。
（この対応関係は厳密には、レヴィの連続性定理によって裏付けられていますが、ここでは割愛します。）
これにて証明終了。
まとめ
今回は中心極限定理の証明について解説しました。
うまく証明するためにモーメント母関数についての理解が必要というところが最も大きなつまずきポイントですが、それさえ理解できればあとは割と簡単です。
さらに欲を言えばモーメント母関数と分布関数の関係について理解を深めたいところですが、あまりにも長くなりすぎるので今回の記事では割愛します。
この記事ではわからなかったよ、という方は下の補足と参考情報を参照してみてください。
理解の助けになるヒント見つかる筈です。
それでは今回は以上です。
補足
補足1：期待値と分散の加法性
互いに独立な確率変数X,Yの期待値E(X),E(Y)について下の関係が成り立つ。
\(E(aX+bY)=E(aX)+E(bY)=aE(X)+bE(Y)\)
互いに独立な確率変数X,Yの分散V(X),V(Y)について下の関係が成り立つ。
\(V(aX+bY)=V(aX)+V(bY)=a^2E(X)+b^2E(Y)\)
ちなみに分散の可能性は、以下の期待値と分散の関係から導きます。
\(V(X)=E(X^2)-E^2(X)\)
補足2：期待値の定義
ある確率変数Xに基づく変数g(X)の期待値は、
Xの分布関数f(X)を使って以下のように定義される。
\(E(g)=\int_{-\infty}^{\infty}gf(X)dX\)
参考
参考URL
・wikipediaの中心極限定理の項にも簡略化した証明があります。
参考書籍
証明が載っているテキスト
モーメント母関数についてわかりやすく説明している書籍
