こんにちは。本日は確率論でよく頻出の定理について言及したいと思います。
今回もこちらで紹介した書籍を参考にしています。
まずは大数の法則から。これは試行を無限に繰り返していけば、公理論的確率と統計的確率は一致するというもので、例えばコイントスを十分多く実施すれば、表と裏の回数は1/2ずつになる、というもので、それを現代確率論で定式化すると以下の通りになる。
THM.2 大数の法則
\(\{X_i\}_{i \in \mathbb{N}}\) を確率空間 \((\Omega,\mathcal{F},P)\) 上の独立同分布な確率変数列とし、共通の期待値 \(\mu\) と分散 \(\sigma^2\) をもつとする。このとき \(Y_n\) を\[
Y_n = \frac{X_1 + X_2 + \cdots +X_n}{n} = \frac{1}{n} \sum_{i=1}^{n}X_i
\]と定義する。このとき \(\forall \varepsilon >0,\ \forall n >1\) に対して以下が成り立つ。\[
P\left( \omega \in \Omega \mid \left|Y_n(\omega) -\mu \right| \geq \varepsilon \right)\leq \frac{\sigma^2}{\varepsilon^2 n}
\]
ざっくり言えば、大数の法則は \(O(1/n)\) で収束するもので、比較的遅いので注意が必要である。厳密には平均との差が\(\varepsilon\)以上になる確率が、\(O(1/n)\) 以下に抑えられるという意味合いである。なお標本平均のゆらぎのスケールは\( O(1/\sqrt{n})\)であるので、こちらはさらに遅くなる。
証明.
チェビシェフの不等式そのものではあるが、一応記載しておく。
下記チェビシェフの不等式において \(X(\omega)\) に \(Y_n(\omega)\) を代入すると、\[
E\left[ \left| Y_n(\omega) – E[Y_n(\omega)] \right|^2\right]
=V\left[Y_n(\omega)\right] =V\left[\frac{1}{n}\sum_{i=1}^{n}X_i\right]= \frac{1}{n^2}\sum_{i=1}^{n}V[X_i]
\\=\frac{1}{n^2}\times (n\sigma^2)
=\frac{\sigma^2}{n}
\]となるので、題意は成立する。∎
THM.3 チェビシェフの不等式
\(X\) を \((\Omega,\mathcal{F},P)\) 上の確率変数とする。\(\forall c >0\) に対して以下の不等式が成り立つ。\[
P\left(\omega \in \Omega \mid \left| X(\omega) – E\left[ X(\omega) \right] \right| \geq c \right) \leq
\frac{1}{c^2}E\left[ \left| X(\omega) – E[X(\omega)] \right|^2\right]
\]
チェビシェフの不等式は \((\Omega,\mathcal{F},P)\) 上のいかなる確率変数に対しても成り立つ強力な不等式である。
この不等式の見方は期待値 \(E[X]=\mu\) として、\(\mu \pm c\) より離れた値が実現する確率は \(\frac{1}{c^2}E[|X-\mu|^2]=\frac{1}{c^2}V[X]\) 以下になる、というものである。
証明.
簡単のため、\(Y(\omega) = X(\omega)- E[X]\) とおくと\[
E[|Y|^2] =\int_{\Omega}\left | Y(\omega) \right |^2 P(d\omega)
\\ \geq \int_{\left\{ \omega \in \Omega \mid \left | Y \right | \geq c \right\}} |Y(\omega)|^2 P (d\omega)
\\ \geq \int_{\left\{ \omega \in \Omega \mid \left | Y \right | \geq c \right\}} c^2 P (d\omega)
\\= c^2 \int_{\left\{ \omega \in \Omega \mid \left | Y \right | \geq c \right\}} P (d\omega)
\\= c^2 P\left( \omega \in \Omega \mid \left | Y \right | \geq c \right )
\]したがって \(P\left( \omega \in \Omega \mid \left | Y \right | \geq c \right ) \leq \frac{1}{c^2}E[|Y|^2]\) が成り立つため、題意が成立する。∎
つぎにこれも統計学で有名な定理のひとつである。
THM.4 中心極限定理
\(\{X_i\}_{i \in \mathbb{N}}\) を \((\Omega,\mathcal{F},P)\) 上の確率変数列とし、各々は独立かつ同一の分布をもつとし、各々の \(X_i\) の期待値、分散を \(\mu, \sigma^2\) とする。
このとき \(\{X_i\}_{i \in \mathbb{N}}\) から生成される新しい確率変数 \(\{S_n\}_{n \in \mathbb{N}}\) を\[
S_n = \frac{1}{\sqrt{n}}\sum_{i=1}^{n}\left(X_i – \mu \right)
\]で定義する。任意の有界な連続関数 \(f\) に対して\[
\lim_{n \to \infty} E\left[ f\left( S_n\right)\right] =
\int_{\mathbb{R}} f(x)\, \frac{1}{\sqrt{2\pi}\sigma}\exp\left\{ -\frac{x^2}{2\sigma^2}\right\}dx
\]が成り立つ。
この定理のすごいところは確率変数列 \(X_1,X_2,\ldots\) が独立かつ同分布でありさえすれば、\(X_i\) がいかなる分布であろうとも上記の式が成り立つ、すなわち正規分布になることである。
この定理を拠り所として、統計学や金融工学などでは十分に大きなサンプルがある場合は、数学的にも扱いやすい正規分布を仮定することが非常に多い。
証明.
まず \(f(x) = e^{ikx}\) の場合の証明をする。
簡単のため、\(Y_i=(X_i-\mu)/\sqrt{n}\) とおく。\[
E\left[ \exp(ikS_n)\right] =E\left[\exp\left( ik\sum_{i=1}^{n}Y_i\right) \right]
= \prod_{i=1}^{n}E\left[\exp\left( ikY_i\right) \right ]
\\=\left(E\left[\exp\left(ikY_i \right ) \right ] \right )^n
\]となるが、\(Y_i\) の特性関数を \(\Phi(k)=E[\exp(ikY_i)]\) とおくと\[
\Phi(k)\big|_{k=0}=\left. \int_{\Omega}e^{ikY_i}P(d\omega)\right|_{k=0}=\int_{\Omega}1\cdot P(d\omega)=1
\\ \left.\partial_k \Phi(k)\right|_{k=0}=\left. \frac{\partial}{\partial k}\int_{\Omega}e^{ikY_i}P(d\omega)\right|_{k=0}
= \left. \int_{\Omega}iY_i\times e^{ikY_i}P(d\omega)\right|_{k=0}=0
\\ \partial_k^2\Phi(k)\big|_{k=0}=\frac{\partial^2}{\partial k^2}\left. \int_{\Omega}e^{ikY_i}P(d\omega)\right|_{k=0}
=-\left. \int_{\Omega}Y_i^2\times e^{ikY_i}P(d\omega)\right|_{k=0}=-\frac{\sigma^2}{n}
\]となるが、\(k=0\) でのテーラー展開（マクローリン展開）により\[
\Phi(k) = \left.\sum_{n}\frac{1}{n!} \frac{\partial^n \Phi }{\partial k^n}\right |_{k=0}k^n
\\=\Phi(0)+\partial_k\Phi(0)k+\frac{1}{2}\partial_k^2\Phi(0) k^2+O(k^3)
\\=1-\frac{\sigma^2}{2n}k^2+O(k^3)
\]となる。したがって\[
E\left[ \exp(ikS_n)\right] = \Phi(k)^n = \left(1-\frac{\sigma^2}{2n}k^2+O(k^3)\right)^n
\\ \rightarrow e^{-\sigma^2k^2/2} \quad (n\rightarrow \infty)
\]一方、\[
\int_{\mathbb{R}} e^{ikx} \frac{1}{\sqrt{2\pi}\sigma}\exp\left\{ -\frac{x^2}{2\sigma^2}\right\}dx = e^{-\sigma^2k^2/2}
\]である（留数定理を使えばすぐに証明可能）ので、\(f(x) = e^{ikx}\) の場合は題意は成り立つ。
この後、上記結果を使って、\(f(x)\) を1) 急減少関数 2) 有界な台をもつ連続関数、3) 有界な任意の連続関数と順々に拡張していき、題意は示されることとなる。∎
※（こちらで紹介した『量子数理物理学における汎関数積分法』1章に詳しい証明がある。）
最後まで解読してくださりありがとうございます。
質問等はお問い合わせにてよろしくおねがいいたします。