大学の確率・統計

確率密度関数の意味と具体例

連続型確率変数 XX に対して,XXaa 以上 bb 以下となる確率が,積分を用いて P(aXb)=abf(x)dxP(a\leq X\leq b)=\displaystyle\int_a^bf(x)dx で与えられるとき,f(x)f(x) を確率密度関数という。

連続型確率変数および確率密度関数の話です。多くの人は高校では習いませんが,数B(旧課程では数C)の教科書に載っています。理系なら知っておきたい話題。

→ 確率密度関数の意味と具体例

ポアソン分布の意味と平均・分散

ポアソン分布とは 「一定時間内にランダムなイベントが何回発生するか」を表す分布です。

→ ポアソン分布の意味と平均・分散

正規分布の基礎的な知識まとめ

正規分布の基本的な知識を整理しました。

→ 正規分布の基礎的な知識まとめ

マルコフの不等式とその証明

マルコフ(Markov)の不等式:任意の確率変数 XXa>0a > 0 に対して(期待値 E[X]E[|X|] が存在するとき), P(Xa)E[X]aP(|X|\geq a)\leq\dfrac{E[|X|]}{a}

確率論における基本的な不等式です。大学入試で扱われることはまずないですが比較的簡単なので紹介します。

→ マルコフの不等式とその証明

最小二乗法(直線)の簡単な説明

最小二乗法の導出

最小二乗法とは, データの組 (xi,yi)(x_i,y_i) が多数与えられたときに,xxyy の関係を表す もっともらしい関数 y=f(x)y=f(x) を求める方法です。

この記事では,最も基本的な例(平面における直線フィッティング)を使って,最小二乗法の考え方を解説します。

→ 最小二乗法(直線)の簡単な説明

確率空間の定義と具体例(サイコロ,コイン)

確率を厳密に扱うためには「測度論的確率論」を学ぶ必要があります。この記事では測度論的確率論の超入門として,確率を考える舞台となる「確率空間」の定義,意味,具体例について解説します。

→ 確率空間の定義と具体例(サイコロ,コイン)

大数の法則の具体例と証明

大数の法則とは,大雑把に言うと いっぱい実験すればデータの平均は真の平均に近づくという法則のことです。

大数の法則について,前半では大雑把な意味を説明します。また,後半では大数の弱法則を数学的に定式化してきちんと証明します。

→ 大数の法則の具体例と証明

全変動,回帰変動,残差変動の意味と関係

最小二乗法による直線フィッティング(単回帰分析)において

全変動=回帰変動+残差変動

全変動,回帰変動,残差変動の定義,意味および上記の定理の証明(かなり美しい!)を解説します。

→ 全変動,回帰変動,残差変動の意味と関係

指数分布の意味と具体例

指数分布とは, ランダムなイベントの発生間隔を表す分布です。指数分布は「地震が起きる間隔」や「電球の寿命」などを表す分布として使われます。

→ 指数分布の意味と具体例

決定係数の定義と相関係数との関係

決定係数 とは,予測式の精度(予測式によってデータをどれくらい説明できているか)を表す値です。

→ 決定係数の定義と相関係数との関係

分散共分散行列の定義と性質

分散共分散行列とは,分散(散らばり具合を表す指標)の概念を多次元確率変数に拡張して行列としたもの。

分散共分散行列の定義,具体例,独立な場合に対角行列になること,半正定値になること。

→ 分散共分散行列の定義と性質

不偏標本分散の意味とn-1で割ることの証明

平均 μ\mu ,分散 σ2\sigma^2 の分布(母集団)からランダムに抽出したサンプルの値を x1,x2,,xnx_1,x_2,\cdots, x_n とする。

このとき, u2=1n1i=1n(xix)2u^2=\dfrac{1}{n-1}\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2

とおくと, E[u2]=σ2E[u^2]=\sigma^2 となる。 u2u^2 を不偏標本分散と言う。

ただし,x=x1+x2++xnn\overline{x}=\dfrac{x_1+x_2+\cdots +x_n}{n} は標本平均です。

→ 不偏標本分散の意味とn-1で割ることの証明

正規分布の標準化の意味と証明

定理1(正規分布の一次式):

XX が正規分布に従うとき,aX+baX+b も正規分布に従う。

(ただし a,ba,b は任意の実数で a0a\neq 0

(証明は最後にやります)

この定理の応用として正規分布の標準化について解説します。

→ 正規分布の標準化の意味と証明

最小二乗法の行列表現(一変数,多変数,多項式)

最小二乗法の行列表現:

主張1:行列 AA と列ベクトル bundefined\overrightarrow{b} が与えられたときにAxundefinedbundefined\|A\overrightarrow{x}-\overrightarrow{b}\| を最小にする xundefined\overrightarrow{x} を求める問題は非常に重要である。

主張2: AAA^{\top}A が正則のとき上記の問題の解は唯一つである: xundefined=(AA)1Abundefined\overrightarrow{x}=(A^{\top}A)^{-1}A^{\top}\overrightarrow{b}

この記事では主張1(最小二乗法の行列による定式化)について解説します。主張2の証明には行列の公式がいくつか必要なのでいつか別記事で書こうと思います。→正規方程式の導出と計算例

→ 最小二乗法の行列表現(一変数,多変数,多項式)

マルコフ連鎖の基本とコルモゴロフ方程式

マルコフ連鎖とは,大雑把に言うと 時刻 t+1t+1 の状態が,時刻 tt の状態のみに依存する(時刻 t1t-1 以前の状態には依存しない)ようなモデルのことです。

この記事では,確率過程の基本的な話題の一つである,マルコフ連鎖について解説します。

→ マルコフ連鎖の基本とコルモゴロフ方程式

条件付き期待値,分散の意味と有名公式

条件付き期待値,分散の初等的な定義を解説し,条件付き期待値に関する有名公式を二つ紹介します。

→ 条件付き期待値,分散の意味と有名公式

ビュフォンの針の問題と確率の導出

ビュフォンの針

ビュフォンの針: ldl \leq d とする。 平面上に間隔 dd で平行線を引く。長さ ll の針を適当に投げたとき,針が平行線と交わる確率は,2lπd\dfrac{2l}{\pi d} である。

非常に有名な確率の問題です。円周率が登場するのが面白いですね。

→ ビュフォンの針の問題と確率の導出

統計学における推定の考え方(点推定,区間推定)

統計学における推定

  • (専門用語で)標本集団から母集団の特徴を推定すること
  • (意訳)一部のデータの特徴から全体の特徴を予想すること

統計といえば推定と検定。その1つ,推定の基本的な考え方について解説します。

→ 統計学における推定の考え方(点推定,区間推定)

統計学的仮説検定の考え方と手順

統計学における仮説検定:

とある仮説が正しいかどうかを統計学を使って判断する手法。

「仮説検定」と言わずに単純に「検定」ということも多いです。統計検定という資格と混同しないようにご注意下さい。

→ 統計学的仮説検定の考え方と手順

正規分布の二乗和がカイ二乗分布に従うことの証明

定理(カイ二乗分布と正規分布の関係):

確率変数 X1,X2,,XnX_1,X_2,\cdots,X_n が互いに独立に標準正規分布 N(0,1)N(0,1) に従うとき,X=X12+X22++Xn2X=X_1^2+X_2^2+\cdots +X_n^2 は自由度 nn のカイ二乗分布に従う。

→ 正規分布の二乗和がカイ二乗分布に従うことの証明

一様分布の平均,分散,特性関数など

連続型一様分布の意味,平均と分散,モーメント母関数と特性関数について解説。連続型確率分布の最も簡単な例であり,いろいろな試験に頻出です。

→ 一様分布の平均,分散,特性関数など

スコア関数,フィッシャー情報量の定義と具体例

スコア関数,フィッシャー情報量の定義,および具体例として正規分布の場合を解説します。

→ スコア関数,フィッシャー情報量の定義と具体例

大数の法則と中心極限定理の意味と関係

大数の法則と中心極限定理の大雑把な意味を述べた後,両者の関係,違いを解説します。

→ 大数の法則と中心極限定理の意味と関係

二項分布の正規近似(ラプラスの定理)

二項分布の正規近似(ド・モアブル–ラプラスの定理)

二項分布 Bin(n,p)\mathrm{Bin}(n,p)nn が十分大きいとき,平均 npnp,分散 np(1p)np(1-p) の正規分布に近づく。

ド・モアブル-ラプラスの定理の嬉しさ,中心極限定理との関係など。

→ 二項分布の正規近似(ラプラスの定理)

多変量正規分布の確率密度関数の解説

同時確率密度関数が,

f(xundefined)=1(2π)n2Σexp{12(xundefinedμundefined)Σ1(xundefinedμundefined)}f(\overrightarrow{x})=\dfrac{1}{(2\pi)^{\frac{n}{2}}\sqrt{|\Sigma|}}\exp \left\{-\dfrac{1}{2}(\overrightarrow{x}-\overrightarrow{\mu})^{\top}\Sigma^{-1}(\overrightarrow{x}-\overrightarrow{\mu})\right\}

で表される分布を多変量正規分布(多変量ガウス分布)と言う。

上記の一見複雑な関数の意味を理解するのが目標です。

→ 多変量正規分布の確率密度関数の解説

コーシー分布とその期待値などについて

コーシー分布:

確率密度関数が f(x)=1π(1+x2)f(x)=\dfrac{1}{\pi (1+x^2)} であるような連続型確率分布を(標準)コーシー分布と言う。

期待値が存在しない分布,裾が重い分布の代表です。

→ コーシー分布とその期待値などについて

逆関数法を用いた乱数生成の証明と例

逆関数法:累積分布関数が F(x)F(x) であるような確率分布に従う乱数を生成したいときには,[0,1][0,1] 上の一様分布に従う乱数を生成してそれに F1F^{-1} をかませばよい。

逆関数法のモチベーション,方法,具体例などを解説します。

→ 逆関数法を用いた乱数生成の証明と例

歪度,尖度の定義と意味

確率変数 XX が従う分布の尖度,歪度が以下のように定義される:

歪度:E[(Xμ)3]σ3\dfrac{E[(X-\mu)^3]}{\sigma^3}

尖度:E[(Xμ)4]σ43\dfrac{E[(X-\mu)^4]}{\sigma^4}-3

統計学における歪度,尖度の定義,意味について解説します。

→ 歪度,尖度の定義と意味

ボックス=ミュラー法(正規乱数の生成)の証明

ボックス=ミュラー法

U1,U2U_1,U_2 が独立に [0,1][0,1] 上の一様分布に従うとき,

X1=2logU1cos2πU2X_1=\sqrt{-2\log U_1}\cos 2\pi U_2

X2=2logU1sin2πU2X_2=\sqrt{-2\log U_1}\sin 2\pi U_2

は独立に標準正規分布に従う。

→ ボックス=ミュラー法(正規乱数の生成)の証明

モンテカルロ法と円周率の近似計算

モンテカルロ法の具体例として円周率の近似値を計算する方法,およびその精度について考察します。

→ モンテカルロ法と円周率の近似計算

最尤法によるパラメータ推定の意味と具体例

最尤法(さいゆうほう)というパラメータ推定の手法について解説します。

→ 最尤法によるパラメータ推定の意味と具体例

不偏分散と自由度n-1のカイ二乗分布

定理:

X1,X2,,XnX_1,X_2,\cdots,X_n が互いに独立に平均 μ\mu ,分散 σ2\sigma^2 の正規分布に従うとき,

1σ2i=1n(XiX)2\dfrac{1}{\sigma^2}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2 は自由度 n1n-1 のカイ二乗分布に従う。

ただし,X=X1+X2++Xnn\overline{X}=\dfrac{X_1+X_2+\cdots +X_n}{n} です。

→ 不偏分散と自由度n-1のカイ二乗分布

母分散の意味と区間推定・検定の方法

平均が μ\mu,分散が σ2\sigma^2 である正規分布の母分散の推定,検定:

母平均が既知→ 1σ2i=1n(Xiμ)2\dfrac{1}{\sigma^2}\displaystyle\sum_{i=1}^n(X_i-\mu)^2 が自由度 nn のカイ二乗分布に従うことを使う。

母平均が未知→ 1σ2i=1n(XiX)2\dfrac{1}{\sigma^2}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2 が自由度 n1n-1 のカイ二乗分に従うことを使う。

→ 母分散の意味と区間推定・検定の方法

p値の意味と具体例

統計量(確率変数)がデータから計算した統計量の値より極端な値を取る確率をp値と言う。

p値が小さい→帰無仮説が正しくなさそう。

p値の意味,具体例(カイ二乗分布)について説明します。

→ p値の意味と具体例

待ち行列理論(M/M/1モデル)の定理とその証明

(M/M/1モデルのもと)客が到着するスピードが λ\lambda ,窓口の処理スピードが μ(>λ)\mu\:(>\lambda) のとき,行列の平均待ち時間は, ρ1ρ1μ\dfrac{\rho}{1-\rho}\cdot\dfrac{1}{\mu}

ただし,ρ=λμ\rho=\dfrac{\lambda}{\mu}

→ 待ち行列理論(M/M/1モデル)の定理とその証明

ベータ分布の意味と平均・分散の導出

ベータ分布とは,確率密度関数が f(x)=Cxa1(1x)b1(0x1)f(x)=Cx^{a-1}(1-x)^{b-1}\:(0\leq x\leq 1) であるような確率分布のことです。

ただし,a,ba,b はパラメータ(正の実数)であり,CC は規格化定数です。

→ ベータ分布の意味と平均・分散の導出

多項分布の意味と平均,分散,共分散などの計算

同時確率関数が

P(n1,,nk)=n!n1!nk!p1n1pknkP(n_1,\cdots,n_k)=\dfrac{n!}{n_1!\cdots n_k!}p_1^{n_1}\cdots p_k^{n_k} (各 nin_i が非負で n1++nk=nn_1+\cdots +n_k=n のときはこの値,それ以外のときは 00

で表されるような分布を多項分布と言う。

ただし,n,p1,,pkn,p_1,\cdots,p_k はパラメータで,p1++pk=1p_1+\cdots +p_k=1 を満たす。

→ 多項分布の意味と平均,分散,共分散などの計算

ケンドールの順位相関係数

ケンドールの順位相関係数の定義,計算例,性質,および関連する検定手法について解説します。

→ ケンドールの順位相関係数

ディリクレ分布の意味と正規化,平均などの計算

確率密度関数が,

f(x1,,xn1)={Cx1α11xnαn1(x1,,xn0)0(Otherwise)f(x_1,\cdots,x_{n-1}) =\begin{cases}Cx_1^{\alpha_1-1}\cdots x_n^{\alpha_n-1}&(x_1,\dots, x_n\geq 0)\\0&(\mathrm{Otherwise})\end{cases}

で表されるような多次元の確率分布をディリクレ分布と言う。ただし,

  • xnx_n は,x1++xn=1x_1+\cdots +x_n=1 という関係式によって,x1,,xn1x_1,\dots,x_{n-1} から定まる値。

  • α1,,αn\alpha_1,\cdots,\alpha_n はパラメータで CC は正規化定数。

→ ディリクレ分布の意味と正規化,平均などの計算

相関行列の定義と分散共分散行列との関係

各成分に相関係数を並べた行列を相関行列と言う。

→ 相関行列の定義と分散共分散行列との関係

対数正規分布の例と平均,分散

確率変数 YY が正規分布に従うとき,eYe^Y が従う分布を対数正規分布と言う。

前半は対数正規分布の応用例(ゆるい話),後半は対数正規分布の確率密度関数と平均,分散を計算します。

→ 対数正規分布の例と平均,分散

モーメント母関数(積率母関数)の意味と具体例

確率変数 XX に対して,モーメント母関数(積率母関数)を MX(t)=E[etX]M_X(t)=E[e^{tX}] で定義する。

モーメント母関数 MX(t)M_X(t)tt についての関数です。 XX が従う確率分布によってはモーメント母関数は存在しないこともありますが,以下ではモーメント母関数が存在するような場合について考えます。

→ モーメント母関数(積率母関数)の意味と具体例

指数型分布族

確率(密度 or 質量)関数が,

ある関数 gi(θ)g_i(\theta)hi(x)h_i(x)

(i=0,1,,d)(i=0,1,\dots,d) を用いて

p(xθ)=g0(θ)h0(x)exp{i=1dgi(θ)hi(x)}p(x\mid \theta)=g_0(\theta)h_0(x)\exp\left\{\displaystyle\sum_{i=1}^dg_i(\theta)h_i(x)\right\}

と表せるような分布を指数型分布族(exponential family)と言う。

→ 指数型分布族

コサイン類似度

二つのベクトル aundefined=(a1,a2,,an)\overrightarrow{a}=(a_1,a_2,\cdots,a_n)bundefined=(b1,b2,,bn)\overrightarrow{b}=(b_1,b_2,\cdots,b_n) に対して

a1b1++anbna12++an2b12++bn2\dfrac{a_1b_1+\cdots +a_nb_n}{\sqrt{a_1^2+\cdots +a_n^2}\sqrt{b_1^2+\cdots +b_n^2}}

をコサイン類似度(またはコサイン距離)と言う。

→ コサイン類似度

フォンミーゼスフィッシャー分布

「向き」に確率をのせた分布の代表例としてフォンミーゼスフィッシャー分布がある。

まずは(少し難しいですが)定義を紹介して,それから二次元の場合の例を通じて意味を解説します。

→ フォンミーゼスフィッシャー分布

ガンマ分布の意味と期待値、分散

確率密度関数が

f(x)=xn1exμΓ(n)μn(x0)f(x)=x^{n-1}\dfrac{e^{-\frac{x}{\mu}}}{\Gamma(n)\mu^n}\:(x\geq 0)

で表される確率分布をガンマ分布と言う。 μ\munn は正のパラメータ。

→ ガンマ分布の意味と期待値、分散

負の二項分布の意味と期待値、分散

P(x)=(x1k1)pk(1p)xkP(x)=\dbinom{x-1}{k-1}p^{k}(1-p)^{x-k}xx は非負整数)

で表される離散型確率分布を負の二項分布と言う。

→ 負の二項分布の意味と期待値、分散

レイリー分布の期待値、分散、正規分布との関係

確率密度関数が f(r)=rσ2er22σ2f(r)=\dfrac{r}{\sigma^2}e^{-\frac{r^2}{2\sigma^2}}r0r\geq 0 )であるような連続型確率分布をレイリー分布と言う。

σ\sigma は正のパラメータです。

→ レイリー分布の期待値、分散、正規分布との関係

ベイズ推定の簡単な例と利点

ベイズ推定とは「過去の経験」と「新たに得たデータ」をもとに不確実な事象を予測する手法である。

基本的な例を通じてベイズ推定の意味を説明します。

→ ベイズ推定の簡単な例と利点

偏相関係数の意味と式の導出

XX の影響を除いた YY」と「XX の影響を除いた ZZ」の相関係数 ρYZ,X\rho_{YZ,X} は,

ρYZ,X=ρYZρXYρXZ1ρXY21ρXZ2\rho_{YZ,X}=\dfrac{\rho_{YZ}-\rho_{XY}\rho_{XZ}}{\sqrt{1-\rho^2_{XY}}\sqrt{1-\rho^2_{XZ}}}

ただし,ρXY\rho_{XY}XXYY の(普通の)相関係数です(ρXZ,ρYZ\rho_{XZ}, \rho_{YZ} も同様)。

→ 偏相関係数の意味と式の導出

超幾何分布の意味と期待値の計算

合計 NN 個のものの中に,当たりが AA 個入っている。この NN 個から nn 個選んだときに,当たりが何個あるか?

を表す分布を超幾何分布と言う(パラメータは N,A,nN,A,n の3つ)。

→ 超幾何分布の意味と期待値の計算

最大値と最小値の分布(一般論と例)

00 以上 11 以下の数字をランダムに独立に nn 個生成する。このとき,小さい方から kk 番目の数の期待値は kn+1\dfrac{k}{n+1} となる。

最大値や最小値など「小さい方から kk 番目」が従う確率分布の公式について考えます。最後に公式を一様分布に適用することで,上記の性質を確認します。

→ 最大値と最小値の分布(一般論と例)