カイ二乗分布というと難しく感じるかもしれません。
この章では、カイ二乗分布の由来とその意味について考えてみましょう。
(カイ二乗分布は、標本抽出と分散の計算から生まれた自然な分布であり、むしろt分布のほうが数理は難しいです).
\(X \sim N(0,1)\)
標準正規分布はよく知られています。
\(X^2\)
はどのような分布になるでしょうか?
Rで乱数を使って確かめてみましょう。
X <- rnorm(1000,0,1)
par(mfrow = c(1,2))
hist(X,prob=T)
hist(X^2,prob=T)
\(X_1 \sim N(0,1)~,~~~X_2 \sim N(0,1)\) 独立な2個の標準正規分布について、
\(\chi^2=X_1^2+X_2^2\) はどのような分布になるでしょうか?
X1 <- rnorm(1000,0,1)
X2 <- rnorm(1000,0,1)
par(mfrow = c(1,2))
hist(X1^2,prob=T)
hist(X1^2+X2^2,prob=T)
やや中央がふくらんでいますが、平方和の個数が増えるとその傾向は強まると思います。
X1 <- rnorm(1000,0,1)
X2 <- rnorm(1000,0,1)
X3 <- rnorm(1000,0,1)
X4 <- rnorm(1000,0,1)
X5 <- rnorm(1000,0,1)
par(mfrow = c(1,2))
hist(X1^2+X2^2+X3^2,prob=T,main="X1^2+X2^2+X3^2")
hist(X1^2+X2^2+X3^2+X4^2+X5^2,prob=T,main="X1^2+X2^2+X3^2+X4^2+X5^2")
カイ二乗値の最頻値(山の一番高いところ)は \((k-2)\)
であることが知られています。(p68参照)
また、カイ二乗値の期待値は \(k\)
となります。
整理しておきます。
\(E(X_i^2)=V(X_i)=1\) なので、
\(E(X_1^2+X_2^2)=2\).
\(E(X_1^2+X_2^2+X_3^2)=3\).
\(E(X_1^2+X_2^2+X_3^2+X_4^2)=4\).
\(E(X_1^2+X_2^2+X_3^2+X_4^2+X_5^2)=5\).
一般には、
\(E(X_1^2+X_2^2+\cdots+X_k^2)=k\) (p68).
\(N(0,1)\)に従う\(k\)個のデータの分散は1に近いと予想されます。
\(\dfrac{(X_1-0)^2+(X_2-0)^2+\cdots+(X_k-0)^2}{k}
\fallingdotseq 1\) \(\therefore
~~X_1^2+X_2^2+\cdots+X_k^2 \fallingdotseq k\).
このことは、これまでの結果に合致しています。
カイ二乗値は、k個の独立データの偏差平方和がであり、その期待値は
k です。
カイ二乗値は、偏差平方和と関係が深く、分散とも深い関係にあることがわかります。
標準化された正規分布とカイ二乗分布の関係を考えます。
標準正規分布、母平均0(既知)のもとで、上記のことが成立しました。即ち、
\(Z_1,Z_2,\cdots,Z_n\sim
N(0,1):i.i.d\) (独立に正規分布に従う)のとき、
\(\displaystyle
\sum_{i=1}^{n}Z_i^2\sim
\chi^2(n)\) :自由度nのカイ二乗分布.
一般の正規分布でも母平均と母分散が既知なら同様のことが成立します。即ち、
\(X_1,X_2,\cdots,X_n\sim
N(\mu,\sigma^2):i.i.d\) (独立に正規分布に従う)のとき、
\(\displaystyle
\sum_{i=1}^n\left(\dfrac{X_i-\mu}{\sigma}\right)^2=\sum_{i=1}^{n}Z_i^2
\sim \chi^2(n)\) :自由度nのカイ二乗分布.
この式は.
\(\dfrac{(X_1-\mu)^2+(X_2-\mu)^2+\cdots+(X_n-\mu)^2}{\sigma^2}
\sim \chi^2(n)\)
と書くと
p69の参考の式と似ていますが、どこが違うでしょうか?考えてみましょう。
\(\chi^2(n)\) の期待値は n なので、\(\chi^2(n)/n\) の期待値は1です。
なので、
\(\left.
\dfrac{(X_1-\mu)^2+(X_2-\mu)^2+\cdots+(X_n-\mu)^2}{n} \right/
\sigma^2\) の期待値は1になります。
\(\dfrac{(X_1-\mu)^2+(X_2-\mu)^2+\cdots+(X_n-\mu)^2}{n}\fallingdotseq
\sigma^2\) が期待されるということであり、
カイ二乗値の式から、分散の定義式が出てきたことになります。
このようにカイ二乗値は分散と深く関わっています。
また、
\(\dfrac{(X_1-\mu)^2+(X_2-\mu)^2+\cdots+(X_n-\mu)^2}{n}
\sim \dfrac{\chi^2(n)}{n}\cdot \sigma^2\).
と考えると、
n個の独立データから計算した分散は、母分散に \(\dfrac{\chi^2(n)}{n}\)
という変動幅を乗じたものと理解できます。
ここで難しい問題が生じます。
母平均が分かっていない場合、標本平均で代用するしかないということです。
\(N(0,1)\) は標準正規分布であり、分散が
1 と分かっています。
しかし、実際の分析の場面では母分散も母平均も分かっておらず、得られたデータから推測する必要があります。
当サイト カイ二乗分布とt分布 参照.
母平均0が分かっているとし、
\(N(0,1)\) から得られるn個のデータを
\(x_1,x_2,\cdots,x_n\) とします。
\(V=\dfrac{(x_1-0)^2+(x_2-0)^2+\cdots+(x_n-0)^2}{n}=\dfrac{\chi^2}{n}\) という式は、
母平均を0として計算した分散であり、母分散の近似値と考えられます。。
例えば、
10個の \(x_i\sim N(0,1)\)
が独立に動くとき、
10個の和のカイ二乗値 \(\chi^2=x_1^2+x_2^2+\cdots+x_{10}^2\)
は期待値が10、
これを10で割ると母分散 1 の近似値が得られます。
記述統計で偏差平方和をnで割った理由は、n個の偏差平方が独立に動き、カイ二乗値の期待値が
\(n\cdot \sigma^2\)
となるからです。
別の例では、
5個の \(x_1,x_2,\cdots,x_5\sim
N(1,2^2)\) が独立に動くとき、
5個の偏差平方和 \(S^2=(x_1-1)^2+(x_2-1)^2+\cdots+(x_{5}-1)^2\)
は期待値が \(5\cdot 2^2\) 、
これを 5で割れば分散の値 4 が得られます。
次に、母平均が未知の場合を見てみましょう。
得られたデータから、母平均と母分散を求める方法を考えます。
(母平均)\(\fallingdotseq\)(標本平均)であることはよく知られています。
\(E(X)=E(\bar{X})\) であるので、
\(\mu\fallingdotseq
\bar{X}=\dfrac{x_1+x_2+\cdots+x_n}{n}\)
近似値として等しいのですが、
\(S^2=(x_1-\mu)^2+(x_2-\mu)^2+\cdots+(x_n-\mu)^2\) のところを
\(S^2=(x_1-\bar{X})^2+(x_2-\bar{X})^2+\cdots+(x_n-\bar{X})^2\) で代用した場合、
どれくらいズレが生じるかシミュレーションで見てみましょう。
X = c()
for (i in 1:10000) {
x <- rnorm(10,0,1)
s <- sum((x-mean(x))^2)
X <-c(X,s)
}
mean(X)
## [1] 8.981641
ほとんど同じ式でありながら、カイ二乗値の期待値は10ではなく 9
になっています。
理由は、\((x_1-\bar{X}),~(x_2-\bar{X}),\cdots,(x_n-\bar{X})\)
は独立でないため、自由度は(n-1)になっているのです。
一般の説明は難しいので、2個の偏差平方和の自由度が1であることを説明します。
\(x_1,x_2\sim N(0,1)\)
は独立とします。
\(S^2=(x_1-\bar{X})^2+(x_2-\bar{X})^2=\dfrac{(x_1-x_2)^2}{2}\)
\(\left(\dfrac{x_1-x_2}{\sqrt{2}}\sim
N(0,1)\right)\)
カイ二乗値は1個の標準正規分布の平方で表されるので、自由度は1となります。
シミュレーションをしてみると、
X = c()
for (i in 1:10000) {
x <- rnorm(2,0,1)
s <- sum((x-mean(x))^2)
X <-c(X,s)
}
mean(X)
## [1] 0.9779695
hist(X,prob=T)
参考.
当サイト カイ二乗分布とt分布
参照
\((x_1-\bar{X})^2+(x_2-\bar{X})^2=\dfrac{(x_1-x_2)^2}{2}\)
\(\begin{split}
E\left(\dfrac{(x_1-x_2)^2}{2}\right)&=\dfrac{1}{2}E\left(\left[(x_1-\mu)
-(x_2-\mu)\right]^2\right)\\
&=\dfrac{1}{2}\left(E\left[(x_1-\mu)^2\right]+E\left[(x_2-\mu)^2\right]+E\left[(x_1-\mu)(x_2-\mu)\right]\right)\\
&=\dfrac{1}{2}\left(\sigma^2+\sigma^2+0\right)=\sigma^2
\end{split}\)
\(S^2=(x_1-\bar{X})^2+(x_2-\bar{X})^2+\cdots+(x_n-\bar{X})^2\) の期待値は \((n-1)\sigma^2\)
このことは、偏差平方和が (n-1)個の独立な確率変数の平方和で表されることを示唆しています。
当サイト 正規分布と関連分布 参照
母集団が \(X\sim N(\mu,\sigma^2)\)
に従い、母集団から得られた標本 \(x_1,x_2,\cdots,x_n\)が独立に \(N(\mu,\sigma^2)\) に従うとします。
母平均 \(\mu\)
が未知であるという前提で、母分散 \(\sigma^2\) の推定値を求めるには、
\(\displaystyle u^2=\dfrac{1}{n-1}\sum_{i=1}^{n}{(x_i-\overline{x})^2}\) これを不偏分散と言います。
根拠は、\(E\left(\sum_{i=1}^{n}{(x_i-\overline{x})^2}\right)=(n-1)\sigma^2\) であるからです。
平均3、標準偏差2の正規乱数10個の偏差平方和を、母平均を使わず 標本平均を使って計算します。
X = c()
for (i in 1:10000) {
x <- rnorm(10,3,2)
s <- sum((x-mean(x))^2)
X <-c(X,s)
}
mean(X)/9
## [1] 3.970883
自由度は9なので、偏差平方和の期待値を9で割ったものが母分散の予測値になります。
A <- c(35,31,44,34,41,39,35)
var(A)
## [1] 20.33333
標本平均と母分散を用いた擬似標準化.
\(\chi^2=\displaystyle
\sum_1^7\left(\dfrac{X_i-\bar{X}}{\sigma}\right)^2 \sim
\chi^2(6)\).
(母平均を標本平均で推定しているので自由度は1減じています).
95%の確率で、
\(1.237<\chi^2<14.45\).
予測幅が、あまりに大きい感じがします。2乗を伴う計算では大きいものはより大きく計算されるので、分散の予測幅は大きくなりがちです。
\(1.237<\dfrac{\sum_1^7\left(X_i-\bar{X}\right)^2}{\sigma^2}<14.45\).
分子は、\(\sum_1^7\left(X_i-\bar{X}\right)^2=122\)であるので、
\(1.237<\dfrac{122}{\sigma^2}<14.45\).
この不等式を\(\sigma^2\)
について解いて、\(\sigma^2\)
の信頼区間を求めることになります。
富山大学教授 唐渡広志様「統計学講義第19回」を参考にさせていただきました。.
二項分布は、「n回の試行でイベントが何回起こるか」という回数 X
の確率分布です.
\(\frac{X}{n}\)
はイベントの発生率と考えられ、\(E\left(X\right)=np\)より
期待値は \(E\left(\frac{X}{n}\right)=p\).
\(\frac{X}{n}\)
の確率分布が分かれば、\(\frac{X}{n}\)
の実現値から pを推定できるのではないかというのが、ここでの目的です。
二項分布 \(B(n,p)\)は、イベントの起こる確率 p
と試行回数 n で規定され、n が大きければ正規分布 \(N(np,np(1-p))\)
で近似されます。即ち、
\(X \sim N(np,np(1-p))\)
\(V\left(\dfrac{X}{n}\right)=\dfrac{np(1-p)}{n^2}=\dfrac{p(1-p)}{n}\)
であるので、 \(\dfrac{X}{n}\sim
N\left(p,\dfrac{p(1-p)}{n}\right)\).
標準化すると、 \(\dfrac{\frac{X}{n}-p}{\sqrt{\frac{p(1-p)}{n}}}\sim
N\left(0,1\right)\).
95%の確率で、 \(-1.96<\dfrac{\frac{X}{n}-p}{\sqrt{\frac{p(1-p)}{n}}}<1.96\) \(\therefore~\left(\dfrac{X}{n}-p\right)^2<1.96^2{\dfrac{p(1-p)}{n}}\).
\(\hat{p}=\dfrac{X}{n}\) とおくと、
\(\left(p-\hat{p}\right)^2<1.96^2{\dfrac{p(1-p)}{n}}\).
\(\left(1+\dfrac{1.96^2}{n}\right)p^2-\left(2\hat{p}+\dfrac{1.96^2}{n}\right)
p+\hat{p}^2>0\).
この2次不等式を解いた.
\(p=\dfrac{\left(2\hat{p}+\dfrac{1.96^2}{n}\right)\pm
\sqrt{4\cdot
1.96^2{\dfrac{\hat{p}(1-\hat{p})}{n}}+\left(\dfrac{1.96^2}{n}\right)^2}}{2\left(1+\dfrac{1.96^2}{n}\right)}\).
が信頼区間の端点である。
二項分布が正規分布に近似できるのは n が大きい場合である。 \(\left(\dfrac{1.96^2}{n}\right)^2\fallingdotseq
0~,~~~\dfrac{1.96^2}{n}\fallingdotseq 0\) とすると、
近似式 \(p=\hat{p}\pm 1.96\sqrt{
{\dfrac{\hat{p}(1-\hat{p})}{n}}}\) を得る。.
この近似が許容範囲であるかどうか、演習10 (2)で確かめてみよう。
(2) n=520,X=197.
\(-1.96<\dfrac{\frac{197}{520}-p}{\sqrt{\frac{p(1-p)}{520}}}<1.96\)
p=197/520
(2*(p+1.96^2/(2*520)) + sqrt(4*1.96^2*p*(1-p)/520+(1.96^2/520)^2))/2*(1+(1.96^2/520))
## [1] 0.4275338
(2*(p+1.96^2/(2*520)) - sqrt(4*1.96^2*p*(1-p)/520+(1.96^2/520)^2))/2*(1+(1.96^2/520))
## [1] 0.3431984
解答とほぼ一致しており、近似は許容範囲と考えられる。
サンプル数35の例で、t分布による推定と正規分布による推定の違いを見る。
pop <- rep(c(0, 1), c(4600, 5400))
X <- sample(pop,35,replace = T)
x <- sum(X)
x/35 #標本平均
## [1] 0.4571429
var(X)/35 #自由度 34
## [1] 0.00729892
x/35+2.032*sqrt(var(X)/35) #t分布
## [1] 0.6307442
x/35+1.96*sqrt((x/35)*(1-x/35)/35)
## [1] 0.6221835
2.032*sqrt(var(X)/35)- 1.96*sqrt((x/35)*(1-x/35)/35)
## [1] 0.008560707
t分布による推定も正規分布による推定も差はないようである。
参考サイト.
新潟大学農学部・平泉「少数データの扱い」.
健康統計の基礎・健康統計学
- 母比率の推定
ベータ分布.
共役事前分布.
https://academ-aid.com/statistics/beta http://lbm.ab.a.u-tokyo.ac.jp/~omori/meiji2/sec3/sec3.html
ベイズの考え「pを変数とする確率分布を考える」.
パソコンの使用が一般的になった今では、ベイズ推定の考えも有効です。
ベイズは数学の好きの牧師でした。
ある朝、目を覚ますと、コインが表の出る確率を忘れていました。
ベイズは試しにコインを投げてみました。
表 裏
「え〜と、表の出る確率が p だとすると、確率は \(p(1-p)\) だな」.
ベイズは最近、2次関数を習ったところだったので、グラフを描いてみました.
curve(x*(1-x),0,1)
表の出る確率を\(p\)として、
「表、裏」となる確率 \(p(1-p)\)
が最大となるのは \(p=0.5\)
のときだから、
表の出る確率は 0.5 と考えるのが妥当ではないか?
これが、ベイズ推定の考え方です。
この考え方は、次のような長所を持っています。
ベイズがもう一度コインを投げると、裏でした。
もしかすると、裏の出やすいコインなのかもしれません。
「表、裏、裏」となる確率 \(p(1-p)^2\)
のグラフは、
curve(x*(1-x)^2,0,1)
\(p(1-p)^2\) を最大とする p
は少し小さめであるようです。
この分布はベータ分布と呼ばれ、
\(mode=\dfrac{1}{3}=0.33~,~~~m=\dfrac{2}{5}=0.4\).
このグラフから、 p を区間推定することもできます。
求まった区間を 信用区間 といいます。
参考サイト.
https://avilen.co.jp/personal/knowledge-article/bayes-interval-estimation/
事前分布は一様分布であるとして、
curve(x^{197}*(1-x)^{323},0.1,0.9)
p=198
q=324
(p-1)/(p+q-2)
## [1] 0.3788462
p/(p+q)
## [1] 0.3793103
197/520
## [1] 0.3788462
p+q
## [1] 522
ぱぐみの部屋様「HDIの解説とRでの計算」のコードを参照させていただきました.
library(tidyverse)
## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr 1.1.4 ✔ readr 2.1.5
## ✔ forcats 1.0.0 ✔ stringr 1.5.1
## ✔ ggplot2 3.5.1 ✔ tibble 3.2.1
## ✔ lubridate 1.9.3 ✔ tidyr 1.3.1
## ✔ purrr 1.0.2
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag() masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors
library(bayestestR)
library(see)
library(ggthemes)
library(patchwork)
theme_set(theme_minimal(base_family = "HiraMaruProN-W4"))
alpha <- 198
beta <- 324
x = distribution_beta(10000, alpha, beta) # 等間隔の分位点を作成
y = dbeta(x, alpha, beta) # xに対応する密度を計算
df = tibble(x=x, y=y) # データフレームに格納
ggplot(df, aes(x = x, y = y)) +
geom_line() +
labs(x = "", y = "", title = paste0("Beta(", alpha, ", ", beta, ")"))
hdi = hdi(x, ci=0.95)
hdi
CI | CI_low | CI_high |
---|---|---|
0.95 | 0.3378795 | 0.4210027 |
信頼区間とほぼ一致しており、妥当な結果と言えます。
df_hdi = df %>%
filter(x >= hdi$CI_low & x <= hdi$CI_high)
g_hdi <- ggplot() +
geom_line(data = df, mapping = aes(x = x, y = y)) +
geom_ribbon(data = df_hdi, mapping = aes(x = x, ymax = y, ymin = 0), fill = "blue", alpha = 0.5) +
labs(x = "", y = "", title = paste0("Beta(", alpha, ", ", beta, ")の95%HDI"))
g_hdi
参考サイト.
統計WEB様「18-3.
推定量の性質」
関西大学准教授宋財泫(Song Jaehyun) 様「一致性・不偏性・効率性」
推定量の標準偏差を標準誤差と呼びますが、有効推定量は標準誤差が最小となる推定量のことです.
AVILEN様「有効推定量とは」によれば.
有効推定量とは点推定の一種で、クラメール・ラオの下限を達成している不偏推定量のことです。
\(V(\hat{\theta})\geq
J_n(\theta)^{-1}\) (\(J_n(\theta)\)はフィッシャー情報量).
この不等式の右辺がクラメール・ラオの下限であり、フィッシャー情報量の逆数です。
\(x_1,x_2,\cdots,x_n\sim N(\mu,\sigma^2):i.i.d\) のとき、
\(V=\dfrac{(x_1-\mu)^2+(x_2-\mu)^2+\cdots+(x_n-\mu)^2}{n}
\sim \dfrac{\chi^2(n)}{n}\cdot \sigma^2\).
一致推定量かつ不偏推定量.
(分散のひょっこり推定量).
母平均の分かっている乱数から計算した分散の推定量なので、ひょっこり推定量と名づけました(自作言語)
\(\dfrac{S^2}{n}=\dfrac{(x_1-\bar{X})^2+(x_2-\bar{X})^2+\cdots+(x_n-\bar{X})^2}{n}
\sim \dfrac{\chi^2(n-1)}{n}\cdot \sigma^2\).
(標本分散).
一致推定量であるが不偏推定量ではない
\(\dfrac{S^2}{n-1}=\dfrac{(x_1-\bar{X})^2+(x_2-\bar{X})^2+\cdots+(x_n-\bar{X})^2}{n-1}
\sim \dfrac{\chi^2(n-1)}{n-1}\cdot \sigma^2\)
(不偏分散).
一致推定量かつ不偏推定量.
有効性を調べるには、推定量の分散を求める必要があります。
株式会社ぺあのしすてむ様「不偏分散の分散」によれば、
母分散のフィッシャー情報量 \({I(\sigma^2)
= \dfrac{n}{2\sigma^4} }\).
標準誤差.
一般に、推定量の標準偏差を標準誤差といいます。
通常は、標本平均の標準偏差をいいます。
\(\displaystyle
\dfrac{s}{\sqrt{n}}=\dfrac{1}{\sqrt{n}}\sqrt{\dfrac{1}{n-1}\sum_1^n
(x_i-\bar{x})^2}\).
13章 有意差検定では、2つの正規母集団の比較を行います。
テキストでは、2つの集団の分散が等しいことを前提としていますが、本当に2つの集団の分散が等しいかどうかは検定する必要があります。
その際、2つの分散を比較するために比をとったものがF分布です。
何故このような期待値なるのかを考えると、それぞれの分布の持つ意味が見えてきます。