高校生のための統計学習教材(総務省統計局)
の解説です。
上記サイトの第1講をダウンロードし、テキストとしてください。テキスト
にそって統計ソフト「RStudio」の適用例を提示します。必要に応じて「なるほど統計学園」の参考ページを参照してください。
Rについては、橋本
洸哉 様 「Rで統計解析」 を参考にさせていただきました。
理解の難しい概念なので、補足をしたいと思います。
検定や推定の理解の上で、もっとも重要なのは確率変数の理解です。
調査によって集めたデーターは確率変数ではありません。
それは、確率変数が出力した値です。
確率変数とは、データーを生み出す何かなのです。
あなた自身は確率変数です。
あなたが何か試行をするとき、ひとつのデーターが生み出されます。
同じ状況、同じ条件ならば、結果はいつも同じでしょうか?
那須の与一
あなたは弓の名手です。
的の一点に向かって矢を射込みます。
いつも的のど真ん中に命中するでしょうか?
あなたが那須の与一のような弓の名手であったとしても、矢がいつも同じポイントに当たるとは限りません。
しかし、矢はそのポイントの近くに集中します。
その集中の仕方にその人の特徴が現れます。
その散らばり具合を分布といいます。
次の図はシュミュレーションです。 扇の的ではなく数直線を的に、原点を狙って50回矢を射込みました。
ど真ん中に命中とまではいかなくても、ほぼその近くに集まっていることがわかります。
0を中心に左右一寸(いっすん)の幅に集まり、3寸(3すん)はずれることはないといえます。
これをヒストグラムにしたものが、次の図です。
矢が、原点とその左右に集中している様子がよく分かります。
この図を、面積が確率を表すように修正してみます。
無限回の試行を想定したとき、この図がある関数式であらわされることを発見したのがガウスでした。
その関数のグラフは、
このグラフで表される分布を正規分布といいます。
この関数は、 \(\phi \left( z\right)
=\dfrac{1}{\sqrt{2\pi }}\exp \left(
-\dfrac{z^{2}}{2}\right)\) で表されます。
このグラフは、平均が0で標準偏差が1のもので、標準正規分布といいます。
さて、ここからの話は、すこし難しいものになります。
乱数発生を使うと、指定した平均と標準偏差を持つデータが、指定した個数だけ出力されます。
平均10、標準偏差2の正規分布に従うデータを100個出力したとしましょう。
12.1 | 8.2 | 9.9 | 9.0 | 9.5 | 10.4 | 12.0 | 14.4 | 8.9 | 12.9 | 9.4 | 9.6 | 9.4 | 7.4 | 13.4 | 9.0 | 8.5 | 12.0 | 9.5 | 9.3 | ||
10.5 | 10.2 | 13.2 | 7.8 | 11.6 | 9.6 | 9.4 | 10.6 | 6.6 | 8.3 | 9.5 | 9.7 | 13.7 | 8.5 | 8.1 | 8.1 | 7.0 | 11.6 | 11.2 | 9.3 | ||
9.1 | 10.8 | 7.7 | 7.5 | 13.6 | 11.9 | 13.6 | 11.2 | 9.3 | 14.6 | 8.7 | 8.0 | 7.8 | 8.6 | 8.5 | 11.8 | 9.9 | 9.2 | 14.1 | 10.1 | ||
11.9 | 12.6 | 11.3 | 7.6 | 10.6 | 15.9 | 10.0 | 10.6 | 10.6 | 9.9 | 10.6 | 8.4 | 9.5 | 10.8 | 11.5 | 8.0 | 9.4 | 8.9 | 7.2 | 12.6 | ||
6.7 | 13.0 | 8.4 | 8.8 | 13.3 | 9.1 | 9.6 | 9.1 | 11.8 | 13.0 | 12.4 | 10.7 | 9.8 | 9.5 | 10.7 | 9.1 | 7.5 | 13.2 | 9.5 | 14.1 | ||
これは実際に出力したデータですが、平均は10.23、標準偏差は2.02です。
10でも2でもありません。これは、どうしたことなのでしょう。
それは、平均10標準偏差2である無限個のデータの海があり、
その海から100個のデータを取り出したということなのです。
たまたま取れたデータですから、その平均はきっちり10にはならないのです。
この無限個のデータの海を母集団といいます。
母集団の無限個のデータをすべて計算すれば、その平均は10、標準偏差は2になります。
この母集団というデータの海は次元を越えた世界にあり、
そこから私たちは確率変数という釣り竿によって、データを取りだしているのです。
その釣り竿を投げ入れるポイントに相当するものが、乱数発生におけるランダムシードなのです。
余談ですが、ユング心理学では意識を越えたところに広大な無意識の世界があり、そこに無限の可能性を秘めた自己という存在がある。今生きているあなたは、その無限の自己の投影にすぎないと言っています。そういう意味では、あなたという存在自身もまた確率変数なのです。
こんな例を考えてみましょう。
アイスクリーム
あるアイスクリーム屋さんのアイスの重さは、平均50g、標準偏差3gの正規分布に従います。
あなたは大のアイス好きで、毎日欠かさず買いに行っています。
でも、美容と健康のため、買うのは一日一個と決めています。
今日あなたが買うアイスの重さは、何gでしょうか?
この場合の母集団は、「今日アイスクリームを買う」ということを無限回繰り返せるとしたとき、
その無限個のアイスクリームの詰まった異次元の海です。
そのアイスクリームの海の平均と標準偏差が50と3ということになります。
そのアイスクリームの海から、あなたは「今日のアイス」を一個、釣り上げます。
確率変数は、「あなたがアイスクリームを買う」という行為そのものになります。
母集団という考えを分かっていただけたでしょうか。
集めたすべてのデータが母集団という訳ではありません。
母集団とは、その瞬間の可能性のすべてなのです。
なにか調査をするとき、あなたが考えるべきことは次のことでした。
あなたは、どんな検査をしますか?
その結果には、どんな可能性がありますか?
その可能性のすべてを集めたものが母集団の海です。
では、その母集団についてはどの程度分かっているのでしょうか。
実際には、母集団の海の平均や分散はよく分かっていないことが多く、
それで仮説を立てたり検定をしたりするのです。
今度は、釣り竿のかわりに網を用意しましょう。
あなたの網にはデータがn個だけ入るようになっています。 母集団の海に網を投げ入れ、n個のデータを取りだします。 このように、一度にいくつものデータを得ることを標本調査といい、得られたデータを標本といいます。
1回の調査で得たデータによって、そのn個の平均\(\bar{X}\) 、分散 \(s^2\) 、標準偏差 \(s\) が計算可能です。
これらは確率変数です。
網を投げる度に違った値を出力します。
あなたが考えるべきことを確認しましょう。
標本母集団の海は、もとの母集団の海とはまったく次元の異なる世界にあり、
もとの母集団との区別を理解することが大変難しいのです。
確率変数を海に喩えましたが、自動販売機に喩えることもできます。
データを得るために実験をしたり調査をすることを釣り竿に喩えましたが、自販機ではデータを得るためにボタンを押します。
一番簡単で極端な例をあげます。
標本空間(確率変数Xの取りうる値の集合)が、\(S=\{1\}\) のときを考えます。
確率変数Xという自動販売機のボタンを押し続けると、どんどん1が出てきます。
(この自動販売機Xには、1が無限個入っていると考えてもよいでしょう)
どんな割合で出てくるかだけが問題なのです。
Xがサイコロをふるときの目であれば、\(S=\{1,2,3,4,5,6\}\) です。
この自販機のボタンを押し続ければ、1,2,3,4,5,6
が同じ割合で順不同で出てきます。
確率分布とは、出力される値の割合なのです。
まとめ買いのできる自販機
まとめ買いのできる自販機を考えましょう。
まとめ買いモードで4個を設定し購入ボタンを押すと、4個セットが袋に入って出てくる高性能自販機です。
袋にはレシートとして、4個の平均 \(\bar{X}\) が記載されています。
Xはサイコロを振るときの目で、\(S=\{1,2,3,4,5,6\}\) とします。
・4個まとめ買いでボタンを押すと、例えば
標本:\(\{2,3,3,4\}\)
標本平均:\(\bar{X}=3\)
4個は無作為に選ばれるので同じものが入ることもあります。
復元無作為抽出と言います。
・まとめ買いでジュースを買う場合、同じものを入れたくない場合もあるでしょう。
この場合は非復元無作為抽出と言い、
標本:\(\{1,2,3,6\}\)
標本平均:\(\bar{X}=3\)
のようになります。
1個買いの自販機 X は確率変数で、ボタンを押し続ければ無限個の X
が得られます。
まとめ買いモードにした自販機 \(\bar{X}\)
も確率変数で、ボタンを押し続ければ無限個の \(\bar{X}\) が得られます。
では、Xの分布と \(\bar{X}\) の分布の関係はどうなっているでしょうか。
標本平均
\(\bar{X}\)を標本平均といいます。
もとのXの平均を \(\mu\) 、分散を \(\sigma^2\) とすると、
標本平均 \(\bar{X}\)
の取りうる値の平均は \(\mu\)、 \(\bar{X}\) の分散は \(\frac{\sigma^2}{n}\) になります。
Xが平均 0, 分散 1 とすると、4個の標本平均 \(\bar{X}\) は平均 0, 分散 \(\frac{1}{4}\) 、
標準偏差は分散の平方根ですから、X の標準偏差は 1 、4個の標本平均 \(\bar{X}\) の標準偏差は 0.5 、
山の広がりは半分になります。
標本分散
標本 \(S=\{x_1,x_2,\cdots,x_n\}\)
から計算した分散を標本分散といいます。
\(s^{2}= \dfrac{1}{n}\displaystyle
\sum^{n}_{i=1}(x_{i}-\bar{x})^{2}= \dfrac{1}{n}\{ ( x_{1}-\bar{x})^{2} +
( x_{2}-\bar{x})^{2}+ \cdots + (x_{n}-\bar{x})^{2} \}\)
ただし、\(\bar{x}= \frac{1}{n}
\sum^{n}_{i=1}x_{i} = \frac{1}{n}( x_{1}+x_{2}+ \cdots + x_{n}
)\)
標本分散は、まとめ買いした袋の中のデータから計算した分散で、X の分散
\(\sigma^2\)
より小さめの値を取ります。
標本分散を、値が \(\sigma^2\)
に近くなるよう修正したものが不偏分散です。
不偏分散
標本分散の分母を(n-1)にしたものを不偏分散といいます。
\(\hat{\sigma}^{2} = \dfrac{1}{n-1}
\sum^{n}_{i=1}(x_{i}-\bar{x})^{2}= \dfrac{1}{n-1}\{ ( x_{1}-\bar{x})^{2}
+ ( x_{2}-\bar{x})^{2}+ \cdots + (x_{n}-\bar{x})^{2} \}\)
不偏分散は、期待値が母分散 \(\sigma^2\)になることが知られており、母分散の代用として使われます。
不偏分散 \(\hat{\sigma}^{2}\) は 母分散
\(\sigma^2\) の推定値です。
標準誤差
X の標準偏差は \(\sigma\) 、\(\bar{X}\) の標準偏差は \(\frac{\sigma}{\sqrt{n}}\)
不偏分散で代用した\(\bar{X}\)
の標準偏差
\(SE=\dfrac{\hat{\sigma}
}{\sqrt{n}}=\dfrac{\sqrt{ \dfrac{1}{n-1}
\sum^{n}_{i=1}(x_{i}-\bar{x})^{2}} }{\sqrt{n}}\)
を標準誤差(standard error)と言います。
少し難しいですが、詳しく知りたい人は次のサイトで確認してください。
[参考サイト] biostatistics様「標本分散と不偏分散」
ヒストグラムや確率密度関数(確率分布のグラフ)は起こりやすさを表しています。
山の高いところは起こりやすく、山の低いところは起こりにくいところです。
・平均を中心に左右標準偏差
2つ分に95%が入ると考えるのが統計的推測、
・標準偏差
2つ分より中心から離れることはあり得ない(5%しかない)と考えるのが統計的検定です。
推定や検定は、数学モデルに当てはめることで可能になります。
ガウスは、平均 \(\mu\) 分散 \(\sigma^2\) である確率変数
Xの確率密度関数が、
\(X\sim
N(\mu,\sigma^2):f(x)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2}}\)
に当てはることが多いことを発見しました。
特に、平均 0 分散 1 であるとき標準正規分布といい、確率変数
Zの確率密度関数は、
\(Z\sim
N(0,1)~~:~f(z)=\dfrac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}\)
となり、確率を求める数表「標準正規分布表」が与えられています。
(平均 0 分散 1
でないときは、変数変換すると標準正規分布表を利用できます)
アイスクリーム
あるアイスクリーム屋さんのアイスの重さは、平均50g、標準偏差3gの正規分布に従います。
あなたは大のアイス好きで、毎日欠かさず買いに行っています。
今日あなたが買うアイスの重さを確率95%で推定しましょう。
ざっくり言えば、
平均が50だから予測値は50(点推定といいます)
平均を中心に標準偏差2つの幅に収まる確率が95%なので、
44から56の範囲(確率95%の区間推定といいます)
もう少し練習しましょう。
よく冷える冷蔵庫
あるメーカーの冷蔵庫10000台について冷蔵庫内の温度zを調査したところ、平均μ=0、標準偏差σ=1であった。今度、自分でそのメーカーの冷蔵庫を買うことになったが、自分の買う冷蔵庫の庫内温度zについて、次の確率を求めよ。(標準正規分布表を利用)
\(P(z<0)\)
\(P(z>2)\)
\(P(|z|<1.96)\)
平均 0 、分散 1 でないときは、標準化という変数変換を行います。
\(z=\dfrac{x-\mu}{\sigma}\)
はXの確率密度関数のグラフを、
平均が 0 になるように平行移動し、
x軸方向へ(0を中心に)\(\sigma\)
分の1に縮小する変換です。(標準化といいます)
例えば、
平均3 標準偏差2 の正規分布 \(X\sim N(3,~2^2)\) (黒色グラフ)は、
\((X-3)\) で、 \((X-3)\sim N(0,~2^2)\) 平均0 標準偏差
2のグラフ(緑色グラフ)に移動し、
\(Z=\dfrac{X-3}{2}\) で、 \(Z=\dfrac{X-3}{2}\sim N (0,1)\) 標準正規分布(赤色グラフ)に圧縮されます。
curve(dnorm(x, 0, 1),xlim=c(-6, 8.5),ylim=c(0, 0.4), col=2,xaxp=c(-6,7,13))
curve(dnorm(x, 3, 2),xlim=c(-2, 7.5), add=T)
curve(dnorm(x, 0, 2),xlim=c(-5, 4.5), col=3,add=T)
緑のグラフが標準正規分布で、x軸方向に0.5倍に縮小しx軸方向に3平行移動することにより、黒のグラフに移っていることが分かります。
タイ焼くんの体重
ある店のタイ焼の重さは、平均μ=102、標準偏差σ=4.6であるという。この店からタイ焼を100個買ってきたとき、105gから110gのタイ焼は、何個ぐらいはいっているだろうか。
自動車の燃費
あるメーカーの自動車の燃費は、平均12㎞/ℓ、標準偏差2㎞/ℓであった。こんどそのメーカーの自動車を購入することになったが、燃費が15㎞/ℓ以上である確率を求めよ。
人数の推計
10000人の学生について身長を調べたところ、平均152㎝、標準偏差4㎝であった。身長148〜155㎝の学生数を推計せよ。
病院にあるかたが受診に来られました。
「先生、どうも血圧が高いようなんですが。」
その患者さんはデーターを整理することが好きで、毎日自分の血圧を測っています。
「私の血圧(最高血圧)は、平均120、標準偏差8の正規分布なんですが。」
患者さんは、そのデーターとヒストグラムを見せてくれました。
先生はさっそく血圧を測ってみました。
血圧140です。
先生は、すぐ緊急入院するように勧めました。
しかし、その患者さんは、
「血圧は、日によって変動するものです。少し高いからといって、なにも入院する必要はないのではありませんか。」
あなたなら、患者さんをどう説得するでしょうか?
患者さんが統計学を勉強していることを思い出した先生は、こんな説明を思いつきました。
あなたの血圧が140を超える確率はどのくらいか知っていますか?
それは、この図の赤の棒の部分で、確率2%なのですよ。
確率2%でしか起こらないことが、今、あなたの身体に起きているのですよ。
患者さんは、事態の重大さに気がついて、入院することを納得しました。
先生の説明を整理してみましょう。
患者さんの血圧は140でした。
だから、血圧が140である確率は100%であるはずです。
だって、今、測ったのですから!
そもそも、起きてしまったことの確率を考えたって仕方のないことです。
先生は、ある仮説のうえで説明していることに気付いたでしょうか。
【仮説】身体はいつもどおり健康だ。
この前提で血圧を測るとしたら、140を越える確率は2%だというのです。
この仮説のもとでは、真ん中の山の高い部分、血圧120前後がもっとも起こりやすいのです。
血圧140なんて、アンビリーバブル!
緊急事態と考えるべきです。
このとき、140という結果は、有意であるといいます。
つまり、ここまできたら偶然ではすまされない。
なんらかの原因が考えられる。
なんらかの意味のある結果だということです。
P値
中央の平均に近いところは起こりやすく、偶然差の範囲と考えます。
中央からはずれたところは起こりにくく、特別なことが起こっていると考えます。
偶然を越えた意味のある差ということで、有意差の範囲といいます。
確率分布は平均を中心に山型の形をしており、平均から離れるほど確率は小さくなります。
確率変数
Xがある値aを出力したとき、その値よりも平均から離れる確率をP値といいます。
P値が小さいほど、その値は平均から離れており、起こりにくいことが起きていることになります。
棄却域
平均から離れた、起こることがあり得ない(確率の小さい)範囲を棄却域といいます。
- 棄却域を平均の両側に取る場合、両側検定
- 棄却域を平均の片側に取る場合、片側検定
あり得ない確率を有意水準といい、通常は5%に取ります。
両側検定では左右に2.5%ずつ、
右側検定では右側に5%、左側検定では、左側に5%
棄却域を設けます。
血圧の高い患者さんが、再度来院しました。
「毎日、血圧を測っていますが、やはり平均が120で標準偏差が8です。
血圧が高いような気がするので、ここ4日間、血圧を測っています。
平均血圧は、132でした。このあいだほどではないですよね。」
先生は、緊急入院を命じました。
「えっ、このあいだは140だったから仕方ないとしても、今回は130じゃありませんか。どうして入院なんですか?」
先生は、こう説明しました。
一回の測定の標準偏差が8なら、
4回測定して平均する場合の標準偏差は、\(\dfrac{8}{\sqrt{4}}=\dfrac{8}{2}=4\)
なのです。
何回かの測定の平均は、あまり動かないはずなのです。
ですから、ほんのすこし右にずれても、有意差の範囲になるのです。
整理してみましょう。
データXの平均がμ、標準偏差がσであるとき、
\(z=\dfrac{x-\mu}{\sigma}\)
は、平均が0、標準偏差が1になります。
zについては、詳しい表が用意されており、偶然差と有意差を隔てる境界は、
右側では、z=1.64485です。
検査の結果が偶然差の範囲か有意差の範囲かは、標準化してz値を求めてみればよいのです。
患者さんの血圧が、平均120標準偏差8の正規分布という仮説のもとで、
1回検査をするという確率変数Xを考えると、
Xは平均120標準偏差8の正規分布に従い、
\(z=\dfrac{x-120}{8}\) は、平均0標準偏差1の標準正規分布に従います。
1回の検査で X=132 ならば、z=1.5
これは偶然差の範囲です。
4回検査をするという確率変数 \(\bar{X}\) を考えると、
\(\bar{X}\)は、平均120標準偏差4の正規分布に従い、
\(z=\dfrac{x-120}{4}\) は、平均0標準偏差1の標準正規分布に従います。
4回の検査で \(\bar{X}=132\)ならば、z=3
これは有意差の範囲です。
[整理]
あなたがする検査は、確率変数です。
あなたが検査をするとき考えるべきことは次のことです。
どんな検定でも、この考え方に変わりはありません。 もし有意差の範囲まで行っていれば、なにかが起こっていると判断することになります。
なるほど統計学園(統計的推定と統計的仮説検定) を参照しながら読んでください。
駅前のハンバーガー店のフライドポテトを買うと「135g」と表示されています。
家へ持ち帰ってデジタルはかりで計測すると 120g でした。
花子さんは「135g」という表示に疑問を持ち、調査のためさらに9個、合計10個を買って重さを調べたところ
120g | 124g | 126g | 130g | 130g | 131g | 132g | 133g | 134g | 140g |
となりました。
「135g」という表示は適性と言えるか、統計的仮説検定を行ってみましょう。
帰無仮説:駅前のハンバーガー店のフライドポテトの重量は公表値の「135g」である。
確率変数はフライドポテトの重さXです。
Xの分散 \(\sigma^2\)
が分かっているかどうかで方法は変わります。
<Xの分散が分かっているとき>
\(\sigma^2=36\) とします。
平均 \(\mu=135\)
と仮説を立てているので
\(X\sim N(135,6^2)\)
10個のまとめ買いモードで得られる標本平均 \(\bar{X}=\dfrac{X_1+X_2+\cdots+X_{10}}{10}\)
は確率変数で
\(\bar{X}\sim
N\left(135,\dfrac{6^2}{10}\right)\)
今ボタンをまとめ買いモードで1回押しました。
袋に入って出てきたのが
{120g 124g 126g 130g 130g 131g 132g 133g 134g 140g}
レシートには \(\bar{X}=130\)
と記載されています。
この値は、どれだけ平均から離れているでしょうか?
離れすぎていれば、帰無仮説は疑わしいと考えるのが検定です。
Z値は、平均から標準偏差いくつぶん離れているかを表す数値で、
\(Z=\dfrac{130-135}{\frac{6}{\sqrt{10}}}=-2.64\)
平均から標準偏差2.64個分、左に離れていることになります。
両側検定では、左右に標準偏差2.64個以上離れる確率をP値と考えます。
(標準正規分布表はなるほど統計学園(統計的推定と統計的仮説検定)の下部にあります。)
標準正規分布表から検定統計量2.64に対応する値を確認すると(0.5-0.49585)=0.00415、
両側検定では2倍した値がP値となるので0.0083がP値となります。
この値は
0.05よりも小さいことから、起こり得ないことが起きたと考えます。
即ち、帰無仮説は疑わしいと考え、棄却します。
しかし、現実には母分散\(\sigma^2\)
が分かっていることはありません。
そこで考えられたのが 母分散を標本の不偏分散で代用する方法です。
<Xの分散が分かっていないとき>
まとめ買いモードの自販機から得られた
{120g 124g 126g 130g 130g 131g 132g 133g 134g 140g}
から計算した不偏分散は
\(s^2=\dfrac{1}{n-1}
\sum^{n}_{i=1}(x_{i}-\bar{x})^{2}= \dfrac{1}{10-1}\{ ( 120-135)^{2} + (
124-135)^{2}+ \cdots + ( 140-135)^{2} \}=31.33\)
不偏分散の平方根は、\(s=\sqrt{31.33}=5.59\)
これを母標準偏差\(\sigma\)の推定値として用います。
(10で割って計算する標本分散は小さめに出てしまうので、不偏分散が用いられます)
\(\bar{X}\sim
N\left(\mu,\dfrac{\sigma^2}{n}\right)\) なので、標本平均 \(\bar{X}\) の母分散は\(\dfrac{\sigma^2}{n}\) 母標準偏差は
\(\dfrac{\sigma}{\sqrt{n}}\)
\(Z=\dfrac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}}\sim
N(0,1)\) 標準正規分布に従います。
現実には \(\sigma\)
は分からないので、標本の不偏分散から計算した \(s\) で代用したとき、
\(t=\dfrac{\bar{X}-\mu}{\frac{s}{\sqrt{n}}}\) は標準正規分布に似た分布に従います。
これをt分布といいます。 \(\frac{s}{\sqrt{n}}\) は、\(\bar{X}\)
の標準偏差の推定値で、標準誤差といいます。
t分布と標準誤差
X の標準偏差は \(\sigma\) 、\(\bar{X}\) の標準偏差は \(\frac{\sigma}{\sqrt{n}}\)
不偏分散で代用した\(\bar{X}\)
の標準偏差
\(SE=\dfrac{s }{\sqrt{n}}=\dfrac{\sqrt{
\dfrac{1}{n-1} \sum^{n}_{i=1}(x_{i}-\bar{x})^{2}} }{\sqrt{n}}\)
標準誤差(standard error)
標準誤差は\(\bar{X}\)
の標準偏差の推定値ということになります。
標準誤差は不偏分散で代用した標本平均\(\bar{X}\) の標準偏差であり、
標準誤差で標準化するとt値になり、その分布がt分布です。
n個の標本から求めた不偏分散は、(n-1)で割っているので自由度は(n-1)です。
(自由度については別の機会に説明します)
t値は自由度の影響を受け、自由度によって山型グラフの広がりかたが変わります。
t分布についても数表が用意されており、有意水準に対する境界値を調べることができます。
フライドポテトの例では、
\(t=\dfrac{130-135}{\frac{5.59}{\sqrt{10}}}=-2.82\)
t分布表の自由度9の有意水準0.025の境界は2.262 であり、-2.82
は境界値より離れているので、
両側検定のP値は 0.05 より小さくなります。
よって、「フライドポテトの重さは135g」は棄却されます。
(t分布とt検定については「情報Ⅰ」問題解決の章で発展的な内容として取り上げられています。)
次に、r での検定の結果を示します。 標準誤差 SE は rでも計算でき、1.77 です。
library(plotrix) #計算のためのパッケージ
x <- c(120,124,126,130,130,131,132,133,134,140)
std.error(x) #標準誤差
## [1] 1.770122
平均が135かどうかのt検定は次のコードで実行されます。
x <- c(120,124,126,130,130,131,132,133,134,140)
t.test(x, mu=135)
##
## One Sample t-test
##
## data: x
## t = -2.8247, df = 9, p-value = 0.01989
## alternative hypothesis: true mean is not equal to 135
## 95 percent confidence interval:
## 125.9957 134.0043
## sample estimates:
## mean of x
## 130
[結果の見方]
one sampleは、{120g 124g 126g 130g 130g 131g 132g 133g 134g
140g}
このサンプルの平均は130ですが、それをもとに「母集団平均が135と異なる」かどうか検定します。
仮説として「母集団平均が135のままである」とします。(帰無仮説)
本当に言いたいことは、 alternative hypothesis: true mean is not
equal to 135(135と異なること)です。
まとめ買い自販機からの one sampleの平均130
は確率的に起こりうるものでしょうか?
one
sampleの平均130が、135から標準偏差いくつ分離れているかで判断します。
\(\bar{X}\)
の標準偏差は母標準偏差\(\sigma\)が既知ならば \(\frac{\sigma}{\sqrt{10}}\)ですが、分からないので標準誤差\(SE\)で代用します。
one sampleの平均が135から標準誤差\(SE\)いくつ分離れているか計算した値がt値です。
t =
-2.8247より、標準誤差2.8247個分、左に離れており、それ以上離れる確率は両側で
p-value = 0.01989です。
t分布の自由度9の段を見ると、右側0.025の有意点は 2.262 、即ち、SE
2.262個以上右に離れる確率は 0.025
平均から右にSE 2.262個の点を計算すると、\(130+2.262*SE=130+2.262*1.77\fallingdotseq134\)
平均から左にSE 2.262個の点を計算すると、\(130-2.262*SE=130-2.262*1.77\fallingdotseq126\)
95 percent confidence interval:(126 ,
134)(区間推定と言います)
点推定値は、sample estimates: mean of x = 130
どうでしょうか。
計算はパソコンがやってくれますが、結果の解釈は簡単ではありません。
特に、標準誤差は難しい概念なので、練習を通してじっくり学んでください。
東北大学
池田郁男先生の資料を参考に上げておきます。
今は難しくても、将来きっと役に立つことと思います。
標準正規分布とt分布は、どのくらい違うのでしょうか?
par(family = "HiraKakuProN-W3")
curve(dnorm(x, 0, 1),xlim=c(-5, 5),ylim=c(0, 0.4), col=2,xaxp=c(-6,7,13))
curve(dt(x, 9),xlim=c(-5, 5),col=3, add=T)
legend( "topleft",legend=c("標準正規分布","t分布"), col=c("red","green"),lty=c(1,1))
t分布の方が少し広がった分布であることが分かります。
棄却域(有意差の範囲)はどうでしょうか。
自由度9のt分布の両側5%棄却域
#グラフ
xseq <- seq(-5, 5,length=100)
plot(xseq, dt(xseq, 9),type="l")
p <- seq(-5, -2.262, length=100)
y <- dt(p, 9)
polygon(c(p,rev(p)), c(rep(0,length(p)), rev(y)), col="skyblue")
p <- seq(2.262, 5, length=100)
y <- dt(p, 9)
polygon(c(p,rev(p)), c(rep(0,length(p)), rev(y)), col="skyblue")
境界点は 2.26 です。
標準正規分布の両側 5% 棄却域
#グラフ
xseq <- seq(-5, 5,length=100)
plot(xseq, dnorm(xseq, 0, 1),type="l")
p <- seq(-5, -1.96, length=100)
y <- dnorm(p, 0, 1)
polygon(c(p,rev(p)), c(rep(0,length(p)), rev(y)), col="skyblue")
p <- seq(1.96, 5, length=100)
y <- dnorm(p, 0, 1)
polygon(c(p,rev(p)), c(rep(0,length(p)), rev(y)), col="skyblue")
境界点は 1.96 です。
さて、推測統計の考え方の説明は、これくらいにしましょう。
テキスト
では、
ベイズ推定、テキストマイニング、APIの活用と進みますが、ここでは割愛します。
第2講「多変量データの扱い」へ進みましょう。