ラベル 統計学 の投稿を表示しています。 すべての投稿を表示
ラベル 統計学 の投稿を表示しています。 すべての投稿を表示

2020年9月26日土曜日

SARIMA

東アジア積米国揚コンテナ荷動き予測におけるSARIMAモデルの適用性

http://www.ide.titech.ac.jp/~hanaoka/finalversion-of-conference.pdf

3.データの定常性
ADF検定
原系列に加えて差分系列を用いた理由は、原系列が非定常である場合、差分系列をとることによりデータが定常になることが多い(9)ため

原系列 単位根は存在しなかった。差分系列の場合は、t値が-9.368と99%有意水準でも帰無仮説が棄却されない。これにより、差分系列の定常性が確認された。以上の結果を踏まえ、差分系列を用いてSARIMAモデルを開発し、その適用性を検証する

4.モデル
4-1モデル概要

自己回帰項の次数(p)は、自身(荷動き量)の過去の値について、どこまで遡って説明変数として用いるかを示している。例えば、pが2であれば1期及び2期前の荷動き量をモデルの説明変数として考慮することになる

階差の次数(d)については、分析に利用する時系列データが定常性を有するまでに必要となった階差数を示す。本研究では、3.で述べたように、一階の差分系列が定常性を有しているため、dは1となる。

なお、原系列が定常性を有している場合は、dは0となる。

移動平均項の次数(q)については、自身の過去の値の誤差について、どこまで遡って説明変数として用いるかを示している

なお、本研究では月次データを用いているため、季節変動の期間(s)は12である可能性が高い(10)。このとき、季節自己回帰項の次数、季節階差の次数、季節移動平均項の次数はそれぞれP、D、Q、に入る数値の12倍前の値が説明変数として用いられる。例えばPが2であれば、12期及び24期前の荷動き量を説明変数として考慮する。

4-2モデルのパラメータ特定
コレログラム

図3に差分系列の自己相関係数、図4に同偏自己相関係数

破線内の領域は、標本の自己相関がゼロであるという検定の95%棄却域である。領域の外側に(偏)自己相関係数がある場合は、(偏)自己相関が少なくとも有意水準95%で存在する。図3を参照すると、12次、24次、36次において特に強い自己相関を有していることが分かる。これは1年周期の季節性が存在していることを示唆しているため、季節階差sは12とするのが適切と考えられる。そこで、本研究では、季節階差sは12とする。また、前節の単位根検定によって、1階の差分系列が定常性を有していることが分かった。そのため、d及びDは1とする。

次に、p、q、P、Qの特定について検討する。図3及び図4を参照すると、自己相関と偏自己相関ともに3期ラグの相関が比較的高く、4期ラグで初めて自己相関係数、偏自己相関係数ともに95%水準で棄却される。

SARIMAモデルでは、「おそらく原系列の」
(偏)自己相関係数のコレログラムを参照するだけではラグ数を決定できない

しかし、図3、4の「階差系列の」コレログラムを参照することにより、0≦p, q, P, Q≦3としてパラメータの目安を立てることができる(9)。p, q, P, Qについて、0~3を各変数に当てはめ

最尤法で推定し、AICが最小となるモデルを同定

5.モデルの診断
5-1残差の定常性

同定された「SARIMA」モデルが適切であれば、残差は定常性を持ち、(偏)自己相関を持たないことが分かっている

同定されたモデルの残差の自己相関係数及び偏自己相関係数のコレログラムを示す。破線の内側の領域は自己相関の値がゼロであるという検定の95%棄却域を示している。つまり、(偏)自己相関係数が破線の内側に留まっていれば、モデルは適切であると判断される。両図より、(偏)自己相関係数は破線の内側にあり、同定されたモデルによる残差が(偏)自己相関を有さないことが確認できる 以上より、残差の定常性という点からモデルの妥当性を確認できた

5-2実績値と再現値の比較

(9)沖本竜義:経済・ファイナンスデータの計量時系列分析、朝倉書店、2010
(10)山澤成康:実践計量経済学入門、日本評論社、2004






時系列解析入門
https://www.ai.u-hyogo.ac.jp/~arima/arima.pdf

定常時系列の解析に使われるARMAモデル・SARIMAモデルとは?
https://ai-trend.jp/basic-study/time-series-analysis/sarima_model/

SARIMAモデルでは合計7個の次数があります。 時系列方向のARIMA( p,d,q )に加え季節差分方向のARIMA( P,D,Q )、さらには周期 s があるためです。 これをSARIMA( p,d,q )( P,D,Q )[ s ]と表記することがあります。 それぞれの次数に対し0か1を考えるとしても、 27=128 通りのモデルを考えなければなりません。 このような組み合わせ爆発の問題を回避するため、周期 s は作図や自己相関関数をもとに決め打ちし、季節差分の P,D,Qは低く抑えることがよく行われます。

残差に関する4つのプロットを見ることができます。 左上から順に、標準化した残差の時系列プロット、残差のヒストグラムと正規分布(とKDE分布)の密度関数、残差の正規QQプロット、残差の自己相関関数です。 残差の自己相関は低くまとまっており、ほぼ問題ないと言えるでしょう。



心理統計法at放送大学

豊田秀樹 2017

第3回

MCMC法
事後分布に従うパラメータを乱数として発生させ、パラメータを確率分布として表す

HMC法 ハミルトニアンモンテカルロ法
物理学分野の力学的エネルギーの原理を応用したMCMC法の一つの方法

生成
HMC法は、同時事後分布に従う乱数を、蛇口から水が流れるように継続的に生成する

捨てる区間 burn in
乱数の数 chain

点推定量
 事後期待値 EAP
 事後中央値 MED
 事後確率最大値 MAP
  事後分布が正規分布だったら平均値と同じだし、EAP=MED=MAP
  一様分布だったら最尤値と同じ=標本平均と同じ

 点推定値の精度
  事後分布の散布度(分散や標準偏差)の小ささ=点推定値の精度


第?回

検定力分析
 適切な検定ができるようにサンプルサイズを決める
  大きすぎず小さすぎずに
  でもそれって順番逆じゃね?
  サンプルサイズは実験者が主体的に決めることだべ


第10回

有意性検定は結果がシンプルでいい
ブラックボックスでもいい
統計熟知してない人には特にそう思われやすい
有意水準を絶対的なものとして捉えちゃうので

でも本当は同じ5%でも、
サンプル数が多くてp<0.05になった場合(第一種の過誤が起きてる)もあれば、
サンプル数が小さくてp>0.05になった場合(第二種の過誤が起きてる)場合もあるのに、絶対唯一視されてしまうという危険性がある

サンプル数が多くて無意味な場合
サンプル数が少なくて意味のある差を検出できない場合


差がある確率は80%といわれると解釈は人によって分かれる
 書いた人が差があると思っても査読者はそう思わないかもしれない

 だが判断を各自が自在にできるのがベイズ推定のよきところともいえる
 サンプルサイズで結果の意味が変わることはない


ABテストの結果、AがBを上回る確率は60%でした、と報告する
BをAに切り替えるのにほぼコストがかからないのであれば、Aに切り替えようという判断がしやすい

一方、AB間に差があるとはいえない、と報告する
BをAに切り替えるのにほぼコストがかからないとはいえ、どっちつかずの報告ではAに切り替える判断はしにくい
その結果、Aに切り替えていれば60%の確率で売上が増えたかもしれない未来を捨てている、機会損失が起きている
でもそのこと自体に気づかないままに時は過ぎていく、これが怖い


第11回

オッズ比 odds = p / (1-p)

チームAがBに勝つ確率が0.2と予想されている場合は
0.2 / (1-0.2) = 1/4となる
Aが勝つと予想している人が、Bが勝つと予想している人の1/4である

オッズ比=賭けに勝った人の払い戻し倍率の逆数ともいえる
Aに1,000円賭けてAが勝った時は、外れた人の掛け金をみんなもらい
元金+4000円をもらえる


2項分布の掛け合わせ(2x2のクロス数表、男女別のブランド認知率)
 男女間にブランド認知に差はあるか?などを調べる場合は
 リスク差、リスク比、オッズ比をみる
  有意性検定のカイ二乗検定と同じ


第13回

単回帰分析における回帰直線は、目的変数と説明変数のおおまかな関係を示してくれて便利
だが説明変数では説明しきれない目的変数の特徴を考察することも大事、そのためには残差プロット

ある2つの観測データにおいて、説明変数の値は同程度なのに、残差に大きな違いがあったりする、その違いが何かはわからない
でもその違いはなぜかを考えることにより新たな別の説明変数を着想するきっかけになる

残差プロットは新しい研究視点を与えてくれることもあり、観測対象に対する有用な知見を示してくれる

2020年6月14日日曜日

渡辺澄夫

渡辺澄夫
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/index-j.html

データ解析
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/da2019.html

特異モデルにおけるベイズ検定と変化点発見への応用
http://watanabe-www.math.dis.titech.ac.jp/users/fujiwara/doc/fujiwara_ibis2006.ppt.pdf

2018年6月24日日曜日

頻度流とベイズ流

ラプラスの悪魔
自然現象は「現在の位置と状態, そして現象の法則さえ分かれば未来も完璧に予測できる」と考えられていた。 だがしかし、未来を予測するのに必要な情報が足りないときに, 人間は何らかの信念に基づいて予測するしかない。

この主観的な信念を数値化したもの→主観確率

サイコロを振って5の目が出る確率→6分の1(どの目が出るかの条件は1〜6いずれも等しいだろうという信念が前提にある)

信念じゃないものに頼るなら、とりあえず振ってみる、何度も振ってみる。5の目が出た頻度を数え上げる。
過去の実績に基づいてるのが信念よりも確からしそうだし、誰の目から見ても変わらない実績なので信念よりもあてになりそう
→頻度流(頻度に基づいて確率を定義する)

 頻度流統計では最もな尤度のみを用いる→最尤法
 ベイズ流では事前分布+尤度

ただしこの考え方だと試行回数、すなわちサンプルサイズにいろいろ依存することになる。

サンプルサイズをあまり意識しないでよい。
事前確率はひとまず2分の1とでもおく。試行をちょっとずつ観察しながら5の目の出るもっともらしさ(尤度)の情報を得ながら事後確率を計算(更新)していく
→ベイズ流(主観確率に基づいて確率を定義する)


最尤法ではモデルが複雑な場合や、サンプルサイズよりも説明変数が多い場合などに無理があり、対応できない(サンプルサイズよりも説明変数が多いと最小二乗法、最尤法の計算が原理的に不可能になる)。

モデルが複雑になるとデータの最小単位がわかりにくい、サンプルサイズをカウントしづらい、解釈が難しい

厳密な実験計画が前提になっており、ベイズ更新、カルマンフィルタ(センサーなどから得られる情報をもとに機械の状態を把握し, リアルタイムで機械の動きを修正していくという工学の方法論で, 代表例としては人工衛星の軌道制御に応用される)のような後から追加情報が入ってくることを頻度流は想定してない

→頻度流の限界


反対に、ベイズ流の弱み

モデルが複雑で再現性が低い

事前分布をどう設定するかが初学者には難しい
(MCMCのようにたくさん事後確率を発生させるなら事前分布の有意味性が薄れる場合には問題視されにくい)



[教材] 今更だが, ベイズ統計とは何なのか.
http://ill-identified.hatenablog.com/entry/2017/03/17/025625

頻度論 vs. ベイズ統計(後半)
https://healthpolicyhealthecon.com/2015/12/28/bayesian-2/

コインで理解するベータ分布
http://r-tips.hatenablog.com/entry/beta-distribution

ベータ分布の確率密度、下側累積確率、上側累積確率のグラフを表示します。
https://keisan.casio.jp/exec/system/1161228837


600世帯での過去平均視聴率15%→見た人90人、見なかった人510人
(90,510)
この情報は、事前分布(1,1)+(89,509)の事後分布だったと考えることもできる

事前分布(1,1)にそれぞれ足して(91,511)で計算する

ベータ分布Beta(a, b)は「(a-1)回成功、(b-1)回失敗という情報が与えられたときの、二項分布のパラメータpの事後分布」と説明することができます(ただしa,bが非負整数のときのみ)。

ベイズ統計学とベータ分布 
http://www.creativ.xyz/beta-distribution-345



2017年1月22日日曜日

ベイズ的推測の例

(少し勘違いが混じってるかもしれない)

ある企業が、売上向上を目的に製品カタログの見直しを検討
従来カタログでの購入金額平均は2,500円
新カタログをとりあえず20人に試したもらったところ平均2,900円だった
さて、カタログは切り替えた方がよい?
(それとも20人の平均額はたまたま高かっただけとも考えられるから切り替える必然性は薄い?)

従来型の統計学だと
現カタログと新カタログの購入額平均に差はない、という帰無仮説を
平均値の検定(t検定)で検証する
t=2.52 p=.02にて帰無仮説が棄却されれば、新カタログがよさそう、とはなるが「平均に差はない、とはいえない」を検定しただけであって、切り替えた方がよいかどうかを直接的に検証してるわけではない点がもどかしい

これがベイズ的アプローチになると
新カタログの平均2,900円が現カタログ2,500円に比べて高い確率は98.7%と出力される

95%信頼区間:2,572円〜3,281円(幅709円)と言ってるか
95%確信区間:2,560円〜3,279円(幅719円)と言ってるかの違い、つまり数値情報としてほぼ同じなのだが、ベイズ的な結果出力の方が、すっとわかりやすい。

信頼区間は、今回のデータによって、一定の危険率で棄却されない母数値の範囲であり、公式によって(場合によってモンテカルロ法で)計算可能

確信区間は、(事前の主観確率を一様分布等とした時に)母数が一定の確率で入る範囲であり、モンテカルロ法によって(場合によって公式で)計算可能

どちらが正しいかではなく、どちらが便利か、どちらを選択するかである


分布の種類

サイコロを投げると、1,2,3,4,5,6のいずれかの目がオモテになる。
1、または1以外と考えると、試行結果は2通りになる。

※試行:サイコロ投げのように同じ条件で何度も繰り返す事ができ、その結果が偶然により決まる実験・観測のこと
※ベルヌーイ試行:試行結果が2種類しかない試行


●二項分布の例:
サイコロを10回振るとき、1の目が出る回数の分布
(互いに独立した)ベルヌーイ試行を n 回行ったときにある事象が何回起こるかの確率分布のこと
Binomial Distribution

ある確率変数 X が二項分布 B(n, p)に従う場合、『X ~ B(n, p)』

二項分布 B(n, p)に従う確率変数 X の平均は np、分散は np(1-p)で表される

np(1-p) が十分大きいと正規分布に近似
近似基準としては
min{np,n(1-p)}>10
0.1≦p≦0.9かつnp(1-p)>5
np(1-p)>25
の3通り存在
出典:統計分布ハンドブック http://amzn.to/2iYIHgk

nが大きくpが小さいとポアソン分布に近似



●幾何分布の例:
サイコロを続けて振るとき、最初に1の目が出るまでに振った回数の分布
各項を並べると、幾何級数(等比級数)になるので、この名があります。


●ポアソン分布の例:
1億回に1回しか当たらないクジを3億回引いたときのアタリの回数の分布
二項分布の特殊な場合(数学用語では「極限」)です。1の目が非常に出にくいサイコロを作り、それを多数回実行したのと同じです。

単位時間内に観測された個数、回数、人数などの計測データが従う。
加えて、データが以下の3つの性質を持つ。
・同じタイミングで2回以上生起しないということ(稀少性)
・事象の生起は、それ以前の事象の生起に依存しないということ(独立性)
・単位時間内の事象の生起確率は常に一定(定常性)


●対数正規分布の例:
最頻値<中央値<平均値
右側の裾が重い、正に歪んだ分布、預金額や収入の分布など

正規分布に従う確率変数が負の値をとりうるのに対して、対数正規分布に従う確率変数は正の値のみとる


●指数分布:
ある事象が生起するまでの間隔を連続確率変数Xであらわしたときに、その確率変数Xが従う確率分布を指数分布 (exponential distribution) という。

幾何分布が離散的な待ち時間分布であるのに対し、指数分布は連続的な待ち時間分布である。

事故の発生間隔、電球の寿命、下水管の耐用年数、銀行窓口への来客間隔等、日常生活における様々な事象のモデル化に利用することができる。パラメーターは単位時間中における事象の平均生起回数λであり、指数分布は Ex(λ) にて略記される。指数分布の形状は唯一のパラメーターλによって決定される。


●ガンマ分布 
連続確率分布のひとつであり、指数分布を一般化した分布(gamma distribution) 

指数分布をある事象が起きるまでの待ち時間分布として考えるなら、ガンマ分布は、その発生率が 1/β で与えられる事象が複数回 (α回) 起きるまでの待ち時間分布と考えることができる

ガンマ分布は,期間 μごとに1回くらい起こるランダムな事象が n回起こるまでの時間の分布

例えば「10年に一度の割合でランダムに起こるイベントが3回起こるまでに何年かかるか」という問題には「期待値は30年。確率分布としてはパラメータが μ=10、n=3のガンマ分布が対応」と答えることができます。

ガンマ分布は正規分布の精度(分散の逆数)の共役事前分布です。

平均3個/年でガラスのコップを割ってしまうジロー君,コップ1ダース1セットを箱買いした。はたして,ジロー君が1箱すべてのコップを割ってしまうまでにかかる時間(年)はどのような分布になるであろうか。ただし,同時に2個以上のコップを使うことはせず,一つのコップが割れるごとに新しいコップを箱から取り出してきて使うこととする。


http://atarimae.biz/archives/7922

http://www.f-denshi.com/000TokiwaJPN/17kakto/110prob.html



2015年12月26日土曜日

デジタル情報と符合の理論

放送大学

第3回 確率論の基礎
確率変数 試行の結果によって、値が確率的に決まる変数
確率分布 確率変数と確率の対応関係
確率分布関数 離散的な値をとる確率変数xに対する確率を与える関数f(x)
サイコロを1回投げるときの出る目x、このxがとる値は確率的に決まる、
なのでxは確率変数といえる
サイコロを1回投げる試行における出る目の確率はどの目も6分の1なので
この確率分布は一様分布
サイコロを2回投げるときの出る目の和xの場合は、2や12は少なくて、7がもっとも多い、なのでこの確率分布は三角分布

確率分布関数 離散的な値をとる確率変数xに対する確率を与える関数f(x)
確率密度関数 連続的な値をとる確率変数xに対する確率を与える関数f(x)
 確率変数がある値をとる確率を導く

二項分布
1回の試行で事象Aの起こる確率がp
この試行をn回繰り返す
このときの、事象Aが起こる回数x
例)サイコロを10回投げて1の目が出る回数x
p=1/6 n=10
x=3(1の目が3回出る)の確率 0.155
x=0の確率は0.162
もっとも確率が高いのはx=1(0.323)次いでx=2(0.291)
x>=6となる確率はほぼない
二項分布の平均値μ=np 分散σ^2=np(1-p)
二項分布B(10,1/6)の平均値μ=5/3 分散σ^2=25/18

二項分布B(n,p)は、nの値が大きいとき、正規分布N(np,np(1-p))で近似可能


第4回 情報量
informationの語源
inform = in(思考・精神に) + form(形を与える)

情報 もともとは軍事用語で「敵と敵国に関する知識」という意味
informationの訳語として定着したのは1950年代後半から学術語として定着

対数 指数関数y=a^xのxとyを交換する、すなわち一次関数y=axの線対称
x=a^y つまりy=logax

第5回 エントロピー
エントロピー 得られる情報量の期待値
不確定さ・あいまいさの指標

第6回 ベイズの定理
理由不十分の原則
情報が与えられていなければ、確率は同等、とみなす

ベイズ更新 1回目の事後確率を、2回目の計算の新たな事前確率として利用する

第7回 通信のモデル
通信路容量 伝送情報量の最大値(誤りビットも含む)をとる、つまり通信路の情報伝送能力のこと
伝送情報量 1記号あたりの平均情報量 ビット/記号
伝送情報速度 単位時間あたりの伝送情報量 ビット/秒

第8回 情報の圧縮
第9回 線形符合
第10回 巡回符合と畳み込み符合
第11回 テキストの符合化
第12回 音の符合化
第13回 画像の符合化
第14回 動画の符合化
第15回 数列の利用








2015年7月25日土曜日

統計のウソを見破る5つのカギ

誰がそう言っているのか?統計の出所に注意
どういう方法でわかったのか?調査方法に注意
足りないデータはないか?隠されている資料に注意
言っていることが違ってやしないか?問題のすりかえに注意
意味があるか?どこかおかしくないか?
「統計でウソをつく方法」 ダレフ・ハフ 高木秀玄 講談社ブルーバックス



雑誌ニュートン

ハンス・ロスリング
数字がなければ世界は理解できない。でも数字だけでは世界は理解できない。数字や尺度、そして文化や宗教に基づく物の見方の両方が必要

大規模な調査から得られるわずかな差よりも、規模の小さい調査で発見された大きな差が重要

統計は説明の技術です。統計を使わずに世の中は理解できない
限られた情報から複雑な社会で何が起きているのかをわかりやすく示し、これから何が起きるのかを確率的に推計する数学、それが統計

回答のランダム化
正直に回答しにくい設問の場合
出たコインが表だった人ははいと答えてください。出たコインが裏だった人は未成年飲酒をしたことがありますか?という質問にはいかいいえで答えてください。
はい、の回答者がコインが表だからはいと答えたのか、それともしたことあるからはいと答えたのかは質問者からは区別がつかない。このことを理解している回答者は、未成年飲酒をしたことがある場合に、正直にはいと答えやすくなると「期待できる」
100人中70人がはいと答えたら、全体100人の半数の50人はコインが表ではいと答えたと推測できる。なので70-50=20がはいと答えた人、残った30人はいいえ、よって40%が未成年飲酒をしたのだろうと推定

(2015年5月メモ)

2015年4月20日月曜日

医学的根拠とは何か

津田敏秀「医学的根拠とは何か」

直感派(経験派と言い換えるとこれまた印象が変わる)
メカニズム派
数量化派

直感派:医師としての個人的な経験を重んじる
メカニズム派:生物学的研究の結果を重視する
数量化派:統計学の方法論を用いて、人間のデータを定量的に分析した結果を重視する。


メカニズム派
相関や因果関係は研究や経験からわかっているが、
「なぜ」そうなるかの理由・背景はよくわかんなかったり、
検定して有意差が出てるわけじゃない、検定してない、検定するほどのサンプルが集まってない
検定とかどうでもいいと思っている

数量化派
理由・背景とか知らんけど、研究やデータ、解析結果がこうでてるんだから、っていうのが
メカニズム派との違いかな。


ビッグデータの正体の、検索数のトレンドと疾患発生予測的な話。
どうつながって何故そうなるかまで解明してないで、ってやつ
因果関係からの脱却、相関がわかった時点でアクションしろってこと


でもこれでいくと、メカニズム派も数量化派も理由はわかってない、あるいは重視してない
ってことだね

経験派は自分で勝手に納得して、勝手に理由付けしてるってことか。

その理由を追求すべしと思ってるのがメカニズム派や旧来型の数量化派で
新進の数量化派は理由を追及する時間があるならアクションしろ、どうせ未来はすぐ変わるから
ってことかねえ。

「統計学的な有意差がない」ということと、「影響がない(放射線被ばくによるがんが発症しない)」ということは、まったく違う

(2014年1月メモ)

身近な統計at放送大学

■身近な統計第1回4/30
ナイチンゲール鶏のとさかグラフ
クリミア戦争従軍兵士の原因別死亡データのデータを集計して死亡率を計算、
グラフを考案、戦争ではなく、病院の不衛生さで死亡している兵士が多いことを実証、データによる説得、陸軍の衛生・保健医療改革

神の御心を知るには統計学を学ばなければならない
=目の前のことだけでなく,全体を知る必要がある

PPDACサイクル
problem 対策をとるべき問題の発見
plan 現状を測るためのデータ収集と分析計画
data 資料やデータの収集、記録、整理
analysis データの分析
conclusion&improve 結論のとりまとめと施策の提言
control&check 施策の実施管理と効果の評価

論より数字 勘より統計
統計の日10/18

international statistical literacy project
数字に関する知識・活用力普及の世界的取り組み
リテラシー(読み書きの基礎能力)から、数理リテラシー、統計リテラシーへ

統計数字(意味を持っている、単位のある数字)の知識と活用能力の育成
統計思考力
21世紀型ワークスタイル
身の回りの課題を統計的な問題に設定する能力
関連する資料、データ、情報の迅速な収集能力
データの分析能力
結果の効果的な情報発信能力

問題解決、知識発見型の総合情報処理能力
モノからカネ、サービスの計量分析的管理


統計=統べて計る
集団の大量観察
国や社会の姿を映し出す鏡 現在の状況の計測
進むべき方向を示す羅針盤 将来の到達点の予測
経済や社会の内部構造に迫り、そのメカニズムを解明する内視鏡 目標値への制御

statistics←state国家、語源は同じ
自然現象、モノの生産管理、輸送、収益管理、人的資源管理、経営、リスク管理など

データとは?客観的事実
データに基づく管理
KKD(勘経験度胸)からFACT CONTROLへ

情報とは?個人や組織の意思決定に役立つ
エビデンスに基づく
EBM,EBP,EBPD..
説明責任 evidence-based society

統計分析の考え方
データの見方
データの形式
データ分析の視点
全体のバラツキ(分布)の見方
 並べ替え、パレート(ABC)分析、ヒストグラムと箱ヒゲ図、基本統計の意味
関連性を測る
 散布図、相関係数、傾向線(回帰直線)、クロス集計表
時系列データの見方
統計的推測のロジック(推定・検定)


身近な統計第6回
変動係数 coefficient of variation

平均値が大きく違って、標準偏差が同じものを比較する
どちらがデータが偏ってるか?

実質的なデータのバラツキの大きさを評価する指標
相対標準偏差

CV=s/x(標準偏差÷平均) %表示
単位はない、測定単位が違うものを比較するのにも使える

単峰じゃないとか、歪んだ分布の時には変動係数は向いてないので
四分位分散係数を使う

四分位分散係数=四分位偏差÷中央値
四分位偏差=四分位範囲÷2
四分位範囲は第1四分位(25%点)~第3四分位(75%点)

両側の外れ値に引っ張られない範囲内でのデータのばらつきを見る

ローレンツ曲線 lorenz curve
分配の格差を示す、下に凸な弓形のグラフ

横軸に構成要素の度数の累積比率、縦軸に分配数量の累積比率をとる、
均等分配線に対して、ローレンツ曲線は下側に弓なりになる
格差最大の分配線と均等分配線の間をとる

それを計量化したものがジニ係数 gini's coefficient
格差の程度を数値で測る指標
(均等分配)0<=ジニ曲線<=1(格差最大)
均等分配線とローレンツ曲線の中の面積の2倍


身近な統計第7回
さまざまな確率
経験的確率
頻度に基づく確率で、数多くの繰り返しをおこなった場合の割合として求められる確率

数学的確率
場合の数による組み合わせ理論で導かれる確率

主観的確率
それぞれの人が考える主観的な信念あるいは信頼の度合いとして表される確率

確率変数
変数の取り得る値、または値の範囲に、それが生起する確率が確率分布として規定されている変数

確率分布
確率変数の取り得る値や値の区間に対して、それが生起する確率を示す関数

確率変数、公平なサイコロを振って出る目の数
確率分布 生起確率はどの目も1/6

離散型確率変数
離散的な値しか取らない確率変数
離散的な値について、その値を取る確率を考える

連続型確率変数
連続的な値を取る確率変数
値の種類が無限個あるので、値ごとに確率は考えない
値の起こりやすさは評価できる、確率密度を使用
値の区間に対して、確率を考える


身近な統計第8回
正規分布の下側確率を出す
normdist(x,μ,σ,1)

正規分布の%点を出すには
norminv(下側確率p,μ,σ)
下側確率がちょうどpとなるデータの値を返す

でも世の中には正規分布じゃないものも多々ある
そこで、歪んだ分布を変化することで正規分布モデルが利用できる

正規分布のデータを指数変換するとロングテール(右に歪んだ)な分布になる
指数変換y=e^x

逆は対数変換
x=logey
ロングテール分布のを対数変換すると正規分布にできる
どんな歪み方であれ、底eをいろいろ操作することで対象な分布にできる

↑こういうことができるから、正規分布がよく使われるアンド
中心極限定理
平均μ標準偏差σの同じ分布に従うn個の互いに独立な確率変数の合計や平均の分布は、nが大きければ、正規分布になる



身近な統計第10回
標準誤差standard error S.E.
標本分布の標準偏差
推定値の精度を評価する尺度
標準誤差が小さいほど、推定値が真値に近いことが確率的に期待できる

標準誤差もσの法則があてはまる
1.64の間にSEが入る確率90%の面積
1.96の間にSEが入る確率95%の面積
2.58の間にSEが入る確率99%の面積

標本誤差sampling error
推定値と真の値(母数)との差
信頼度を上げれば標本誤差は大きくなり、
信頼度を下げれば標本誤差は小さくなる



身近な統計第11回
統計的推測
標本から母集団に関する推測

統計的推定estimation
母集団の平均や比率を標本データから推定する
(推定誤差をコントロール)
→標準誤差、信頼区間

統計的仮説検定tests of significance
母集団の平均や比率に関する仮説を標本データから判断する
(判断ミスの確率をコントロール)
→有意水準(危険率)


2種類の過誤確率
第1種の過誤確率α あわてんぼうの誤り
帰無仮説が正しい時に、帰無仮説を棄却する過ちを犯す確率
ルールとして事前にコントロール(有意水準)

第2種の過誤確率β ぼんやりの誤り
帰無仮説が正しくない時に、帰無仮説を棄却しない過ちを犯す確率

2種類の過誤と有意水準
過誤の可能性(確率)は小さい方が望ましい
2種類の過誤確率を同時に小さくすることは不可能
(αを小さくすればβが大きくなる)
 過誤確率を一定水準まで認める立場を取る
  第1種の過誤の確率αを一定水準に設定する



身近な統計第12回
特化係数=部分集団の割合÷全体集団の割合
1に近い値:全体傾向と同じ
1から離れた値:行と列の組み合わせによる固有の効果



身近な統計第14回
時系列データの構成要素
傾向変動trend component トレンドT
循環変動cyclical component サイクルC
季節変動seasonal component シーズンS
不規則変動irregular component ノイズI

T,C,S,I系列 原系列:O

原系列データoriginal
加法モデルO=T+C+S+I
乗法モデルO=T*C*S*I

季節調整のための移動平均
季節パターンの周期と同じ項数の移動平均を取る
月別データ 12項移動平均
四半期別データ 4項移動平均
日別データ(週パターン) 7項移動平均

移動平均による季節調整
四半期ごとの入場者数を集計 原系列データO=T*C*S*I 
中心化移動平均系列を算出(SとIを平均で消している) T*C
四半期それぞれの特徴が出てくる(原系列/中心化移動平均)×100 S*I
四半期それぞれの平均を算出 平均S
四半期の合計が100になるように数値調節 季節指数S

季節調整済み系列=原系列/季節指数×100 T*C*I

見たいものを見やすくするために余分な情報を削る、それが季節調整



身近な統計第15回
統計学statistics
データを扱う科学
不確実性の数理、発見科学
社会や経済および自然界の状況や法則を表す数値データ
データの作成と分析、情報の読み取り方(方法)の総称

統計的思考力
不確実性をともなう諸現象を過去のデータのバラツキでとらえ、分布として記述し、解釈する力
分布に基づいた推測方式の概念を理解し、諸種の文脈(コンテキスト)のもとで実践的に応用する力
データの収集、データの記述、データに基づく推測という問題解決のプロセスを習得し、推測と具体的なアクションにつなげる力

統計学の重要な8つの概念
記述統計
データ 必要性とその特性
分布 バラツキの記述
基本統計量 分布の特徴の計量化

推測統計
モデル 確率分布モデル
標本とサンプリング 標本調査の仕組み
推測 標本誤差と仮説検定のロジック

連関・相関分析
関連性 変数間の関連性の分析

時系列分析
傾向 時系列データのパターンの把握

データdata
必要性とその特質
データ(統計)=客観的事実
情報公開時代、エビデンスに基づく意思決定

賢い統計情報の消費者
行政施策を正しく理解する責任ある市民
ビジネスにおける合理的な意思決定
 測る、予測する、制御する


統計的(科学的)問題解決の枠組み
data-based problem solving

課題(issue)からデータで解ける問題(problem)に
客観的評価指標Y(outcome)の設定
Yに関する現状分析(分布)
Yをコントロールするための要因Xの探索

XとYの関連性の分析(因果/連関/相関分析)
コントロールできるXを制御して、目的である指標Yの改善を図る


知識基盤社会における統計
データが簡単に手に入る
分析ツールが簡単に使用できる
判断すべき課題が身の回りにあふれている

統計的な思考力(統計的考え方、物の見方)が、確かな知識を創出する時代
論より数字、勘より統計(平成15年度統計の日ポスター標語)

(2013年6月メモ)

心理統計at放送大学

心理統計第1回
統計法とは
仕事の目的に応じて、対象を特定し、その対象の関心のある性質について
適切なデータを収集、調査して、これから必要な情報を導きだすための方法

データは、その種類、内容、調査の方法などによって、導きだせる情報が違う

統計(大辞林第二版の説明)
集団現象を数量的に把握すること。一定集団について、調査すべき事項を定め、その集団の性質、傾向を数量的に表すこと。

統計が扱う問題は、複数の個体で構成され、「明確に定義された」具体的な集団に関すること。

個体を集団として扱い、全体の性質を把握する。

仕事の目的に対応して、対象とする集団の個体の関心のある性質を
数量的に把握し、目的の達成に必要な情報を導きだす。

データから情報を導きだす方法
数える、分ける、ソート、並べる、比べる

DIKW
データdata symbol,message
情報information who,what,where,when
知識knowledge how
知恵wisdom why

gigo
ゴミデータからはゴミ情報しか出てこない
garbage in garbage out

心理学などの調査では、順序尺度データに等間隔を想定し、間隔尺度のデータとみなすことも。



心理統計第2回
スタージェスの公式
度数分布の区切り
n=20 m=5-6
n=40 m=6-7
n=80 m=7-8
n=160 m=8-9
n=320 m=9-10



心理統計第3回
通常の平均
相加平均、重心、算術平均とも
ただし外れ値の影響を受けやすい(全部足すから)

そこで
刈り込み平均 trimmed mean
スケートやスキーの採点と同じ
スコアが安定してるところだけとりだす

中央平均 midmean
中央の50%だけで平均を取る

ウインソー化平均 wintered mean
一番したの値、上の値と同じとみなして計算
データの個数は削除しない

幾何平均、調和平均、加重平均



中央値
平均ほどぶれない、外れ値の影響を受けにくい


最頻値
どこで区分するか(class化)で見え方も変わってくる


五数要約
five number summary
第0四分位数 最小値
第1四分位数 25%値
第2四分位数 中央値
第3四分位数 75%値
第4四分位数 最大値
↓
箱ひげ図 box plot


歪度 わいど skewness
データの分布の非対称性
(対称からのズレ)

左にずれる(下に偏り) 歪度>0
右にずれる(上に偏り) 歪度<0
歪度=0 左右対称


尖度 せんど kurtosis
データの分布の尖り具合
中心的な位置に集中している程度

集中度低い 尖度<0
集中度高い 尖度>0
尖度=0 正規分布と同じ集中度



URT関数を使用すると、尖度を求めることができます。尖度は、複数以上のデータがある場合、データの分布の尖り具合を調べる時に使用します。
尖度は0を中心として、0より大きい値の場合には、平均値に近い値が多く含まれていることを表します。尖度が0より小さい値の場合には、平均値に近い値が少ないことを表します。

SKEW関数を使用すると、歪度を求めることができます。歪度は、複数以上のデータがある場合、データの分布の歪み具合を調べる時に使用します。
歪度は0を中心として、0より大きい値の場合には、平均値より大きい値が含まれていることを表し、歪度が大きければ大きいほど、かなり大きい値が含まれていることを表します。
同様に、歪度が0より小さい値の場合には、平均値より小さい値が含まれていることを表し、歪度が小さければ小さいほど、かなり小さい値が含まれていることを表します。




心理統計第4回
試行 trial
同じ条件で繰り返すことができ、それによって結果が決まる行為


事象 event
試行の結果で決まる事柄

確率事象 random event
常にではなく、ある割合で起こる事象
この、ある割合が確率 probability

ある事象が起こる可能性、起こりやすさ、確からしさを表す


ラプラスの原理(定義)
Laplace's principle / definition
理由不十分の法則
無差別の原理
サイコロの目が出る確率1/6
ある目が他の目より多く/少なく出る特別な理由がない

確率の古典的な定義
n件の事象(起こる可能が同じ)のうちのr通りで起こるなら、
その確率は r/n と考える

確率変数 probability variable
確率でその値が決まる変数
量的(連続的)な値 比率、間隔尺度
質的(離散的)な値 順序、名義尺度

確率分布 probability distribution
確率変数の値とその起こりやすさの対応関係
↑
↓
度数分布 frequency distribution
変数の値とその実際に「起こった」度数の対応関係


離散型変数 確率質量関数
連続型変数 確率密度関数

期待値 expected value variance
平均的に期待される値

確率分布の種類
離散型確率分布
 一様分布、二項分布、ポアソン分布、ベルヌーイ分布、超幾何分布、多項分布など

連続型確率分布
 一様分布、正規分布、指数分布、t分布、x2分布、F分布など

一様分布 uniform distribution 表か裏か、サイコロの目
ベルヌーイ試行 表headと裏tail、1と0、YesとNoのいずれかしか起こらない試行

二項分布 binomial distribution
パスカルの三角形

t分布 t distribution
正規分布にしたがう母集団の平均値の推定で、データ数が少ない場合
・2つの標本平均の差の検定
・標本平均値の信頼区間の推定

x2分布 chi-square distribution
適合性の検定
 観察された事象は、ある頻度分布に従っているか?
独立性の検定
 観察された2つの事象は、互いに独立しているか?
推測統計学で多く利用される確率分布のひとつ

F分布 F distribution
正規分布に従う2つの群の標準偏差が等しい、の検定
正規分布に従う複数の群の平均値が等しい、の検定など

正規分布 normal distribution
自然、社会、人文科学などを含む多くの現象で観察される分布
統計法でもっともよく使われるもっとも基本的な確率分布

大数の法則 law of large numbers
ある試行を互いに独立に繰り返したとき、実際に観測される事象の起きる割合(経験的確率)は、試行の回数を増やすにともなって理論的確率に近づく
(=標本の平均値が、変数の期待値に近づいていく)

正規分布の根拠
 中心極限定理 central limit theorem
 xiがどんな分布でもそれらが互いに独立であれば、y(xiの和や平均)は正規分布に近づく(現実にそうであるかどうかは議論の余地ありだがそういう前提でやってる)

 言い換えると、母集団がどんな分布に従っていても、
 そこから無作為に取り出した標本の平均値(や標本の総和)は正規分布に従う

e 自然対数の底、ネイピア数、オイラー数と呼ばれる超越数・無理数
e=2.71828..


標準正規分布 N(μ,σ2) 平均、標準偏差
μ±σ→68.26%
μ±2σ→95.44%
μ±3σ→99.74%
μ±1.96σ→95%

標準正規分布への変換 z-transformation
z=(x-μ)/σ


正規分布の重要な性質
独立した2つの正規分布する確率変数の和は正規分布する
nが大きいほど平均値のバラツキは小さくなる


心理統計第5回
検定統計量
 仮説を判断するための統計指標

算出する検定統計量に応じて、理論的な分布が異なってくる
t検定はt値を算出、t分布になる
F検定はF値を算出、F分布になる


心理統計第6回
1つの平均値の検定とは
1つの標本から得られた平均値を、母集団の平均値としてみなしてよいかを統計的に判断するもの

母集団分散が既知 標準正規分布で
母集団分散が未知 t分布で

心理統計第7回
t検定とは
平均値を比較する際に、特に2つの平均値の差の優位性の検定をおこなう方法のこと、標本の平均値を比較して母平均値に差があるかを推測している

心理統計第8回
決定係数=相関係数の二乗
一方の変量の変化を、他方の変量の変化で説明できる割合

相関係数は、相関の大きさではなく、強さを表す。
図で書いただけでは相関係数に違いがありそうだけども実は同じ、という例

相関係数の値は、対応のある2つの変量の間に、一次式で説明できる対応関係に従っている程度、を表す


心理統計第9回
相関係数はどのくらい信用していいの?
=標本相関係数は,母相関関係とどのくらい一致する?

標本の取り出し方によってrは変わる、が同じことを何度も繰り返せば
その値は0に近いことが多く、大きい値をとることは少ない

相関係数の有意性の検定をしてみよう
帰無仮説、母相関係数は0である
標本は、この仮説の元で無作為抽出されたかどうかを検定
↑
無相関の検定
検定統計量
自由度n-2のt分布

母相関係数の信頼区間の推定
フィッシャーのz変換
信頼区間の下限と上限がプロットできて、rの値からそれを読み取る

順位づけはどのくらい似ているか?
完全一致は+1、正反対は-1
AとBの対象iの順位の積和
AとBの順位づけが同じとき、順位の積和は最大
AとBの順位づけが逆のとき、順位の積和は最小
最大値と最小値の平均値は0
順位の積和から平均値をひいて、最大値と最小値の幅の半分でわると
最大値が1、最小値が0になる
スピアマンの順位相関係数

順位相関係数は、対応する2つの変量の順序の対応性を指標化したもの

スピアマンの順位相関係数の問題点
nが大きいとき、n個の対象全体に順位をつけるのは難しい
その中の2つの対象の間に順序をつけるのはさほどむずかしくない

2つの順位が完全一致なら、係数の値は+1
2つの順位が正反対なら、係数の値は-1
係数の値は、-1と+1の間で、値の増加は、相関の増大を意味する
+
2つの順位が完全独立ならば、係数の値は0
↓
ケンドールの順位相関係数
一致した数から、不一致の数を引く

どちらの順位相関係数も、偏差が正規分布することを仮定しない方法
ノンパラ



心理統計第10回
分散分析 分散の違いを分析して、平均の違いを検定している
t検定は、平均の違いだけではない
無相関検定 相関がない=0との違いを検定している
回帰係数の検定 0との違いを検定している

2つの値の差からこれらの違いを検定するのがt検定

複数の平均値の検定をt検定でやろうとすると検定力が下がる(検定力の劣化)
そこで分散分析

F=平均値間の分散÷誤差分散
F=1分子と分母の分散が同じ
F<1誤差分散の方が大きい
F>1平均値間の分散の方が大きい
じゃあどのくらい1よりも大きいのか?

分散を求める前に平方和と自由度を求める
自由度
データの数が多ければ多いだけ、ばらつきの幅は大きくなる
この数に応じた修正をしなければならない
修正に使われた数が自由度
データの数に依存して決まる値

平方和(ばらつき)
一群の各値からこれらの平均を引いた値の二乗和

バラツキの加法性
全平方和=平均の平方和+誤差の平方和
バラツキ:データと平均との差の二乗和


4水準での一要因分散分析
ランダム要因
10名の参加者はたまたま選ばれた人たち
これらの参加者の違いを明らかにする必要はない

固定要因
4種類のペンの書きやすさの違いがこの研究のテーマ

固定要因が1つの場合
一要因の分散分析あるいは一元配置の分散分析

1つの固定要因が4つの条件で構成されている
この構成要素数が水準

分散の大きな平均値は互いに違う
分散の大きさを判断するためにF検定を使う


心理統計第11回
分散分析で重要なこと
固定要因がいくつあるか考える
釣り合い型と不釣り合い型には気をつける
被験者内要因と被験者間要因の違いを意識する


心理統計第12回
心理学で回帰分析を使うのは
入力→情報処理系としての人→出力
入力と出力の関係から人を推論

刺激としての入力と、反応としての出力との間で直線的な関係を想定
フェヒナーの心理物理学


心理統計第13回
偏相関係数
2者間の相関に対して、もう一つの変数の影響を除いた真の相関
除かれた変数=制御変数

回帰分析のあてはまりで重要なこと

回帰分析のあてはまりを評価するための複数の視点
あてはまりの程度を評価する1
分散分析
残差の変動=残差の二乗和
回帰の変動=回帰直線によって説明される部分

分散分析で有意であれば、データが回帰直線にあてはまってるということ

あてはまりの程度を評価する2
t検定
回帰係数0と求められた回帰係数がどの程度異なっているかの検定

回帰分析と分散分析の違い
回帰分析では、試験成績は量的な得点
分散分析では、単なる分類のためのカテゴリー

分散分析での誤差、得られた各結果とこれらの平均値との差


重回帰分析では、独立変数が複数存在する
2個の場合は、2つの回帰係数が影響し合う、一方の影響を除いたのが偏回帰係数
説明変数が増えれば、それだけ決定係数が高くなる


心理統計第14回
多変量解析
相関係数を元に
「取り込む」=似た独立変数を取り込む
独立変数のまとまりを特定
プロトタイプ論的手法

「分ける」
従属変数との関係の中で独立変数を分ける
従属変数を規定する原因を特定(おいしさ、は何に起因するのかを知る)
因果論的手法

プロトタイプ論的手法
似たもの同士をまとめる、共通要因の特定、心の働きを推論
例)性格類型論、ある性格の人は同じ行動特徴を持っている
この特徴をもたらす心の働きは?
似ていれば相関係数は高いことを活かして、多変量解析でときほぐす


乳酸飲料の試飲テストの例
(順序尺度の結果でやっていいんだね)
主成分分析(縮約と統合)
得られた主成分の中でスコアが最大値のものが特徴的な項目

主成分得点の平均値は0標準偏差1に標準化されている
10個の変数が主成分3個に縮約された

主成分1と2の象限に製品ABの平均値をプロットすると

縮約/統合
1人のデータは10個で構成されてる、これを10以下の数で表現
どの程度の数まで縮約できるか

3つの基準
説明率(累積説明率が50%は欲しい)、
固有値が1以上(説明する変数が1個はあるって意味なのかな)、
単純構造

結果の記述の仕方
どのような基準で主成分の数を特定したのか
主成分負荷行列、固有値、説明率(寄与率)、累積説明率、
各主成分の解釈

因子分析(潜在変数の発見)
主成分分析は相関行列の対角要素は1
因子分析の対角要素は1以下

同じ変数の相関は数学的には1になるはずなのに
なぜ因子分析では1以下になるのか?
直接観測できない変数(因子)が影響して各変数がスコアをとる
性格以外の他の変数でもたらされた特徴である
この因子の影響度を除去するために1以下になる

同じデータを元にした因子負荷行列(回転前)と主成分負荷行列で並べてみると
スコアが変わってるのが確認しやすい(対角要素の相関係数のぶん変わる)

因子軸の回転
隠れた因子を適切に解釈するため、単純構造化するため(解釈しやすくするため)


因果論的手法
反応の原因を明らかにする、心の働きを推論する
結果としての反応が1種類
原因としての刺激が複数

重回帰分析(原因の発見)

主成分分析で得られた主成分をもとに重回帰分析

標準化されていない係数B 傾きにあたる
標準化係数β 標準化する=原点0を通るから切片がない時の傾き
定数=切片

重回帰分析の問題
多重共線性が発生する、2つの独立変数の相関が高い
同じような変数が2回独立変数として使用される、
これは避けたい(信頼のおける結果とはいえない)
多重共線性が気になる場合は、主成分間の相関がゼロである主成分得点を使う


多変量解析で重要なこと
 相関係数が重要
 プロトタイプ論と因果論の2タイプの手法を理解する
 複雑に絡み合っている要因を解きほぐす(心理学、こころのありかは複雑)


心理統計第15回
なぜ心理学に多変量解析なのか?
心理学の対象は人である、人には違いがある、結果は変動する
個人差というやつ、個人差を考える

個人内差 変動をゼロにしたい
個人間差 差に着目する 因果論的アプローチ(発達/性格などの差異心理学)
 差の中の共通性に着目 プロトタイプ論的アプローチ
  代表的な人(general person)という仮の概念を対象に
    知覚や学習などの実験心理学

個人差をなくすために
結果の変動要因
測定結果の変動(疲労、注意、意欲)
内的基準の変動(基準の不安定さ、学習)
評価結果の変動(社会的要因)、いずれも個人内差

変動をなくす努力
noise free situation(多くの練習試行後の安定したデータを使う)
専門評価者の養成(ブレない基準を持ってる人が判定する)
フェイスで個人間差を揃える

統計を勉強する上での3つのつまづき
1)%の意味
95%信頼区間、5%有意水準
10名の結果の平均 平均の95%信頼区間
もしもこれを100回同じことを繰り返したとしたら
10名の結果の平均を100回やったら、
100個の平均が95個入る区間を推定している(推測統計)

2)統計的仮説検定
帰無仮説を否定=確率的に「ほとんど」起こりえない
対立仮説を採用(AB間に違いがあることを期待している)

ほとんど、とは有意水準のこと、
5%有意水準でいうと、100回中5回以下なんてまれだろう、と

3)分散分析
分散の検定は手段である、複数の平均の違いを検定する
t検定=2者間、分散分析=たくさん
複数の平均の分散が大=大きな値から小さな値まで散らばっている、
つまり平均に違いがある

分散の大小の評価、とは誤差分散を基準にしている
何を誤差ととらえるかによって多様な分散分析がある

心理統計法とは
統計は道具です
研究目的を実現するための手段です
間違った使い方をしないようにしましょう


実験や調査で得られた結果を他者に伝える
事前に想定した結果の合否を伝える

検定は伝えるための工夫
想定した内容を検定で明らかにできるような事前設計の必要性
心理学研究法や目的の明確化が大事になってくる


記述統計だけでなく推測統計もできるようになってくるといいんだろうね
記述統計だけだと事実の報告で終わる
提案や将来の予測につなげるには推測統計が使える

記述統計学 すべての個体を調査
推測統計学 標本調査

(2013年6月メモ)

社会調査at放送大学

社会調査 第4回 4/26

キャリーオーバー効果

質問の順序が与える影響(前の設問での回答が、後の設問の回答に影響する)

  • 回答者にスムーズに回答してもらいやすいものを冒頭に、
  • ウォーミングアップ、ラポールを形成する、と考える
  • 抵抗感のあるものは持ってこない、難しいもの(いっぱい思いを巡らせないと出てこないもの)は持ってこない、
  • 答えやすい=はっきりした事実や経験、最近のこと

質問文について

質問文が備えるべき性質

  • 妥当性
    • 得ようとしている回答が的確に得られる設問内容か
  • 信頼性
    • 回答の安定性ともいえる
    • いつ、なんど聞いても同じ回答が得られそうであること
      • 例a)あなたの現在の支持政党は?
      • 例b)あなたはこの間の選挙でどの政党に投票した?
      • 信頼性はbの方が高い
      • aのように、ふだん自覚してないことをたずねても、その回答は安定してないことが多い
  • 比較可能性
    • 他の調査結果と比較できる、なるべく共通にしようぜってこと

信頼性についての、とある小学校での事例。観察調査と翌日の聞き取り調査が一致してたのは6割。授業で手を挙げたか?先生に当てられたか?給食を食べたか?こういう自覚的におこなっていない行動については言行不一致がおきやすい

ダメな質問文

  • 誘導的な設問
    • 権威になびきやすい(世間では~)、はいと答えやすい傾向(~に賛成ですか?)

質問=刺激、回答=反応 この反応から事象を推測するため、

  • 投げかける質問(刺激)は中立的、同じである必要がある
  • すべての回答者に同じ意味として伝わる必要がある(質問紙調査の場合、形式的同一性は担保されてるので)
  • 実質的同一性を(可能な範囲で最大限)揃えないといけない

避けるべき質問の形式(実質的同一性をおびやかす質問文)

  • あいまいな言葉を含んだ質問
  • 難しい言葉を含んだ質問
  • ステレオタイプを含んだ質問
  • 二連発銃(double-barreled)質問
  • やたらと長々しい質問

→単純明快な質問文を作るべし!

Metallic Metals法の世論調査

難しい単語が出てきても、回答者は「わからない」とは言わない。なんとかして回答しようとする

Which of the following statements most closely coincides with your opinion of the Metallic Metals Act?

  • a. It would be a good move on the part of the US
  • b. It would be a good thing, but should be left to the individual states
  • c. It's alright for foreign countries, but should not be required here
  • d. It is of no value at all

以下の記述のうち、Metallic Metals法に関するあなたの意見と最も一致しているのはどれですか?

  • a. 米連邦にとっては良い動きになるだろう
  • b. 良いことだが、個々の州に任せておくべきだ
  • c. 外国にとっては問題ないが、ここでは必須ではない
  • d. まったく価値がない

70%以上の回答者はaまたはbを回答した。実際には存在しない法律なのに。

連邦か州かというのはアメリカ人にとって常にhotなテーマのため、よけいに比率が多くなっちゃったというのはあるかもだが。ちなみに1947年発表

回答方法について

  • 選択回答法
    • プリコードしてるので後処理が楽
    • 選択肢を出してまとめるのは大変だが
    • 選択肢のスキマ、微妙なニュアンスをとりこぼすこともある、その他選択肢ですくう
  • 自由回答法
    • アフターコーディングは手間だが、微妙なニュアンスは拾いやすい
    • とはいえ漫然とした教示では期待した結果は得られにくいし、回答者のスキルやめんどうくささにも左右される

選択肢の備えるべき性質

  • 悉皆性 すべての選択肢で、回答の全範囲をカバーしている
  • 排他性 各選択肢は、互いに排他的で重なり合わない、上とあわせてMECEである
  • 明快性 回答内容と選択肢との対応関係が明確である

変数valiableとその値value

個体によって値の異なる特性を指す統計用語

量的変数と質的変数

  • 統計量、統計解析技法が異なる
  • 統計解析技法は量的変数の方が豊富

量的変数の作り方

  • 実数値で回答を得ることのできる項目 年齢、収入など
  • 質的変数の各選択肢に調査者の側で数値を割り当てる
    • 学歴を就学年数にするとか、順序尺度にしちゃう

複数の質的変数を組み合わせて量的変数を作る

  • 尺度構成法
    • 資産の種類をあげてそれぞれの所有有無を聴取
    • これだけだったら質的変数だが、これを組み合わせて量的変数にしちゃう



社会調査 第5回 5/10

標本調査の利点

  • 調査の精度が高い
    • 標本抽出による推測の誤り(サンプリング誤差)
    • 人為的ミスによる誤り(非サンプリング誤差)
  • 調査員が少数で済む
    • 良質で均質な調査員の確保
    • 複雑な調査の実施
  • 調査管理のコストが小さい
  • 調査による影響が小範囲に止まる

抽出方法

  • 無作為抽出
    • 回収割付をしない(する必要がない)
  • 割当抽出
    • 無作為抽出以前におこなわれてた手法
    • 標本抽出台帳が存在しない(個体の抽出法がない)
    • 街頭インタビュー的な行き当たりばったりで集める感じ
    • そのため当該社会事象の縮図は保証されない
  • 層別(層化)抽出
    • 何らかの標本抽出台帳から性年代構成比で回収割付(抽出個体数を比例配分)
    • 個体の抽出が無作為抽出法と結びつけられている
    • 統計的推測の理論を持っている

母集団と標本の関係

  1. 目標母集団 ← 理想はここを推測したい
  2. 調査母集団 ← 実際の推測(例えば調査会社のパネル全体)
  3. 計画標本 ← ◯人集めるぞ
  4. 有効標本 ← 計画標本通りに回収できないこともある

調査母集団の選び方

  • 代表性
  • 典型性
  • 先駆性



社会調査 第6回 5/17

項目間の独立性の検定(x2検定)

  • もし項目間に関連がなければ、就業形態が異なっていても、性別役割意識の分布(肯定率、否定率など)には違いがないはずだ(帰無仮説)
  • 予想される分布と実際の分布との食い違いをみる



社会調査 第7回 5/2

調査場面コントロールの効果

  • 身代わり回答の防止
  • 斉一的な調査条件の確保
  • 回答者の単純ミス防止
  • 複雑な調査の実施
  • 回答を意図的整合化の防止
  • ウソの防止



社会調査 第8回

コードの種類

  • 択一式
  • 多項選択式
  • 実数値
  • na dk 非該当(欠損値)

社会調査 第9回

柱状図、散布図、単純集計数表、クロス集計数表で、データの概要をつかむ、外れ値を見つけ出す

  • 代表値
    • たった1種類の指標でデータの特徴をつかむ
    • 平均値、中央値、最頻値
  • 散らばりの統計量
    • 偏差平方和(変動)
    • 個体数が多くなると数字が大きくなる(単に足しただけなので)
  • そこで分散
    • 偏差平方和を個体数で割る
    • でもこれや偏差平方和はじじょうしてるので単位が変
  • そこで標準偏差
    • 分散の平方根なのでこれなら単位が元に戻ってる

不偏分散: 偏差平方和を個体数-1で割る

関連の統計量

  • 共変動
    • 2つの変数の関連性をみる、プラス(第一象限or第三象限)が多いのか、マイナス第二象限or第四象限)が多いのか
    • ただし変動(偏差平方和)同様に、個体数が多くなると数字が大きくなる
  • そこで共分散
    • 共変動を個体数で割ったもの
  • そしてこれまた共変動や共分散だと単位が共通でない
  • そこで積率相関係数
    • 単に相関係数
    • 線形関係(右上がりか右下がりか)への近接性をみる



社会調査 第10回

クロス集計表のエラボレーション(精緻化)

  • 擬似相関(xとyに共通の原因)
  • 媒介効果
  • 付加効果(プラスとマイナスとがある)
  • 無効果(zは無関係または独自効果)

交互作用やマイナスの付加効果によって擬似無相関に見えることもある

コントロール変数増加の影響

  • 分割されたクロス集計表の数が増加する
  • 各セルに現れる度数が小さくなる(統計的分析に値しない)
  • 統一的な把握が困難になる(単純なタイプ分けが不能になる)



社会調査 第11回

聞き取り調査の手順

  1. 姓名、肩書き、所属などを告げる
  2. ウォーミングアップをおこなう
  3. この面接の主旨、目的を述べる
  4. さらに親密さを加える
  5. 相手に話してもらう
  6. こちらから質問する
  7. 言い残したことを話してもらう
  8. 回答の要点を確認する
  9. 協力への感謝を述べる
  10. 面接を終了し辞去する



社会調査 第12回

  • 報告書の書き方
  • 比率の差の扱い
  • 2つの条件を満たしたものを「有意味な差」とみなして考察の対象にする
    1. 統計的検定をパスする
    2. 定めた基準以上(例5% 10%)の差がある



社会調査 第13回

変化をとらえる

  • 過去との比較、いつでもそういうデータがあるわけじゃない
    • →年代比較、test vs control比較
  • 年代間比較での比率差は、加齢の影響かもしれない
    • (世代効果、加齢効果、時代効果を厳密に区分するのは無理かもね)



社会調査 第15回

調査者と被調査者

  • 標本抽出台帳の閲覧制限
    • 個人情報保護法施行( 2005年)
  • 住民基本台帳
    • 公益性の高い世論調査と学術調査
  • 選挙人名簿
    • 政治・選挙に関する世論調査や学術調査

上記以外の場合は、住宅地図からの抽出、RDD法による対応など

(2013年6月メモ)


2011年5月20日金曜日

平均のメリット

平均のメリット
すべての分布に常に存在する
唯一無二の値である
計算が簡単
(正しそうという誤解の元で)すべてのデータを用いる
意味が明確、わかりやすい
高度の統計計算に必要

デメリット
例外値の影響を非常に受ける
適切な代表値でない場合がある
2つ以上の異質なグループ(異常値)を含んでいないのか注意


平均が世に浸透した背景
平均という考え方を初めて社会科学に持ち込み、人間にあてはめたのはアドルフ・ケトレー。
19世紀初頭の課題、測定者によって天体速度の測定値が異なる。
別々に計測された値をまとめて平均値を割り出すことで、測定誤差を最小限にするという方法が考案された。

ケトレーは、これをそのまま人間に流用し「個々の人間は誤差を伴うが、平均的な人間は真の人間の象徴だと宣言」
多くの知識人から高く称賛され、世間の平均に対する考え方の基礎をつくった。
この時代における平均人は、平凡でつまらぬ者ではなく、完璧な人間であると理解されていた。

この平均に対する憧憬を一変させたのは、ケトレーより20年少々遅れてイギリスに生まれたフランシス・ゴルトン。
階級社会イギリスの上流階級に生まれたゴルトンは、平均に階層の概念を加えた。

ゴルトンは、ケトレーとは異なり、平均からの逸脱を単なるエラーであるとは考えなかった。
平均から上方へ逸脱したものを「有能者」、下方へ逸脱したものを「低能者」としたのである。
平均以上であることに価値があるというゴルトンの思想はあまりに広く深く現代社会に浸透しているため、
にわかには信じがたいが、平均が意味するところを正常から凡庸へと変化させたのは、「ほぼ100パーセント、ゴルトンひとりの手柄」であるという。

平均や標準化は、人類に大いなる繁栄をもたらした。標準化による大量生産を謳ったテイラー主義こそが20世紀の大量生産・大量消費の時代につながる。
ハイスピードで労働者の賃金を向上させ、消費者に手ごろな価格で便利な製品を提供し、多くの貧困層を救った。
https://courrier.jp/news/archives/88522/


べき分布
ロングテールも結局はべき分布にしたがっている。
べき分布ではサンプル数を増やすと平均値が上がってしまう。
「平均」という概念に意味がない。
正規分布に比べて、裾野が右に広がる。
実は正規分布の成立する方が限られた場面なのかも。


セイバーメトリクス
打率、本塁打、打点
↓
出塁率 打率以上に得点との相関が高い
GPA OPS(出塁率+長打率)をより得点との相関を高めたもの
BRs27 その選手だけで打線を組んだ時に、1試合あたりどれだけの得点を挙げられるか
類似指標RC27

盗塁は得点の期待値を「あまり」あげない
1シーズン200盗塁、成功率80%でも、シーズン総得点は10-15点押し上げる程度
二死二塁からの三盗は成功率8割でも、得点期待値と得点確率の両方を低下させる
でも1点がどうしても欲しいケースなら、得点期待値よりも得点確率を優先して、
60%以上の成功率が見込めるなら、盗塁を試みる価値はある


尺度
質 名義 1男 2女
順序 尺度の等間隔性は不安定。5件法や7件法
量 間隔 尺度間は等間隔ではある。加算はしてもいいらしいが、積算倍率はちょっと
比率 なんとでも計算OK


池山さん講義
出荷時の品質管理(QC)から発達した→sensory evaluation(官能評価)

「かなり」は地域によって結構度合いが違うので、あまり使わない方がいいかも

統計的には、順序尺度を間隔尺度として使うのには無理がある。
ただし、各選択肢が等間隔であると見なせる場合には、統計的にも望ましい結果が得られる。例えば、市場製品を対象とする場合、寡占的な製品、ニッチ的な製品を選択肢に含めてしまうとうまくいかない。つまり平均順位とかの算出にはある程度有益である。

平均値で主成分分析をやると、データのバラツキを無視することになるから、寄与率が上がる。だからローデータでやる。

データの取り方。意識だと嘘をつかれる。行動・実物の方が確からしい尺度となる。


多重比較
クラスカル・ウォリスの検定(K個の独立サンプルの検定)
↓
ウィルコクスンの順位和検定(2個の独立サンプル)
ボンフェローニの修正方法


因子分析→クラスター
因子分析
主因子法、回転しない、KMOとバートレットの球面検定にチェック
固有値1以上

クラスター
大規模ファイルのクラスタ分析
クラスタ個数は自分で指定

(2006年4月5月、2007年2月6月、2010年3月4月メモ)
-->