グーテンベルクの発明
- 大衆が情報を利用できるようになった、様々なアイディアが一気に広まった
予想しなかったことが起きるようになった
- 産業革命、急激な成長と変化の時代へ突入
- ヨーロッパでは啓蒙思想の広まり、アメリカには合衆国が建国
- 聖戦も生み出した、行く末を予言し、運命を選ぶことができると人間が信じるようになった
- 人類史上の血まみれの時代
グーテンベルク以前、
- 書物はあった
- が、数は少なく、広く読まれるものではなかった、貴族階級の贅沢品
- 手作業での複製、間違いの発生、知識の蓄積は難しい
- 記録を残す＜記録が消える
印刷機以降、人類の知識は急速に蓄積
- 間違いの質が変わった、写し間違いは減った
- が、間違いの（も）大量生産
- ネットも同様、失敗するときは大きく失敗する
ネットの登場、情報の質にさらにばらつきが出てきた
- 多くのアイディアが人の目にさらされる、混乱が生じる
- 情報をどう扱うべきか、有用な情報とそうでない情報をどう区別するか
- これらへの理解が情報の増加に追いつかなかった
よい情報だけではなく、悪い情報も広める可能性を生み出した
- 悪い情報は予想以上の影響を及ぼす可能性（グローバル金融危機）
- 規制は問題解決の一つの手段、だが自分たちの中に答えを見つけるのを避けるための言い訳では？
- 認めよう、私たちの予測には問題がある、
- 人間はものごとを予測するのが大好きだが、決して上手ではない
知識の共有が進んだ結果、国や宗教が孤立するようになった
- あまりにも多くの情報を手にすると、本能的に気に入ったものを選ぶようになる、それ以外は無視
- 自主的なフィルターバブルの発生
- 同じ選択をした人は味方、それ以外は敵とみなしやすくなったのかもね
- シェイクスピア「ジュリアス・シーザー」シセロのセリフ （しかし）人間というものは、ものごとを自分の好きなように解釈して、本来の意味を見失うことがある
シグナル（信号）とノイズ（雑音）を区別するのは難しい
- シグナル（真実）
- ノイズ（真実から目をそらさせるもの）
データが語るストーリーは、自分が聞きたいと思っているものになりがち、しかもたいていの場合はハッピーエンド。
「人はときに己の運命を支配する」カッシウス
- prediction 予測
- 預言者の言葉 （宿命、占い、迷信などとも近い）
- forecast ゲルマン語起源 プロテスタントの俗性
- 不確実な状況で計画を立てること 慎重さ、洞察力、勤勉さ
- foresight（将来の展望、将来への配慮）に近い
人間の生物学的本能（ないパターンを見出してしまう）が情報豊富な現代社会でうまく機能するとも限らない
- バイアスを意識しないと、得られる情報は増えないで減るだろう
- よりよい予測には、客観的な真実を信じて追求する姿勢が不可欠
- 客観的な真実の理解が不十分であることを認識すべき
予測と仮説
- 予測とは、主観的事実と客観的事実をつなぐもの
- 仮説とは、現実の世界で、予測という手段を利用して検証されるもの
「ハリネズミと狐」
- アイザイア・バーリンがトルストイについて書いたエッセイ
- 古代ギリシャの詩人アルキロコスの一節
- 「キツネはたくさんの小さなことを知っているが、ハリネズミは大きなことを1つ知っている」
キツネの考え方 | ハリネズミの考え方 |
総合的 もともとの政治的立場にとらわれることなく、さまざまな分野に取り組む。 | 専門的 1つか2つの大きな問題を専門とすることが多い。分野外からの意見は疑う。 |
柔軟 最初のアプローチが機能するかどうかわからなければ、新しい方法を見つけたり、同時に複数の方法を試したりする。 | 硬直的 全部をひっくるめたアプローチにこだわる。新しいデータは元のモデルを補強するために使う。 |
自己批判的 （うれしくはないが）すすんで自分の予測の間違いを認め、非難を受け入れる。 | 頑固 間違いは運が悪かったと考えるか、特別な環境のせいにする。優れたモデルにも、ついていない日はある。 |
複雑さを受け入れる 世界を複雑なものとして見ており、多くの基本的な問題は解決不能、あるいは本質的に予測不能だと思っている。 | 秩序を求める ノイズのなかからシグナルを発見できれば、世界を支配するきわめて単純な原則を見つけることができると思っている。 |
用心深い 確率的な言葉で予測を表現し、断定を避ける。 | 自信がある あいまいな予測をすることはなく、意見を変えることをよしとしない。 |
経験的 理論より経験を重視する。 | イデオロギー的 より壮大な理論や闘争により、日々の多くの問題が解決されると思っている。 |
キツネは予測が上手 | ハリネズミは予測が下手 |
ハリネズミ
- 大きな考えを信じている人たち
- 自然界の法則であるかのように機能する
- 社会の全ての相互交流を実質的に支える基本原則があると信じている
- カール・マルクスと階級闘争、フロイトと無意識、
- マルコム・グラッドウェルと「ティッピング・ポイント」
- 大物を狙う狩猟者
- 自分の関心と分析を区別することが苦手
- 事実と価値観が一緒になった曖昧模糊な融合物を作り上げる
- 証拠には偏見を持って臨む
- そこにあるものではなく、見たいと思うものを見る
- たくさんの情報から物語を作る（現実よりわかりやすい、主役と悪役、勝者と敗者、クライマックスと結末）
- 証拠を批判的に検討することができなくなる
キツネ
- 原則をもたない生き物
- たくさんの小さな考えを信じており、問題に向けて様々なアプローチを試みる
- 微妙な差異や不確実性、複雑性、異なる意見に寛容
- 採集者
- 理想と現実を分けて考えることができる
ハリネズミかキツネかは、接する情報が増えたときに、予測の正答率が上がるか下がるかで判断できる。役に立たない情報は無視すればいい、ハリネズミはそれができない、自ら茨の道に迷い込む。
確率論的に考える。結果を幅をもって示す、現実世界における不確実性を正直に表現する。
- 今日の予測は残りの人生で最初の予測である
- その時点その時点でベストの予測をする
- 昨日の予測が間違っていたと考える理由があるならば、それにしがみつく理由はない
- 制限のある情報を最大限に利用するためには、新しく有用な情報が利用可能になった時点で予測を更新する必要がある
- 恥を掻くのを恐れて予測を変更しない＝勇気のなさを示す
コンセンサスを探す
- 自分の予測がほかと大きく違っていないか注意を払う（周りを気にして順応するのとは違う）
- いつでも集合知が素晴らしいわけではないが（集合愚もある）1つの問題を複数の視点から見ることが有利に働く
キツネは
ハリネズミが集まって行うようなことを、自らの頭の中でやってしまう
- コンセンサスに至るプロセスを自ら実行する能力を持っている
- 専門家に訊かずに自分自身に問いかける
- 1つの情報に捉われすぎることなく、いくつもの情報に目配りする（いろいろな考えを持つ人々の集団なら自然におこなうことだ）。さもなければ高い代償を払うことになる
- 人間の判断に限界があることを理解している
- 限界を知ることは、よりよい予測につながる
予測を導き出すのは人間の判断、人間の判断があるところにバイアスあり
- 自分の仮定が予測にどのような影響を与えるかを常に自問しないと
- ノイズの多いデータから整然とした物語を編みだそうとするので客観的であろうとするのは大変だ
トーマス・ベイズ
- 偶然論における問題解決のための小論 1763 by リチャード・プライス
- 未知のデータを前にした時、私たちは世界に対する確率的な信念をどのように形成するか
- 証拠を集めれば集めるほど真実に近づいていく、数学的哲学的に表現された、世界を学ぶ方法
ピエール・シモン・ラプラス
- 自然の完璧さと、人間の理解の不完全性を区別
- 知識と、無知との中間に位置するのが確率
フィッシャーたち
- ベイズの定理の公式そのものは問題にしていない
- 実験する前にどうなるか見積もるなんてあまりにも主観的、科学の客観性という考えに反するのでは？
- バイアスの入る余地のない統計的モデルの構築を目指す
頻度主義
- 不確実性という統計の問題は、母集団全体を扱わずに標本データだけを頼りにすることから生じる
- 頻度主義で説明できる唯一のエラーである標本誤差は、誤差全体の一部でしかない
- バイアスのかかった調査をやるのであればどれだけやっても意味がない、そもそも的外れなのだから
- 予測がうまくいかない理由であるヒューマンエラーに背を向けている
- 不確実性は、世界を理解する人間の能力に付随するものではなく、実験に付随するものと捉えている
- データを集めれば集めるほど間違いは減り、ゼロに近づくはずだ
- フィッシャー晩年にはベイズを称賛するようなことも言っている
- ベイズ理論と頻度主義アプローチの折衷方法論も考えてたらしい
- 十分なデータを集めれば全ての仮説を検証することができ、完璧な結論に達することができるという考え
信念に完璧な客観性、合理性、正確性を持たせることは不可能
- けれども、主観性、非合理性、そして間違いを少しでも減らす努力はできる
- 自分の信念に基づいて予測をすることをは、自分自身を試す一番の、そして恐らくは唯一の方法である
情報は少ないより多い方がいい、ただし品質が管理されているものでなければならない
- 道具はきちんと扱えるようにしておく、
- 一流の技術を持っているに越したことはないが、持っている技術を使いこなすことの方が大切だ
- 正確性には注意しなければならない
- 客観的な事実を重視すべきだ
- 誰かを喜ばせる予測や都合のいい予測ばかりをしようとしてはならない
人間は、不確実な世界に住む、不完全な生き物だ
- 予測が大きく外れたとしても、それが自分の責任なのか、
- つまりモデルに欠陥があったのか、それともただ不運だったのかは完全にはわからない
- 解決先は、ノイズとシグナルがこの世界から亡くならないことを認識し、あるがままに評価するように努めることだ
- （私たちの判断は誤るものだ、誤りは避けられない、完璧な予測とはありえない、0%と100%を取ることはない、限りなく0%に近い、100%に近いというだけ）
健全な懐疑心
3種類の懐疑論
- 経済的なインセンティブを持っていやしないか
- 自立心が称賛されるアメリカでは顕著＝反対主義、どのような議論においても、大勢の側につくことに利益を見出す人がいる一方で、迫害されるアウトサイダーとしての立場に身を置こうとする人
- 科学的な懐疑心
予測の不確実性は、行動を起こさない理由にはならない
- 不確実性があるからこそ行動しなくてはならない
- 多くの人がデータに基づいた話をしているかのようなふりをするけれど、データを確認している人なんていない。断言できるよ
- ドラマチックに語れば語るほど、新聞に引用される確率は高まる
- 確率論的に表現しているものを探す
- 複雑な現象について自信たっぷりに予測を発表している人
- 問題を慎重に検討していない
- 過剰適合している統計モデルを使用している
- 真実を追求するより名前をなすことに関心がある
シグナルとノイズ
- シグナル：統計や予測の問題の裏にある真実を示唆する
- ノイズ：ランダムなパターンを持ち、シグナルと間違ってしまうもの
ロベルタ・ウォールステッター
- 馴染みのないことと、起こりそうもないことを取り違える
- 真剣に考えたことのない偶発的な事例は奇妙に見える
- 奇妙に見えることは起こりそうもないと思う
- 起こりそうもないことは真剣に考える必要はない
アメリカはほとんど攻撃されたことがない
- ハワイはアメリカの一部だ
- ハワイが攻撃されることはないだろう
ラムズフェルド2002記者会見。イラクの大量破壊兵器の存在についての質問への回答の一部
- 未知の未知
- 既知の未知
- 既知の既知
未知の未知＝考えたこともない偶発的な出来事
- ある種の心の壁を作ってしまう
- 想像できるほどの経験もない
- そもそも存在しないかのように感じてしまう
911委員会報告
- シグナルの重要性を見抜けなかった原因
- 政策の失敗、能力の欠如、管理の失敗、（最も重要なもの）想像力の欠如
ベイズの定理を使って確率を考える方法
- 不確実な要素が多い中で意思決定をする時に役立つ
- 一度にたくさんの仮説を持ち、確率論的に考え、新しい情報に接するたびに更新する
情報アナリストは間違った時には責められる
- うまくやった時にはほとんど気づいてもらえない
予測には、好奇心と懐疑心のバランスが大切、両者は共存できる
- 自分の理論を詳細に調べれば調べるほど、世界が不確実であることを受け入れられるようになる
- 完璧な予測など不可能だということがわかる
- 予測が外れることに対する心配が減る
- もっと自由に考えることができるようになる
- 知らないことを知ることで（未知の未知を既知の未知に変えることで）、予測の精度を上げることができる
知っていることと、知っていると思っていることの溝
- （予測のばらつきが小さいことを、的中率が高いと見誤るなど）を埋めるための戦略
- 大きくジャンプし、その後小さなステップを重ねる
- 最初のジャンプ＝ベイズ的に予測と確率を考えること
予測は目的であると同時に手段である
- 予測は仮説の検証において、つまり全ての科学において中心的な役割を担う
よいモデルは、たとえ予測が当たらなくても役に立つ
- どんな予測もたいてい間違うことがわかる
- なぜ間違うのか理解しようとする
- そして間違った時にどうするのか、間違った時のコストを最小にするにはどうすればいいかを考える
ドレイクの方程式だって、不確実性が大きすぎて、一種の思考実験のようなものだし、生産的な結果を出せるようになるのはずっと先なんだろうけども、問題の範囲を理解するのに役立つことは間違いない。
世の中を推定するためのツールは統計モデルだけではない
- 言語もモデルの一形態
- 互いに伝え合うために使うある種の推定
- 全ての言語はそれぞれ異なる言葉から成り立っている
- 同じ世界を表現しようとしても使われる言葉は違う
- コンピュータ言語もそうだよね
モデルは世界の複雑さを理解するためのツール
- 世界そのものの代用品にはならない
MIT神経科学者トマソ・ポッジオ
- 人間はほかの動物よりも、パターンを見つけ出す必要に迫られている
- パターン認識は進化で習得、個人の力によるものではない
- ただし、ランダムなノイズの中にパターンを見出してしまう
- 脳での情報処理は推定作業の連続のようなもの
世界に対する主観的な認識＝真実を「推定」したもの
- 推定の程度は問題ではない
- 問題なのは、推定を現実だと思い込むこと
シグナルとノイズを区別するためには？
自己認識が必要
- 予測できないものを受け入れる冷静さ
- 予測できるものを予測する勇気
- その違いを見分ける知恵
解説：西内啓
情報の出所だけでなく、予測をおこなう（あるいはデータを眺める）者自身がどのようなバイアスを持っているのか意識する（常にその人の主観が反映される、とも表現できる）
ニュートン
「物体は力が働かない限り同じ向き、速度で運動し続けるものとする」という前提から、世界の全ての物の動きを説明、予測できるようになった
経済学も同様。人間一人ひとりの選択や満足度に関する前提から、世界の中でお金や物がどう動くのかを理解する学問
19世紀に発達した多くの学問
こうした演繹的な考え方と、シンプルな前提、法則性から世界の全てを解き明かしたいという野心に支えられていたのでは？
物理学、経済学は数学的にその法則性を記述していた
- カール・マルクスの唯物史観
- 人類の歴史とはすなわち生産手段の発展によって説明される、というシンプルな法則から人類の行く末を予測しようとしていた
- りんごの落下速度から星の軌跡に至るまで、シンプルな法則ですべてを予測可能にしたという、あまりにまばゆい古典物理学という成功事例があったから
フィッシャー：制御しやすい
- どのように肥料をやれば農作物の収穫量が増えるか
- 人間の手でコントロールしやすい領域から生まれた
- 将来の予測よりも、予測を覆す、今を変えるアクションに強い関心を持つ
- 「洞察」のためのモデル
計量経済学（経済学における統計解析手法の応用）
- ジェヴォンズ以降も、景気循環や株価のようにマクロで人間の制御が難しいものの予測に利用されることが多かった
- 当時はデータの収集コストおよび集計コストがいまよりはるかに莫大
- 分析して意味のありそうなまとまりのあるデータはマクロデータが主とならざるをえなかった？
- 「予測」のためのモデル
「洞察」か「予測」か
- 医学で性別や年代、喫煙や運動などの生活習慣といった項目と死亡の関係性を統計モデルで明らかにしたとする
- ある人の属性や生活習慣といった情報を用いて「何歳で死亡するか」予測をおこなうことはできる
- が仮にその予測が何歳かズレていたとしても大きな問題とは考えない
- それよりも、寿命を縮めるような生活習慣を適切に発見しその改善を通して健康増進のチャンスが見つかったことの方が重要視される
フィッシャー農場のように人間の手でコントロールしやすい要素がモデルに多く含まれている
- だから、（再掲）将来の予測よりも、予測を覆す、今を変えるアクションに強い関心を持つ
こんな場合は「洞察」のためのモデルが重要
- どの顧客に重点を置いて広告を出稿すればいいか
- 従業員の生産性を上げるための方法を知りたい
- 広告や従業員をコントロールするやり方の発見に重きが置かれる
こんな場合は「予測」のためのモデルが重要
- 出荷タイミング予測して在庫コストを最適化したい
- 調達する材料価格の変動を予測してリスクヘッジしたい
本書で紹介される多くのノイズの話は、
- 「洞察」のためのモデルにも関係してくる
- 「予測」のためのモデルにおいては多くの場合観察データのみによる予測しかおこなえない、がためにノイズが問題になる
- だから確率的思考が有効になる
ロジャー・ベーコン 科学の方法を実験と観察に大別
- 経済マクロ指標、天候、災害、テロリズムの多くは観察によるデータ収集しか許されない
- 人間の手によってなんらかの条件を変えた場合、どのような変化が起こるか検証が許されない
- 予測のためのモデルを作るために、実験環境を作るのが無理、人為的介入がそもそもできない、倫理的に許されない
医学、農学、工学など、実験、なかでもRCTができるというのはとても有利
- ノイズの多くは回避できる
- がために予測のためのモデルに関心が向きにくい
- 洞察のためのモデル、現世利益な思考になりがち、広告運用もそうだな
近年の経済学 個人レベルの行動や選択についてはRCTによる実証研究がさかん
- マクロな政策効果の実証などにおいても、たまたま先行してある政策を実施していた州、
- そうでない隣の州の間にどんな変化が見られたのか、
- 自然実験という名でおこなわれている
- 偶然できあがった観察調査みたいなものである