- 知識ギャップの認識（依頼者や自分が知っていること、知らないことは何か）
- 自分の情報源リストとのすり合わせ（いつもの手段で集められそうか、新規開拓が必要か）
- 情報の収集
- 入手した情報の検証、判断
- 伝達（依頼者に報告）
- 自分の情報源リストの更新、整備
細部を詰めて
- 何のために
- 誰が
- 何を
- どこから
- どんな方法で
- どの程度
- いつ集めるか
集めた情報のその後
ROTな（くだらない）データは捨ててしまえ
- Redundant 余分
- Obsolete 古い
- Trivial 些末
データの種類
- ログデータ
- 意味のあるデータと意味のないデータが入り混じりやすい、玉石混淆になりやすい
- その見分け方が難しい 周辺情報が必要だったり、多変量解析的に数学的に数字を分解しないと読み解くのが難しい（ただしこれはテクノロジーの進化で簡素化しやすい）
- アンケートデータ
- 聴きたいことを聴いてる分、意味のあるデータが抽出されやすい
- ただしこちらが聴きたいことと、回答者が思い描いたことが完全に一致しているかどうか？
- アナログで抽象的な手順を踏む分、誤差要因が大きくなりやすい場合もある
- 脳科学データ
- 客観性、再現性に優れる
- アンケートデータは回答者の主観、恣意に基づくデータ
（2008年1月、2013年3月メモ）
ビジネス実験のチェックリスト
【目的】
- 実験は検討中の具体的な業務施策に焦点を当てているのか
- 関係者は実験から何を学びたいと考えているのか
- 関係者間の合意
- 実験結果をもとに、具体的に何を変更するのか
- 実験結果が無視されないようにするために、どんな方法をとるのか
- 実験は組織全体の学習課題や戦略的優先事項にどう適合するのか
【実行可能性】
- 実験には検証可能な予測があるか
- 必要なサンプルサイズはどの程度か
- サンプルサイズは期待される効果に左右される
- 特定した場所で、必要な期間、その実験をするのは現実的か
【信頼性】
- 系統的なバイアスに対処するために、どんな方法を用いるのか
- 対照群の特徴は実験群の特徴と一致しているか
- ブラインドテストまたはダブルブラインドテストのいずれかで実験が可能か
- 統計的分析などの技法で、残っているバイアスを除去したか
- 他社が同じ実験をおこなっても同様の結果が得られるか
【価値】
- 効果が最も高そうな領域に投資を集中させるため、
- 実験のターゲットを絞り込んでいるか
- つまり様々な顧客、市場、セグメントに対する施策の影響を考慮したか
- 施策を構成する要素のうち、投資リターンが最大となるものだけを実行しているか
- どの変数がどの効果をもたらすかをよく理解しているか
実験の実施可否判断
提案された業務施策に関して疑問点がある時、これに答える現実的な方法が他になければ、実験をおこなうべきである
実験が必要かどうかを決めるには、
- まず何を知りたいかをはっきりさせねばならない。
- そうして初めて、テストが最善の方法かどうか、そうであった場合に実験範囲をどうするかを判断できる。
- 企業（ある人）は、仮説を磨いていく手順を身につけていないことが多いため、
- 実験が非効率になって、不要なコストがかかり、悪くすれば検証すべき疑問に答えを出せない。
- 仮説が曖昧だと、具体的な説明変数が示されず、具体的な目的変数を検証できない。
- したがって仮説を肯定も否定もしづらくなる。
- よい仮説とは変数を明確にするものである。
実験の意義
- 実験は、会社の優先事項に寄与する学習の一環でなければならない。
実験の規模
- 期待される効果が大きいなら、ss.は小さくても構わない。期待される効果が小さいならss.は大きく。
- 期待される効果が小さければ小さいほど、それを周辺のノイズの中から統計的に信頼できるレベルで発見するには、多くの観察対象が必要。
- 適切なss.の選択は、テスト費用を減らし、イノベーションを促すことができる
結果の信頼性をどう担保するか？
- 信頼性をとるか、費用や時間など実行面の諸事情とのトレードオフを余儀なくされる。
- トレードオフの必要性を減らし、結果の信頼性を高めるには
- 無作為化フィールド実験、ブラインドテスト、ビッグデータ
実験を受けてのアクション
- 何が有効かではない、何がどこで有効かである
- 得られた結果のうち、ROIが魅力的な部分だけを実行する
- 実験は始まりに過ぎない。
- 実験で得たデータを分析し、その結果を十分に生かしてこそ価値が生まれる。
アクションのしやすさ
- 結果の妥当性や再現性が高いほど、社内の抵抗にも耐えられる
- 長年の業界慣行や社会通念に反する結果は、抵抗が強まりやすい
実験をやる意味
- 企業はビジネス実験を後ろ盾に、誤った常識やベテラン幹部にさえ見られる間違った直感を、自信を持って覆すことができる
- そして今まで以上に賢明な意思決定を下せば、結果的に業績も向上する
from ハーバードビジネスレビュー
（2015年7月メモ）
0 件のコメント:
コメントを投稿