【目的】
実験は検討中の具体的な業務施策に焦点を当てているのか
関係者は実験から何を学びたいと考えているのか
関係者間の合意
実験結果をもとに、具体的に何を変更するのか
実験結果が無視されないようにするために、どんな方法をとるのか
実験は組織全体の学習課題や戦略的優先事項にどう適合するのか
【実行可能性】
実験には検証可能な予測があるか
必要なサンプルサイズはどの程度か
サンプルサイズは期待される効果に左右される
特定した場所で、必要な期間、その実験をするのは現実的か
【信頼性】
系統的なバイアスに対処するために、どんな方法を用いるのか
対照群の特徴は実験群の特徴と一致しているか
ブラインドテストまたはダブルブラインドテストのいずれかで実験が可能か
統計的分析などの技法で、残っているバイアスを除去したか
他社が同じ実験をおこなっても同様の結果が得られるか
【価値】
効果が最も高そうな領域に投資を集中させるため、
実験のターゲットを絞り込んでいるか
つまり様々な顧客、市場、セグメントに対する施策の影響を考慮したか
施策を構成する要素のうち、投資リターンが最大となるものだけを実行しているか
どの変数がどの効果をもたらすかをよく理解しているか
提案された業務施策に関して疑問点がある時、これに答える現実的な方法が他になければ、実験をおこなうべきである
実験が必要かどうかを決めるにあたっては、まず何を知りたいかをはっきりさせねばならない。そうして初めて、テストが最善の方法かどうか、そうであった場合に実験範囲をどうするかを判断できる。
企業（ある人）は、仮説を磨いていく手順を身につけていないことが多いため、実験が非効率になって、不要なコストがかかり、悪くすれば検証すべき疑問に答えを出せない。
仮説が曖昧だと、具体的な説明変数が示されず、具体的な目的変数を検証できない。したがって仮説を肯定も否定もしづらくなる。よい仮説とは変数を明確にするものである。
実験は、会社の優先事項に寄与する学習の一環でなければならない。
期待される効果が大きいなら、ss.は小さくても構わない。期待される効果が小さいならss.は大きく。
期待される効果が小さければ小さいほど、それを周辺のノイズの中から統計的に信頼できるレベルで発見するには、多くの観察対象が必要。
適切なss.の選択は、テスト費用を減らし、イノベーションを促すことができる
結果の信頼性をどう担保するか？
信頼性をとるか、費用や時間など実行面の諸事情とのトレードオフを余儀なくされる。トレードオフの必要性を減らし、結果の信頼性を高めるには
無作為化フィールド実験、ブラインドテスト、ビッグデータ
何が有効かではない、何がどこで有効かである
得られた結果のうち、ROIが魅力的な部分だけを実行する
実験は始まりに過ぎない。実験で得たデータを分析し、その結果を十分に生かしてこそ価値が生まれる。
結果の妥当性や再現性が高いほど、社内の抵抗にも耐えられる
長年の業界慣行や社会通念に反する結果は、抵抗が強まりやすい
企業はビジネス実験を後ろ盾に、誤った常識やベテラン幹部にさえ見られる間違った直感を、自信を持って覆すことができる
そして今まで以上に賢明な意思決定を下せば、結果的に業績も向上する
from ハーバードビジネスレビュー
（ 2015年7月メモ）
0 件のコメント:
コメントを投稿