実験の準備と実施
仮説、比較する版、目標、公開前チェックを整えてから、利用可能な実験機能へ進みます。
開始前に必要なもの
明確な問い、比較する版、安定して計測できる目標、実験を設定・公開できるアカウントが必要です。先に設置とコンバージョンの計測を確認します。過去レポートの閲覧だけが可能な場合は、実験案を保存し、作成機能の利用可否を確認してください。
検証する仮説を明確にする
「このユーザーに対して、この内容を変えると、この行動が改善するはず。根拠はこれ」と書きます。元の版を比較対象にし、新しい版は一つの仮説に沿って変更します。価格、訴求、構成、流入を同時に変えると理由を切り分けにくくなります。差分と画面を残しましょう。
割り当てと評価条件を確認する
対象、割り当て方、主目標、タイムゾーン、観察期間、版の識別情報を担当者が確認します。訪問数、ユーザー数、コンバージョン数では分母が異なります。途中から目標を増やして良い結果だけ選ばず、設定を変えた場合は時刻と影響を記録します。
公開前に実際の動作を確かめる
PC とスマートフォンで各版の文面、リンク、フォーム、読み込み、計測を確認します。対象の訪問で想定した版が表示され、他の施策と干渉しないことを確かめます。公開判断者、監視担当、中止条件も決めます。編集画面のプレビューだけで確認を終えないでください。
実施中の変更を記録する
実施中は計測の継続、版ごとの流入の偏り、ユーザーの不具合を見ます。短期の差だけで勝敗を決めたり、結果を追って頻繁に内容を変えたりしないようにします。不具合時は決めた方法で停止・復旧し、時刻と影響する期間を残します。