実験結果を読み、次の判断につなげる
全体レポートと版別比較を分け、条件を残して次の判断につなげます。
レポートの対象を確認する
プロファイル、実験、期間、目標を合わせます。全体レポートは施策全体の状況を、版別比較は案ごとの差を確認するために使います。版別のデータがない場合、どちらが良かったかは判断できません。訪問、人数、回数のどれを数えているかも揃えます。
比較できるデータか確かめる
両方で計測が動き、解釈できる件数があり、端末や流入元に不自然な偏りがないか確認します。設定変更や他の施策の影響も調べます。欠損はゼロ件ではありません。一方のフォームが壊れていれば、差は訴求ではなく不具合を反映している可能性があります。
件数・率・限界を併記する
「20％改善」だけで終わらせず、各版の対象数、目標達成数、率、期間、定義を残します。差はすべての人に同じ効果があることを意味しません。不確実性の説明があれば併せて読み、統計的な根拠がなければ「差を観測したが追加検証が必要」と表現します。
再利用できる知識として残す
対象と状況、変更内容、結果、まだ言えないことをまとめます。新しい版を採用するか、元に戻すか、検証を続けるかは担当者が判断します。確認した結論をレポートと版の情報とともに保存し、次の企画で使える条件を残しましょう。
差が小さい場合も次へ進める
差が小さくても、その情報が不要とは限りません。実際の障害に対応したか、変更が見られたか、目標が遠すぎないか、観察が十分かを確認します。支持されなかった仮説も残し、ヒートマップや個別の行動から根拠を補って次の案を考えます。