条件をそろえてデータを比較する

比較で答えたい問いを決める

「改修後に良くなったか」「モバイルの達成率が低い理由」「商品に合う流入元」は別の問いです。比較対象と主な結果を決めてから指標を選びます。全数値を見た後に、期待した結論に合う大きな変化だけを選ばないようにします。

仮説と影響しそうな要因を書きます。ページ変更後の問い合わせ増加には、広告の対象変更も関係するかもしれません。前後比較は差を見つけますが、他の原因をすべて切り離せるわけではありません。

期間の長さだけでなく性質もそろえる

期間の長さ、曜日、祝日、施策の段階を考慮します。完了した一週間と途中の今週、販促初日と通常の平日は同条件ではありません。タイムゾーンも確認し、同じアクセスが別の日に分類されないようにします。

期間が違う場合に平均を使うなら、総数と日数も残します。平均だけでは季節や施策の差は消えません。データが少なければ条件を安定させて観測を続け、良い結果を探して期間を細かく変えないようにします。

ユーザーと流入の構成をそろえる

端末、流入元、地域、新規・再訪など、問いに必要な条件を固定します。全体の達成率の変化は、達成しやすい流入元の比率が変わっただけかもしれません。全体を見た後、主要な区分でも同じ方向か確認します。

区分が重なる場合、重複を除いた人数を足して全体人数にはできません。業務と関係のないセンシティブな推測も加えないようにします。目的は観測できる行動差の理解であり、人に固定したラベルを付けることではありません。

指標とページの条件も固定する

同じレポート、目標、単位、観測期間で比べます。ページクリック率、要素クリック率、目標率は母数が違うため置き換えられません。URL、構成、ボタン設定が変わった場合は版の関係を残し、同じ対象を比べているかを判断します。

計測設定の変更も記します。イベント追加で件数が増えても、ユーザーが活発になったとは限りません。目標追加前の空欄をゼロとして比べず、測定の変更を切り分けてから事業の変化を考えます。

件数、割合、データ量を一緒に見る

割合は人数や回数と一緒に読みます。達成が一件から二件になれば相対増加は大きくても、安定した改善とは言えません。前後の母数、件数、率を示し、ポイント差と相対変化の意味を分けます。

条件を完全にはそろえられない場合は、残る違いと影響を記します。無理に勝者を決めず、「変化は観測されたが、流入構成の影響を確認する必要がある」と結論できます。制約を省いた大きな割合より、次の行動に役立ちます。

比較条件を表に残す

同僚が条件を再現できるようにし、確認した発見を企画や改善に使います。同じ仮説の再検証では条件を再利用し、必要な変更だけを記録できます。