ユーザー層を比較する：差を理解する
端末、流入、行動条件で対象をそろえ、差が生まれる場所を調べます。
判断したいことから区分を決める
比較は、モバイルと PC、特定の流入元と他の流入元、定義した行動条件などで、同じ問いの結果が違うかを調べるものです。どの判断に使うかを先に決め、差を探すためだけに細分化し続けないようにします。
条件は観測、再確認できるものにします。「高価値」「迷っている」といった未定義の呼び方をそのまま使わず、対応する行動や目標の基準を書いてください。
条件をそろえ、重複を確認する
期間、サイト、ページ、目標、指標定義を固定し、比較したい主な条件を変えます。端末ではレイアウト、流入元では訪問目的や広告内容も考慮します。背景が最初から同じとは限りません。
区分が重ならないか確認します。同じ人が別の流入元で再訪したり、複数の行動条件を満たしたりします。重なる区分の人数を足して総ユーザー数にはできません。条件を明示し、完全に別の集団だと誤読されないようにします。
母数、行動、目標を一緒に尋ねる
分析会話で対象を選ぶか条件を書き、各区分のデータ量、重要行動、目標結果を求めます。「同じ期間で到達、主要クリック、問い合わせにどんな差があるか。回数と人数を分け、比較できない項目も示して」と尋ねられます。
全体の差を見てから、どの段階で生じるかを深掘りします。「最も良い層」だけを求めないでください。高い率は既存の意向、獲得コスト、少量データによる場合があり、流入を増やしても同じとは限りません。
割合の差を規模と背景に戻して読む
目標率が高ければ、母数、達成人数、事業上の価値も確認します。小さい区分の高率が優先投資を意味するとは限りません。全体の変化が、各区分の構成比の変化だけで起きる場合もあります。
差が大きい場合は、見たページ、情報、操作負担が異なるか考えます。変えられる体験要因を探すのであり、固定的な性格やセンシティブな属性を少量の行動から推定しないようにします。
ページと経路の根拠で差を深掘りする
同じ重要領域に届くか、同じ手順で離れるか、入口ページが違うかを調べます。ヒートマップ、ファネル、経路はそれぞれ位置、順序、実際の移動の手掛かりになります。区分を増やすより、操作できる課題に近づける場合があります。
少量の行動だけの差は検証待ちの手掛かりとして残します。必要なら条件を固定して観測期間を延ばします。結果を見てから都合のよい差が出るまで区分の定義を変えないでください。
区分の発見を実際の改善に使う
どのユーザー、どの場面、何を観測し、何を検証するかで結論を書きます。特定端末で重要説明への到達が少なければ、流入を減らす前にレイアウトを確認します。体験の障害を優先して調べます。
後の検証に使う条件を残し、ページ、流入、目標の変更を記録します。新しい結果が以前の説明を支持しなければ知識を更新し、そのユーザー層へ固定した評価を残さないようにします。