どっちのLPが効果的?簡単にカイ二乗検定を計算するExcel関数

どっちのLPが効果的?簡単にカイ二乗検定を計算するExcel関数

インターネット広告で問い合わせの獲得、購入の促進など、広告からのダイレクトレスポンスを目的とする手法はさまざま取り上げられてきましたが、その中でも、ランディングページ(LP)を利用した広告配信は、今でもよく取り入れられている手法です。

複数パターンのランディングページを準備し、均等に広告を配信することで、どちらのランディングページが効率的かを判定します。
改善を繰り返すことで、継続的に広告からの問い合わせ効率を上げていくことができます。

そこで、よく課題になるのが、一定期間の均等配信をして見たものの、明らかな差が得られず、その差が誤差の範囲かどうかという点です。

今回は、テストの結果からえられる差をより正確に判定するための手法として、カイ二乗検定を用いた手法を紹介したいと思います。Excelの関数を利用して簡単に判定することができるので、ぜひ参考にしてみてください。

統計学はとても深く難しい学問ですので、あくまで統計学の1ユーザとしてExcelでできる検証方法に限定してご紹介したいと思います。Excelで計算するために必要のない、統計学上の言葉の意味の説明はここでは割愛します。

今回は、弊社のとあるリスティング広告運用案件で得られた数値をそのまま使用してみたいと思います。
実際の数値は以下です。

LP A LP B LP C
セッション数 1,123 1,109 1,124
フォームセッション数 63 52 43
フォーム誘導率 5.6% 4.7% 3.8%

ランディングページを3パターン制作しましたが、AとBはコピーの違い、AとCは画像の違いの差を付けたので、A vs BとA vs Cの誘導率の比較をし、コピーと画像、どちらの要素に有効差があるのかをテストします。

まず、配信して得られたデータからその後の結果を推測することは、部分的なデータから母集団を推測することに捉えることができます。

この部分的なデータから母集団を推測することを統計学では検定と呼びます。

そして、「クロス集計表における2変数に関係があるかどうか」を検定する手法に、χ二乗(カイジジョウ)検定という検定手法があります。

例えば、今回のLP AとLP Bの比較の事例であれば、実測値を以下のような2変数のクロス集計表にし、「フォーム到達有無はLPの違いに関係があるのか」を検定することができます。

 

実測値 LP A LP B 合計
フォーム到達しない 1,060 1,057 2,117
フォーム到達する 63 52 115
合計 1,123 1,109 2,232

検定の手順に従うと、以下のようになります。

  • 母集団を定義する。
    • 広告を掲載しているキーワード検索をしているユーザを母集団と定義。
  • 帰無仮説を立てる。
    • 「フォームの到達有無はLPの違いに関係しない」という帰無仮説。
  • 検定の種類を選定する。
    • 独立性の検定
  • 優位水準を定義
    • 05と定義する。
  • 理論値を算出する。(後述)
  • p値を算出する。
    • エクセルのTEST関数を利用。
  • p値と優位水準を比較
    • p値が05以下であれば帰無仮説を棄却し、対立仮説が採択される。

 

具体的な検定方法は、エクセルでp値を計算し、優位水準以下かどうかを調べます。

まず、理論値を計算します。理論値とは「LP AとLP Bでフォーム到達有無に関係がない」と仮定すると、どのような数字になるかを示したものです。つまり、関係がないとするなら、「LPの誘導率は同じはず」なので、合計値をそのままにフォーム誘導率を同一にするような訪問数を計算します。

 

理論値 LP A LP B 合計
フォーム到達しない 1,065 1,052 2,117
フォーム到達する 58 57 115
合計 1,123 1,109 2,232

 

この実測値の緑の範囲と理論値の赤の範囲を、エクセルのCHISQ.TEST関数で指定します。
関数:=CHISQ.TEST(緑の範囲,赤の範囲)
この関数で算出したp値は以下になります。

 

CHISQ.TESTのp値 結論
LP AとLP Bの比較 0.325 「フォームの到達有無はLPの違いに関係しない」という帰無仮説は棄却できない。
LP AとLP Cの比較 0.046 「フォームの到達有無はLPの違いに関係する」という対立仮説は正しい。

 

LP AとLP Bの比較では0.325 > 0.05となったため、優位水準5%で「帰無仮説が誤っているとは言えない」と判定できます。一方、LP AとLP Cの比較では0.046 < 0.05となったため、優位水準5%で帰無仮説は棄却でき、「フォーム到達有無はLPの違いに関係する」という対立仮説が採択されます。 つまり、誘導率の差はLP AとLP Bで0.9%、LP AとLP Cで1.8%だったわけですが、このわずかな差を、統計解析を用いた検定を行っていれば、これほど明確な差として見ることができるということです。 <参考図書> ※羽山博・できるシリーズ編集部(2015)『やさしく学ぶExcel統計入門』 株式会社インプレス ※西内啓(2013)『統計学が最強の学問である』ダイヤモンド社


2017年版ウェブ解析士公式テキスト発売開始

ウェブ解析士認定試験公式テキスト2017年版が販売開始となりました。
私も5章「ウェブ解析基本用語の理解」担当で執筆に携わらせて頂きました。

前回2016年版は大きくコンテンツの充実が図られましたが、今回2017年版はウェブマーケティングで著名な小川卓氏の指導のもと全面改修し、さらに網羅的で整理された内容になっています。
この2017年版(第8版)は、2017年1月~2017年12月開催の認定講座/試験に対応する形です。

明年2017年からは「初級ウェブ解析士」という名称が廃止となり「ウェブ解析士」となります。

ここ数年は、年を追うごとにウェブ解析における需要は増加し、ウェブ解析士を含むウェブコンサルタントに求められる要求の質も高くなっていると感じます。
インターネットはこれだけ利用が簡単になっているにもかかわらず、ウェブの社会的な影響度は年々大きくなっています。

初級という名称がなくなる分、若干ハードルが一段上がりますが、やりがいも一入です。
興味のあるかたはぜひチャレンジしてみてください。

変化の早い環境の中でも、常にタイムリーで正しいウェブマーケティングを、共々に追及していければと考えております。

Amazon:2017年版ウェブ解析士公式テキスト

株式会社グラタス 代表取締役
WACA認定ウェブ解析士マスター
小野瀬 友樹


中はこんな感じです。

7月14日(木)ウェブ解析士講座開催します。

葛飾区シンフォニーヒルズ別館で初級ウェブ解析士講座を行います。

詳細はこちらをご覧ください。


中はこんな感じです。

6月9日(木) ウェブ解析士初級講座を開催

葛飾区にて初の初級ウェブ解析士講座です。

詳細はこちらをご覧ください。


Web解析士講座開始

WACA認定のウェブ解析士講座を始めました。

自社でウェブ解析士講座を開催したい等、御社のご要望に応じて柔軟に対応させて頂きます。

お気軽にご相談ください。


会社HP開設

logo-yoko-eniGratusのHPを開設しました。
ご不明な点などございましたらこちらまでお問い合わせください。


カテゴリー

Web広告・Webサイトについてお困りならお気軽にご相談ください。