因果推論とは？ビジネスの効果測定の落とし穴を回避する方法

この記事では正しい効果測定を可能にする分析手法、「因果推論」についてご紹介します。

ビジネスの世界でもデータ活用が普及し始めていますが、データの扱い方に不安がある現場も多いのではないでしょうか。

「今回のキャンペーンはいつもより上手くいっていそうだな」といった「感覚」を、データを使うことで「客観的事実」として扱うことができるようになります。ただし事実として扱うために、データが誤っていたときの影響は大きくなるので注意が必要です。

今回は統計などの専門的な知識については触れず、3つの主要な分析手法を通して因果推論のベースとなる考え方をご説明します。

因果推論とは？

因果推論とは、ある事象（原因）が別の事象（結果）にどのように影響するかを理解するための手法です。自然科学や社会科学でよく使われます。

これとは別に「効果測定」という概念があります。効果測定は、ある政策や介入が実際にどれだけの効果をもたらしたのかを評価することです。

ビジネスで効果測定をするときの落とし穴とは？

効果測定には落とし穴があります。例として、PRメール送信の効果検証を取り上げてみましょう。

PRメールの効果検証

PRメールによって購買額の増額に効果があったかを検証します。今回のケースでは、施策によって一律で「購買額+1,000円」の効果があったとします。対象者とそれぞれの購買額は以下の通りです。

この施策の効果検証をするため、メールを「受け取ったグループ」と「受け取っていないグループ」で平均の購買額を計算し、その差分をメール配信の効果とすることにしました。結果は以下のとおりです。

メールを受け取ったグループと受け取っていないグループの差分は2,000円で、本来の効果である1,000円よりも大きくなってしまいました。

メールを受け取ったグループとメールを受け取っていないグループでもともとの購買額に差があったため、購買額平均の差分を計算した時に、キャンペーンによる購買額の上昇に加えてもともとの購買額の差まで施策の効果として扱われてしまっているのです。

グループ間の差で分析結果に歪み

施策により反応しそうな優良顧客に優先的にメール配信をした場合、今回の例のような偏りが生じ、分析結果が歪んでしまうことが考えられます。

一人のユーザーが「メールを受け取った場合の購買額」と「メールを受け取らなかった場合の購買額」の両方がわかれば理想的なのですが、現実世界ではどちらか一方しか観測できません。そのためメールを受け取ったグループと受け取っていないグループで比較をすることになります。

今回のようにメールを送る対象が恣意的に選ばれていたりなど、「メールを受け取ったか否か」以外の差がグループ間に存在するケースは往々にしてあります。このような偏りを排除し、施策の効果など、興味があることがらの影響をできるだけ正確に計測するために活用するのが因果推論です。

ここからはそんな因果推論の主要な3つの分析手法をご紹介します。

回帰分析

まず最初にご紹介するのは回帰分析です。回帰分析では、性別、年齢、会員ランクなど、ユーザーの属性の情報を使って、購買額など施策の目的となる数値を予想する方程式を作ります。

美容商品の無料トライアルプログラム実施によって、どれくらい購買額が増えたか知りたい場合で考えてみましょう。

たとえばトライアルプログラムへの参加に関わらず、一般的に女性の方が男性よりも平均して5,000円購買額が大きいことが分かっている場合、「女性であること」という属性に対して、「購買額への影響度合い」を掛け合わせることで、次のような式ができあがります。

この式の中に「トライアルプログラムへの参加有無」という属性を加えて、できるだけ正しく「購買額」を予想できるようにし、「トライアルプログラムに参加したことによる購買額への影響度合い」を機械に見つけてもらうのが因果推論における回帰分析です。

仮に、トライアルプログラムに参加したグループの方が女性の割合が大きかったとします。トライアルプログラムに参加したグループとしていないグループの間には、プログラムへの参加の有無に加えて「女性であること」など、いろいろな要素によって購買額に差が出る状態になっているはずです。

購買額の差のうち、どれくらいがトライアルキャンペーンへの参加によるものなのか？　そんな時に回帰分析を使うと、「女性であることの購買額への影響」など他の要素による影響を切り分け、「トライアルプログラムに参加したことによる購買額への影響」をより純粋に知ることができます。

以上が回帰分析についてでした。

傾向スコア

回帰分析を使って、施策以外の要因が目的の数値に影響を与えているかを調べるには、分析者が数値に影響をおよぼす属性を理解し、方程式に加える必要があります。しかし、そのような情報は得られないかもしれません。

そこで、傾向スコアを使った分析を行います。これは目的となる数値が決まる仕組みではなく、「施策の対象が選ばれる仕組み」に注目して偏りを無くすものです。

具体的には、そのユーザーが施策の影響を受ける確率を表します。購買額が大きい方がメール配信の対象になりやすい、公式アカウントフォロワーの方がキャンペーンに参加しやすいなど、「施策の対象が選ばれる仕組み」に注目して、ユーザー一人ひとりの施策の影響を受ける確率を計算するのです。

記事の最初でご紹介した例のように、効果が見込める顧客に対して優先的に施策を行うと、施策対象のグループとそれ以外のグループで偏りが生じ、分析結果が歪んでしまいます。

また、キャンペーンへの参加など、施策効果を受けるかどうかがユーザーの判断による場合も注意が必要です。キャンペーンに参加するユーザーは、キャンペーンに参加しなかったユーザーと比べて、よりロイヤルなユーザーである可能性が高いためです。

では、どんな場合に偏りがないと言えるのでしょうか。それは、施策の対象が完全にランダムに選ばれている場合です。全ユーザーからランダムに選ばれた対象者にメールを配信したり、抽選で選ばれたユーザーのみがキャンペーンの対象になる場合、理論上、施策の影響を受けたグループと受けていないグループの間に偏りはないと言えます。

しかしコストが高すぎるなどの理由で、そのような施策を設計することは難しいです。傾向スコアを使った分析では、擬似的にランダムに対象者を選ぶような状況を作ろうとします。

傾向スコアの使い方には、主に2つのパターンがあります。

傾向スコアマッチング法

傾向スコアマッチング法では、「傾向スコアが同じグループの中なら、施策の対象がランダムに選ばれているに等しいと考えることができる」という前提を元に、施策の影響を受けたグループと同じ傾向スコアを持つユーザーを、施策の影響を受けていないユーザーグループから抽出してペアを作って比較します。

逆確率重み付き推定

逆確率重み付き推定では、傾向スコアが低いのに施策対象になった、あるいは傾向スコアが高いのに施策対象にならなかったユーザーの結果を高く評価します。逆に傾向スコアが高く施策対象になった、もしくは傾向スコアが低く施策対象にならなかったユーザーの結果を低く評価します。

このような重みづけにより「施策の影響を受けたグループの方が、傾向スコアが高いユーザーが多い」（もしくはその逆）という偏りを打ち消すことができます。

差分の差分法

差分の差分法では、施策が始まる前後での変化を、施策の影響を受けたグループと受けていないグループで比較します。

施策の効果を正確に測定するために、施策影響を受けたグループの施策前後の差分から、施策影響を受けていないグループの差分を減算することで、施策以外の要因による影響を除外して、施策の効果を算出します。

つまり、「施策影響を受けたグループが施策影響を受けていなかった場合のトレンド」を、施策影響を受けていないグループのトレンドで予想することで、施策の効果を測定するのです。ただし施策の効果を正確に測定するためには、同じような傾向で推移するできるだけ似たユーザー群を比較対象として選ぶ必要があります。

回帰分析や傾向スコアを使った分析には、ユーザー単位の属性情報が必要です。また、「ある一定の条件を満たした場合は必ず施策の影響を受ける」という場合には使えません。

たとえば、ある地域全体に対して広告を出した場合、その地域に住んでいる全員が施策の影響を受けるため、回帰分析や傾向スコアを使った分析が難しくなります。

差分の差分法を使えば、施策前後のデータがあれば、施策影響を受けたグループと受けていないグループの両方に似た特徴を持つユーザーがいることを前提とした分析手法よりも、比較的簡単に分析を行うことができます。

まとめ

以上、施策効果を正しく計測するための因果推論についてご紹介しました。

今回統計的な専門的知識や、分析を行うために必要になるデータ環境などについてはお話ししていませんが、「因果推論」という分析手法があることをもっと多くの方に知っていただきたいと思いこの記事を書きました。

データの使い方によっては偏りのある分析結果になってしまうかもしれないことを理解し、より正しい効果測定をするために因果推論などの手法を活用することを選択肢の一つとして考えていただけたらいいなと思っています。最後まで読んでいただきありがとうございました。