なぜこんな調査結果に？

Web調査は、マーケティングをはじめ社会のさまざまな領域で活用され、社会の理解や組織の意思決定のための重要な道具となっています。そのいっぽうで、Web調査はその柔軟さゆえに、利用者が理解に苦しむような調査結果を提供することがあります。

たとえば、次のような場面を考えてみましょう。

マーケター 「ブランド構築について戦略を立案するため、わが社の製品ブランドA、ならびに競合ブランドB, Cに対する、ユーザの知覚や態度を知りたいです」
リサーチ担当者「わかりました。では、Web調査パネルに登録している人のうち、ブランドA, B, Cのそれぞれのユーザに対して調査を行いましょう」
(…ややあって…)
リサーチ担当者「調査が終わりました！ 結果はこちらです」
マーケター「おかしい… どのブランドのユーザも、ブランド・ロイヤルティが妙に高い。それに、製品カテゴリについての知識レベルが妙に低い。なぜだ？」

マーケターもリサーチ担当者も、この予想外の結果に驚き、実質的な理由を探し始めるでしょう。最近の消費者は現状肯定的であり、自分が使っているブランドに好意的なのではないか？ このカテゴリは近年新しいユーザを獲得しており、そのためカテゴリについての知識レベルが下がっているのではないか？ などなど。

予想に反する調査結果を正面から受け止め、その理由について推論することには大きな価値があります。それは私たちの認識を塗り替え、より良い意思決定へと導いてくれるかもしれません。でも、ちょっと待ってください。上の例は、対象者の割付が調査結果にバイアス(歪み)をもたらしている典型的な事例なのです。

対象者の割付とは

上の例では、ブランドA,B,Cに対する各ブランドのユーザの反応を測定しようとしています。ブランドA,B,Cのことを「刺激」と呼ぶことにしましょう。

各刺激に対する調査対象者の反応を集めるひとつの方法は、各対象者にすべての刺激を提示し、それぞれについて反応を得ることです。しかし、この方法は実際には採用されないことが多いと思います。その理由は大きくふたつあります。

・設問が多くなり、疲労による回答の質の低下が懸念されるから。
・ある刺激について反応を集めたい対象者が限定されているから。たとえば上の例では、マーケターはブランドAについてはAのユーザから、BについてはBのユーザから、CについてはCのユーザからの回答を得たいと考えています。各ブランドの非ユーザの反応には関心を持っていません。

そこで広く行われている方法は、対象者の特性に応じ、対象者を少数の刺激へと「割り付ける」という方法です。たとえば上の例では、まずブランドA,B,Cそれぞれのユーザかどうかを聴取し、その人がユーザであるブランドのうちどれかひとつについて聴取する(=どれかひとつへと「割り付ける」)、という方法が考えられます。Aのみのユーザである対象者はAに「割り付け」、AとBの両方のユーザである対象者はAかBのどちらかに「割り付ける」ことになります。

こうした「対象者の割付」は広範な調査場面で生じます。Tille(2016)は公的統計調査における事例を紹介しています。政府は労働者の賃金をその職種別に調べるための調査を行うことがあります。企業に対して各職種の従業員の賃金について聴取する調査です。職種の数は多いので、各企業に少数の職種についてのみ聴取するのが現実的です。さらに、その企業に存在している職種についてしか聴取できません。そこで、調査対象企業に対し、まずその企業に存在する職種について聴取し、次にその企業を存在する職種のうち少数の職種へと「割り付け」、その職種について聴取する、という方法が用いられます。

Web調査のひとつの特徴は、対象者に提示する情報を対象者のそれまでの回答によって変化させることができる点です。上記のような柔軟な対象者割付は、Web調査ならではの方法といえるでしょう。

割付に起因するバイアス

こうした対象者割付は、効率的な調査のための有用な手段であるいっぽう、調査結果に深刻なバイアスをもたらすことがあります。

ブランド調査の例について考えてみましょう。

ある対象者は、ブランドA,B,Cのそれぞれのユーザかどうかという観点から8パターンに分類できます。そのうちAのユーザは次の4パターンです。

・パターン1. ブランドA,B,CのうちAのみのユーザ
・パターン2. ブランドA,B,CのうちAとBのユーザ
・パターン3. ブランドA,B,CのうちAとCのユーザ
・パターン4. ブランドA,B,Cのすべてのユーザ

話を分かりやすくするため、ある対象者はひとつの刺激に割り付け、複数の刺激に割付可能である場合はいずれかの刺激に等確率で割り付けることにしましょう。パターン2,3の対象者は確率0.50でブランドAに割り付けられ、パターン4の対象者は確率0.33でブランドAに割り付けられることになります。

仮に、調査対象者のうち各パターンに該当する人がそれぞれ100人いるとします。つまり、ブランドAのユーザは400人いるわけです。ところが、Aに割り付けられる確率は、上から順に1.00, 0.50, 0.50, 0.33です。Aに割り付けられる対象者は、およそ100人, 50人, 50人, 33人となります。

パターン2,3,4の対象者を「ブランド併用者」と呼びましょう。ブランドAのユーザである400人のうち、ブランド併用者は300人(75%)を占めています。ところが、実際にブランドAに割り付けられる対象者(およそ233人)のうち、ブランド併用者はおよそ133人(57%)です。ブランド併用者の割合が減ってしまっています。

多くの製品・サービスにおいて、ブランド併用者はそうでない人に比べ、一定の実質的特性を持っていることでしょう。個別のブランドに対するロイヤルティが低い、当該の製品・サービスのカテゴリについての知識が豊富、といった特徴です。ブランドAに割り付けられた対象者およそ233人は、ブランドAのユーザ300人と比べてブランド併用者が少なくなり、Aに対するロイヤルティは高めになり、製品カテゴリについての知識は低めになるわけです。

同様のバイアスがブランドB,Cにおいても生じます。バイアスの大きさは、あるブランドのユーザにおけるそのブランドへの割付確率のちらばり、ならびに割付確率と関心ある特性との関係の強さによって決まります。その深刻さを直感的に把握するのは容易ではありません。

適応的割付の弊害

現代のWeb調査においては、対象者割付に起因するバイアスはさらに深刻な問題となります。刺激への割付に際し、調査コストを下げるための様々な工夫を行うことが可能であり、実際にも工夫がなされているからです。それらの工夫を「適応的割付」と呼ぶことができます。

リサーチ担当者の立場になって考えてみましょう。担当者は、できるだけコストをかけずに、ブランドA,B,Cについて一定の人数の回答者を得たいと考えます。いま、消費者におけるブランド顧客率がCで低く、リサーチ担当者はそのことを知っているとしましょう。調査対象者のなかにブランドA,Cの併用者(パターン3)がみつかったとします。この対象者をどのブランドに割り付けるのが効率的でしょうか？ Cに割り付けたい、と思うのが自然です。Cのユーザを集めるのに苦労しそうだからです。

こうした工夫の結果、パターン3,4の対象者に対するAの割付確率はさらに低くなり、バイアスはより深刻になります。コスト削減のための工夫が思わぬ弊害をもたらすわけです。

「細かいことは気にするな」？

Web調査における対象者割付、特に適応的割付がもたらしうるこうした弊害に対して、次のような意見を聞くことがあります。「統計学的にいえばそうなのだろうが、リサーチ実務においてはコストが重要だ。それにWeb調査自体、そもそも歪みを持っているではないか。細かいことは気にするな。」

前半と後半は別の論点です。前半は正論です。調査においてコストが重要なのは今に始まったことではありません。問題はコストとベネフィットのバランスです。対象者割付におけるコスト削減の工夫(適応的割付)は調査結果に深刻なバイアスをもたらす可能性があります。その大きさを把握することなく、コストのみに注意を向けることは許されるでしょうか。

後者の論点にも一理あります。任意型Webパネルを用いた調査は確率調査が満たすべき条件を備えておらず、その結果に基づく統計的推測はバイアスを伴います。このバイアスに目をつぶったまま、対象者割付のバイアスだけをあげつらうのはおかしな話にみえるかもしれません。しかし、両者は深刻さの度合いが異なります。非確率調査に起因するバイアスは、対象母集団のメンバーが調査対象者となる確率(標本包含確率)と、関心ある特性との関連性によって決まります。従って、バイアスの深刻さは関心ある特性によって異なり、深刻な場合もあればそうでないこともあります。いっぽう対象者割付によるバイアスは、刺激への割付確率と関心ある特性との関連性によって決まります。割付確率は他の刺激への割付可能性(例, どのブランドのユーザか)に依存し、それは多くの場合、関心ある特性(個々のブランドへの知覚・態度)と強い関連性を持ちます。対象者割付に起因するバイアスは、任意型Webパネルによる調査そのものに起因するバイアスより、はるかに深刻かもしれないのです。

調査実務家の「細かいことは気にするな」という態度は一種のモラル・ハザードであると思います。調査結果のユーザと調査実務家の間には情報の非対称性があります。前者は調査の技術についての知識を持ち合わせておらず、後者の行動を容易に監視できません。その結果、後者は目に見える利益(調査コスト削減)を追求し、その結果として前者は隠れた不利益(調査結果のバイアス)を甘受することになります。これは後者の道徳性の欠如によって生じる現象ではなく、情報の非対称性の下で生じる必然的な現象です。

割付バイアス：新しい問題？

本稿で紹介した対象者割付に起因するバイアスは、新しい話題とはいえません。

実験計画法の観点から見たとき、対象者の実験条件への割付は対象者の特性と無関係に行われていることが重要です。いっぽう上の例では、対象者の割付はその対象者の特性(どのブランドのユーザか)に依存しています。バイアスが生じるのは当然です。

標本抽出法の観点から見たとき、本稿で述べた状況は二段抽出の特殊ケースとして捉えることができます。第一段抽出(典型的には自治体の抽出)にあたるのが対象者の抽出であり、第二段抽出(住民の抽出)にあたるのが刺激への割付です。本項で扱った問題は、一次抽出単位とクロスする層(刺激)の性質に関心があり、かつ一次抽出単位と層の組み合わせにおいて二次抽出単位が0～1個しかないケースでの、第二段抽出デザインに関する問題です。 対象者割付に起因するバイアスは難解な話題であるともいえません。ここまでお読み下さった方は、対象者割付がバイアスをもたらすこと、「ユーザが少ないブランドのユーザをそのブランドに優先的に割り付ける」タイプの適応的割付によってバイアスがさらに深刻になることを、容易に理解して下さるでしょう。専門的知識は必要でありません。

残念ながら、対象者の割付が調査結果にバイアスをもたらしうるということは、調査結果のユーザはもちろん、経験ある調査実務家の間でさえ、必ずしも常識となっていません。上の例のマーケターとリサーチ担当者のように、「各ブランドのユーザに調査したいです」「はい、各ブランドのユーザに調査しました」というやり取りに終わり、そこで対象者の刺激への割付という問題が生じていること自体に両者が無自覚であることも珍しくないと思います。さらにいえば、調査実務家にはこの問題について考慮するインセンティブも乏しいわけです。いま必要なことは、調査結果のユーザを含む調査に関わるすべての方にこの問題の深刻さについて知って頂き、情報の非対称性を小さくすることだと思います。

割付バイアスへの対処

対象者割付に起因するバイアスに対処する際、まず必要なのは、予定されている割付方法の下でのバイアスの大きさを事前に見積もり、回答負荷やコストと比較することでしょう。たとえば上の例では、各ブランドのユーザにおけるそのブランドへの割付確率がそのブランドのなかで一定であれば、割付に伴うバイアスは生じません。しかし、その確率を高い値にするならば回答負荷が高くなり、低い値にすれば必要な対象者数が多くなり調査コストが増大します。

対象者割付を伴う調査を実施する際のポイントは、「ある刺激に割り付けられうる対象者におけるその刺激への割付確率をあまり小さな値にしない」ことです。割付確率が0でなくかつ既知ならば、その確率の逆数に比例した値をウェイトとした重みづけ集計によって、バイアスをほぼ取り除くことができるからです。これをIPW推定ないしHajek推定といいます。

調査設計時には、過去の調査結果などにもとづき、刺激への割付可能性と関心ある特性の同時分布について一定の仮定を置けば、さまざまな割付方法について、割付確率の分布とバイアスの大きさ、回答負荷、調査コストを事前にシミュレーションすることができます。また調査終了後、複雑な適応的割付のせいで割付確率が自明でない場面でも、当該の調査データに基づくシミュレーションによって割付確率を推定することができます。本稿の著者は複雑な適応的割付における割付確率を調査実施前・実施後に推定する方法を提案し(小野, 2024)、これを実装したRパッケージrSurveyAssignを公開しています。

対象者割付に伴うバイアスは対処できるバイアスです。必要なのは、調査に関わる人々がこのバイアスについて知り、調査実践の現場で積極的に気に掛けることだと思います。

文献
Tille, Y. (2016) Unequal probability inverse sampling. Survey Methodology, 42(2), 283-295.
小野滋(2024). web調査における刺激への適応的割付と母集団特性の推定. 日本行動計量学会第52回大会, 大阪経済大学, 2024年9月.