アンケート調査の信頼性

標本誤差と非標本誤差とは

母集団の中の一部にアンケートを行い、その結果を分析することでもともとの母集団の結果を推定するアンケート調査(標本調査)には大きく標本誤差と非標本誤差が含まれています。

標本誤差とは、アンケート結果と母集団とがどれだけ食い違っているかを表す指標です。例えばアンケートの結果、ある商品の認知度は60％だったとしましょう。この時、仮に母集団全体の本当の認知度が80％だった場合は、標本誤差はそれら2つの差である20％となります。ここで、大切なのはこのような標本誤差は「標準誤差」という統計値を用いて確率的に記述できることです。そのため、この標本誤差を基に統計的に意味のあるアンケート調査を設計することができます。

一方、非標本誤差とは標本誤差以外の誤差のことで、調査の流れの中で意識的・無意識的に発生する誤差を指します。例えば、アンケート回答者が間違えて質問文を理解した場合などです。こちらの誤差は確率・統計的に記述することができないため、後述する統計的に有意な調査設計を行った場合でもそのリスクを消し去ることはできません。

統計的に意味のあるアンケート調査の必要サンプル数

サンプル数と標本誤差の関係

母集団が十分に大きい場合、サンプル数と標本誤差の関係は以下のような近似式で表すことができます。この時、詳しい話は割愛しますが信用区間95％、回答比率は0.5で固定の値を用いることに注意してください。

上に示した数式から、サンプル数と標本誤差の関係をグラフにすると、下のグラフのようになり、1000サンプル以上から標本誤差の減少は落ち着いてきます。したがって、サンプル数は多くとも1000サンプルほどに留めましょう。また、リサーチ業界では分析したい軸のサンプルが最低でも30～50サンプルあればまぁいいだろうといわれています。サンプル数が30～50の時の標本誤差は±20％前後ですが、これはあくまで±20％前後の誤差が必ずあるわけではなく、誤差があったとしても±20％前後の間に収まるという意味であることに注意が必要です。

必ずしも統計的に意味のあるアンケート調査を行う必要はない

読者の中には、必ずしも統計的に意味のあるアンケートを行う必要があるのか？と疑問を感じている方もいるでしょう。これはケースバイケースですので、以下に統計的に意味のあるアンケート調査が有効な場合、無効な場合のケースをご紹介します。

統計的に意味のある調査が有効なとき

母集団が非常に大きく標本調査をするしかない、かつ母集団全体の結果を議論したい場合は統計的に意味のある調査が非常に有効になります。例えば、市場調査や世論調査などは母集団が非常に大きく、その結果で市場全体や日本全体の議論をするために統計的に意味のある調査が必須となります。

統計的に意味のある調査が必要ないとき

容易に母集団全員に調査できるとき、あるいは調査対象者1人1人に目を向けたい場合は必ずしも統計的に意味のある調査が必要ではありません。例えば、従業員アンケートなどは従業員全員に容易に調査をかけることができますし、また顧客満足度調査などでは顧客1人1人に向き合い、不満点などをさらに吟味することのほうが優先順の高い場合もあります。

結論

アンケート調査(標本調査)は様々な誤差を内包していますが、調査設計に困った場合は分析したい軸でサンプル数を30~50にすることをお勧めします。ただし、このサンプル数では標本誤差が±20％前後あることに注意してください。しかしながら、統計的に意味のあるアンケート調査をすることは目的ではなく手段であるため、調査の目的に応じて使い分ける必要があります。