どういう問題が発生するのか 

回答へのモチベーションに関係なく、長時間のアンケートでは完遂率が低くなる

 M Galesic (2009) は「Effects of Questionnaire Length on Participation and Indicators of Response Quality in a Web Survey」では回答時間が30分と長期の回答となる点を事前に合意して始めたアンケート対象であっても脱落の傾向は変わらず、回答へのモチベーションが高くても長時間に及ぶ質問は脱落を引き起こすことを明らかにしています。

データの質の低下をもたらす

M Galesic (2009) は完遂率に加えて、アンケートの回答者はアンケートの後半にかけて回答速度を早める傾向があり（つまり適当に回答する傾向が強くなり）回答結果の分散が小さくなる点を指摘しています。「わからない」を選択した回答者も後半に向けて大幅に増加する点から、特に後半に自由回答系の質問を入れると疲労している回答者は自分の負担を軽減するために一般的なことのみを書くので、有効な知見を得ることができない可能性があります。

‍

回答の離脱にはどの様な特徴があるのか

離脱は非線形に発生

SurveyMonkey社の調査では、質問数が増加する度に回答完遂率にどのような影響が出るのか分析しています。この調査では質問の数が1から50問までのアンケートをそれぞれランダムに2000件ずつ抽出しており、その合計100,000件 (2000×50)の調査が持つ質問数と回答完了率を元に関係性を明らかにしています。調査結果として、質問数が増える度に脱落率は低減し15問と35問を境に非線形に変化していることが明らかになっています。

‍

理想の長さはどのくらいなのか

回答者の理想は10分以内(30問程度)。当然短ければ、短いほど良い

本記事では10分の回答と30問の質問回答を同じとして執筆をおこなっています。SurveyMonkey社のでは10分で30問程度の調査が可能であることがわかっており、JMRA(日本マーケティングリサーチ協会)の調査でも同様の結果が出ています。

JMRAは頻繁に回答するアンケートパネル利用者を対象にアンケート調査をしており「インターネットのアンケートは一回あたり何分まで回答して良いか」という質問を通じてアンケートの所要時間10分以内が理想と提言しています。これは50％近くが5分以内に完了することを希望しており、30％程度が10分以内を希望していて、結果として80％以上の回答者が10分以内の回答を望んでいるという調査結果に基づいています。

また少し異なる結果も出ている様ですが、海外の調査でも長時間のアンケートは避けるべきとの結論は同じ様です。海外では調査会社の経験則から、一般的にネット上でのアンケートの回答時間の目安は「20分ルール」として、多くの調査は対象が20分を目安に回答を終えるように設定されています。この経験則についてCape and Phillips (2015) では「成人の平均的な注意力の持続時間は約 20 分と推定され、20 分がウェブアンケートの最大理想的なアンケートの長さと考えられている」と言及している点から、この経験則を支持しており短時間に収めるべき、という論調は続いています。

‍

サンプルのバイアスから考える長時間回答の影響

属性によって理想の回答時間は異なる

M Revilla（2020）は回答者のもつ社会属性や回答媒体などがWebアンケートの理想の長さと回答に割ける最大許容時間に与える影響をドイツのアンケートパネルデータを利用して定量的に分析しています。結論として、Revillaは質問時間の理想は15分程度だとしており最大でも28分までに終了するべきと述べていますが、ここで特に注目すべき点は社会的な属性によってこうした時間が有意に異なるという点です。

高学歴とされた属性は一般的な学歴層と比較するとアンケートの理想の回答時間が0.7分短くなることがわかっており、逆に低学歴とされる対象の理想は場合によっては1.7分長くなるとしています。

また、対象の年齢が1歳高くなると0.17分理想とする回答時間が長くなり高齢のアンケート回答者は、分量のあるアンケートであっても寛容に対応できるということも明らかになっています。回答する媒体や回答者の性格によっても回答時間への寛容性は多少変化しており、PCから回答する場合の方が若干許容する回答時間の最大値が大きくなっていることが明らかになっています。‍

長時間の回答を経たサンプルにはバイアスが生じている可能性も

アンケートを通じて行う定量調査では、その特性から市場を正確に反映したデータが求められます。しかしながら上記の研究のみを参考にしても、長時間の回答に答えうる属性は

「1.学歴が低い 2.PCによる回答 3.高齢」

というバイアスを持ったサンプルとなる可能性が考えられます。正確な定量調査においてこうしたバイアスは致命的な課題であることからも長時間のアンケートがリスクを伴う行為だと伺えます。しかし実際のところ、アンケート回答の離脱に影響を与える要素は学歴や回答媒体をはじめ多岐にわたっており、その一つ一つの影響を配慮するのは困難です。ですから、再三にはなりますがアンケートの回答時間は極力短く簡潔に作成する必要があるでしょう。

‍

結論

質問票は回答時間が10分となる30問程度を目安に作成すべきである。アンケートの対象者や媒体によって回答を許容できる量は異なり全ての考慮することはできない。なので厳しめに極力短くなる様に設定し、状況に応じて調整すべき。