【诊断大揭秘之二】电子化态度问卷中的不认真作答反应

上周的诊断大揭秘中我们为大家揭秘了两类可能影响诊断数据质量的因素，分别是不认真作答反应和社会赞许性反应，那么这两类因素分别是如何影响数据质量的呢？别着急，我们一个一个来看。今天我们就一起来揭开不认真作答的神秘面纱吧。

态度问卷是教育研究及学校评估中的常用工具，它以李克特量表为主要形式，给被调查者一系列关于自身或外部事物的陈述句，让其对此做出由“非常不同意”到“非常同意”的判断。随着信息技术的进步，电子问卷兴起，使得问卷发放成本降低，回收效率增加，缺失率降低，因而被广泛采用。

但是，依赖电子问卷从事的研究或评估活动，其实暗藏风险。这一风险来自于电子问卷的数据质量。在使用纸笔测验时，问卷的发放者可以将作答者集中起来发放问卷并监督问卷的作答过程。然而，电子问卷对作答情境的控制却相当困难，难以想象，作答者在填写问卷时是看着电视？还是听着音乐？还是聊着微信？当作答者与问卷的发放者之间产生时空上的隔离时，双方的社会交互大幅减少，加之问卷作答环境可能存在多种干扰，作答者监控自己按照真实情况填答问卷的难度增加了，不认真作答反应的风险也就增加了。

所谓不认真作答反应（Insufficient Effort Responding），是指个体在作答问卷过程中因动机不足而表现出的不遵从题目要求，或未仔细阅读题目内容便做出回答的反应模式，它包括无差别作答和随机作答两种模式。

可别小瞧这两种模式，所谓千里之堤溃于蚁穴，看上去完整的数据可能掺杂了8-12%的不认真作答反应，这使问卷结果可能与真实结果相差甚远。首先，不认真作答反应同时影响问卷的可靠性（reliability）和有效性（validity），使低质量问卷被误认为高质量而流入教育评估或调查。

但是，即便使用了高质量的问卷，你以为你就安全了吗？

除了影响问卷质量，不认真作答反应还会影响问卷结果的选项分布，以及变量之间的相关。而且，由于不清楚不认真作答反应的比例及类型，我们甚至无法得知问卷结果偏离真实的程度。这样一份数据被歪曲的报告呈现在眼前，你觉得这个结果还有意义吗？

那么，这种反应模式是如何发生的呢？当前研究者通常使用满意理论（Theory of Satisficing）解释。该理论指出，填答问卷是一系列复杂的认知过程，首先，被试要先理解题目的意义，之后在记忆中检索相关信息，将这些信息综合后，判断自己应该选择哪个选项。为了降低自己的负担，大脑可能只会做出相对满意的选择，而非最符合理智的结果。认真作答实属不易，如果再加上微信、综艺、作业等事情的干扰，即便是想着“胡乱填答对不起自己的良心”，大脑能做到的可能也只是看两眼题目给个差不多的答案，然后说一句“真香”。

不过，希望还是有的，已经有一些研究引入了不认真作答反应的筛查，且更多筛查方法正处于开发阶段。

通常来说，筛查的思路有以下两种：

第一，分析作答者在特殊题目上的表现。

这类题目包括陈述不可能事件的假题量表（如“我一周工作8天”），清晰呈现反应方式的操作指导核查表（如“这道题请选C”），自我报告量表（如“回答这套问卷时，我的认真程度为______”）以及不一致性量表。

我们的学校自我诊断就使用了不一致性量表，依照原问卷中的某些题目编制出表述与其完全相反的题目加入到问卷中，检查作答者在这些题上的态度是否前后保持一致，作为不认真作答反应的判断依据。

第二，分析作答者的一些行为指标。

这类指标包括两种，一是题均作答时间，这是我们的诊断问卷中采用的指标，通过对真实情境下作答者反应时的数据进行分析，我们设置了1s或2s的cutline，认为当作答者反应时低于cutline时，其极有可能没有认真作答。此外，也有研究探索使用作答者在各题目上的选项分布来识别不认真作答反应，例如分析一套问卷中连续选择同一选项的题目数量，分析奇数题和偶数题选项的相关，计算作答者所有选项与群体中心的马氏距离，以及作答者古德曼错误（Guttman Error）的数目等。

当技术成熟后，如上所述的方法会越来越多地被用于实际筛查。我们的自我诊断项目为了保障数据质量，对相关研究也会持续跟进，并通过严谨科学的方法制定筛查规则，应用到诊断问卷中。

然而，所有的筛查方法都是“事后诸葛亮”，当数据的质量出现问题时，这些方法可以帮助我们清除一部分问题数据。但是，他们不能避免人力物力的浪费，而且由于这些数据不是随机出现的，轻易删除这些数据可能会带来样本选择的偏差（Selection Bias）。所以对于不认真作答反应，更好的方式是“防患于未然”。

对学校自我诊断项目而言，提高作答者的认真程度，就要让其意识到诊断项目的意义。在诊断前，学校可以通过国旗下讲话、张贴海报、发布推送、配置班级诊断专员等方式进行动员。同时，在诊断后，对于诊断出来的问题，学校要及时改进，并让作答者看到改进的过程，让大伙儿感到自己的建议被采纳，意识到诊断真的推动了学校的变革。当大家都把诊断当回事儿了，参与的积极性自然就提高了，作答问卷的认真程度自然也提高了。

参考文献

Barge, S., & Gehlbach, H. (2012). Using the Theory of Satisficing to Evaluate the Quality of Survey Data. Research in Higher Education, 53(2), 182-200. doi:10.1007/s11162-011-9251-2

Curran, P. G. (2016). Methods for the detection of carelessly invalid responses in survey data. Journal of Experimental Social Psychology, 66, 4-19. doi:10.1016/j.jesp.2015.07.006

Huang, J. L., Curran, P. G., Keeney, J., Poposki, E. M., & DeShon, R. P. (2012). Detecting and Deterring Insufficient Effort Responding to Surveys. Journal of Business and Psychology, 27(1), 99-114. doi:10.1007/s10869-011-9231-8

Meade, A. W., & Craig, S. B. (2012). Identifying Careless Responses in Survey Data. Psychological Methods, 17(3), 437-455. doi:10.1037/a0028085

本期作者

诊断小帅哥铭尧

士不可以不弘毅，任重而道远

넳 넲