话题聚焦‖ 在生活情境任务中测量协作问题解决能力——PISA项目的经验

       从上小学起,孩子们就知道团结合作的重要性,并且也一直感受着集体智慧带给我们的便捷。到后来,在自我介绍中,不可避免地都会用“团结友爱”、“协同合作”等这样的词语描述自己。但孩子们真的了解自己协作解决问题的能力吗?问题解决能力的高低要怎么来科学地进行量化测量而不再依据主观感受进行评价呢?一起看下国际学业测评项目PISA是怎么做的吧。




 
PISA项目是什么

      PISA(Programme for International Student Assessment)即国际学生评价项目,是一项由经济合作与发展组织(OECD)统筹的学生能力国际评估计划。主要对接近完成基础教育的15岁学生进行评估,测试学生们是否能掌握参与社会所需要的知识与技能。PISA测验的主要测试内容领域是数学素养、阅读素养、科学素养,除了三个主要内容领域,PISA测试还会关注其他领域,比如问题解决、金融素养、合作问题解决、全球意识等。
        PISA在2003年和2012均测查了问题解决能力,但在2015年则将“问题解决”上升到“协作问题解决”的角度,定义为:个体有效介入有两个或更多其他个体同时尝试的,通过分享对问题的理解和努力达成一种解决方案的能力,这种解决方案融合了他们共同的知识、努力和技能

      在日益全球化和计算机化的经济背景下,当今世界许多问题的解决都是通过团体协作来完成的。与个体解决问题的能力相比,团队协作解决问题的能力则显得更为重要。

 
协作问题解决能力的测量框架

        PISA将协作问题解决的考查内容细分成决定、协调和成果三项任务。决定是团队成员通过争辩、讨论、协商,最终做出一致的决定;协调是指确保问题解决者之间相互依存的方法;成果指团队成员通过协商对信息进行选择从而满足团队目标。PISA2015协作问题解决能力的发展可划分为三个维度和四个过程三个维度是达成共识、采取行动和建立团队,四个过程是探索和理解、表达和陈述、计划和执行、监控和反思。由此形成的协作问题解决能力矩阵,就是从教育测量角度建立的考察模型。具体见下图:

PISA2015协作问题解决能力矩阵(三维度四过程)

王蕾,学生发展核心素养的考试和评价——以PISA2015创新考查领域“协作问题解决”为例,2016


 
PISA测试样题介绍

        2015年,PISA首次将所有的测试转变为基于计算机的测验形式对于传统的阅读素养、数学素养、科学素养等,提供纸笔测验和基于计算机的测验两种形式供参与国自行选择。

        对协作问题解决能力来说,其测量方法为情境测验,即测评者设置一定的情境和标准,并观察被测评者在该情境中的反应。PISA的被试将在计算机界面,与虚拟团队搭档进行对话,从而解决某一个生活中的实际问题,具体界面如下:

(图片来自PISA官方例题)


        该界面左侧为聊天界面(chat space),被试需要在阅读完已有对话后(即聊天记录,左上部分),选择四个回答中的一项作为自己的发言(左下部分),其选择将会影响到后续讨论的发展,但如果没有选择最优解,其他成员的对话会有所补充,使讨论能继续进行;该界面右侧部分为任务界面(task space),界面会显示与任务相关的背景资料,并在笔记本上显示随着任务进行而被自动记录的一些提示。被试的每次选择都对应着三维度四过程中的一点或几点,成为协作问题解决能力的评分依据。下面我们来看一道例题:


题目背景:其他学校的学生来到你们的学校参观,你的老师希望你和另外三个同学一起计划一次出行活动,即全班一起前往当地景点游玩,共有30个学生会参与本次活动,备选地点有本地历史博物馆、社区户外市场、电力车工厂,你需要与他们经过讨论后选择三者之一。


下图为讨论开始的第一次选择:

(图片由E智慧诊断评估翻译编辑,英文原图来自PISA官方例题)


随着讨论的进行,题目中的团队已经讨论出了选择出游

(图片由E智慧诊断评估翻译编辑,英文原图来自PISA官方例题)


最终,学生需要选择三个地点中的一个,并依照他们的标准对三个地点是否符合标准做出标识。本样题共有13个步骤需要学生操作,随后计算机将采取IRT(Item Response Theory,项目反应理论)模型估计学生写作问题解决能力的得分。

 


*本文选编自以下内容 :
  1. PISA2015,OECD. http://www.oecd.org/pisa/pisaproducts/pisa2015 draft framework.htm
  2. PISA 2015 Sample items,OECD,2015.
  3. 黄茂在,陈文典. “问题解决”的能力[J].科学教育月刊,2004.
  4. 王蕾. 学生发展核心素养的考试和评价——以PISA2015创新考查领域“协作问题解决”为例[J]. 全球教育展望,2016,08:24-30.
  5. 袁建林,刘红云. 国际大规模教育评价的经验与趋势——以PISA为例[J]. 中小学信息技术教育,2016,07:20-23.



士不可以不弘毅,任重而道远