高峰论坛‖李凌艳教授:学校自我诊断数据解读策略与方法一二

前言


“学校新智慧:基于学生发展的学校自我诊断”第二届高峰论坛于7月13日圆满结束,根据我们E智慧团队的问卷调查,李凌艳教授关于数据解读的发言受欢迎程度位居前列,李教授的发言有何魅力呢?跟小编来看一看吧。

学校自我诊断数据解读策略与方法一二




       北京师范大学博士生导师、教授

国务院教育督导委会办公室全国中小学

督导专家组成员

李凌艳


今天大家在这里通过亲身参与、研讨来体验和实践我们这种基于实证的学校自我诊断方法,从一种全新的视角、用一种与过去基于经验的管理很不相同的方法来分析、看待我们熟悉的学校管理,相信大家都已经深有感悟。

尤其通过上午的头脑风暴、“掉坑”、再从“坑”里慢慢“爬”上来的过程,这种体验式学习应该能给大家留下更为真实、自我、深切的感知。那么,我在这里仅仅是把大家的体悟做一些简单的归总,然后,我们一起回头看看,这些策略和方法是否就是我们不知不觉中已经开始用到的、有用的方法。

分享策略一


我想分享的解读数据的一个根本要点就是,不要用单一数据简单做结论。

用断点的、一次性的数据做结论,是评价而不是诊断。就像大家今天上午第一个环节的纷纷“掉坑”一样,如果拿到三个学校的折线图就纷纷对学校的好坏、甚至校长是不是要换做出判断的话,事后大家发现,那是很武断、很好笑的。

其实,大家拿到数据的第一个印象我希望是:基于这种实证数据的学校自我诊断,从根本上来说,就是给校长们提供一个可能不同于以往经验管理的、科学、客观的工具而已。所以拿到数据,不要急于下结论,而是要像上午第二个环节我们引导大家的那样:从不同数据背后的原因分析中去发现可能的问题。

怎么去发现可能的问题?从哪些角度、运用哪些策略?让我们先回到大数据背景下看每一个学校的数据。

今天上午先给到的大家是三个学校的数据,它可能代表了在现阶段我们所接触的学校总体中比较典型的三种学校发展阶段。而大数据的魅力是,当我们把真实的数据放到一个大数据的图集中的时候,我们会发现一些非常不一样的东西。

与三个学校的数据相比,如果我们把前面两年、所有项目学校中做过基础诊断的学校数据归为某一个数据点、再放回到大数据库的时候,我们会发现一些特别有意思的现象。这张图呈现的就是前面两年做过基础诊断的15所学校的各次基础诊断数据。

纵轴1.0到4.0代表的是全校师生的一种主观整体感受,是由大家上午看到的折线图中各要素的感受分合成的一个整体分,从1到4,1是非常不同意,4是非常同意,也就是一个分值高低的基本标识;横轴,是由旁边那个看起来很复杂、玄妙的数学计算公式得出的标准差,简单地说,就是每次诊断中学校管理者、教师和学生之间对学校各要素感受的差异有多大。

那么,大家肯定就会想,落到什么位置上的点,才是学校一个比较理想的状态呢?很好,大家都已经猜到了!应该是落到坐标系的左上角,代表学校各方面群体对学校整体感受好、而且不同群体间的感受差异小,将是学校比较理想的一个发展状态。

大家从图中也可以发现,我们15所项目学校的各次诊断数据大致都落在了左上方的区域,虽然不同学校不同次诊断的数据都没有重合,但大家基本位置的方向还是比较一致的,这也反映出我们一直在说的一个事实:诊断并不适合所有学校,它应该是学校发展到一定阶段后才会生发的一个内在需求。也就是说,诊断是当学校走到一定阶段、当他有下一步自身发展的愿望的时候,那这种学校可能就有基于自我进步内在愿望的真实诊断需求了。因此,诊断常常只适用于从传统优秀向全面优质迈进的学校。


现场掠影




好了,当我们理解了第一个策略,知晓了应该回到大数据背景下看每一个学校的数据,从发展的阶段上而不是学校性质的优劣上做判断的话,那么,还应有哪些方法是解读数据、分析原因时实用的方法呢?

这里,让我们以坐标系中某一个比较理想的学校的点来做案例剖析。请看这个红色的点,它是某所学校某一次的诊断数据点,在整张图的最左上方,应该是一个比较理想的发展状态,事实上也是这所学校历史上发展最好的一个阶段数据点。

解读方法

首先,让我们来看看它的分值,分值代表着学校总体状态。

我们一直说学校自我诊断是学校的体检,那么,当分值在一个安全范围内时,其实就表明学校发展状态还是不错的,说明学校里“人”的校园生活质量不错。由于基础诊断我们采用的是四等级评分,因此,从一般统计上看,当得分为3.6分的时候,表明至少有60%的人都选择了非常同意的。这个分值对于一个学校整体而言是安全的,我们认为3.6分和3.8分没有太大的差异,因为任何学校都不可能做到人人都满意。如果人人满意,那会是一个假象,或者说,学校诊断文化还没有建立,给你的是一些假数据。再漂亮的假数据得出的推论都是无益的,还不如不去在这样的推论下做出下一步的管理决策。如果得分为3.2分的话,表明至少有20%的人选4,如果在3.2和3.6之间,基本上属于一个向好的相对安全区域。大家可以看到,这个学校所有的三者要素得分都在3.5分以上,这个分值,还是很不错的。

第二,更重要的是,我们还要看每个要素上不同角色分值的差异。

这个差异也可以用上午大家讨论分享中第六组“自学成才”的那位校长用的名词,“交织”,来形容。“分值”就像体检中的基本健康结论一样,帮助我们判断一下学校的总体状况;“差异”则更加清晰地告诉我们,学校目前的管理风险究竟有多大。我们的诊断是基于学生发展的学校自我诊断,学生快乐成长、有效学习固然是我们学校发展的目标,但是教师也要幸福工作才能真正可持续地实现在学生上的目标——而推动学校、实现学校诸多改革设计落地的将是学校的管理者。因此,三者之间的感知差异,肯定是越小越好。

这种方法论指导下的学校自我诊断,实际是为了解决人类认知学和管理学中一个无法消除的、基本的公理性的东西——冰山效应。冰山效应实际是来自于物理学中的一个名词,它缘于常规条件下水与冰的密度比是1:0.9,因此,当一个巨大的冰山浮在水面上时,我们看到的永远是露在水面上的1/10,而水面以下、更多看不到的则是9/10。基于学生发展的学校自我诊断,从根本目的上,就是为了去减少学校里这种由于冰山效应而可能带来的管理风险。什么时候这个管理风险、冰山效应所带来的风险会大呢?显然,组织中不同角色认知的差异增大的时候,也一定是风险变大所在。

所以,刚才讨论中就有校长在说,三个折线图中的A校虽然学生的感受分值最高,但是,学校的发展不一定最好。因为学生们感知好可能有多种原因,也许学生们过去的学校基础比较差,突然来到一个很好的学校,他可能一下子感觉到很好了;也有可能是在学校过程中慢慢调整,逐渐变得好。那他背后的原因究竟是什么,折线图里看不出来。但是,A校教师、管理者这些成人的感知与学生感知的差异则是最大的,也可能预示学校目前面临着很大的管理风险。因此,我们说,除了看总体分值,分析学校状态时,一定要回到三者的差异上。

再回过来看坐标系里我们标红的这个学校:

这所学校在这个阶段,不仅分值偏高,交织也非常密切,三者之间的差异很小。细看到每个要素上,各要素差异都小于0.1,那就是说不同角色感知的分值之间就差0.2,差异是非常小的。说明三者的感知都很好。尤其课程要素,明显是所有要素中感知差异最小的,无论学校里的教师还是管理者还是学生,都认同目前对学校课程改革的进程,说明目前这个学校的课程改革是被认可的。唯一的是在教师的要素上,差异稍微大了一点点,略略超过了0.1,具体分析可以发现,是因为管理者目前对师生关系有更多的期待。 也可以说,目前在这个学校里,在教师这个点上,具体观测内容为师生关系时,学生和教师的感知差异其实是非常小的。其实,这也是非常难得的一个结果,为什么这么说呢?这和刚才第四组的管杰校长所提的一个很有价值的问题有关。管杰校长的问题是,为什么3所学校——其实我们发现,甚至是所有我们诊断过的学校——都容易在师生关系这个点上,成人的感知比学生好,为什么会出现这样的情况呢?这是一个非常有挑战性、有价值的问题,刚才我和希贵校长商量,这个问题留到下午讨论中,我们请大家自动生成,然后请李校长来破解他的答案。


好啦,知道了分值、具体又看了差异,那下一步就要去发现问题的点在哪儿了。因此,我们建议的第三个方法就是,要去寻找“强弱”。任何一所学校都是在解决问题、与问题的互动过程中不断地前行的,我们身边不可能没有问题,好的数据更大的作用一定是能帮助我们去准确地找到关键问题所在。那怎么找问题?这就要从不同身份角色上不同要素值的对比中去寻找相对的强项和弱项了。

还来看这所学校,这幅图分三屏呈现了学生、教师和管理者在七个要素上感知分值的排序。第一屏滚珠图是学生的感知排序,学生感知最好的同伴和文化要素,组织与领导和安全相对来说则感知差一些。第二屏是教师,第三屏是管理者。

也就是说,当我们把学生、教师和管理者,三个不同角色在七个要素中感知最好的两个要素,和感知最差的两个要素,相对的排列一下,那么就会发现,在这个阶段,目前这个学校无论是教师还是管理者,还是学生,他们感觉到共同的问题在哪儿。很明显,在这个学校,这样排了以后会发现,课程是这个学校目前来说发展阶段中非常优势的地方。但是相对来说,安全要素上,目前可能是这个学校面临的比较关键的问题之一。而我们测量的安全,大家都知道,测的不是简单的安全事故中的“安全”,而是一种安全氛围的“安全”。因此,这就警示着这个学校,在这个阶段,课程改革成效是显著的,得到了所有人的认可,但是伴随着选课走班生态的形成,学生、教师的心理安全问题,在这个阶段,值得学校尤为关注。


在这里,我们有一个特别有意思的发现,想与大家分享,也留给大家来做下午讨论时的参考,或者说,作为大家下午分析时的一个很重要的引子:当我们按照刚才的方法,把所有做过基础诊断的学校,进行优势和劣势的分析以后,从所有学校总体来看,大家猜,最容易出问题的,和最容易显优势的分别是哪些要素呢?

这是一个双向条状图,每一行的条形长短代表一个要素在不同学校间表现为优势(绿色条)和劣势(黄色条)的次数。

大家看出来了吗?绿色条条,在所有的学校中,在哪几个要素上容易得分高?是同伴、文化要素,对不对?但是,特别容易出问题的又是哪些地方?大家也看出来了吗?是教师、课程、组织与领导三个要素。这里留下一个问题,留下一个伏笔:为什么?即,当我们回到一个这么多优质学校的总体的时候,发现最容易出问题的,往往是这三个点,而其他的要素反而容易形成优势,为什么?或者说,从另一个角度来说,其他要素出现问题时,只要我们做一些工作,其实相对容易解决,而这样三个要素:教师、课程、组织与领导,很多问题则不容易解决,也容易出现短板,为什么?……


现场掠影



分享策略二


好了,分享到这儿,大家说,我们大概知道了:基本的策略就是不能用单一数据做简单结论,要回到大数据背景下具体看每个学校的数据;在这样的策略指导下,我们还要运用先看分值、重点看差异,还要学会寻找强弱的方法。那是不是有了这个策略、运用了这三个方法,就是数据解读的全部了呢?未必。所有的数据都是基于每一个学校的,就像世界上没有两片相同的树叶一样,也没有两个完全相同的学校。在这个过程中,切忌把某一方面或者两方面的数据孤立起来,只做数据上的简单判断。这种错误的风险,就像过去我们校长们根本不用任何数据、只凭自己脑海中的经验判断,是一样危险。因此,第二个,我特别想跟大家分享的策略是,数据一定要关联起来,回到学校自身。

怎么关联?今天上午我们只是用小小的这样一个课堂设计的例子,抛出我们这么多诊断项目中的一个诊断结果而已,就是我们常说的基础诊断。项目学校都知道,基础诊断是围绕八大要素做的一个学校的“全面体检”,它也像我们自己一年一次的基础健康体检一样,只能给一个基本状态的结果,而且不用多做,一年一次足矣。而真正帮助学校发现问题程度和范围的,还要看专项诊断结果,还要通过其他的“专项体检”。

下午的讨论中,我们就会在基础诊断数据之外,给大家提供每一个学校其他一些专项的数据结果,包括由学生、教师在基础诊断中的真实、主观建议和想法形成的标签云,也包括学校领导力的专项诊断数据,还包括深受每一个项目学校喜爱和认可的、教育教学专项诊断中的基本结果,当然也包括可能说明学校具体发展阶段的一些重要客观数据,比如,课程改革到底动没动核心课程、多少教学班已经进入走班选课,又有多少老师在一线教学等等……把所有这些数据视作一个学校整体,再来看内部的关联。

运用这样的关联分析策略后,大家也许会发现,当面对真实学校数据时,就不得不抛开一些先验印象、抛开主观经验,回到真实的、也许我们不会注意和不容易发现的视角再看问题,对问题的来龙去脉会有更为清晰的了解,对问题的解决也就有了更好、更有底气的把握。有了这样的数据解读策略,你会发现,你决策的策略可能也会不一样了。因此,我们觉得可以给大家提供的方法参考,除了看分值、看差异、看强弱,还有,更重要的是看关联。而且,运用所有这些方法的最根本策略是要回到每个学校自身,不要简单追求我这个学校跟其他学校数据的相比,而更要关注自身数据的发展和变化。

这也是为什么我们最早做自我诊断的时候就说过的:一般的外在、一次性评估,没法帮助我们这类学校来发现、解决自己的问题。因为一次性的外在评估,永远不可能告诉我们自己这个问题的历史的来源,也不可能告诉我们,我们的优势是怎样积累和沉淀下来的、又应该进行怎样的迁移……只有把这些数据的分析和运用回归到学校自身的历史状况,去做深入地、冷静地分析,持续关注我们自身数据的变化,才能真的帮助我们改变过去基于经验的管理方式,去一步步理解,通过这样的数据去理解,我们到底走到了哪里、我们走得怎么样、下一步又应该怎么走……


最后,非常感谢各位校长和老师,在这个“大师多如狗、专家满地走”的年代,你们还让我这个“专家”,所谓的大学“专家”跟大家一起,一起前行了这么多年!没有你们,就没有“学校自我诊断”这样一件可能会帮助学校多一点发展策略和工具的这么一个概念;没有你们,也没有我们这样一支以研究学校自我诊断为使命的团队;当然没有你们,也许中国基础教育的重重迷雾也难以真正拨开……所以最后我还是特别想用这张项目学校们已经都很熟悉的图:让我们作为真诚的第三方 “促进者朋友”,协助大家改变我们过去固有的、习惯的方式,用一个更好的、更良性的策略、途径和方法,在今天中国基础教育改革的路上,一起前行!深深地感谢各位,谢谢大家!


现场掠影





士不可以不弘毅,任重而道远