DMEL第7问:什么是总结性评估?
在“什么是发展性评估”(请见“DMEL第5问”)一文中,我们曾经提到,传统评估大致可分为“总结性评估”(Summative Evaluation)和“形成性评估”(Formative Evaluation),在本期和下一期,将分别对这两个概念作出解读。接受过评估或有评估需求的读者或许发现,目前国内绝大多数评估都是围绕产出和结果开展。背后的一个重要目的是问责(Accountability),即向某一群体(或向工作团队自身,或向资助方,或向更广泛的社会大众)证明干预的有效性。
这一类评估其实就是我们所讲的总结性评估。所谓总结性评估,是在干预结束后,搜集信息回溯干预的全过程,来评估干预目标的实现情况、干预的成本-效率等。
“在干预结束后”的评估,意味着总结性评估是以“结果”为导向(Outcome Oriented),即重点关注干预为利益相关方带来的积极或消极的改变(Change)。或为增量改变,或为创新改变,但都始终围绕状态的变化。同时,为给改变提供更多证据支撑,总结性评估还常常对执行过程(设计、投入、干预)做出回顾,试图对结果做出解释,以便总结经验、做出改进。
以教育领域志愿者的支教课程为例,总结性评估在课程结束后开展,对课程的效果做出评估,了解儿童在课程上学到了什么知识、知识如何在学习或生活中使用等情况,这些改变可能涉及知识、意识、行为等方面的变化,而较少关注支教活动覆盖了多少儿童、完成了多少次课程、投入了多少志愿者等。
总结性评估是最基本的评估方式,从介入时间点看,只需要在干预结束后开展评估即可,从复杂程度看,总结性评估往往依循干预的既定框架和范围,而不需要做出探索性工作。
不过,虽说基本,但若要完成总结性评估,光有工具和方法还远远不够,还需要具备2个基本前提条件:
1) 总结性评估要求目标和指标体系完备。
2) 总结性评估要求计划得到较为严格的执行。
对于第1点,总结性评估在干预框架内开展,这在很大程度上将评估的前置工作——确定目标和指标,交给了干预执行方。但目前,国内绝大多数公益项目还远未建立完善的项目管理体系,公益组织往往很难依靠自身的力量有系统、有条理、有逻辑、有规范的完成这一前置工作,而常常需要评估方的协助。
这就意味着,由评估方完成的总结性评估,在现实中,常常面临目标不清系、指标不规范、目标和指标之间缺乏逻辑联系、指标不能反映目标、指标收集有难度等诸多问题。
对于第2点,同样和既定框架相关。若干预计划在具体执行中不断发生改变,以致先定行动、后定目标,就可能导致干预具有多重目标、“真假”目标,或原有目标与具体干预之间失去内在联系,导致目标被行动架空。在现实中,对原有目标和行动方案的合理调整甚至全盘推翻都是必须的,但对以目标为导向的总结性评估而言,“变化”可能就意味着总结性评估失去效力。
在这方面,我们的经验或许可以说明问题。在对为期3年的A项目进行总结性评估时,我们发现A项目每一年都在对项目方式做出调整,对项目团队而言,这种调整体现了执行中的必要反思,十分值得肯定,但总结性评估却无从下手,虽然3年前的目标和第3年的行动之间还存在勉强的联系,但对第3年行动的总结梳理却发现,第3年的干预效果其实已经和最初设定的目标相距十万八千里。最后,我们采取的方式,是将项目A分成3个不同阶段,在与项目团队充分沟通后,为3个阶段分别抽离出3个不同目标,然后分别进行评估。
这些前提条件的制约反映出,在中国这样一个持续变动、问题盘根错节、公益又处于初级阶段的国家,这些前提条件却可能成为制约总结性评估发挥效用的障碍,纵使评估方神通广大,也难有回天之力。
如何才能克服这些障碍呢?我们在下一问“什么是形成性评估”中,尝试给读者做出解答。
作者:社会资源研究所 张峻玮
页:
[1]