DMEL第32问：三步设计出“学习型评估”的评估计划

猴子

      有实践者问“有没有监测评估的问题清单，可以用于参考？”

      今天就给大家介绍一个工具，由世界著名咨询公司麦肯锡的社会部门为资助者、非营利组织开发的——设计“学习型评估（Learning Driven Assessment）”评估计划的三步法。

      第1步：厘清目标

      麦肯锡开发了一个4*6矩阵，囊括了社会领域的几乎所有的项目目标类型。麦肯锡认为社会领域的项目目标与社会干预方式和解决方案所处阶段密切相关。它将社会干预分为6种类型：知识开发、提供服务/产品、能力建设、行为改变、基础/体系搭建、政策倡导；将社会问题解决方案的形成分为4个关键阶段：问题分析、设计解决方案、优化解决方案、推广与可持续。

      需要注意的是，这里的“阶段”与我们在一个项目设计中所说的实施步骤有所不同，它指的是你的项目是贡献于社会问题解决方案形成的哪一阶段。例如建立新公民学校的项目，尽管可能已经建立了很多所，但其实处于设计解决方案阶段。麦肯锡特别强调这些阶段并非清晰划分、线性发展、以及可预测的；外部事件或者其它项目的发展很可能都会迫使你重新思考目前项目的前一阶段。

      麦肯锡以社会干预类型和方案形成阶段分别为横、纵坐标，从而将公益项目划分为24种类型，并以此界定了不同项目所对应的目标类型，如下图所示：

      为什么要这样做呢？麦肯锡认为，目标不同，评估学习的重点也就不同。它针对这24类目标，分别给出了框架性的“学习问题”，即希望评估解答哪些重要疑惑。这些学习问题能够帮助实践者界定评估范围，制定评估计划。让我们简单看一下目标4和目标8的“学习问题”，大致感受一下不同位置的评估学习侧重点。

      位于“行为改变”和“问题分析阶段”交点上的目标4，是充分了解问题的背景、原因、影响和目标群体，其学习问题应为（以下为节选）：

• 充分了解问题的本质了吗？充分了解问题的根源原因了吗？
• 目标群体界定清楚了吗？充分了解目标群体的需求了吗？
• 是否学习了先前类似研究的经验教训？
• 对问题的理解足以开发项目了吗？……
  
  

      位于“提供服务/产品”和“设计解决方案阶段”交点上的目标8，是通过证据来验证服务/产品的概念，其学习问题应为（以下为节选）：

• 服务或产品的概念能满足目标群体的需求吗？
• 目前的概念反映了类似产品或服务的经验教训吗？
• 这一产品或服务概念的预期的短期和长期效果，比其他的概念好吗？
• 这个概念是否过于昂贵或不可行？
• 是否有足够的证据来证明试点？……
  
  
  
  

      所以，实践者做评估计划的第一步，就是深刻理解自己项目在上述矩阵中所处的位置，以判断这一时刻的关键目标是什么，进而确定相应的评估学习问题。

      第2步：选择具体指标

      定位之后，我们需要将框架性的学习问题转化为针对自己项目的学习问题。转化至少有两个层面，一是针对你的具体项目，例如健康还是农业（行业）、北京还是安徽（地域）、妇女还是儿童（目标群体）等；二是针对你项目面临的具体挑战，例如“这个产品概念是否可行”一题，应重点列出可能导致你的项目不可行的那些因素，而不是不假思索地全部写上。转化为针对性评估学习问题之后，还需要开发指标和确定收集信息的方式，这些内容在之前的文章里有所涉及，此处暂略。

      第3步：考虑优先级，完成评估计划

      评估是件费时费力的事，必须有所舍弃，麦肯锡认为判断优先级的标准有四方面：

• 价值观与使命（Values and mission）。这是组织一切行为的基础原则，也应反映在评估学习中。如果组织的价值观特别重视多方参与，那么仅仅收集受益者反馈是不足够的。
• 相关性（Relevance）。评估学习的结果对于组织来说有多重要？对于整个社会领域来说有多重要？
• 可信度（Credibility）。评估计划应当能够产生具有利益相关方能够理解和接受的可信度的评估结果。因此，确定评估结果的阅读对象是很重要的，例如政府官员相对于组织管理人员，需要更严谨的证据。
• 可行性（Feasibility）。组织自身以及利益相关方的财力、人员、时间等都可能成为限制因素，此外，你可能很难完全客观或持续地收集到你想要的信息，这些都应该考虑在评估计划中。
  
  
  
  

      根据这四方面的考虑，修订第2步中确定的学习问题、评估指标和信息收集方法，就完成了学习型评估的评估计划的设计工作。

    来源：社会资源研究所（SRI）