DMEL第2问：什么是好的评估？

猴子

　　在上周对于“评估是什么，以及为什么要评估”的阐述中，我们认为评估主要回答两个问题：1）我们的工作产生了怎样的成果和影响，是否达到了我们预期的目标？2）在哪些方面改进，以及如何改进，可提升有效性，即如何在资源有限的情况下，持续、有效地产生成果和影响力？

　　那么，什么样的评估可以很好地“回答”这两个核心问题，便是我们这周要分享、讨论的话题——什么是好的评估。我们认为，好的评估应该具备以下特点：

　　1.以事实为基础——可靠性

　　评估的过程是对我们“预期目标”进行检验，并识别“结果产生”的原因的过程；这一过程的有效性则是建立在真实、可靠的“证据链”的基础上；而证据链的形成又依赖于事实本身。因此，评估要以事实为基础，方能保证其可靠性。

　　在评估中，所谓事实即是指那些真实存在、或实际发生的事情。那么如何在搜集信息的过程中，建立真实、可靠的证据链呢？例如，当我们询问一个提升妇女领导力提升项目产生的实际效果时，如果得到的答案是“有很大提升”时，我们就需要追问“有哪些具体体现呢（在生活中、工作中）？”“在（上述的）这些方面，你以前的处理方式是？你认为现在的处理方式有何不同？”“是什么让你产生了这样的改变呢？”…即，在和信息提供者的互动中，要通过分解问题、循环提问等方式，回答以下问题，以建立，并检验“证据链”的真实性、可靠性：

　　发生了改变嚒，发生了哪些具体的改变？——获取具体的，易辨别的信息；

　　以前是什么样？现在又是如何呢？——通过对比，验证“改变”的真实性；

　　是什么原因让你发生了这样的改变？是这个项目么？还是别的？这个项目是如何让你变化的？——通过对改变过程的了解和辨别，进行归因分析，证明改变的发生的确是由这个项目带来的。

　　2.纳入多方观点——完整性

　　大多公益项目都有明确的服务对象。由于服务对象客观地存在于“多方”的关注、影响之中，因此，若要完整、全面地识别、证明、呈现项目成果，一方提供的证据链就略显单薄，便需要纳入可能为我们提供关键信息的多个利益相关方，从而形成“证据网络”，相互验证，以保证评估的完整性，从而得出更确实、可靠的结论。

　　如对于“学生发展类项目”，评估方既可以直接向受项目干预的学生了解信息；也不可忽略其他未参与项目的同学、老师、家长等对他们成长的观察和体会；作为“旁观者”，他们对于“变化”可能更敏感、更客观。

　　从评估的另一目标——改进项目的角度来看，我们在公益项目的不同阶段，都不可避免地受多个利益相关方的影响，如政策环境、资源提供者的立场、项目执行者的专业度、项目协作者的支持度等；同时，由于其各自所处的位置、扮演的角色等方面的差异，也决定了他们对于“改进方向”的不同思考。因此，要有效识别出“项目改进”的关键因素，听取各方的反馈便是不可或缺的。

　　3.贡献于项目有效性的提升——应用性

　　那么，是不是可靠、完整的信息就能够达到评估的目标呢？

　　评估的最终目的是为了“提升有效性”，那么，作为评估者，对信息的呈现并不足够，还需要不断思考：评估对项目的改进意味着什么，即评估的应用性问题。从项目的循环逻辑来看，我们需要阶段性地回顾：

　　已经达成的目标是什么？距离我们的长期目标还有多远？——清楚自身定位

　　上一个阶段中，有哪些利益相关方对我们的目标实现起到了推动作用，哪些阻碍了项目目标的实现？未来他们的角色如何……？——利益相关方分析

　　外部环境、内部环境是否在上一个过程中发生了什么样的变化，这些变化对我们未来会有重大影响吗？——检验项目设计的环境因素

　　上一个阶段的做法，有哪些可以延续，有哪些需要调整？——检验执行过程的有效性

　　还有哪些好的做法是可以提升我们达成目标的效率么？——探索更好的方式

　　因此，对于好的评估而言，信息呈现并不足够，评估执行者要牢记“提升有效性”的目标，通过对信息的分析、加工和总结，得出洞见，从而改善项目的设计及实施。

　　综合来看，好的评估需要同时满足可靠性、完整性、应用性三个特点。当然，对于更好的评估的探索是永无止境的。此帖的分享希望可起到抛砖引玉的作用，期待大家更多的反馈和讨论。