DMEL第48问：重新发现监测
最近五六年来在公益界，评估备受关注，监测则颇受冷落。但如果在真实情境中，仔细考量如何推动有效公益，我们就会发现，监测的价值被大大低估了。我们亟需要重新界定评估，并进而重新界定监测，这样我们将回归到监测的本来的应有价值。
2006年尤努斯获得诺贝尔和平奖，将以格莱珉银行为代表的小额信贷推上了扶贫事业以及社会创新的神坛。尤努斯在自传《穷人的银行家》一书中，严厉批评了国际发展组织惯用的技术援助模式，并旗帜鲜明地指出，穷人有能力改变自己的命运，他们所需要的只是一点点信贷资本。然而，小额信贷的社会影响到底如何呢？其扶贫效果真如其宣称的那样的显著吗？
对这个问题的回答，必须通过评估才能完成。由于小额信贷的兴盛，关于小贷社会影响评估的文献也异常丰富。为了测量贫困改善状况，评估者们有的使用“收入法”，有的使用“支出法”。有的学者进一步发展出了“经济赋权”和“社会赋权”的区别。经济赋权指的是贷款户经济状况的改善，社会赋权则是指贷款户在家庭教育、营养、健康甚至妇女权益方面的改善。社会赋权被认为有利于实现代际脱贫，帮助低收入群体摆脱贫困陷阱。有些学者在评估时采用了严谨的试验方法，有些学者则进行了深入的田野调查。然而，稍有调研经验的人都知道，仅仅测度收入和支出的灵敏变化，就不是一件容易的差事，更遑论其它高大上的概念和科学的方法了。很多时候，评估容易沦为一场学术游戏。评估报告和研究成果是学术杂志、研讨会的热点，最多成为政府推广或者否决小额信贷的政策依据。如果评估本身并不是为实践者所做，也非实践者所能理解，因此落得不明觉厉、束之高阁的命运，也就毫不为奇了。
格莱珉银行显然意识到了上述评估的局限，因此开发了一种新型的贫困测量工具，名叫PPI，全称为progress
outofpovertyindex。在孟加拉，它包含十个指标，具体内容大致为：
1.借款人及其家庭成员居住在有马口铁皮屋顶，或价值超过25000塔卡（约合1980元）的房子里，家庭成员睡在床上而非地上。
2.借款人饮用自管道井中抽上来的干净水、开水或者用明矾、净水药片或罐壶过滤器净化过的无砷水。
3.借款人家庭超过6岁的孩子都在上小学或者小学毕业。
4.借款人周还款最低200塔卡。
5.所有家庭成员都是用清洁卫生的厕所。
6.家庭成员有足够的衣服满足日常需要。
7.家庭有其它收入来源，例如蔬菜园子或果树，以满足额外之需。
8.借款人在储蓄账户中维持在年均5000塔卡的余额。
9.借款人全年有能力供应家庭成员一日三餐，家庭没有食品匮乏之虞。
10.在家庭成员生病的情况下，有能力采取迅速行动进行恰当的治疗，并有能力支付医疗费用。
这个贫困测量工具，与学者们的评估方法截然不同。它异常直观，普通的信贷员就可以直接观察和记录。在工作中，格莱珉银行用它来甄别服务对象，也用它来记录每一个借款人的贫困状况变化。格莱珉银行甚至用它来分析各地分行及其工作人员的绩效，并与薪酬体系挂钩。这样，贫困测量就不再是学者的游戏，而就与信贷员的日常工作切切实实地联系在了一起。这些数据经过总结和分析，也能有力地用于外部沟通。由于其具体，可感知性强，在呈现小贷成效，获得利益相关方理智和情感双重认同方面，甚至优于抽象的学术研究。
对于大多数公益组织而言，像PPI之类的测量工具，显然比学术性的评估更有意义。
重新界定评估
近年来在中国，公益评估正在兴起。然而，正如所有的初生事物一样，它带有某种模糊、混沌以及语焉不详的特点。很多时候，在公益实践者的言语里，也在某些专业评估书籍里，评估的疆域几乎无所不包了。社会问题分析被称为“需求评估”，对项目设计的再梳理叫“理论评估”（或称设计评估），收集利益相关方的反馈和改进建议被称为“过程评估”，衡量目标对象的变化叫“成果评估”，而针对中长期成果的评估则叫“影响评估”，也有人把扣除其它各类因素干扰，衡量纯粹由干预带来的成果变化的评估叫“影响评估”。
在这个语言体系中，单评估一个词语就把干预方案从头到尾的所有环节都覆盖了。话语影响行为。结果是，我们经常在一份评估报告中，看到关于需求评估、理论评估、过程评估、成果评估、影响评估的所有内容。我们也经常见到认真的评估从业者们，竭尽所能，试图对项目的设计、过程以及成果都发表评价和建议。而这种做法分散精力，其实每一个部分都无法做到极致，评估的价值也就被大大削弱。
我过去也曾使用过这种语言体系，并用“评估金字塔”来区分不同类别的评估。然而，我现在越来越倾向于认为，为清晰计，我们最好不要使用不同的概念来描述相同或相近的事物。问题分析就叫问题分析，对设计进行梳理和改进就叫设计咨询，过程评估就是监测的一部分，而评估最好限定在一个特定的范围之内。
在新的理解中，评估至少包含以下两个要素的任一个：
1.对中长期成果的测量；
2.对项目“纯影响”的测量；
项目的中长期成果一般发生在项目结束之后一段时间，比如，小额信贷借款人在长期上贫困状况是否有显著改善，这些都是项目执行人员难以追踪的。另外，又由于测量“纯影响”需要较为专业的量化方法，因此，评估往往由第三方专业机构来负责实施。
评估验证的是社会干预在中长期上是否有效，是对社会干预“变革理论“的终极检验。原则上说，一次检验，就已足够。比如，如果采用科学的方法，我们发现小额信贷能够显著提升借款人下一代的经济状况，那么这一次评估就足以说明小贷的效力。因此，对于一个特定的干预而言，评估并不需要反复多次进行。
一般来说，在以下场景中，我们才更需要评估：
1）
经过一段时间摸索，某项社会干预模式已经基本稳定，机构计划大规模推广。在大规模开展之前，我们最好通过评估验证干预的效果，这样才能确保推广的是有效的而不是无效的方案。
2）
政府计划大力推行某项政策或者某项工程（如慈善超市），在正式全面铺开之前，率先开展若干试点，评估成效之后再决定是否做推广。这在政策制定领域，被称为“基于事实的政策制定法”。
3）
经过2-3年的摸索，某项社会干预模式已经基本成型，机构考虑进行战略升级。在升级之前，我们最好通过评估了解项目的中长期成效，并对项目成功或不足的原因进行系统分析，以便将来有所扬弃。
总体来说，评估在规模化以及战略升级的前夕使用，才能凸显其价值。值得说明的是，不管是上述哪一种情景，评估都需要项目已经有了一个较为稳定的模式，如果服务对象、目标、活动内容等都在不断变化和调整之中，那么此时需要的不是评估，而是能够提供快速反馈功能的监测。
重新界定监测
监测这个词被业界提及的几率很低。但很多时候公益实践者所说的评估，其实更多的指的是与监测有关的内容。当然，概念辨析本来就不应该是众多实践者的任务，作为专业的评估机构，则很有必要区分不同的需求和服务内容。在《什么是监测？》一文中，我给监测的定义如下：
监测是发生在项目执行过程中的一种持续性管理行为，它定期搜集、分析和报告关于项目投入、活动、产出以及近期成果等信息，以便为管理层、执行团队以及其他核心利益相关方提供项目执行以及策略决策的依据。
这个定义，把能在执行执行过程之中以及项目结束后可以立即开展的信息收集工作，都纳入到监测的范畴。而相应的，评估则是指在那些在项目结束后一段时间，或者需要长时间跨度而且需要深入系统分析的信息搜集工作。
继续以小额信贷为例。一般的流程，信贷员在发放贷款前，都要做借款人入户调查，这个过程可以了解到借款人的家庭人口、职业、收入来源、居住条件、孩子教育、生病与否等方面的信息，甚至还可以对借款人的经济状况做出大致的判断。在贷款期间，信贷员也会经常回访借款人，这样也能了解到贷款的用途，以及贷款给借款人带来的直接作用，比如扩大养殖规模，降低采购成本，家人就医治病等。在还贷期间，信贷员同样可以进行跟踪，了解借款人家庭经济进展状况。另外，借款户的数量、贫困家庭的比例、还款率等，这些指标都是非常有意义，也便于信贷员进行统计和记录。格莱珉银行开发的PPI就更是一个很好的监测近期成果的，可在监测环节完成的指标。
一般情况下，项目人员每天在项目执行过程之中，是监测信息最方便的收集者。因此，监测一般都由机构内部来完成，项目团队既是项目的执行人员也是监测信息的收集者。在另外一些必要的情况下，考虑到工作人员的负荷，或者需要第三方的独立信用，也可以聘请外部专家或第三方机构来收集和分析信息。
在上文中，我们提到评估并不需要定期做，但监测却是持续行为，只要项目在进行，监测就应该在继续。而且，它最好以固定时间频率出现，频率可以是每周、每月、每季度、每半年或者每年度等，这样有利于形成规律的反思模式。
监测的价值
监测不是项目执行，它本身并不直接贡献于项目的成果。监测必须对项目的策略或执行产生影响，才有存在的意义。监测又不同于评估，它无法对成型的社会干预的社会影响做出科学判断。然而，幸运的是，绝大多数的项目本身既不成型，也不稳定。每一个项目，都经历一个从酝酿到设计，并在执行过程中不断调整的过程。在一个社会干预成型之前，项目的每个环节，其实都处在构思、实验和调整阶段。项目执行，并不仅仅是“干活”这么简单，更重要的是在项目初步设计之后，在真实项目操作过程之中，不断完善和提升项目的构思，直至项目成长成为一项较为稳定的社会干预。
因此，监测是对项目设计的反思和学习。我们设定的服务对象，定位准确吗？他们愿意参与到项目中间来吗？项目满足了服务对象什么需求？服务对象为什么要参与项目？项目是否建立了通畅的渠道，让我们可以便捷递送服务？合作伙伴愿意配合项目吗？他们对项目有什么改进的建议？项目原来对服务地外部环境的假设符合实际情况吗？项目过程中，有哪些超出预期的成功？我们如何利用这些机会？工作团队需要哪些能力才能完成项目目标？机构需要建立怎样的资源后勤体系，才能让项目持续运转？这些重要的问题，不管我们在设计时花多大的力气，都不能做到尽善尽美。我们必须依靠实际执行过程中，收集相关信息，才能逐步得到解答。
因此，说监测是一种管理行为，并不是说它是一种监督行为。如果打一个比喻，监测更像是一种“探测”工作。它探测项目执行过程中可能出现的各种问题、挑战和机遇，从而为项目设计和执行提供基于事实的完善建议。
现在很多公益组织，把监测理解为一种监督，并且通过各种各样的报告来体现这种监督，又因为对项目机械化的理解，把监督又具体化为对时间进度的控制，对项目产出的催促，结果营造了一种对持的关系，也让人们对监测身怀敌意。如果要让监测发挥价值，我们必须转换思维角度和头脑范式，也就是要转换到
“探测”以及“学习”的视角中来。
有效的监测，必须具备以下四个方面的特性：
1）
覆盖关键点。在项目设计完成后，我们需要清楚我们对项目设计的哪些部分不太有把握。比如对核心客户、合作伙伴、外部假设、以及工作所需要的必备能力的假设可能是错误的。这些关系到项目的成败，也是重要监测点。如何制定合理的监测指标，请参照《项目监测，监测些什么？》一文。
2）
快速反馈。信息越滞后，对实践改进的作用就越小。我们必须在执行过程中，实时收集监测信息，并定期进行汇总和讨论，以便改进项目方案。这意味着，监测不能太复杂，不能太耗时。项目人员往往已经超负荷运转，机构一方面要为监测工作留出必要的时间和资金资源，另一方面也需要尽量将监测融入到项目执行之中，使其化为无形。
3）
指导工作。监测信息必须和项目团队的日常工作密切相连，项目团队需要感受到监测对自身工作直接的价值和意义。在小额信贷的案例中，监测信息可以帮助信贷员更好的识别客户和服务客户，也能让信贷员体会到自身工作的社会价值。公益组织的工作人员，经常陷入到工作细节之中，慢慢体会不到工作的社会意义，那么这种与工作密切相连可感知的监测体系，其实可以帮助员工建立意义感。
4）
充分分享。监测要引向项目调整，而且有的时候甚至可能会引致项目重大调整，监测所收集的信息必须在项目组以及决策层范围内得到充分的分享和讨论。公益组织里，项目设计往往是机构高层，而项目执行则主要是同事。上下脱节，经常会导致项目无法继续，严重的甚至会使组织趋于崩溃。监测信息的充分分享，可以帮助高层了解项目一线的反馈，也可以帮助操作者站在执行之外审视项目的设计和策略，从而建立一种全局观。
监测与评估相结合
此文强调公益组织重新发现监测的价值，并不意味着对评估持反对意见，也不是呼吁用监测来替代评估。
实际上，我们需要特别小心，有时候近期信息监测表现极佳，而长期效果评估则未必。哈佛和MIT曾组织了一批专业的心理学、社工等教授，为贫民窟的孩子提供长达5年的随叫随到式贴身服务。在近期上，项目投入的是世界一流的专家，当下的问题被迅速解决；但针对孩子们长大成人后的评估却发现，被服务的孩子在收入水平上与未受服务的贫困窟的孩子没有显著区别，在犯罪率上甚至略高一些。这个案例，清晰的表明了评估的价值。
此文特别想说明的是，监测和评估应用场景不同，各有其功效。在资源有限的情况下，我们应该重视监测的价值。如果资源充分，监测和评估可以结合起来，当然能更系统性的记录和呈现项目的社会影响。
此文重新界定监测和评估，强调重视监测的价值，对公益评估咨询机构而言意味着，需要将两种业务区分开。一种是协助公益组织开发可自我运作的内部社会绩效监测体系，此体系的目的是快速学习和反馈，以改进项目设计和执行；另一种是针对较为稳定的项目开展中长期社会影响的归因式评估，从而为项目规模化或者战略升级做准备。
公益实践机构则需要意识到，监测是自身不可或缺的能力，是机构学习和改进项目的重要实践，最好不要撒手交给第三方机构来完成。而如果希望对项目开展较为科学的影响研究，希望用规范的评估，帮助项目获得更广泛利益相关方的认同，那时可再借助专业机构的力量。
作者：社会资源研究所创始合伙人李志艳
（请在注明作者和出处的前提下转载或引用）
页:
[1]