猴子 发表于 2014-6-17 12:03:47

DMEL第26问:如何开发出好的成功指标?


  之前讲过如何做问题分析、如何制定目标,今天我们重点来看看什么是好的成功指标,以及如何开发出好的成功指标。

  1.衡量的是“目标的实现”


  什么是指标呢?即看到这个发生,就知道目标实现了。这里的含义是,指标是用来衡量目标的实现程度的。例如50个人参与培训、出一本手册就不是好的指标,因为它仅仅表明我们做到了什么活动,却不能体现目标对象身上发生了什么变化。


  听过福特基金会何进老师讲课的人对于三点一线都不会陌生。它是指“问题、目标、成功指标”三者要一脉相通、紧密相连,呈现出下图所示的关系。这种方法就很好地保障了成功指标是用来衡量目标的实现的,千万不可凭空想象或从别的项目中随意截取。


  【问题】一切项目都是为了解决一个问题,而不是出于一些美好的愿望。而问题分析又可拆解为“状、症、因、源”四个层面。其中“状、症”指的是问题的表现,而“因”是问题的原因,而“源”则是根本原因。


  【目标】目标分为长期目标和近期目标。其中长期目标是和“源”相对应的;近期目标是和“因”相对应的。


  【成功指标】由于长期目标的实现需要很多机构、很长时间才能解决,而且具有很强的不确定性,因而无需对长期目标制定成功指标。成功指标都是针对“近期目标”而言的。


  2.能“看到”


  好指标的第二个特点是能“看到”,当然不只是指视觉上的,还包括听到、闻到、触摸到等等。例如,一个项目的目标是孩子的学习主动性提高。一些朋友可能会在项目建议书的成功指标一栏中写下:80%的孩子学习主动性提高了。即便一个人再火眼金睛,也无法“直接看到”学习主动性吧?在一次培训中,我们和公益实践者共同讨论如何测量学习主动性,他们提到的包括“用于自学的时间增多”、“课堂提问的次数增加”、“学生之间讨论的次数增多”、“考试成绩提高”、“家长提醒学生写作业的次数减少”等等。这些都看得到、数得出。


  回顾问题分析环节,尤其是“状和症”,也许能够帮助我们找到一些“可见”的指标。想想问题分析时,我们以什么样的表现为例,来说明问题存在,那么这样的“症状”变化时,就能一定程度地说明目标实现。同时,问题分析时纳入多个利益方,也有助于提出多角度、多层面的目标群体的可见变化,以作为成功指标的备选。


  3.“能”反映


  第三点说的是好指标应该有较高的效度。我们还是以上述讨论为例,尽管大家提出的这些指标都看得到,但其中有些并不能很好地反映“学习主动性”这个目标的实现。例如成绩提高,就很难说明学习主动性的变化。


  纽约城市大学和清华大学正在研究的教育评估课题认为,知识的增长、学习能力的提升很难测量,他们提出的理念是,不对最终的学习效果进行测量,而是测量学习主动性,并以时间/精力投入增多和学习方式多样化作为衡量主动性提升的指标,开发了一系列工具。站在巨人的肩膀上——参考相关文献,善用各个领域的已有成果,能够帮助我们从已有讨论中筛选出适用的指标,或者在无从下手时给出可能的思考方向。


  4.个数不要太少,也不要太多


  指标过少的问题是,容易偏颇,不能说明目标实现,而且可能会导致盲目追求指标的实现,而忘了目标。那么,指标是不是越多越好呢?并非如此,这会大量增加信息搜集的成本(资源和时间)。


  可以通过两种思路删减指标。一是将指标进行分类,在每类中选择相对效度最高的一两个,例如之前提到的“投入”和“学习方式”就是并行的两类,而衡量投入的方式就太多了,你可以根据效度高低进行排除。二是观察这些指标中是否存在先决条件关系,即如果一些指标实现了,就一定意味着另一些已经实现了,如果你认为在同样的时间中需要实现前者,那么可以将后者去掉。


  5.标准不要太低,也不要太高


  选定具体指标后,还应当设定“变化量”。包括多少目标对象发生变化、发生多大程度的变化、在多长时间内发生这样的变化。需要提醒大家的是,变化是循序渐进的,而不全是要么有、要么无的零和状态。以政策改变为例,决策部门对于提案给出公开答复、政府官员愿意出席某些倡导活动、出台鼓励性条文、颁布禁止性法规等,都是不同程度变化的表现。


  建立基线能够防止我们将指标的标准设得太低。而文献研究则能帮助我们注意不要将指标的标准设得过于野心勃勃。例如研究表明,中国企业的平均寿命为3.9年,你若将面向职业高中生的创业教育项目的成功指标设定为,70%参与者创办的企业能存活5年,可能就比较难以实现了。


  开发指标,绝不能是胡乱地将项目建议书中的相应空白填满。好的指标,能够度量我们的工作成果,反映问题解决的程度;而开发出好指标的过程,还可以提醒我们要从问题中来,不可偏离目标;敦促我们建立基线,实事求是地工作;鼓励我们不断从已有成果、前沿研究中汲取营养。


  来源:社会资源研究所

页: [1]
查看完整版本: DMEL第26问:如何开发出好的成功指标?