|
在我们对公益项目评估时，为了保证成果识别的客观、可靠，往往会倾向于采用量化指标来衡量。但同时，我们也会遇到一些不那么容易量化的信息，如孩子们的自信，于是，我们费尽心力地寻找，探索、甚至开发各种量化工具，如自信量表。或许，通过这样的过程，我们的确可以获得一些信息。但，量化数据是不是真地可以客观、可靠地反应我们项目的成果，以作为我们判断成果达成程度、以及改善项目的依据呢？
客观吗？——定量数据也可能带有主观偏见
首先，定量数据为我们所推崇的主要“魅力”即在于其客观性。但实际情况是不是这样呢？我们以“孩子们的自信程度”作为例子，来看看获得量化信息的过程：
第一步选择合适的工具/方法。经过选择，我们决定采用某个被广泛认可的自信量表作为工具； 第二步信息搜集。我们向所有的孩子，或者抽取部分孩子作为样本，发放自信量表问卷，让他们根据自己的情况，对每一个问题（如“我能够把一件事做得和大多数人一样好”）进行打分；之后，我们回收问卷； 第三步数据分析。计算每一个孩子的“自信分数”；并将所有获得的数据放在一起，进行统计分析，获得整体的自信水平。
这大概是我们在评估种最常采用的量化流程。我们认为方法得当，便理所当然地以为获得了确实、客观的量化数据，也就放心地据此判断项目目标的达成程度。
但是，如果我们认真分析，就不难发现，在这个流程中，最为关键、基础的量化数据——每个孩子对自信量表中每一题的打分——是可能带有主观偏见的，这种主观偏见可能来自其所接受的教育，朋辈关系，也可能来自某个“美好品德，如谦逊”。
类似的例子，在我们的评估工作中经常出现。对于那些并不容易量化的内容，我们只是选择了一种工具，将主观判断转化为量化的数据而已，如满意度评价、价值度评价等都是如此。
由此可见，经过量化过程而获得的数据本身并非天然地具有客观性，“主观偏见”几乎是难以避免的。因此，我们要时刻提醒自己，量化并不总是那么客观、可靠；要得到可靠的评估结果，需要量化数据和质性信息（来自于观察、访谈等）相互结合，互相印证。
可靠吗？——量化数据有可能会忽略“关键信息”
如我们前几贴反复强调的，评估的目的是为了“识别成果、明确成效，找到项目成功经验／失败原因，以持续提升项目成效”。在这一点上，量化数据好像也不能尽其所用。
量化了的数据也许可以直观地呈现我们的项目成效，但是“单一”的数据呈现，往往会忽略我们公益项目受益群体及其变化过程的复杂性，这种不经意的忽略有可能会让我们丢失一些关键信息。
再以孩子们的自信为例，也许经过测试，85%的孩子都因我们的干预活动产生了明显的变化——从“自卑”转为“自信”，那么，这种转变是否切实，他们是在“纸面”，还是实际地发生于孩子们学习、生活之中？还有，孩子们这样的转变来自于什么呢（成功因素，我们可以或许可以加强干预，以加强效果）？另外的那些孩子的自信又是为什么没能得到提升呢？
量化的数据显然并不能很好地回答这些问题，而这些问题又对我们改善项目成效至关重要。
总之，量化数据固然有其价值，我们在相信其价值的同时，请保持对我们所关注、影响群体的切实感受，用心观察、体会数字之外，那些有价值的现象和反馈，将量化数据和质性信息结合在一起，相互验证，互为补充，以更好地达成项目评估的目的。
结语闲话：
在构思此文的当日，和楚门书社的创办人“阿木”闲聊了评估的话题，她说：有的时候，她会害怕那些所谓的评估结果，将那么鲜亮、美丽的互动、改变说得冰冷、单薄。
在此与大家分享，期望我们在公益项目的评估中，可以尽量地保有那些美丽的感动。
另，作为2014年的第一贴，顺祝大家新年快乐！并期望在新的一年，和大家探讨更多公益项目有效性的真问题。
来源：社会资源研究所
| 
发表于 2014-4-5 09:23:35