降低评价尺度偏差:一项政治效能感测量的实验

作 者:

作者简介:
刘小青,北京大学 政府管理学院,北京 100871 刘小青(1982-),女,陕西宝鸡人,北京大学政府管理学院博士候选人,研究方向:政治学的经验分析和量化分析。

原文出处:
甘肃行政学院学报

内容提要:

评价尺度偏差是政治学评价类题目中常见的测量误差,“虚拟情境锚定法”被认为是一种降低此类误差的方法。本文依托北京大学中国国情研究中心2009年全国公民意识调查,在其中加入了一组采用“虚拟情境锚定法”测量外部政治效能感的题目来跟传统的效能感测量方法进行比较,实验结果发现:(1)运用传统效能感测量方法时,高效能感的比例为30.64%,而使用“虚拟情境锚定法”后,高效能感的比例占到了46.91%,这就验证了评价尺度偏差的存在。(2)效度检验发现“虚拟情境锚定法”得到具有更好建构效度的测量结果,从而验证了评价尺度偏差对测量质量的影响。通过实验对题目设计提出建议:(1)控制评价尺度偏差的基本思路是遵循测量指标设计上的具体化、标准化和高可比性原则。(2)对于能采取具体方式提问的变量,就要避免抽象题目;对于能用事实性问题测量的变量,就要避免态度性测量。(3)在测量问题选项的尺度设计上,要避免评价方向不一致,应尽可能地理顺一致的量尺向度,规避尺度不等距的问题。


期刊代号:D0
分类名称:政治学
复印期号:2012 年 09 期

字号:

       [中图分类号]D669;C32 [文献标识码]A [文章编号]1009-4997(2012)03-0047-08

       中国政治学的定量研究在传统上一直较为薄弱,不过最近十几年来,随着中国政治学研究领域的拓展和研究目标的多元化,定量研究获得了新的发展,尤其是调查研究的方法不断有学者采用,并且已经积累了一些实证数据和研究经验,这就为学者们从方法上检视定量研究的质量创造了条件。在调查研究中,抽样和测量是两个最基本的问题,目前已有的对方法的检视和完善大多集中在抽样问题上,而在测量问题的研究上却很滞后,尤其是结合实际调查项目进行专门的实验性研究还十分少见,本文正是采用实验方法对政治学调查中的测量问题进行讨论的一次尝试。

       评价类题目是政治学调查中常见的测量类型,譬如询问受访者对政府绩效的满意度,或是让受访者评价自身对政府的影响力等。而凡是跟评价有关的题目,其背后就隐含着一个评价标准的问题,由于人们评价事物时参照的标尺不同,他们对问题的回答就会有差异。由这种差异造成的测量误差①就称为评价尺度偏差。由于人们对事物的评价标准是内隐的,这就需要在设计问题的时候通过提供具体的参照情境来将不同人的评价标准一致化,从而得到具有人际之间可比性的测量结果。

       哈佛大学的Gary King教授曾将“虚拟情境锚定法”(Anchoring Vignettes)运用在政治效能感的测量中,对中国和墨西哥进行了跨国比较研究,结果发现,是否采用虚拟情境对受访者的评价标尺进行一致化的锚定,会得到完全相反的结论。未采用虚拟情境锚定时,有大于50%的墨西哥受访者的政治效能感处于最低级别,而中同受访者的这一比例还不到30%;在纳入了虚拟情境锚定后,大于40%的中国受访者处在效能感最低级别,而墨西哥受访者的这一比例下降到18%。他的这一研究提醒学者们关注评价尺度偏差的问题。

       目前中国政治学定量研究中,还较少关注这个问题。本文依托北京大学中国国情研究中心2009年的全国公民意识调查,通过采用“虚拟情境锚定法”对政治效能感测量方法进行的实验,探讨消减受访者评价尺度不一致的问题。本文依托北京大学中国国情研究中心2009年全国公民意识调查,在其中加入了一组利用“虚拟情境锚定法”测量外部政治效能感的题目,用来跟传统的效能感测量方法进行比较。

       一、政治效能感的测量及其在中国的应用

       (一)政治效能感的测量及维度

       政治效能感是一个实践性非常强的概念,因为从这一概念诞生之日起,学者们就试图采用比较科学的手段和方法测度其高低,以便确定其测量的准确性,这样导致的结果是对政治效能感测量的研究比政治效能感基本理论的研究还要丰富。

       经典的政治效能感测量由五个条目组成:a.政府官员并不关心像我这样的人是怎么想的;b.公民投票是决定国家怎样处理事务的主要方式;c.投票是像我这样的人能够影响政府行为的唯一方式;d.像我这样的人,对政府的决定没有任何影响力;e.有时政治和政府的问题非常复杂,不是像我这样的人能够理解的。②

       学者们通过对这五个条目进行信度、效度的检验之后,删掉了条目b,留下的其余四个条目被长期和广泛地使用,成为政治效能感测量的源头和蓝本。

       在此蓝本的基础上,通过实证数据进行概念的结构探讨也成为效能感研究的关注点。政治效能感不是单一维度的概念,而是可以区分为两个彼此独立的结构要素,即内在政治效能感(如上述条目d和e)和外在政治效能感(如上述条目a和c),内在政治效能感是指个人相信自己有能力影响政府或政治精英的感觉,可以包括政治事务的可变感、政治过程的可理解性以及影响手段的可取得性,也就是说个体自认为自己具备影响政治的能力,是面向自我的政治能力感觉;外在政治效能感则是指个人相信政府官员或者制度或者政治精英对于民众有所反应并予以重视的程度,也就是说,外在政治效能感是个体对于外在政治体系回应度的感觉,可以包括政体制度的外在政治效能感和政治领导人的外在效能感。内部效能感和外部效能感的维度划分逐渐被很多学者接受并应用。

       经典的政治效能感测量采用里克特量表的形式直接让受访者评价自身的政治效能感,对于以上每个条目,都设计了从“非常同意”到“非常不同意”的程度选项。

       (二)政治效能感在中国政治学调查中的应用情况

       中国的政治学定量研究中,政治效能感是经常被测量到的概念。严洁(2006)将中国社会调查中所使用的政治效能感指标按照条目的来源概括为以下三类:第一类是完全采用西方的经典政治效能感测量题目,第二类将本土化测量题目和西方经典测量题目相结合,第三类是完全本土化的测量方式。③

       第一类是完全采用西方的经典政治效能感测量题目,例如在美国杜克大学史天健教授主持的“1993—1994中国政治文化和政治参与研究”中,政治效能感的测量由以下条目组成:内部效能感:a.我觉得自己能够理解政府/政治上的事;b.我觉得自己非常了解我国面临的重大政治问题;c.我觉得自己能够理解单位/村里的事;d.我觉得自己很有能力参与政治;外部效能感:e.像我这样的人在单位/村里事务上没有发言权;f.像我这样的人,对政府的决定没有任何影响力;g.单位/村里的领导并不关心像我这样的人是怎么想的;h.政府官员并不关心像我这样的人是怎么想的。这组条目基本上保留了美国选举调查中的传统条目,但是设计者又将其分成了微观、宏观两个层次,在测量手段上更加细致化了。

相关文章: