社会考试质量评价机制建设探析

摘 要 ：质量和公平是社会考试的两大支柱,具则发展和繁荣,失则萎缩和停滞.本文从质量评价机制建设的必要性入手,通过命题、组考、评卷、统计等环节的工作,逐步解析了质量评价的内容、方法和步骤等基本要素.

关 键 词 ：社会考试；质量；评价

中图分类号：G726文献标识码：A文章编号：1006-5962（2013）03-0001-02

社会考试是一项环节多、风险高、影响大的复杂工程,既包括考试命题、制卷、施考、评卷、登分、统计、公示等环节,也涉及试卷保密、考场管理、评卷质量和技术设备等要件,使社会考试成为是一个具有多因素、多变量的动态系统.任何一个环节出现失误或工作不到位,都会损害和影响考试质量.因此,广义的社会考试质量评价,既包括对命题和试卷分析,也包括对组考、施考和评卷等环节工作质量的评估.为了确保社会考试达到预期效果,实现预期目的,开展社会考试质量评价机制建设显得尤其紧迫和重要.

1开展社会考试质量评价机制建设的必要性

社会考试主要是通过对考生的综合知识和专业技能进行检测和评定,考查考生掌握知识的数量和技能熟练程度,为社会用人单位选拔和评鉴合格的专业技能人才开展认证,并提供依据和凭证.社会考试的结果,直接决定着考生被社会认可和接受的机会.因此,建立健全社会考试的质量评价机制非常必要.一方面,通过对考试质量的分析评价,可以了解考生对专业知识和专业技能的掌握程度,诊断并发现每个考生的特点、潜力、学习性向和专业能力等,对考生具有导向和引领作用.另一方面,可以获得考试自身的质量信息.通过开展社会考试质量分析与评价,对考试设计、命题策略、考试方式、考试管理、考风考纪建设等环节是否存在漏洞或薄弱环节进行全面深入的剖析,为进一步改进考试管理、提高社会考试质量积累第一手材料.再一方面就是健全考试的自律机制.开展社会考试质量分析评价,是自我约束、自我监督、自我管理和自我提高的具体手段和主要途径,也可以说考试质量评价是的自律机制.最后一方面就是有助于增强社会考试的科学性和公信力.开展社会考试质量评价,全面分析试卷的信度、效度和区分度,全面测定考试管理的执行力、管理措施的到位率和到位程度,有助于提高社会考试的科学性和公信力.

2社会考试质量评价机制建设的主要内容

开展社会考试质量评价机制建设的主要内容包括评价制度、评价原则、评价内容、评价方式和评价步骤等.

2.1评价制度.建立社会考试质量评价制度,是社会考试公信力建设的重要内容和组成部分.社会考试质量评价制度包括编制评价章程,明确评价主体、评价范围、评价原则、评价依据、评价规范、评价内容和指标体系等,同时还要规定评价时间、评价方法、评价报告及对评价活动的信度效度评价、评价注意事项等等.在制定评价制度中,还可以考虑由不同的评价机构按照不同的评价思路和方式,开展多元评价,多侧面、多角度、多层面了解社会考试的整体情况,全面掌握社会考试质量的达成程度和存在的问题与不足.建立健全评价制度,是社会考试质量评价机制建设的首要任务.

2.2评价原则.即在开展社会考试质量评价过程中必须坚守的规范和准则.具体包括：

2.2.1客观公正原则.在开展社会考试的质量评价过程中,要以考试材料、考试结果和考试过程为基础,确保考试各类数据、记录和统计的客观性、准确性、真实性和可靠性,从而实现考试评价结果的客观公正、真实可靠.

2.2.2全面系统原则.开展社会考试质量评价,要涵盖考试的方方面面,既要包括命题质量,如信度、效度、难度和区分度,又要包括考试管理的全过程,如试卷保管、考场管理、评卷过程、参和评分细则的制订与实施情况等等,并且对不同的评价内容要使用不用的评价办法、适用不同的评价指标体系.

2.2.3规范科学原则.开展社会考试质量评价,要注重评价规范,包括制定评价实施方案、制定评价量表和复核办法,准备必要的工具和设备等,力求考试质量评价各类数据准确无误,确保评价结论科学有据.

2.2.4反馈指导原则.评价结果要对考生反馈,不能只是评析考生的"毛病",还要善于发现考生的优点、特长和潜质；对考试管理机构的反馈内容,要在肯定考试工作成绩的同时,还要查找考试管理自身存在的问题与不足,以便今后的考试管理工作得到不断改进与提高.

2.3评价内容

社会考试质量评价的内容很多,包括试题命制、考试组织、考风建设、评卷监管、数据处理等多个环节.

2.3.1试题命制.试题是测量考生水平的主要载体,一套社会考试试卷的质量高低关键要看是否达到科学测量的目的.科学测量就是依据教育测量学原理开展社会考试质量评价,内容包括：①试题的科学性.试题由情境、设问和参组成,每个组成部分都没有问题,才能保证一道试题的合理,也只有这样才能保证整张试卷的科学.因此,应从题目情境、设问、参三个角度分别寻找相应的证据：试题情境真实可信,具有权威性；设问完整明确,没有歧义,表达一个确定的学科问题；客观题答案唯一且没有争议,主观题答案简明扼要、逻辑清晰.②试题的命制技术.目前,主要题型为选择题和非选择题.选择题有利于控制评卷误差,提高知识的覆盖面,但具有猜测性,且不易考查考生较深层次的能力；非选择题有利于考查考生知识掌握深度及高层次能力,但评卷误差不易控制.评价时可针对选择题、非选择题的不同特点寻找相应事实证据.

2.3.2考试组织.在社会考试质量评价内容中,组考是其一个重要指标体系.在组考方面的评价内容主要包括：考试报名点的组织机构健全,责任分工到人,资格审查制度完善,文本严谨规范,考生信息采集完整,上报数据准确及时；在考点方面,坚持开展考点建设与检查,硬件设施安全可靠,应急物质一应俱全,规章制度严密完整,操作规范简明易懂；层层签订工作责任书,考点领导机构健全,职能小组落实到位；考点设置规范、试卷保密安全、监考队伍诚信可靠；试卷发放与回收安全规范. 2.3.3考风建设.有专班坚持开展考风考纪宣传教育,层层签订诚信管考、诚信监考、诚信应考承诺书,大力倡导诚信应考光荣、考试舞弊可耻的考试氛围,帮生端正应考态度,纯洁考试动机,严肃考试纪律,确保考试安全平稳顺利.

2.3.4评卷监管.评卷管理的各项规章制度健全,评卷场地规范达标,评卷人员爱岗敬业、结构合理、队伍稳定,严守评卷工作程序和各项评卷纪律；坚持开展评卷质量抽查、监控和巡视；保质保量按照完成评卷任务、评卷工作奖惩机制健全并落实到位等.

2.3.5数据处理.考试数据客观真实、准确可靠.数据信息交接手续健全规范、对考试数据与信息实行"一岗双人"制度,失密泄密事件被杜绝,考试数据上报或公示及时、准确等.这些都是考试质量评价的项目因素和重要内容.

2.4评价方法

社会考试评价方法有多种,主要包括经典测量评价法、项目反应理论评价法、数理统计评价法以及社会调查评价法.

2.4.1经典测量评价法.由于用相关理论计算有关指标时不需要使用特殊的统计软件,因此便于学习和掌握.又因为该理论是基于弱检测设前提,分析时不要求严格的拟合性检验,适用于绝大多数的社会考试测量资料,因此在今后相当长的时期内,基于经典测量评价的分析方法仍然是实施有效的考试评价方法之一.但由于具有项目参数的样本依赖性、被试水平的测验工具依赖性、测验结果推广的有限性、能力参数和难度参数量尺的不一致性以及信度估计的不精确性等缺点而屡遭质疑,因此不宜过多的强调使用这种传统的评价方法.

2.4.2项目反应理论评价法.与经典测量评价法相比,这是一个完全不同的考试命题质量评价理论和方法,优点是项目参数不具有样本依赖性,能力参数也不具有项目依赖性.能力参数与难度参数的量尺具有一致性,因此可以直接进行比较,项目信息函数和测验信息函数可以描述在每一种被测量的能力水平上的一个项目或测验的测量有效性,所以更为一些研究人员所推崇.但其不足是基于强检测设前提,因而能够适用的考试测量资料有限.由于模型复杂,在实践中模型参数估计和模型拟合都容易出问题.而且,操作技术复杂,需要使用专门的统计软件.

2.4.3数理统计评价法.数理统计是以概率论与数理统计为理论基础发展起来的考试质量评价分析方法,也正逐步用于成绩的分析之中.数理统计评价方法主要依赖于三个原理,即方差分析原理、正态分布原理和相关分析原理.①方差分析原理.在社会考试质量评价分析过程中,运用方差分析原理,将全国、各考区或各考点单独作一个独立单位样本空间,实现完全的样本空间进行研究,而且是抽取部分数据作为样本空间进行研究比较,把社会考试成绩总的变化情况按全国、考区、考点成绩变化进行分解,以找出成绩变化的原因.

②正态分布原理.是一种在数学等领域非常重要的、在统计学的许多方面有着重大影响力的概率分布.在考试成绩统计分析中,一个地区或一个考区所有考生的各段成绩人数自高至低应呈现出由少到多、再由多到少的曲线分布,这种曲线分布类似于正态分布,许多分布规律服从于正态分布规律,可反映出考生成绩的分布状态,从而对比分析出考生成绩是否按照预先设想的结果进行分布.利用正态分布进行考生成绩分析,可以检验考生成绩分布状况,从而进行分析对比.在进行正态分布检验前,需要确定考生成绩正态分布密度函数,将考生成绩频数规格化,不因各地及各考点之间由于考生人数不同而无法对比,使各地及各考点之间具有可比性.

③相关分析原理.是研究现象之间是否存在某种依存关系,并依据具有依存关系的现象探讨其相关方向以及相关程度,是研究随机变量之间的相关关系的一种统计方法.在考试成绩统计分析中,主要运用相关关系对影响成绩变化的因素进行对比分析,从而确定影响成绩变化的主要因素.例如,一个考区或一个考点成绩偏低,是由考生整体成绩偏低所致,还是由某一科目成绩偏低所致,即某一科目与其它科目的相关性如何,是否存在某一科目拖累整体成绩的情况,这就需要运用相关性分析进行验证.通过相关分析研究,特别是对于一个考区或一个考点几年来的考试成绩统计分析研究,能够确定影响成绩变化的主要因素,为今后改进命题和学校提高培训辅导质量提供参考依据.

2.4.4社会调查评价法.通过设计问卷内容,开展问卷调查,来考察考生的学习习惯和规划,以及教师的学术水平和教学方法,将调查问卷的数据与学生认知测试的数据建立链接,利用分析和统计,从庞大而复杂的数据库中找出影响考生成绩的主要因素,从而为学校和教师提供非常有益的信息.

2.5评价步骤.在开展社会考试质量评价的实施过程中,主要包括以下几个步骤：

2.5.1数据整理.在对考试试卷与命题的质量进行评价方面：一是试卷抽样.试卷抽样是从总体所包含的全部个体中随机地抽出一部分个体作为样本,用以估计总体情况的一种方法.常用的抽样方法有四种：简单随机抽样、系统抽样（先将总体均衡地分成若干个部分,然后按事先约定的规则,从每部分抽取出1个个体,得到所需要的样本）、分层抽样（已知总体是由有明显差异的几个部分组成时,按各部分所占的比进行抽样） 和群体抽样.二是数据分布.通过考试获得大量杂乱无章的数据需要进行整理和分析,以便作出解释和评价：①顺序排列表.它是将所有考生的成绩,按高低顺序排列,可以大致了解个体成绩在总体中的位置.②频数分布表.简单来说就是通常用的分数段人数.三是集中趋势分析.比较常用的有：①算术平均数,即单科或总分的平均值.②难度.是指试卷的难易程度.一般用试卷的得分率来表示,所以难度事实上就是容易度.得分率在0-1之间,数值越大,说明试卷越容易,反之越难.③区分度.是指试题对不同考生知识和能力水平的鉴别程度.如果一个题目的测试结果使水平高的考生答对,而水平低的考生答错,它的区分能力就很强.上述三类的计算都可以直接通过Excel处理,比较方便.

2.5.2数据解读.一般来说,数据处理后可以做微观和宏观两个层面的解读.在此重点介绍微观层面的数据解读.在微观层面,一是进行试卷质量分析,二是进行考生学习质量分析.试卷质量分析包括：①试卷的知识与能力,知识点覆盖是否合理,重难点问题把握程度是否恰当,是否符合考试大纲的要求,是否结合实际,有无超纲、超标、超前；②试卷的结构与题型,分值分布是否合理,题型结构是否符合社会考试方向；③试卷的立意与创新,考后考生对试题的总体感受,命题立意是否精当,情景材料有无新意,是否公平（地域、城乡差别）,问题设置有无创新,是否科学,试题有无硬伤；④具体分析6-8道试题.好题好在哪里,差题差在何处.尽可能通过与上次考试试题或同类考试的试题进行比较,说明该题材料、设问的合理性与创新性,能力考查的层次性与有效性,试题条件设置是否充足,有无科学性问题等等. 在对考生学习质量分析方面包括：①考生得分情况分析,主要有：参考人数及各科均分、频数分布（即分数段）等；②考生答题情况分析及学习质量的特征,主要有：考生对各知识点掌握情况分析、考生答题规范化程度分析、考生综合解题能力分析、考生试卷中典型错误分析.与数据统计的分析相结合,需要描述的考生学习质量的特征主要有：考生在掌握知识范围方面的特征,主要以考试大纲的知识范围为依据,看考生是全部还是大部分掌握,是基本上掌握还是不熟悉或大部分不熟悉；考生对所学知识概念的理解是否深透,以及能说明这个问题的典型实例；考生对基本技能的掌握程度和熟练程度,举出典型的例证；考生独立分析和灵活运用知识的表现,举出例证.

2.5.3撰写报告.社会考试质量评价报告的内容主要包括：①设计的策略.就是通过设计试卷来引导考生重视什么样的知识和能力,提醒考生注意重点的内容,包括容易出错的内容.②考查的内容.主要是明确考试的内容是什么,试卷是如何涵盖这些内容的.③分数的权重.写明题分的比例分配,知识型、能力型和重点部分是如何安排的.④试题的难度、信度和效度.一般说来,难度系数容易题为0.95-0.75,中档题为0.74-0.6,难题为0.59-0.20,这与普通高考、中考等选拔性考试有所不同.⑤数据的处理.可以通过表格或图表的方式对试卷抽样进行分析和存档.