计算机网络技术专业建设方案

网络题库系统的设计与实现

余胜泉,何克抗

etc.edu./academist/ysq/-tk.

(北京师范大学现代教育技术研究所,100875)

【内容简介】本文简要介绍了网络题库的特点,并阐述了一个基于WEB的题库系统的体系结构,基本功能,组卷算法及它的发展方向.

【关 键 词】网络题库,联机考试,基于WEB的题库,组卷算法

一、前言

题库(ITEMBANK)是"按照一定的教育测量理论,在计算机系统中实现的某个学科题目的集合",它是严格遵循教育测量理论,在精确的数学模型基础上建立起来教育测量工具[2].

建立题库是一个复杂的系统工程,首先要建立系统的数学模型,然后确定试题的属性指标以及试题的组成结构,再组织大批量的优秀学科教师编写试题,为了保证这些试题的科学性和有效性,还要组织大量的被试样本,进行抽样测试,对试题参数标注的有效性进行校正,一个相对完整的基于经典测量理论的题库系统,需要成千上万道试题,编写和测试这些试题的工作量是无比巨大的,是一般单位所不能承担的.在国家有关项目的支持下,我们国家陆续建立了一系列实用的题库系统,如高等教育基础学科系列题库,劳动部职业技能鉴定题库,国家医学水平考试题库,基础教育系列题库等.这些系统,有的由国家机关控制,有的作为商品出售,产生了巨大的经济与社会效益.但随着这些系统的运行,也出现了很多的的问题,首先是封闭运行,缺乏开放性.由于题库是一个精密的测量工具,其维护,管理,更新,数据统计与分析都是由专业人士来进行的,故基本上都是由某一重要的大机关封闭运行,其它普通的中小单位,无法支付庞大的购写和维护费用,很难有机会使用,这样,国家投入大量资金建立的权威性题库,只局限于某些权威单位使用,不能得到广泛的普及,无法真正在教学过程中发挥其应有的作用.另外,封闭运行无法得到广泛的使用和参与,对于题库的修订和校正缺乏数据基础,使得提高整个题库数据质量较为困难.其次,重视组卷功能,轻视教育测量功能.题库作为一个教育测量工具,它不仅仅是只有试题管理和组卷的功能,它更重要的功能是收集测试数据,并对这些测试数据进行统计与分析,发现题库中所存在的问题,发现教师教学过程中的问题,发现学生学习过程中的问题.这些问题都隐藏在考试分数的后面,题库系统应该通过分析考试数据,发掘信息,提供给教师以更多的教学过程信息.

随着Inter的出现和广泛使用,WEB使得实现广泛的网络共享,集中的安全控制和友好的使用界面达到了完美的统一.这为解决题库系统运行中存在的一些问题提供了新的可能.目前,我们在已有开发单机题库系统的基础上,成功地开发了一个基于WEB的通用题库系统,该系统在一个WEB站点上运行,通过浏览器访问,它提供了传统单机题库系统不具备的一些特点:

集中管理,共享使用:由于题库对试题的质量要求较高,一般试题的增,删,改都是通过专家确认后进行的,分散运行的题库,一般都无法保持一个专家群体,故一般题库无法更新,通过任课教师的自主修订,容易导致题库总体质量下降,故一般题库都是由统一的权威机构来进行维护和管理.但题库同时要具备广泛的使用才真正具有价值.对于单机题库来说,这是一对不可调和的矛盾,基于WEB的题库则可以达到完美的统一.由权威机构建立一个WEB站点,统一管理和控制试题库,经过授权的用户,可以通过浏览器自由使用,包括组卷,测试,评价等等.

开放使用:广泛征集试题和测试样本,用户只要通过浏览器连上网络,便可方便使用题库包括提交试题,参加测试等.通过网络来征集试题和组织抽样测试,可以大大减轻建立题库的成本,缩短建立题库的时间,提高题库的运行质量.

集中存储测试数据:通过网络运行题库,进行联机测试和评价,可以集中保存测试数据,通过数据挖掘,统计与分析,要以校正试题参数的估值错误,剔除不良试题,保证试题质量.

提供联机考试,个人自测,联机评卷等多项功能,使利无纸化考试成为可能.个人自测功能,可以让学生根据自己的学习特点,进行有针对性的辅导与练习.

提供强大的统计与分析功能,揭示全方位的教学过程信息,帮助教师发现教学过程中的问题.

简单易用:用户只要通过浏览器,连上网络,便可在图形用户界面的引导下,轻松使用,无需复杂的配置,安装和管理,大大降低了对题库使用者的技术要求.

二、基本结构与功能

本题库软件体系结构采用浏览器/怎么写作器(B/S)网络计算模式,采用三层体系结构,即包括数据库系统,应用怎么写作器,客户浏览器三部分.其结构示意图如图1所示:

数据库怎么写作器端采用的是大型商业数据库系统(SQLServer),这有利于提高大批量数据(如用户计费数据)的吞吐时间,使整个系统管理规范化,数据的完整性,安全性得到保障.

应用怎么写作器端采用可扩展的通用组件对象模型计算模式(COM),采用分模块层次结构,多模块分立,允许系统的分布式并行处理提高系统的工作效率.各功能模块之间通过TCP/IP,HTTP,RMI等多种协议进行消息和数据交换.

用户运行环境为标准的中文浏览器环境(Netscape4.0或以上版本或IE4.0或以上版本,不需要特殊的插件),硬件环境不限,包括PC机,手持式电脑,电视机顶置盒和网络电脑等,只要能够运行基本的浏览器软件就可以.

该系统目前提供的功能有:

1.考试

远程考试组卷:教师通过在浏览器中输入相应的组卷参数(主要参数有:试卷标题,考试时间,总题数,满分值,时间,考察的知识点,平均难度,平均区分度,题型结构等),系统自动组出一份符合要求的试卷及其标准答案,试卷以两种方式呈现:一种是以HTML的方式,将一份试卷形成一个HTML文件显示,在这种方式下,教师可通过查询的方式在线修改试题,若想使用组卷结果,直接打印或者另存为HTML文件,一种是RTF文件的方式,自动形成的试卷以RTF文件的方式打包,供教师下载使用.组成满意的试卷后,可以存成正式的考卷,供学生考试用.

个人组卷:学生可以针对自己学习特点,输入组卷参数(参数项与教师组卷不同),形成针对性的练习试卷,可以打印,或另存为HTML文件.

远程联机考试:学生选择组好,并指定要考试的试卷,调出该试卷,系统在浏览器中以HTML的方式呈现该试卷,并通过表单来输入试卷答案,学生提交答卷后,系统将学生答案存入学生档案之中,教师在阅卷时,可以调出学生的答卷记录进行批阅.

选择已经组出的试卷,进行联机考试,提交所做的试卷后,系统将自动保存学生的做题答案,并转给教师批改.

远程联机阅卷:教师通过网络批改学生考过的试卷.教师登录后,选择要批阅的试卷,再选择参加考试的学生,调出该学生的考卷及答案,客观题由系统自动判别,非客观题由教师判定给分,教师确认提交后,判卷信息便存入学生的档案之中.

考试结果查询:学生登录后,选择自己考过的试卷,便可调出该试卷,显示出该试卷的内容,标准答案,学生的答卷记录,教师的评分情况等.

2.统计与分析

统计分析的项目可以大致分为四类:

1.试卷统计属性:包括试卷的信度,效度,平均难度,考生群体的最高分,最低分,各个分数段的积累人数,平均分,标准差,各个考生的原始分数和经过转换后的分数.折线图和直方图的呈现方式可以直观地表示出学生在各个分数段的分布情况,以及学生成绩是否符合正态分布,异常试题的警告,如考试中全对或全错的试题,及时提出警告.

2.题目分析和知识点情况分析:包括题目难度,区分度,迷惑答案效力,知识点上的归一化得分.每个题目都对应着要考查的一个或多个知识点以及在知识点上的认知结果分类,因此通过分析学生在每道题目上的得分情况,就能够推知在所关心的知识点上,学生们在多大范围,多大程度达到了预期的教学要求,还存在哪些困难,问题出现在哪里,教师应该采取什么样的措施来扭转学生在学习上的不利局面,确保教学目标的实现.通过对学生在选择题的迷惑选项上的答题情况进行分析,可以从侧面得知学生在哪些概念和原理上存在着混淆,从而在今后的教学活动中多加注意.题目和知识点的分析提供了学生群体的学习现状,是教师因材施教的起点.分析结果的呈现方式采用表格和图形结合的办法,既直观形象,又有精确数值的支持.

3.学生情况分析:

(1)帮助学生澄清对分数的认识:对于学生的某一次考试,选择参加这次考试的全体学生中的不同样本范围并计算出量表,就可以按照量表转换公式得到这个学生的原始分数在不同的样本范围的转换分数.对这个分数的解释可以帮助学生确定自己在所感兴趣的群体中处于什么样的位置,并正确认识这种位置:它让学生明白分数的含义是相对的,而不是绝对的,单纯的分数并不能说明全部问题.

(2)获知学生变化趋势:学生如果希望知道自己是否进步了,就需要按照时间轴作一个关于考试成绩的历史追踪.然而直接比较原始分数是没有意义的,必须要通过转换后的标准分数,百分等级分数等相比较,才能够得出是前进还是后退的结论.

(3)学生知识和能力的分析:题库系统与学生之间通过联机测试界面进行交互,计算机记录并分析学生有意义的反应信息.对于纸笔测验来说,学生在试卷上作出的反应情况,也可以通过手工的方式录入到库中,作为分析的素材.对学生的分析有两个维度,即知识内容和认知能力.由于每道题目都考查了某个(或多个)知识点和认知分类,因此通过分析学生在题目上的表现,就可以知道学生在知识点上达到教学目标的范围和程度,得到知识点掌握情况和能力发展情况.分析结果可以用于生成针对学生个人的指导语,提示学生在哪些方面已经达到教学要求,哪些还需要加强训练,可以为学生准备有关的教学材料,包括错答题目的例题讲解(如果有的话),和题目所考查的知识点的教学目标的说明性材料,以帮助学生纠正错误理解和观念,找到并巩固自身的薄弱环节.所有这些都为"个别化学习"创造了条件.

(4)激励学生的学习:通过与样本适度的比较,并对比较结果作出合理的解释,可以激发学生学习的动力.

4.教学过程分析:通过多次考试成绩的累积,可以以知识点为单位,分析学生在各知识点上的得分布,若在某知识点上,学生的反应普遍异常,则说明教师在些知识单元上的教学存在较大问题,必须改进教学.

3.自测

远程联机测试:学生可以,输入组卷参数(参数项与教师组卷相同,只能抽出客观题),形成模拟的练习试卷,然后进行联机测试,提交所做的试卷后,系统将自动评阅,并给出标准答案,对做错的试题给出详细解答.

个人联机测试:学生可以针对自己学习特点,输入组卷参数(参数项与教师组卷不同,只能抽出客观题),形成针对性的练习试卷,并可让学生进行联机测试,学生提交所做的试卷后,系统将自动评阅,并给出标准答案,对做错的试题给出详细解答.

4.题库管理

试题查询:输入试题查询参数(包括试题中所有的属性参数,并可实现布尔逻辑组合),以HTML主页的方式显示试题,大量试题分页显示.

远程试题提交:教师通过网络向题库加入试题.

添加试题:在试题库中加入编好的试题,有两种方式加入:单题录入:按预置的试题格式一道一道地填写,批量录入:将多道试题按预定的格式形成一个TXT文件,由录入程序一次性的录入题库,

查询试题:用户在查询界面中输入试题查询参数(包括试题中所有的属性参数,并可实现逻辑组合),查出符合条件的试题,供后续修改或删除处理.

修改试题:查询出试题后,可对试题的各项参数及试题内容进行修改.

删除试题:查询出试题后,可删除该试题.

远程收集试题:各地教师可通过网络提交试题,提交后试题存储在一个缓冲试题库中,自动形成标准的RTF文档,供学科专家审查修改,然后批量录入题库.

预置组卷策略:对于一些常见的考试组卷,可以预置一些常用的组卷策略,教师组卷时可以选择现成的组卷策略,无需重复输入复杂的参数便可组卷.

5.系统工具

注册管理:管理用户注册信息,进行权限管理.

系统设置:设置一些影响系统运行的全局参数,如题型,难度分布表等.

专家确认:对题库进行修订时,必须通过学科专家的确认,包括修订试题参数,增删试题等.

退出系统:退出题库系统,若退出后,还需继续使用本题库,需要重新登录.

三、组卷策略

在题库系统建设中,试题质量控制与参数设置,组卷策略是最重要的两个环节,题库建成后,我们需要输入一些查询参数,系统将根据这些参数抽出最适合参数要求的试题,组成能够实际使用的试卷,定义这种查询参数以及对这些参数进行变换算法,我们称之为组卷策略.组卷策略的实质是将对人比较直观明了的组卷参数变换成计算机能够直接操作的试题属性项,然后根据这些属性项,在题库中抽取试题组成试卷.因此,完整的组卷策略应该由三部份组成:试题属性项定义,组卷参数的定义,变换算法的说明.根据组卷方式和评价的类型不同,我们可以将组卷策略划分三大类型:快速组卷,相对评价组卷,绝对评价组卷.下面对第一种组卷策略作简要说明.

快速组卷只需要设置试卷的一些整体属性参数和题型结构参数,便可以组出一份满意的试卷,它对题目的知识点难度分布没有特殊要求,只设平均难度和平均区分度参数,参数设置简单直观,其组卷步骤为:

1.设置总体参数:试卷标题,考试时间,总题数,满分值,时间,考察的知识点,平均难度,平均区分度,

2.设置题型比例表,示例值见表1,检查约束条件,生成最终组卷参数原型表,表的格式见表2,

表1:题型比例表

题型试题数分数考察知识点A1020(1)(6)(5)B520(2)(4)等等N15(3)注:表中数据为示例数据,A,B等N表示有(n)个题型.

3.题型与知识点分布对应:根据题型比例表,来计算某知识点某类题型所出的试题数,并预写最终组卷参数表(填写参数表的知识点列),

变换公式为:题型比例表某知识点某类题型所出的试题数等于题型比例表某类题型的试题数DIV(整除)该类题型的考察的知识点数+Random(题型比例表某类题型的试题数MOD(取余)该类题型的考察的知识点数)

(Random是将余下的试题数,用补零的方式补足与知识点相等的个数,再取随机值,若随机取的值为零,则加值为零,否则加1,若考察知识点列为空,则默认为所有考察的知识点.)

4.试卷难度比例的分配:在平均难度计算模式表中随机取一模式值,得出这份试卷的试题的难度比例,将此难度比例变换成最终组卷参数表中的难度级别参数.变换算法如下所示(用类PASCAL语言说明):

变量说明:

n:难度的等级数,这里为5,

Nn:表示各难度级别的比例值,n的取值范围是1~难度的等级数,

m:题型比例表中试题的题型数,

Mm:某一类题型,m的取值范围为1~题型比例表中试题的题型数,

num:某类题型所占的题数,

j,tmp:中间变量,

算法说明:

j等于m

SortMn(num)(将题型按题数多少从多到少排列)

Whilej>,0do

Begin

IFnum>,nTHEN

IFNn>,SnTHENExtract(n,Sn)(此类题型抽n道题,第n道题的难度比例为Sn(Sn为题型分数比),若Nn<,Sn,则此题型不抽)

Nn等于Nn-Sn

num等于num-n

Else

WriteLeftMn(num)(将此题型记录在剩余试题表中)

SortLeftMn(num)(并按剩余试题的多少从多到少排列)

Endif

SortMn(num)(将题型按题数多少从多到少排列)

j等于j-1

End

ForI等于1tonum(剩余试题表的记录数)

每类题型抽一道题,按分数比例值排列,再将难度比例余值按大小排列,抽两者重合的值,并对应减少难度比例余值.若某难度级别不够(允许的不够的范围为-3%),则不抽此题.

If剩余试题无法精确满足比例要求then抽与比例要求最近的难度级别

Endif

I等于I-此次循环抽的试题数

NextI

5.试卷区分度比例的分配:在平均区分度计算机模式表中随机取一模式值,得出这份试卷的试题的区分度比例,并将此区分度比例变换成最终组卷参数表中的区分度级别参数,由于在组卷时,区分度参数与其它参数(如难度,知识点等等)无很强关联关系,故采用与平均难度类似的随机比例分配的形式.

6.形成最终抽题的组卷参数表

上面所陈述的都是为了使教师使用方便而设置的组卷参数,而计算机进行处理时,并不能直接用上述参数来抽题,我们需要对它们进行变换,变成如下所示的最终组卷参数表,这两者之间的变换方法就是组卷策略.

表2:最终组卷参数表

试题编号题型难度等级区分度等级认知分类知识点1A难(1)2A难(1)等等等在实际组卷时,每道试题选取的条件为:

时间参数:时间<,定义的时间

试题编号参数:试题编号<,>,已抽出的试题编号

抽题时的最终条件为:最终组卷参数表中的每一项(表与表中的每一项为与的关系,不包括试题编号)AND时间<,定义的时间AND试题编号<,>,已抽出的试题编号.

若某个条件抽出的试题数大于一道,则从抽出的试题中随机取一道,若抽不出试题,则顺次取消的控制条件为:时间,认知分类,区分度,若仍抽不出试题,则难度进行最小程度的变化(变一级),若还抽不出试题,则在考察的知识点中抽随机知识点值.

四、展望

目前,本系统已经基本建成,正在试运行阶段,基本的功能都已经具备,但在如下几个方面,我们仍然需要做进一步的研究和开发.

1.与基于网络的远程教学平台进行无缝集成

目前,国内基于网络的远程教学正处于迅速崛起的发展阶段,迫切需要一个能够很好地支持教师教学,学生学习的专用远程教学平台,相关的研究政在进展之中.在远程教学支持平台上,作业,考试,自我练习与测试是非常重要的一环.本系统具备了组卷,布置作业,提交作业,联机批阅作业,自我练习与测试等多项功能,可以为远程教学提供强有力的支持.现在是一个独立的系统,我们今后将把各个功能模块拆分,并与网络课程紧密整合,无缝的集成到远程教学支持平台中.

2.加强统计与分析功能,提供更加丰富的教学测量指标分析

目前,本系统只提供了一些基本的统计与分析功能,如平均分,方差,等级量表等.这些指标还不能揭示教学过程的全貌,还需要进一步地引入新的测量指标,并详细阐述它在教育中所代表的含义,如知识点的掌握度,频数分布图,学生把应曲线等等,为了给没有教育测量背景的教师和学生参考,还将制作测量指标的应用案例,说明如何在实际教学过程中应用这些指标.

3.引进项目反就理论,实施远程自适应测试

近年来,随着教育测量理论的发展,以项目反应理论(IRT)为基础的自适应测验逐渐得到广大教育工作者的认可.自适应测验是根据每个学生的不同情况,用几组不同的试题来测量学生能力水平的一种测验.在自适应测验中,考试系统向应试学生提出一个或几个试题,并对学生答题进行判断,根据学生答题情况,再从题库中选择最适合于测量学生个体的题目.通过这种方式,使试题与应试学生的能力水平相符合,向他们提出的题目,既不太容易,也不太难,可以为估测学生的能力提供最大的信息量.自适应测验比常规测验具有更高的效率,它可以用比常规测验更少的试题而获得可与之相比或更佳的测量效果,有实验表明,在同等测量精确度的条件下,自适应测验可缩短40%至60%的测验长度.另外,由于按照个体的能力水平而确定测验的难度,对个体来说能提供最好的测量,自适应测验就可以从题库中对每个应试学生选出难度水平适合他们的试题,从而可以解决测量精确度和能力跨度不能兼顾的问题.

参与远距离学习的学生范围很广,能力参差不齐,这就要求这种诊断性测试具有相当高的效率,要用尽量少的试题,测试出学生的真实能力,否则会引起学生在学习时间上的浪费,也可能引起学生的厌烦或恐惧的情绪,从而影响学生的学习,另外,由于基于IRT的题库中,试题的属性可以与施测样本无关,故不同时间内进行的考试,其测量结果是可以比较的,比如美国的大学及研究生入学考试(TOFEL和GRE)都采用基于IRT的计算机化适应性测试,学生可以随时参加他所选择的考点举行的考试,而不像过去,必须同时参加定期举行的考试.这种不同考试之间测量结果的可比性,正好可以满足远程学习中考核的异步性的要求.因此,未来远程教育中的考核测量,必然是计算机化的适应性测试.

五、参考文献

[1]何克抗,《建立题库的理论》,《全国CBE学会第七届学术会议论文集》,国防科技大学出版社1995年11月版,

[2]张厚粲,刘昕着,《考试改革与标准参照测验》,辽宁教育出版社1992年9月版,

[3]何荣桂,《'从测验电脑化与电脑化测验'再看网路化测验》,《测验与辅导》,1997年10月vol.144,

[4]何荣桂,《远距测试的可行性与相关问题》,GCCC99论文集特邀报告,

[5]工科高等数学试题库联合研制组,《高等学校工科高等数学课程试题库系统》,《题库建设理论与实践》p213~219,国家教委考试中心编,光明日报出版社,1991年4月版,

[6]MarkD.Shermis,PaulM.Stemmer&,PatrickM.Webb(1996)ComputerizedAdaptiveSkillAssesentinaStatewideTestingProgram,JournalofResearchonComputinginEducation,29(1),49~67,

[7]余胜泉,《通用试题库组卷策略算法》,GCCC99论文集第108至116页,