马天梅
[摘要] 中青年教师课堂教学竞赛在上海中医药大学已进行了六届，竞赛的评价是否科学、客观、公正、公平是全体师生关注的焦点，文章以近两届竞赛的情况为例，做了竞赛的信度和效度分析，从统计学的角度检验了竞赛评价工作的质量。
[关键词] 评价；测量；信度；效度
一、中青年教师课堂教学竞赛的基本情况
课堂教学是学校工作的中心，上海中医药大学经校长办公会议决定，自94年起每两年举行一次中青年教师课堂教学竞赛活动。其目的是培养中青年教师严谨治教，勤奋治学的优良风尚，提高业务水平，增强竞争意识，立足本职，展示才华。这个竞赛已经形成制度，在主管校长的领导下，由工会、教学办、人事处、教学质量监控中心等相关部门共同参与主办。
竞赛的参赛对象为本校系统45周岁以下的中青年教师（按参赛教师的年龄分为中年组和青年组），要求参赛教师讲授一个课时的本人所任教的课堂教学内容。竞赛步骤包括：推荐阶段、竞赛评比阶段、教学示范阶段，整个竞赛通常持续3个月时间。推荐阶段，是由各学院根据学校教学督导组、学院教学评估组听课评估结果和学生问卷反馈情况进行综合评比，好中选优，推荐在本科教学或研究生教学中具有较高课堂教学水平的教师参加校级公开课。推荐比例为各学院应参赛人数的10%。竞赛评比阶段是由参赛教师上校级公开课，评委进行现场打分，至第六届改为采用实时录像的方式，将参赛者的课堂教学完整录制下来，评委可以通过网络进行评比打分。教学示范阶段则是在竞赛以后，由获奖教师为全校教师上示范课进行教学示范。
要想做到评价的科学、客观、公正与公平，测量工具本身的质量以及评委的评价质量都是至关重要的。我们所采用的竞赛评分表从第一届开始几经改进，到第五届已经定型。评分表共有14个指标，涵盖了教学基本要求、教学内容、教学方法、教学效果四个方面，每个指标按重要性和考察内容有不同的权重，评估等级从A到E共分五级。学校非常重视课堂教学竞赛活动，历届竞赛都由竞赛领导小组在全校范围内挑选有丰富教学经验的专家教授组成评委会。竞赛前召开评委会预备会议，对评分表、评估程序进行培训和讨论，统一对评分表指标内涵的认识和评估尺度的理解，以尽量减少主观因素，提高评价工作的准确和公正。
本文以最近两届竞赛中青年组的评分结果为例做了信度和效度分析，从统计学的角度检验本校课堂教学竞赛评价工作的质量。
两届青年组数据的基本情况是：
表1 两届竞赛青年组的基本情况
| 参赛人数
| 平均分
| 标准差
| 评委人数
|
第五届
| 15
| 88.24
| 7.76
| 7
|
第六届
| 20
| 84.22
| 8.99
| 6
|
二、信度和效度检验
1．信度检验
信度即可靠性，即测量工具能否稳定地测量所测的事物或变量。如果测量工具的信度不理想，测量结果就无法被认为能代表应试者的一致、稳定和真实的行为表现，就可能误导对应试者的评价。信度的估算是以相关系数r为指标，一般来说，当r在统计上达到显著水平，就认为具有较高的信度，否则，就表明信度比较低。
这里我们考察了评分表的信度和评分者的信度。
（1）评分表的信度
采用克朗巴赫a系数考察评分表各指标间的内部一致性，a系数的计算公式是：
[1]
式中，k为评分表所包含的指标数目，si为各指标的标准差，sx为整个评分表得分的标准差。
我们分别将两届青年组参赛者在14个指标上的得分数据作为变量输入统计软件SPSS中，做可靠性分析。分析结果是，第五届竞赛评分表的信度为ra=0.81，第六届竞赛评分表的信度ra=0.91。由于两届使用的是同一评分表，因此我们可以说该评分表具有较高的信度。
（2）评分者的信度
课堂教学竞赛的评价方式是多名评委使用同一评分表对一组参赛者进行打分，尽管评分表各指标内涵有明确的界定，评委也是经过严格挑选和培训的，但打分是评分者根据个人的判断独立做出评价，主观性较大，因此评分者之间的误差是影响评价效度的主要随机因素。
评分者间的一致性使用肯德尔和谐系数W表示，计算公式为：
[2]
式中rw表示肯德尔和谐系数，K表示评分者的人数，N表示参赛者的人数，SSR表示R的离差平方和，SSR=∑R2－（∑R）2／N，R是K个评分者对同一个参赛者打分的等级之和。
肯德尔和谐系数的显著性检验可以用χ2检验，假设H0：ρ=0，计算公式为
χ2=K（N－1）rw [3]
将数据代入公式计算，然后根据自由度df=N－1，查χ2表，与0.05或0.01显著性水平的χ2临界值比较，就可以作出统计决断。
我们用统计软件SPSS来做评分者信度分析。以第五届竞赛的情况为例，将15名参赛者的得分作为变量，即变量1为七位评分者对1号参赛者的评价，变量2为七位评分者对2号参赛者的评价，以此类推，将数据输入SPSS作一致性检验。参赛者的得分是连续变量，SPSS在分析过程中会自动将数据转化为相应等级。对第六届竞赛数据的处理同前。检验结果如下：
表2 两届竞赛的评分者信度检验
| rw
| 参赛者人数
| 评分者人数
| 自由度
|
第五届
| 0.627**
| 15
| 7
| 14
|
第六届
| 0.504**
| 20
| 6
| 19
|
两届评分者间的肯德尔和谐系数rw均在0.01水平上显著，表明评分者间的一致性程度很高。因此，我校课堂教学竞赛评委会的评价工作具有较高的信度。
2．效度检验
效度是有效性，指一个测验能够测出它所要测量的特性或行为的程度。效度越高，表示测量结果越能显示出所要测量的对象的真正特征。
（1）内容效度和结构效度
内容效度是指题目的内容与评量目标的一致性程度，考察内容效度旨在检查测量内容的适当性。我们使用的课堂教学竞赛评分表，Ⅰ级指标包含了教学基本要求、教学内容、教学方法、教学效果四个方面的指标，我们可以用这四个Ⅰ级指标上的得分与整个评分表总得分间的相关系数来表示该评分表的内容效度[4]。结构效度指根据研究者所构想的量表结构与测定结果吻合的程度。我们把前面四个Ⅰ级指标得分之间求相关系数，如果各个Ⅰ级指标得分与总得分间的相关超过Ⅰ级指标得分之间的相关，则表明该评分表具有较好的结构效度[4]。
将数据录入SPSS，分析结果如下。
表3 第五届竞赛各Ⅰ级指标、总分之间的相关系数
| 教学内容
| 教学方法
| 教学效果
| 总分
|
教学基本要求
| 0.559**
| 0.691**
| 0.608**
| 0.901**
|
教学内容
|
| 0.447**
| 0.425**
| 0.720**
|
教学方法
|
|
| 0.530**
| 0.872**
|
教学效果
|
|
|
| 0.726**
|
表4 第六届竞赛各Ⅰ级指标、总分之间的相关系数
| 教学内容
| 教学方法
| 教学效果
| 总分
|
教学基本要求
| 0.740**
| 0.801**
| 0.730**
| 0.912**
|
教学内容
|
| 0.677**
| 0.609**
| 0.860**
|
教学方法
|
|
| 0.693**
| 0.939**
|
教学效果
|
|
|
| 0.796**
|
从上面的结果可以看出，两届竞赛中各个Ⅰ级指标与总分的相关系数在0.720-0.939之间，均在0．01水平上显著，表明该评分表的内容效度较好。另外，在两届竞赛中各个Ⅰ级指标间的相关系数在0．425―0．801之间，分别低于当届各个Ⅰ级指标与总分间的相关系数，可见，该评分表的结构效度也较好。
（2）预测效度
预测效度是指测验结果能够预测人们将来行为的程度，以测验结果与一段时间以后的行为表现（即预测标准，又称为效标）之间的相关程度来表示。
以竞赛当年上海中医药大学教师课堂教学质量评估的成绩为效标，求参赛者竞赛得分与课堂评估得分的相关系数，结果如下：
表5 两届竞赛的预测效度检验
| R
| 参赛者人数
| 有效数据N
|
第五届
| 0.653*
| 15
| 13
|
第六届
| 0.60*
| 20
| 16
|
（注：这里的有效数据N是指参赛者中有当年课堂教学质量评估数据的人数，由于我校的课堂评估未能在当年覆盖全校所有教师，所以有的参赛者当年无课堂评估成绩。）
表中结果显示，两届参赛者竞赛得分与其当年课堂教学质量评估成绩之间的相关系数都在0.05水平上显著，说明我校中青年教师课堂教学竞赛的评价具有较高的效标效度。
三、总结
我校历届中青年教师课堂教学竞赛的举行都得到全校师生的积极参与，对竞赛的评价是否规范、公正，是大家最为关注的焦点。通过上述对我校近两届竞赛结果的信度效度检验，说明竞赛评价工作具有较高的质量，同时每一届优胜者的成绩和进步也是有目共睹的。在今后的竞赛中，我们将进一步地严格把关，改进竞赛方式方法，努力使竞赛更加科学合理、操作规范、评价公正。
［参考文献］
[1]卢纹岱.SPSS for windows统计分析[M].北京：电子工业出版社，2002.401.
[2]王孝玲.教育统计学[M].上海：华东师范大学出版社，2001.253.
[3]王孝玲.教育统计学[M].上海：华东师范大学出版社，2001.256.
[4]傅茂笋，寇增强.大学生适应量表的初步编制[J].中国心理卫生杂志，2004，（9）：635-637.
