受限于评分成本,开放式情境判断测验难以广泛使用。本研究以教师胜任力测评为例,探索了自动化评分的应用。针对教学中的典型问题场景开发了开放式情境判断测验,收集中小学教师作答文本,采用有监督学习策略分别从文档层面和句子层面应用深度神经网络识别作答类别,卷积神经网络(ConvolutionalNeuralNetwork,CNN)效果理想,各题评分准确率为70%~88%,与人类评分一致性高,人机评分的相关系数r为0.95,二次加权Kappa系数(Quadratic Weighted Kappa,QWK)为0.82。结果表明,机器评分可以获得稳定的效果,自动化评分研究能够助力于开放式情境判断测验的广泛应用。
徐静;骆方;马彦珍;胡路明;田雪涛;
北京师范大学心理学部,北京100875中国基础教育质量监测协同创新中心,北京100875北京师范大学珠海校区文理学院心理系,广东珠海519085
教育学
情境判断测验;自动化评分;教师胜任力;开放式测验;机器学习
《心理学报》 2024 (006)
P.831-844 / 14
国家自然科学基金青年科学基金(62207002);国家自然科学基金面上项目(62377003);中国博士后科学基金特别资助(站前)(2022TQ0040);中国博士后科学基金面上资助(2022M720486)。
10.3724/SP.J.1041.2024.00831
评论