质量监测与大数据

质量监测与大数据 

微信号 EMED_NAEQ

功能介绍 建立新的测评理论与模型,关注教育大数据与智慧测评,在测评的基础上进行质量提升与改进。

10月21日 

本篇简要介绍NAEP的背景和监测框架,背景介绍主要包括NAEP的发展历程、测评目的和机构组织,监测框架介绍具体包括测评目的和测评指标。在下一篇会继续介绍项目实施、结果应用及对中国的启示。

一、背景介绍

(一)发展历程

20世纪60年代,美国开始广泛运用教育测验来衡量学生的学业成就,尽管各测验机构会对结果进行公开报告,但由于测验群体不具有全国代表性,这些测验成绩并不能反映美国全体学生的学业成就状况。

1957年,苏联成功发射了首颗人造卫星,这给当时的美国政府造成了极大的政治压力,美国愈发关注国家是否培养了足够的人才,从而为科技发展带来竞争力。因此,1958年美国通过了《国防教育法案》(National Defense Education Act),大幅度增加对教育的拨款,并开始了课程改革。1963年,美国教育委员会委员弗兰西斯·凯普尔(Francis Keppel)与美国著名教育学家拉尔夫·泰勒(Ralph Tyler)提议进行全国性监测。1969年,美国建立了教育监测体系,即“国家教育进步监测”。1988年,国会批准建立独立的机构专门负责国家教育进步监测的管理工作,最终促成了国家监测管理委员会的建立。

2001年小布什上台后的第一个法案就是《不让一个孩子掉队》法案(李凌艳,蔡静,郑巧,2016)。法案要求所有接受《中小学教育法》“第一条”资助的州必须承诺参加两年一次的、针对四年级和八年级学生数学与阅读科目的国家教育进步州监测。于是,各州陆续制定了适用于全州所有公立学校学生的课程内容标准和学术进步标准,并通过每年的统一学科考试掌握学生的学业进展情况。

此外,各州还要抽取学生参加基于国家学业标准的国家性统一测评。美国国家教育进步监测(NAEP)也被称为“国家成绩报告单”(The Nation's Report Card),是美国国内唯一长期且具有全国代表性的教育监测体系,在美国教育领域占据着独特的地位,在世界范围内也产生了重要影响,成为其他国家建立教育质量监测体系的榜样,被多个国家借鉴和模仿(王方全,2014)。

(二)测评目的

NAEP的实施首要目标是向美国公众报告中小学的教育状况,促进教育质量和学生学业成就的不断提高。自1969年正式开始实施以来,NAEP已经在美国开展40多年,为美国各州和联邦政府提供一个常规的学生学业质量标准,对监测美国全国范围、各州以及不同地区的基础教育质量,促进成绩较差的学校和学区改进教学方式,提高学生成绩方面,起到了显著的效果(占盛丽,文剑冰,朱小虎,2010)。

(三)机构组织

NAEP的组织模式由管理机制、执行机构和实施机构三部分组成(杨涛,李曙光,姜宇,2015)。各个机构配合协调共同完成整个监测工作。

管理机制:国家监测管理委员会:美国国家监测管理委员会是1988年按照联邦法律,由国会批准,为监督国家教育进步监测的工作而专门建立的。国家监测管理委员会主要负责:选择监测的学科;为每个年龄段和年级在所要测试的学科领域中确定合适的成绩目标;设定监测目标;制定测试规范;设计监测方法;制定分析计划和报告、颁布监测结果的方法与标准;开发州与州之间、地区与国家之间成绩比较的标准和程序等。

执行机构:国家教育统计中心。美国国家教育统计中心(NCES)是美国教育部下属的重要机构,隶属于教育科学院。从20世纪70年代国家教育进步监测的监控权正式移交给美国国家教育统计中心至今,其下属的监测部就具体负责执行这一项目,其主要职责包括:设计监测、开发试题、实施监测、发布报告、协调各州监测与相关数据收集活动等。美国国家教育统计中心通过发标竞标的形式为国家教育进步监测选择最佳的合作伙伴,并以给予其法律授权的形式来实现对国家教育进步监测的管理和控制。

实施机构:专业教育考试服务公司。国家教育进步监测具体实施的各个环节都是由美国国家教育统计中心选中的专业教育考试机构或考试服务公司来完成的。如“美国大学入学考试(American College Test,ACT)”教育公司负责确定测评的各学科与各年级的学业标准;美国教育考试服务中心(ETS)负责编制监测工具、评分、分析数据、报告结果;西斯特公司负责抽取被试学校与学生样本,培训监测管理人员,组织实地测评工作;美国国家计算机系统(National Computer System,NCS)负责测评材料的印刷与分发以及学生答卷的扫描、识别与积分;美国研究所负责背景问卷的编制等。

二、监测框架

(一)测评项目

NAEP的项目构成包括:主要监测、长期趋势监测和专项研究。主要监测包括全国监测和州监测,主要监测核心学科。

全国监测的监测科目包括阅读、数学、科学、写作、美国历史、经济学、公民学、地理和艺术九个科目,但是每轮监测通常只选择其中的两到三个科目和两个年级的学生参加。

州监测的监测科目包括数学、阅读、科学和写作四个科目。数学和阅读监测各州必须参加,其他两个科目则遵循各州自愿的原则。

长期趋势监测的监测科目包括数学、科学、阅读和写作。其测量方式是固定不变的,不以课程及教育实践的变化而改变。

专项研究针对特定的学生群体在项目中的成绩来检测其学业成就。研究项目包括特许学校试验性研究、中学毕业成绩单研究、全国印第安教育研究、口语阅读研究、私立学校学生成绩研究等。

(二)测评指标

1. 测评试卷

NAEP的测试科目共有九个,其中数学和阅读两大科目作为主要监测科目,其试卷的测查框架相对完善。

NAEP的阅读测试框架包括三种阅读情境——为获取文学体验而阅读、为获取信息而阅读和为完成任务而阅读。在这三种阅读情境的基础上将阅读能力细分成整体感知能力、形成解释能力、联系自身能力和作出监测能力(方晓东,李新翠,2009)。

数学监测主要包含两个方面,一是数学内容领域(content area),一是数学项目的复杂度(mathematical complexity of items)。其监测的具体内容包括五个维度:(1)数字的属性与运算,具体包括数字感知、数字估计、数字操作、比率和比例推理、数字属性与操作等;(2)测量,具体包括测量的物理属性和测量体系;(3)几何,具体包括尺寸和形状、转换形状和保留性质、几何图形之间的关系、位置和方向以及数学推理;(4)数据分析与概率,具体包括数据表达、数据集合的特征、实验、样本和概率;(5)代数,具体包括模式、关系与函数、代数表征和变量、表达式与运算(张华华,王纯,2010)。

2. 监测问卷

NAEP自2003年开始实施问卷调查起,问卷的框架和内容基本保持不变(廖伯琴, 李晓岩, 刘芮,2016)。这种设定使得各州可以持续纵向比较本州学生成绩的影响因素,便于开展增值性监测以改进教学;此外,各州之间也可以进行横向比较,以间接监测本州的教育质量发展状况。NAEP调查问卷框架见表1。

1美国国家教育进步监测(NAEP)调查问卷框架

问卷情境

内容

学生情境

 

(1)人口学特征,如个人与家庭种族、家庭成员、家庭中报纸、杂志以及其他书籍的订阅情况、是否拥有计算机、日均读书页数、与家人讨论学校情况、非英语日常使用等;

(2)课堂经验,如学科学习的态度及成就感等;

(3)教育支持,如计算机等信息通讯技术的学习应用等。

教师情境

 

(1)教师培训,如相关学科的教学资格证、师资培训等;

(2)教学实践,包括课程、课程产品、资源材料、课堂管理、教学模式以及教师的工作满意度等。

学校情境

 

(1)学校政策,如能力或成绩分组、监测次数、课程开设、学生分班等;

(2)学校资源,如计算机、卫星电视等设备;

(3)学校氛围,包括全职教师、志愿者、学生缺席率等;

(4)学校特征,即学校的人口学统计,包括午餐、入学条件、人种比例、学校性质等。

特殊学生和英语非母语学生

主要调查取样中有多少类似的学生,其问卷一般由其特教老师、双语老师或者熟悉学生的人辅助填写。

 

(廖伯琴,李晓岩,刘芮,2016)