AI能识别“花式作弊”吗?

高考背后的“阅卷机器”

20210611期来自:江苏科技报

AI阅卷可以保证公平吗?

AI

研究院

瞭望台

又是一年高考时,数字化技术飞速发展之际,考场也发生着翻天覆地的变化……不过,2B铅笔与黑色签字笔凭借其恰到好处的软硬度与显色度,自机器阅卷出现之时便一步跨上了“神坛”,即便是跨越了光标阅读机、扫描仪、AI阅卷等多个阶段,仍然是考生答题的“神器”。

相信大家这两天都被“高考考生将数学题拍照上传至小猿搜题”新闻震惊到。起因是6月7日下午,小猿搜题App工作人员监测后台时发现,某用户通过手机拍照搜索疑似高考真题。考试结束后,工作人员第一时间向有关部门举报,随后湖北省教育考试院高等教育考试办公室连夜处理该事件。在一片不可思议的震惊中,一系列疑问涌现。其中引人思考的是,未来是否有科技能识别考试作弊行为?

没有感情的“阅卷机器”

1988年,山东大学和重庆大学推出了一种自动阅卷设备

2018年查获的高考作弊眼镜

—光标阅读机,将全国阅卷老师从手工批改的水深火热之中拯救出来,通过光学扫描和石墨感应技术,光标阅读机可以识别出答题卡上的客观题答案,自动给考生打分。

依托于光标阅读机的无纸化阅卷在很长一段时间内成为国内各类考试的主要计分方式,但随着题量、考生规模的增长,其扫描速度上的劣势逐渐显现,高速扫描机逐渐将其取而代之。随后,“扫描仪+网上阅卷系统”的组合被各类组织、机构沿用至今,业内也涌现出了以山大鸥玛、科大讯飞、拓维信息为代表的诸多企业,开始针对阅卷领域的痛点研发相应的深度解决方案。

随着AI、大数据、机器视觉的快速发展,“机器换人”的趋势也逐渐蔓延至阅卷领域。事实上,早在2005年,美国一家非营利性考试服务中心ETS便推出了名为E-rater的机器评分系统,应用于GRE、TOFEL等考试。该系统应用AI技术,不仅可以指出考生的语法、用词和拼写错误,还可以评价考生作文题中的文章立意、组织结构和语言风格。

纵观国内市场,阿里于2017年便推出了AI批阅中文试卷的系统,产出了“全球第一份机器人批改的作文”。据报道,在浙江外国语学院国际学院,阿里AI为来自俄罗斯、韩国等11位留学生批阅了中文试卷,“批阅一篇试卷的时间通常只需要40秒”。据悉,阿里开发这套阅卷系统的主要目的,是教外国人学中文,所以AI改作文的主要标准,是集中在“纠正语法”上。

同年,科大讯飞将其与我国教育考试中心共同研发的机器评分系统作为评分辅助手段应用到了湖北襄阳的中考评卷工作中。该系统基于科大讯飞自主知识产权的手写识别、自然语言理解、智能评测等人工智能核心技术设计研发,能够实现对除选择题以外的所有题型的空白题检测。

然而,AI阅卷除了速度优势外,其在主观题上的判别标准与理解能力却常常为人诟病。AI系统阅卷一般是通过判别关键词来评分,灵活性较差,遇到词义相近的短语或有多种解法的理科题目,往往就变成了“人工智障”。在实际考试中,AI尚且无法独立工作,只能作为辅助手段、提供算法上的指导,后续还需要教师核查试卷。

“数字化考场”升级

线上阅卷经过几十年的发展已几近成熟,但在疫情催化之下,考生也需要进行“线上考试”,即“云考试”。在“云考试”的过程中,考生需要开启摄像头,打开学校规定的App,以便老师远程监考,且考试期间不能中途退出,客观题可以直接通过考试终端在线上作答,主观题则在答题卡上作答后再上传至App中,老师在线上完成阅卷。

2020年2月,猿辅导在线教育旗下的猿题库App便发起了一场高考英语模拟考试,全国共有123万学生报名参与。同时,平台还会针对每个人的错题点、薄弱点进行分析,提供一份智能诊断报告,便于学生查漏补缺。值得一提的是,此次全国范围内的“云考试”突破了地域限制,百万考生共同答题,可以帮助考生快速了解自己在全国同届考生中的实力排名。

2020年,学生第一次体验了“云考试”。疫情逼迫常规教育模式改变的同时,更为中国教育数字化发展按下了加速键,当线上课堂、线上考试成为常态时,在物联网、AI、大数据等技术持续迭代之际,我国在教育、考试等领域的数字化水平也将向更高层次跃进。 柯文

是否有识别考试过程中的作弊行为的科技产品呢?据悉,有不少机构针对高考场景推出了相关的产品和解决方案。比如苏州科达的标准化电子考场网上巡查与视频指挥系统技术方案,包括网上巡查系统、视频指挥调度系统、考试综合业务管理系统、作弊防控系统、考生身份验证系统五个模块,其中就有智能行为识别、异常行为识别等功能。苏州科达教育事业部总经理刘祥权表示,高考作为典型的标准化考场,以公平性和规范性为主要目标,包括研究生考试、司法考试、会计类的等各类考试场景。

国考院、省考院等相关政策规定,标准化考场可拍摄教室全景,但清晰度不能过高,也不能有PTZ安防监控的镜头,禁止对焦、镜头拉伸等。“因为如果镜头拉近,拍摄到试卷内容,也许会被记录进监考录像,如遇到网络漏洞、恶意攻击或人为原因,会造成试卷内容泄露。”刘祥权介绍,智能行为分析作弊行为的难度是相对的,对于没有AI算法、技术和场景积累的厂商比较难。通过智能算法,可以判断考场异常行为,比如某人长期扭头朝左看,比如转身、站立、抬头、趴桌、离开座位等行为,都能被识别。

在智慧教室或智慧教学场景,基于教学场景录播视频进行大量数据训练,如果有学生起立,检测到学生起立,摄像头会自动聚焦,切换录制镜头,也可检测出学生是否使用手机。

但在标准化场景,目前很多摄像机并未添加“拿手机拍照识别”算法。“因为标准化场景默认是没有手机的,在前期的数据训练中,数据里面没有拿手机这个行为。”

“默认手机在进之前就没有了,当然如果考场没有此类设备,或者设备灵敏度不够,或者人为原因,就要具体问题具体分析了。”为什么不加一个识别手机的算法?一位业内人士表示:“AI并非想象的万能,技术问题之外,更多是付费方和成本问题。”

第一点,目前应用最广泛的AI,如图像识别、语言识别和计算机视觉识别等属于感知型,核心逻辑是输入输出函数,逻辑较为单一,有诸多未解之题。旷视首席科学家孙剑表示,比如物体检测中的遮挡问题是计算机视觉中非常前沿的研究,如果一张照片中有两个人,一个人被另一个人部分遮挡,虽然人类的眼睛非常容易分辨出,但是因为包含推理,所以对于计算机来说是个非常困难的问题。

第二点,识别拿手机或拿手机拍照等行为,需要通过大量有监督的训练标注方法。考试场景并非高频场景,长尾分布就是机器学习中的核心难题,也即对于不经常发生或者不易常见的数据很难有充足的训练样板,机器学习方法就很难训练好模型。因此此算法需要大量的数据量和模型训练。

人工智能有今天的繁荣,背后默默奉献的成千上万的数据标注人员,一些大公司的标注团队更是多达上万人,这需要巨大的成本。全国1078万考生,共设考点7200余个、考场46.6万个(含2.6万个备用隔离考场),涉考工作人员140余万人,其中监考人员95万余人。

在千万人之中,出了一个吴某某。各种考试场景的付费方是谁,是否愿意为了千万分之一支付高昂的建设费用、设备和系统的更新维护费用,这是一个值得思考的问题。

那是否还有别的新技术和手段能够避免作弊现象的出现?在官方通报之前,有消息传该考生使用的是高科技作弊眼镜。摄像头眼镜是不是高科技?能否实现?刘祥权表示,人们所说的“作弊眼镜,其实与Google智能眼镜等类似。在考试场景,这种设备成功运行需要两个前提。”首先,无线通信。前端感知技术并不难实现,无论是图像、视频或语音形式,目前市场上不少摄像头和麦克风可做到针孔级别,肉眼也不容易分辨,但传输层面,必要有无线通信。目前的屏蔽器技术,无论是WiFi、3G、4G还是5G,具备屏蔽移动网络的频段。如果使用全频段的屏蔽器,理论上传输成功的可能性较小。其次,要实现无线通信,需要有电。“没有电的话,你怎么能实现无线通信,我的认知范围内是不行的,当然也许有更高的科技也说不定。”有电的设备,经过X光机,会检测到电源以及相关的结构建设。

近年来,高考的报道层出不穷,在许多温暖守护者和励志求学的故事背后,暴露出这则高考拍照作弊事件,难免让人心寒。高考被公认为是当今社会仅存的几块净土之一,甚至可以说是最大范围的、最为公平的一块净土。但愿在此次事件结束后,能够有新技术投入这场考试中,为守护更多考生心中的“考试公平”而努力。 雷锋网

powered by 闻道