积极探索教育科技“无人区”，好未来斩获CVPR2021四项冠军

原标题：积极探索教育科技“无人区”，好未来斩获CVPR2021四项冠军

历经数月的激烈角逐,CVPR 2021(Computer Vision and Pattern Recognition,计算机视觉与模式识别国际顶级会议)的多项挑战赛结果正式出炉。好未来AI研究院凭借在图像领域的长期投入和创新技术积累,分别在Person In Context 挑战赛(Human-Object-Interaction Detection赛道)、 UG2+挑战赛(Superviced Face Detection In Low Light Conditions赛道)、Gaze Estimation and Prediction in the wild 挑战赛(ETH-XGaze赛道)和ActivityNet挑战赛(Active Speaker Detection赛道)等重要赛事中,击败众多科技巨头和知名高校,共计斩获4项国际冠军,并受邀出席会议作报告分享,这标志着中国科技教育企业研发的视觉算法技术已处于国际一流水平。

这是好未来继勇夺CVPR2020的EmotioNet人脸表情识别竞赛冠军后,再次在该国际技术赛场上获得佳绩。CVPR由IEEE电气与电子工程师协会举办,是计算机视觉和模式识别领域最具影响力、内容最全面的顶级A类学术会议,好未来此次参赛的前沿技术包括暗光下人脸检测、人/物关系检测、视线估计、说话人检测等。

其中,Person In Context 挑战赛由北京航空航天大学、浙江大学等国内外高校举办,吸引了旷世等公司和研究机构参赛。人/物关系检测任务目标是输出多个三元组,包含了人的坐标框、物体的坐标框、人/物关系。该技术是面向以人为中心场景下高级语义理解的重要一步,具有广泛的应用场景,例如行为分析、人机交互以及智能监控等。好未来在该竞赛中提出了结合人体关键点信息的图网络方法进行关系的推理,并在网络中融合Transformer模块进行特征的增强,使最终端到端的结果得到了明显提升,以mAP 95.5的绝对优势夺魁。上述技术已应用于好未来教学质量评估系统,为改善老师授课质量提供了重要的数据分析。

在无约束、动态退化的环境中(如恶劣天气和光照条件等),视觉感知和理解算法的性能会受较大影响,+ 挑战赛旨在通过应用图像恢复和增强算法来提高分析性能,从而推进对“困难”图像的分析。其中暗光人脸检测赛道重点解决人脸检测算法在暗光环境下检测效果下降的问题,该项技术对解决学生视力保护的问题有重大意义。

由于在暗光环境下人脸的视觉特征相较正常环境下差异巨大,使用现有人脸检测算法不能有效工作,对检测算法与研究人员都有很大的挑战。

为了应对这些问题,好未来结合了传统方法和深度学方法的“去黑暗化”的数据处理方案。此外还利用一系列的图像处理技术与GAN技术,将正常的图像(来自于Widerface, UFDD)“先变暗后变亮再加噪声”,得到与黑暗图像变亮效果类似的图像,实现正常图片的“域”迁移。好未来以多种技术方法的有效结合,最终以领先第二名超过3%的mAP夺冠。

人的视线在人机交互、情感计算和医学诊断等许多应用领域中起着基础性的作用,尤其在教育场景中,视线的关注点直接与学生听课的关注度相关。对于一张给定的包含面部的图像数据,ETH-XGaze挑战赛要求参赛队伍分析图片中人物的眼睛信息,精确计算出图片中视线的偏移角度。该挑战赛发布的数据集由超过一百万张在极端头部姿势下不同凝视的高分辨率图像组成,包含了110名参与者在18个数码单反相机和可调节的照明条件的下的视线图像,吸引了中国科学技术大学等数十支队伍参与。

好未来与中科院计算所联合摘桂,双方将先进技术与实际业务经验相结合,采用注意力机制将眼睛的局部特征和脸部的全局特征相结合,有效提高了回归模型的精度。据悉,该项技术已经应用在学而思网校的授课系统中,并在智慧教育国家新一代人工智能开放创新平台上线。

ActivityNet是目前视频理解领域影响力最大的赛事之一,其中Active Speaker赛道任务目标是对视频中的可见人物是否在说话进行精确地判断,该项技术对于网课教学中判断和提升学生互动的效果颇好。好未来与中科院计算所联队在未采用任何预训练的情况下,依然取得了93.44 mAP的指标,战胜了慕尼黑工业大学、微软、新加坡国立大学等众多强队。

好未来AI研究院是国内教育领域较早进行AI技术研究与落地探索的研究机构,经过近5年的积累与沉淀,不断取得前沿核心技术突破,涉及图像与视频理解、自然语言理解、语音合成与评测等多个领域,面向行业开放了视觉、语音、NLP和数据挖掘等领域的100余项AI能力,提供互动评测、内容生产和教学管理等方面的定制化AI解决方案,累计获得包括UbiComp2020竞赛、NeurIPS2020“教育挑战”竞赛、CCL 2020幽默计算评测、INTERSPEECH 2021“非母语儿童识别”竞赛在内的十余项国内外竞赛冠军,发表60多篇高水平学术论文,获得100余项专利。

作为智慧教育国家新一代人工智能开放创新平台承建单位,好未来积极践行开放共赢的理念,近日与智源研究院深度携手,成为悟道生态战略合作伙伴,加速在智慧课堂、教师辅助、智慧学伴、教育智能硬件等领域的探索落地,共同推进教育行业智能化升级与数字化转型,助力发展更加公平、更有质量的教育,坚持用科技守护教育的初心,以开放合作共同成就教育美好。