1. 首页
  2. 教育
  3. 深度学习

AI视觉在教育场景中的创新应用

本次LiveVideoStackCon2020线下北京峰会我们邀请到了360AI影像事业部总经理张焰老师来做分享,他会为我们带来目前AI视觉在教育中的创新应用,包括课堂专注度、课堂接受度、疲劳提醒、姿态纠正等在线教育场景解决方案。

本次LiveVideoStackCon2020线下北京峰会我们邀请到了360AI影像事业部总经理张焰老师来做分享,他会为我们带来目前AI视觉在教育中的创新应用,包括课堂专注度、课堂接受度、疲劳提醒、姿态纠正等在线教育场景解决方案。

1公司介绍

AI视觉在教育场景中的创新应用

大家好,首先介绍一下我们的公司,我们属于360集团内部孵化的创新业务线,专注于AI视觉算法的研发和应用。我们围绕着人、物、场景三个方向为智能手机、泛文娱、IOT领域提供一些专业的算法支持和行业解决方案。

我们的核心能力包括智能多摄、单帧/多帧画质,这类算法在手机客户中应用较多;人像美化,包括AR特效等会运用到泛文娱的领域;场景识别涉及人、物、环境等多样化的场景识别能力,另外包括一些视频分析的能力,在IOT领域也有广泛应用。

本次我的分享主题是360AI视觉在在线教育中的创新算法和应用。

2我们为什么在做教育

当然很多人会说,家长愿意为孩子花钱,做教育更容易挣到钱。但更重要的是因为疫情的爆发,使得在线教育得到了前所未有的发展机遇。在一两个月内,政府部门就将线下的教学场景搬到了线上,完成了大迁移,但在这个大跃进中也暴露了很多问题。

2.1在线教育行业痛点

AI视觉在教育场景中的创新应用

在线教育仍有很多痛点亟待解决。第一点是学生自觉性差。K12教育是典型的督导式教学,以前的督导压力都在老师身上,面对面在线下督导学生,而现在督导的压力都转移给了家长,家长确实是操碎了心。第二点是教学效果难以评估。意思就是这个学生有没有认真听,有没有听懂,是没有量化指标的。第三点是课堂互动性差。因为技术的不完善及各种主客观限制,线上课堂很难完整地模拟线下课堂场景,缺乏双向互动的环境。第四点是教学效率低。包括从教师端到学生端的适应和学习成本,还有空间限制带来的管教效率。以上四个问题总结而言就是缺少了教育质量监督评价体系,而我们要做的事情就是弥补和改善这个体系的缺失。3未来的思考AI视觉能为在线做什么?

AI视觉在教育场景中的创新应用

我们针对以上问题提出了对应的解决方案,分别是:代替督学方案、量化监测方案、智能互动方案、智能教辅工具。

3.1代替督学方案

3.1.1疲劳提醒

AI视觉在教育场景中的创新应用

也许有些人在之前已经听过或用过这项技术,现如今的检测准确率较早前已经有很大改进。我们的疲劳提醒有三个维度,包括“打哈欠”、“瞌睡”和“趴着”,“打哈欠”和“瞌睡”这两个维度在汽车驾驶中早有应用,针对教育场景我们单独研发了“趴着”的监测。“趴着”这个维度如何检测准确是比较有难度的,有些人可能会想到可以用人体骨骼关键点,这个方法针对全身还是比较准的,但针对半身,尤其是趴着时只有一个头甚至是头发的时候,骨骼关键点无法起作用了,这里就需要用到更复杂的检测手段和技术。

3.1.2姿态纠正

AI视觉在教育场景中的创新应用

姿态纠正这个功能大家可能在教育平板或教育台灯中体验过,用得也比较广泛。坐姿不良需要用到人的骨骼关节点和深度学习的技术,它有很多类别,包括上述提到过的趴着、卧倒、倾斜甚至是葛优躺,都可以认为是姿态不正。距离提醒这一块主要是用于护眼健康,可以实时检测到人脸到屏幕的距离。

3.1.3学生姿态实时监测系统

AI视觉在教育场景中的创新应用

这个姿态监测系统分为两个方面:人脸姿态、人体姿态。人体姿态在上面提到过,我们是基于人体骨骼关键点配合深度图像,从而精准地判断出各类人体姿态。这项技术以前都是2D图像信息,而我们创造性加入了3D深度信息,来辅助人体姿态识别。深度图像同时还可以用来测距。那这个深度图像从哪里来呢?这就要和硬件相结合,像现在很多教育平板都加入了双摄,前置结构光,前置TOF。

3.2量化检测

课堂专注度、课堂接受度是家长非常关注的。课堂专注度表示学生是否认真在听,课堂接受度表示学生是否听懂。之前我们的客户曾提过这个问题,家长没有课堂表现报告,不知道学生上课状态及学习效果到底怎么样。所以为了解决这个痛点,我们提出了课堂效果量化检测的方案。

3.2.1普通专注度检测

AI视觉在教育场景中的创新应用

大家可以看一下这是以往的普通专注度检测图示,这里只有一个2D图像信息,检测准确度存在较大误差;其次它的监测指标单一,只有一些零散的指标次数,无法精确地回溯学情。3.2.2360AI课堂专注度

AI视觉在教育场景中的创新应用

上图是我们3D深度检测+学情回溯追踪的专注度监测解决方案。可以看到我们加入了3D的人脸检测信息,可以更精准地估计出姿态和视线方向。同时辅助事件触发机制,判断状态的同时会保存当前事件的触发时刻、事件截图、状态持续时长等,这样可以非常精确地有针对性地进行学情分析和回溯。3.2.3课堂接受度

AI视觉在教育场景中的创新应用

课堂接受度是从上图五个维度进行综合分析,这里的维度可以分为两个方向,包括正向指标和负向指标。从课堂接受度而言,正向的评价有举手、微笑、点头,代表学生参与度比较高,表示他(她)听懂了。负向的评价是疑惑、摇头,这说明接受度不太高。3.2.4表情识别流程图

AI视觉在教育场景中的创新应用

刚刚说到了疑惑的表情,老师的责任就是传道受业解惑,如果老师都不知道学生有没有疑惑,他(她)怎么去解惑?所以首先我们要把疑惑检测出来,在学术界,只有七类表情,没有疑惑,所以我们专门为教育增加了疑惑的表情。我们加入了大量疑惑的数据,通过结合人脸识别技术和人脸关键点技术辅助检测,可以比较精准的判断出疑惑的表情。3.3智能互动(AI沉浸式课件、多向智能互动)我们的智能互动方案主要介绍两个技术,分别是AI沉浸式课件和多向智能互动技术。3.3.1传统课件

AI视觉在教育场景中的创新应用

上图是传统课件的录播和直播课场景,录播课一般都会像上图左边所示搭一个录播室,后面有绿幕,有补光灯。这对环境条件要求很高,要有场地,要有设备,很不方便。上图右边是比较常见直播课界面,只有一个老师的头像和投放的课件,这两个东西是分屏展示的,也就是说老师和课件之间没有任何互动。3.3.2AI沉浸式课件

AI视觉在教育场景中的创新应用

上图是我们研发的AI沉浸式课件,把老师的头像与课件内容融合在一起,可以通过手势控制课件的播放,比如说下一页、上一页、暂停等,有很直观的互动效果。老师和课件完全融合在一起,不受场地限制,不需要专用设备,只需要一个摄像头就可以了。3.3.3网课互动限制

AI视觉在教育场景中的创新应用

上图是现在比较主流的网络教学直播界面,主要是以老师单向输出为主,学生被动接受,学生和老师之间仅能通过文字互动。3.3.4多向智能互动我们希望通过一些技术手段,改变这种单一的互动模式,让网课更生动、更有趣。手势识别

AI视觉在教育场景中的创新应用

像我们动画里展示的是老师点赞的特效,学生端可以实时收到显眼的反馈。那学生举手老师知不知道呢?这也是可以识别的,比如说学生举手后快速把头像换成第一位,把头像放大,老师可以快速知道是哪个学生举手了,这项功能可以模拟复现线下教学场景。

表情识别

AI视觉在教育场景中的创新应用

再比如表情识别,检测到学生出现疑惑情绪,系统就会把她highlight出来,老师就知道哪个学生没有听懂。这是非常有价值的,现在在线教育并没有做到这一点。人脸特效

AI视觉在教育场景中的创新应用

还有一些增加趣味性的人脸特效,一些可爱的动效可以抓住低领学生的注意力和兴趣点。3.4智能工具(超清拍题,智能补光,人脸考勤)超清拍题与智能补光是我们首发的技术。3.4.1超清拍题——拍照模糊问题

AI视觉在教育场景中的创新应用

在线教育除了直播授课,还有课后作业场景,学生会遇到拍课件、拍题的问题。大部分学生的手都很小,如果用学习平板很容易拿不稳,拍题就拍虚了。当然也有人会说,我可以用光学防抖,但大家都知道光学防抖的每一个器件要增加3-4美金成本。只有买的是真正的旗舰手机,才会有光学防抖。所以我们提出了纯软的光学防抖方案,一次性解决上图所示各种拍照模糊问题,比如失焦,曝光拖影,抖动,噪点,暗光等。3.4.2超清拍照——一个方案解决所有拍摄模糊问题

AI视觉在教育场景中的创新应用

这个方案是我第一次公开讲,有些手机客户已经接入了我们的方案。流程也很简单,输入有两种方式,传感器输入和三帧图像,再进行传感器融合,位置估计,运动向量估计,根据位置信息进行防抖去模糊处理。输入的三帧照片进行对齐,降噪等一系列处理,最后进行动态范围提升和图像增强。图像增强包括对比度增强锐化,整体是一个比较复杂的流程,这里我们简化给大家展示。3.4.3客户案例——录音笔HDShot

AI视觉在教育场景中的创新应用

这是我们的一个客户案例,我们的超清拍照技术已经应用在讯飞智能录音笔上,可以用来提升拍会议文档的图像质量,不再担心拍照拍虚的问题。3.4.4HDShot效果展示我们来看一下具体的效果对比。

AI视觉在教育场景中的创新应用

这是增强效果。

AI视觉在教育场景中的创新应用

这是防抖效果。

AI视觉在教育场景中的创新应用

这是HDR效果,主要是提升动态范围,实现高光抑制和暗部提亮。

AI视觉在教育场景中的创新应用

我们的画质提升能力不仅体现在拍照上,还能应用于视频。3.4.5智能补光灯

AI视觉在教育场景中的创新应用

通常专业的主播间中都有一个很大的补光灯,长期近距离直视或多或少会对眼睛产生伤害,于是我们提出了纯软的补光方案。上图所示是全局补光效果,我们还有一个只针对人脸补光的方案,基于肤色分割和3D打光技术,提升人脸质感和通透度。3.4.6人脸考勤

AI视觉在教育场景中的创新应用

人脸考勤对线上和线下课堂都非常有价值,可以快速进行学生考勤,同时可防止代答到的情况发生。4客户案例——网课助手

AI视觉在教育场景中的创新应用

看完前面的技术介绍,接下来介绍一下我们针对在线教育研发的一个课质监测产品,叫网课助手。网课助手有4大场景SDK,包含专注度,课堂接受度,疲劳提醒,姿态纠正。这个SDK既可以发给老师又可以发给家长,在后台自动生成检测报告,家长和老师可以更全面直观地看到学生的学习情况和情绪状态。4.1方案架构

AI视觉在教育场景中的创新应用

网课助手的架构是典型边缘计算+云计算的架构,家长端只需要本地端的能力,本地端的设备越来越强,大家用的平板手机能力很强,这些检测能力完全可以在端上实现,后台更多的是和教育系统打通,把状态及时推送给家长和老师。4.2应用场景

AI视觉在教育场景中的创新应用

有了检测数据之后,老师可以快速得到整个班级表现状况,上图左边代表每个维度上每个学生表现占比,分别展示表现好、中、差。上图右边可以将表现非常好和非常差的学生排列出来,做相应的奖励或辅导。

AI视觉在教育场景中的创新应用

对于单个学生,我们也可以给出更详细的分析报告。比如想看疲劳度,会以时间轴的形式进行展开,发现在10点21分检测到学生瞌睡,瞌睡持续时长一目了然。

AI视觉在教育场景中的创新应用

想看看学生接受度如何,也可以根据时间戳回溯事件,看学生在哪部分内容上接受度较好,哪部分较差。5总结

AI视觉在教育场景中的创新应用

我们一整套的在线教育解决方案是金字塔架构,底层是AI底层技术,包括人脸识别、表情识别、手势识别、姿态识别等技术;中层是基于各个场景的解决方案;最上层就是跨平台的SDK和业务端的应用。好的AI技术我们希望不只是噱头,而是可以真正为客户起到降本增效的作用。专注度与课堂接受度是为了给家长省心,老师放心,时间精力也算是一种成本;沉浸式课件课件减少投影仪,电视的使用;防抖技术可以省去光学防抖器件成本,省掉智能补光灯的成本,这都是AI实实在在的价值。360AI视觉不止做教育,在智能手机、泛娱乐、IOT等领域都有丰富的技术应用,期待和各行各业的朋友有更多交流合作。

责任编辑:lq

免责声明:本站旨在传递信息,不代表有传资讯的观点和立场。本站遵循行业规范,如转载您的文章未标注版权,请联系我们(QQ:78799268)改正。本站的原创文章,如若转载,请注明出处:http://www.ainoline.cn/jiaoyu/shenduxuexi/16712.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

在线咨询:点击这里给我发消息

邮件:78799268@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code