1. 首页
  2. 教育
  3. 深度学习

移动端的实时视频修复技术

大变活人,需要几个步骤? 万万没想到,这么经典的大型魔术,现在都能零基础入门了。

大变活人,需要几个步骤?

万万没想到,这么经典的大型魔术,现在都能零基础入门了。

在快手和江苏卫视联手打造的「一千零一夜」晚会上,迪丽热巴就当场表演了一个。

移动端的实时视频修复技术

不需要道具,不需要托儿,也不挑时间地点,她就这么在直播镜头里blingbling地闪现了。

并且位场的波动,完全没有破坏背景的完整。(手动狗头)

移动端的实时视频修复技术

最关键的是,给你一部安装了快手的手机,你同样可以实现。

没错,这个能实时实现电影大片里隐身特效的黑科技,就是快手最近上线的AI新玩法——「隐身魔法」。这是结合单图图像修复和帧间图像对齐技术的视频修复算法,在短视频行业中的首次应用。

不仅能「凭空出现」,对着镜头比个「6」,你还能当场变身透明人,跟空气融为一体。

移动端的实时视频修复技术

效果如此丝滑,难怪上线几天时间,快手用户就玩得飞起,迅速贡献了77.5w个相关作品。

一时成为年度短视频最热特效玩法。

移动端的实时视频修复技术

让视频里的人实时隐身,怎么个原理?

此前,量子位其实介绍过类似的「隐身」算法,比如弗吉尼亚大学和Facebook联手打造的基于光流边缘引导的视频修复算法。

移动端的实时视频修复技术

虽然有学术领域的前例,但想要把这样的技术应用到移动端,仍然存在不小的挑战。

最主要的问题在于计算量,视频修复涉及到多帧计算,其深度学习模型普遍计算量较大,很难在移动端运行。

那么快手是怎么做到的?量子位照例来一一捋清楚。

其实道理很简单,想要把画面中的人抹掉,除了自动把人像抠出来之外,AI还得学会脑补人像遮挡住的真实背景。

这就涉及到两方面的问题:

初始帧人像区域的背景修复

后续相机、人物运动过程中人像区域的背景填充

为了解决这两个问题,快手的工程师们将算法整体分成了两个阶段:

首帧使用移动端脑补模型实现对人像区域的背景填充,后续帧使用帧间实时跟踪匹配投影,实现可见背景区域向人物遮挡区域的填充。

移动端的实时视频修复技术

基于DeepFill的图像修复算法

首先来看首帧修复。具体到模型架构上,快手工程师主要基于开源的DeepFill模型,根据实际需求进行了定制化开发和优化。

DeepFill是一种基于GAN提出的图像修复方法,修复能力是酱婶的:

移动端的实时视频修复技术

在此基础上,快手在整个模型设计中采用coarse to refine双阶段结构。

第一阶段,在小尺寸上进行初步修复,利用较少计算量的coarse网络得到缺失区域的大概轮廓。

第二阶段,将该初步结果融合到原图在大尺寸上利用refine网络生成缺失区域的细节。

移动端的实时视频修复技术

而为了让模型能在移动端上更好地部署运行,工程师们还采用剪枝和蒸馏方法进一步压缩了模型结构。

在算法研发过程中,工程师还发现,缺失区域越大,图像修复结果越不可控,使用L1损失和GAN损失无法有效的约束修复区域的结构和语义的合理性。

针对此问题,一方面采用边界生成联合训练的方法,对边界这一结构信息进行直接约束,明显提高了大缺失区域情况下修复结果的合理性。另一方面采用多尺度预测的方式对模型中间层的特征进行了约束,有效提升了修复结果的清晰度。

在损失函数方面,在训练中工程师采用了SSIM、Lpips感知损失、PatchGan损失和蒸馏损失,在小模型上也实现良好的图像修复结果。

在训练数据方面,快手工程师构建了一个包含100W背景图和10W人像mask的通用图像修复数据集,包含居家、办公、建筑、风景、虚拟CG等常见环境。

并且,根据背景数据的纹理复杂度进行了分类,模型训练过程中随着网络逐步收敛,逐渐加大复杂纹理数据的比例,使得模型更好地完成从简单到复杂等多种背景的修复。

一套组合拳下来,测试的结果如下。从左到右,分别是输入图像、边界预测、脑补结果和实际背景。

移动端的实时视频修复技术

实时跟踪投影匹配

而在后续帧的背景修复上,为了更好地利用已有的背景信息,需要将已经存在的背景投影到当前帧实现对人像遮挡区域的修复,即帧间图像映射。

目前对帧间图像映射关系的描述主要有三种方式:简单的全局单应变换,基于栅格的局部单应变换,以及复杂的逐像素的稠密光流。

其中,全局单应变换虽然计算量较小,但无法描述复杂的三维结构映射。

逐像素的稠密光流算法可以得到精确的图像间可见像素的映射关系,但对于人像区域内未知区域的修复无法实现,另外限于手机平台计算量的限制,该算法无法满足实时获取映射关系的需求。

因此,快手采用基于栅格的局部单应变换的图像对齐算法,来平衡计算量和精确度之间的关系。通过同时优化帧间特征点的光度误差和栅格的形变误差,在低计算量的情况下也能得到精准的帧间映射关系,有效地将历史帧的可见区域信息实时传播到当前画面。

并且,通过调节栅格数量,可以很方便的调节算法的计算量和映射的精度,实现多机型的算法适配。

中低端机型都能用,真正麻瓜的「魔法」

其实,对快手的工程师而言,仅仅实现效果是远远不够的。

更重要的一点,是要在移动端硬件种类繁多的情况下,覆盖高、中、低端各种手机型号,让每一个档次的机型的能力都发挥到最大。

一方面,是因为每一次的产品落地,都关系到4亿用户的实际体验,牵一发而动全身。

另一方面,快手的用户特性决定,用户手中的手机型号分布会很广,不同机型算力和内存资源差异很大。

而要做到这一点,快手依靠的是自研的YCNN深度学习推理引擎。

移动端的实时视频修复技术

CPU来说,无论是苹果高通华为还是联发科的芯片,无论是高端的骁龙865还是低端的骁龙450、430,YCNN引擎都能支持模型在上面运行。同样,GPU方面,YCNN引擎同时支持Mali、Adreno、Apple和英伟达等多种GPU。NPU方面,苹果Bionic,华为HiAI,高通SNPE和MTK的APU均在支持范围之内。

同时,YCNN引擎具有完备的模型结构与数值精度,支持常见的CNN, RNN结构,支持float32, float16,uint8等不同精度计算。

为了在更大程度上利用手机算力,YCNN引擎还提供了多种模型,既有针对高算力NPU设计的大模型,有针对高端CPU、GPU设计的级的不同的小模型,也有针对中低端CPU处理器设计的特定小模型。同时,通过模型下发的方式,将设备上的最好算力与相应的模型进行匹配,以期达到效果与性能的最佳平衡,给用户带来最好的体验。

在推理引擎的优化方面,针对不同的设备端,快手的工程师们分别设计了Metal算子、OpenCL算子以及Neon算子等等,有针对性地进行了算子的优化,以最大化利用设备性能,提升模型的运算速度。

此外,YCNN引擎具有完善的AI模型工具链,支持PyTorch, TF/TFlite模型直接转换为YCNN模型,并支持训练时模型量化与基于硬件的模型结构搜索。综合性能比业界引擎有10%左右的优势。

快手之道

最后,回到AI特效、回到晚会,回到快手本身。

快手的技术和AI特效魔法,之前介绍的也不少。这家依靠短视频迅速崛起的技术公司,一方面把最新最前沿的技术带给了更多人,另一方面也通过技术,让用户体验到从「记录每一种生活」到「拥抱每一种生活」。

但更值得称道的是,快手之道,更在于面对最前沿技术时的心态——希望无差别地让每一个用户使用,感受技术的乐趣,无论是何种机型,无论信号覆盖如何。

现在,这种快手之道,在往线下延续,让线上的用户有机会登上线下的舞台,和明星一起亮相,展示自己。从线上到线下,跨越平台和社区。

这次快手「九年磨一剑」打造的「一千零一夜」超豪华阵容晚会,就是最直观的例证。

一方面,快手与江苏卫视携手,台网联动,在节目内核和呈现形式上实现了大小屏的深度融合。不只是实时隐身特效,还有黄渤跟周杰伦的低延时连麦、虚拟技术加持下的F4隔空同台等黑科技,都给观众带来了新的观赏体验。

另一方面,从明星阵容上就可以看出快手的号召力在增强,星素同台的晚会形式,形成了快手独有的文化IP。

数据同样也佐证了这一点。据悉,这场晚会快手官方直播间观看总人数达9008万,直播间互动总量达1.34亿次,最高同时在线人数达315万,预约直播总人数达到3100万。

如此巨大的流量和关注度,无疑也是一场技术价值观的科普。

在舞台之上,有明星大咖和快手达人的跨界合作;舞台之下,快手也踏踏实实遵循提升用户体验、创造用户价值的技术信仰,使得阳春白雪和下里巴人的种种「人间烟火」,都能通过AI技术这样的前沿科技为生活增添色彩。

这是理性科技之外的那一面:用奇幻科技,打破人间藩篱。

之前有句「老话」,说科技是麻瓜的魔法。

但比起这种魔法,打造魔法本身的工程师、让魔法真正无差别应用的工程师,不易于被推至镁光灯下,但依然值得掌声和褒奖。

你还能举出其他的「魔法」案例吗?

最后的最后,开发该特效的技术团队是快手Y-tech团队,这里也特别传送一下:

这支团队致力于计算机视觉、计算机图形学、机器学习、AR/VR 等领域的技术创新和业务落地,不断探索新技术与新用户体验的最佳结合点。目前 Y-tech 在北京、深圳、杭州、Seattle、Palo Alto 有研发团队,大部分成员来自于国际知名公司和大学。

       责任编辑:lq

免责声明:本站旨在传递信息,不代表有传资讯的观点和立场。本站遵循行业规范,如转载您的文章未标注版权,请联系我们(QQ:78799268)改正。本站的原创文章,如若转载,请注明出处:http://www.ainoline.cn/jiaoyu/shenduxuexi/14774.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

在线咨询:点击这里给我发消息

邮件:78799268@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code