白癜风专家咨询在线网 https://m-mip.39.net/baidianfeng/mipso_4257514.html

点击上方“AI算法与图像处理”，选择加"星标"或“置顶”

重磅干货，第一时间送达

机器之心报道

作者：魔王、杜伟、小舟

实时运行、使用单块英伟达RTXTIGPU即可以实现HD60fps和4K30fps的速度，那个基于监督学习+自监督学习的智能抠图，精确到头发丝

CVPR的抠图方法BackgroundMatting发布了2.0版本，为用户提供了更自然更快速的实时背景替换效果。

背景替换是电影特效中的关键一环，在Zoom、GoogleMeet和MicrosoftTeams等视频会议工具中得到广泛应用。除了增加娱乐效果之外，背景替换可以增强隐私保护，特别是用户不愿在视频会议中向他人分享自身位置以及环境等细节时。而这面临着一项关键挑战：视频会议工具的用户通常无法获得电影特效背景替换所使用的绿幕或其他物理条件。为了使用户更方便地替换背景，研究人员陆续开发了一系列抠图方法。今年4月份，华盛顿大学研究者提出了backgroundmatting方法，不在绿幕前拍摄也能完美转换视频背景，让整个世界都变成你的绿幕。但是，这项研究无法实现实时运行，只能以低帧率处理低分辨率下（×）的背景替换，有很多需要改进的地方。八个月过去，这些研究者推出了backgroundmatting2.0版本，并表示这是一种完全自动化、实时运行的高分辨率抠图方法，分别以30fps的帧率在4k（×）和60fps的帧率在HD（×）图像上实现SOTA结果。先来看一些效果展示场景：非常自然流畅的背景替换。这位小哥将自己乱糟糟的房间背景替换成了下雪场景。不过该方法也有「翻车」的时候，在下图替换背景中都出现了明显的锐化阴影（sharpshadow）。BackgroundMatting2.0版本有哪些改进？BackgroundMatting2.0相较1.0版本有哪些技术改进呢？我们都知道，设计一个对高分辨率人物视频进行实时抠图的神经网络极具挑战性，特别是头发等细粒度细节特别重要的情况。1.0版本只能以8fps的帧率实现×分辨率下的背景替换。若要在4K和HD这样的大分辨率图像上训练深度网络，则运行会非常慢，需要的内存也很大。此外，它还需要大量具备高质量前景蒙版（alphamatte）的图像以实现泛化，然而公开可用的数据集也很有限。收集具有大量手动制作前景蒙版的高质量数据集难度很大，因此该研究想要通过一系列具有不同特性的数据集来训练网络。为此，他们创建了两个数据集VideoMatteK和PhotoMatte13K/85，二者均包含高分辨率前景蒙版以及利用色度键软件提取的前景层。研究者首先在这些包含显著多样化人体姿势的较大型前景蒙版数据集上训练网络以学习鲁棒性先验，然后在手动制作的公开可用数据集上继续训练以学习细粒度细节。此外，为了设计出能够实时处理高分辨率图像的网络，研究者观察发现图像中需要细粒度细化的区域相对很少。所以他们提出了一个base网络，用来预测低分辨率下的前景蒙版和前景层，并得到误差预测图（以确定哪些图像区域需要高分辨率细化）。然后refinement网络以低分辨率结果和原始图像作为输入，在选定区域生成高分辨率输出。结果表明，BackgroundMatting2.0版本在具有挑战性的真实视频和人物图像场景中取得了SOTA的实时背景抠图结果。研究者还将公布VideoMatteK和PhotoMatte85数据集以及模型实现代码。

论文



转载请注明地址:http://www.huashengduna.com/hsdfg/16395.html