所以,需要使用去交错的办法,来将隔行扫描的信号转换为逐行扫描信号 。
传统常见的去交错方法,一般是把连续的两个场直接拼为一帧,不做任何修改 。
但是每个场之间的拍摄时间还是会存在细微变化,如果这一刻拍摄物体正在移动,就会导致去交错后的图像会出现“拉丝”问题 。
文章图片
针对这个问题,AI这次使用的是基于运动补偿的多帧去交错算法 。
和传统方法相比,这种方法的大致原理是根据邻近场使用动态估计,去预测画面中的物体移动并得到动态向量,根据前一个场及动态向量就能重建出一个新的场,然后将此两个场并完成反交错 。
它的特点是泛化性更强,细节处理能力更好 。
从结果来看,修复后吉他手的手部伪影完全被去除了,轮廓也清晰了起来 。
文章图片
第二个不同之处,便是对人像的着重修复 。
演唱会录像中势必会存在大量的人像镜头,很多还是怼脸大特写,歌迷格外关注的镜头往往也是这些部分 。
但受限于当年的拍摄设备水平,最终呈现的效果很容易是人和背景糊成一片,五官轮廓也不清晰 。
【明星|黄家驹演唱会31年后重映!1小时播放破亿】针对这一问题,这次修复中使用了火山引擎自研的自适应人像增强算法 。
这种方法基于深度学习模型,会在消除人脸整体的模糊和压缩损伤的同时,进一步对五官进行重建 。
比如之前不少网友说,修复后影像里,黄家驹的眼睛都有了光、眼线都能看得一清二楚 。
文章图片
这就是因为算法对眼睛部分进行了重建,并补足了更多细节 。
文章图片
除了五官以外,这一算法还能兼顾皮肤纹理、头发丝等方面的细节处理,可以让修复后的人脸更加真实 。
此外,考虑到演唱会中拍摄到表演者的脸部不只有正面,算法还考虑到侧脸、俯视、仰视、被话筒遮挡等多种情况,可以解决很多极端情况下的修复问题 。
文章图片
第三方面,体现在色彩亮度增强上 。
据技术提供方火山引擎介绍,原片中其实存在大量过曝、死黑场景,色彩还原度也不够高 。
而这些问题不是简单调节亮度或色彩就能解决的 。
就拿死黑场景举例,因为影片本身还存在很严重的底噪,如果直接把偏暗场景调亮,底噪也会被同时放大 。
至于色彩方面,还需要平衡好修补褪色和保留复古感两方面因素 。
在这方面,火山引擎是根据具体片源的效果,依据美学评分对不同方面进行调整 。
并能根据不同帧的色彩统计信息进行分区域自适应亮度增强,从而找到最佳的明暗平衡效果 。
文章图片
据技术人员介绍,以上几方面工作几乎都是由AI完成的,人工参与的只有一些调参部分 。
- 明星早期未PS的照片,刘亦菲清纯灵动,景甜怪不得出道即巅峰
- 市场规模|华为明星新品上市!华为 Watch Fit 2:时尚设计,续航长达10天,香
- 明星|时而短发英姿飒爽 时而烈焰红唇迷人!宁静晒自拍回应AI换脸
- 你用过的头像都成了明星,林彦俊走红网络,只有她默默无闻
- 华为明星5G手机爆料!华为Mate 60:麒麟9000芯片+64MP主摄,真香
- 女孩|德媒:15岁美国女孩成全球明星,靠的是中国AI技术,中美竞争AI领导地位
- 蚂蚁金服|国产x86 CPU有了明星板卡:最高八核2.7GHz
- 《明星大侦探》要拍成剧了?
- 供应链管理|大疆无人机才是俄乌战场真正明星
- spring|微软明星产品Internet Explorer, IE浏览器在26岁时停止了更新