算法|AI 修复老视频的“魔爪”，终于伸向了动画片( 五 ) 算法

几年前上映的电影《厉害了，我的国》实际上是完全取自央视的标清电视画面，并由中影进行高清修复。在影院场景下，观众几乎不会察觉到修复画面和真正的高清摄像有什么不同，但简单地拉伸低分辨率画面到大银幕上，恐怕就会变成一团浆糊。

由于本次西瓜视频修复的动画片在电视和电影端都有，而电影胶片和电视画面的分辨率有明显差异，我们选择了一段2002年录制的电视片段，扔到西瓜视频后台自动修复。其初始分辨率为有线电视的640x480 ，修复后的分辨率是1280x960（高清数字电视标准）。

用电视画面来测试的另一个优势在于，它是二维线条图形和现场实拍画面的结合。实际上，在我们接下来的测试中，这种对照充分体现出了西瓜这个修复算法的特性——相对摄像机拍摄的现场画面和人像，它对人造图形的还原能力更强。
下列照片同样建议逐张点开大图，放大观看细节。

画面中的前景字体和台标都变得异常清晰，就像是后期用现代的编辑器加上去的一样。

这几组的共同点是人物为主景。在能锐化的边缘地方， AI 都尽可能尽了力，比如舞蹈演员身边悬挂的金属球、字体叠印的地方等。
经过降噪处理之后的画面总体也比处理前更干净，不过有一个上文提到过的小误差——把空中飘飞的雪花/柳絮“P 掉了” 。在需要精修的时候，会采取人工标记加二次算法过滤的方法来避免。

这几组图片的上下对照相当明显，人造图形和文字是当前算法看起来最拿手的地方。它们尖锐而清晰的边缘，可以说完全体现了原来画面的意图，小字也变得更易读了。不过有时原材料的对比度低，比如“通讯地址”红字，效果不明显，但并不会降低原有画质。
以上效果是未经手动干预、上传后只过一遍算法自动修复而成的，虽然偶有不足，但也完全可以接受。
修复动画片，也修复你父母的婚礼录像值得注意的是，本次在老动画片修复途中开发和应用的部分能力，通过西瓜视频向普通用户开放，可实现对家庭录像等视频的升高清和修复，而且免费使用。这与市面上同类修复技术形成了差异化局面。
如同社长之前提到的，服务于西瓜视频、抖音等字节体系内视频产品的各种 AI 算法和能力，都在火山引擎这个技术中台上聚集复用，并向第三方开发者开放。而西瓜视频的创作后台并非面向程序员，而是直接面对社会公众，降低了算法的使用门槛，更不用说还是免费开放。可以预见，这种对算法的高频利用和考验，将把算法训练得更为健壮，以及发现错误用例，促进良性循环。
但将一个实验室里的技术产品化没那么简单，大量的 UGC 效果需要云端运算、编码（有时甚至要求是实时的），以及往往要处理高并发等问题，所以不是任何一家都敢直接说开放的。
抖音和西瓜视频每天都能收到无数用户创作、投稿的视频。不少视频拍摄条件有限，也存在模糊，卡顿，抖动等各种各样的画质问题。为了提升用户的观看体验，返回给用户更高画质的视频内容，火山引擎多媒体实验室会在多个链路上对视频的画质进行分析，并且做出对应的修复增强策略。这种每天都在进行的修复增强策略，和修复老片（动画线稿）是很类似的。
抖音、西瓜视频等内部丰富的应用场景，让火山引擎的修复算法具备领先性和通用能力。在国际权威奖项 MSU 2020 上，字节跳动技术团队获 17 项评分冠军，在动画、特效、游戏、道具场景有深度的技术沉淀。在第一届全国人工智能大赛的“AI+4K HDR”项目，火山引擎在参赛企业中综合排名最高。