明星|黄家驹演唱会31年后重映！1小时播放破亿( 三 ) 演唱会|AI|黄家驹演唱会31年后

甚至连对画质的评估，AI都参与了一波。
这次使用了一个针对画质的VQScore算法，对影片效果进行评估。
该算法在ICME 2021的“压缩UGC视频质量评估”比赛中，获得了“无参考视频质量评价（NR-VQA）MOS赛道”第一名。
拯救古早收音bug
视频修复方面细节拉满，不过既然是演唱会，光修复画面可不够，音质体验更是拨动观众心弦的关键。
受限于当时的技术水平和录音设备，在原版影碟中，其实存在各种各样的音质问题。
比如：
噪声干扰：设备、环境的噪声影响音质带宽不足：设备、压缩算法等导致音频截止频率低响度问题：响度问题导致听感不适针对这些问题，此次火山引擎音频技术团队在Beyond演唱会的音质修复方面，主要用到了三种算法。
音频降噪算法
首先，来看看音频降噪算法带来的效果。
由于90年代演唱会收音条件有限，现场的环境又比较嘈杂，原版音频中噪声是比较明显的。
而修复之后，黄家驹的声音和音乐声变得更加清晰、干净。
这一点在频谱图上表现得很明显：降噪前，音频频谱较为浑浊；降噪后，频谱图清晰了不少。

文章图片

值得注意的是，传统的降噪方案通常针对人声，在演唱会这样的场景里，容易“误伤”音乐本身。
因此，在为演唱会设计降噪算法之初，技术团队就将降噪导致的音乐失真问题考虑在内，通过在训练时加入音乐数据等方式，实现了对音乐场景和人声场景的兼容。
也就是说，可以在保留人的说话声、唱歌声以及音乐本身的同时，抑制其他噪声。
音频超分算法
噪声之外，由于演唱会拾音设备、录制硬件以及存储压缩等技术原因，声音带宽受损（即带宽变窄）同样会影响听觉体验。
因此，修复团队还引入了音频超分算法。
该算法主要对演唱会中人声的部分进行了频带拓展，以使人声更加清晰。

文章图片

从蓝框部分可以看到，经过超分，原始音频的高频部分得到了拓展和增强。
响度算法
最后，是通过音源分离算法提取演唱会中歌声的部分，然后用响度算法对响度进行调整。
这是因为演唱会现场拾音的过程中，可能会出现人唱歌的声音被乐器、环境声盖住的情况。
单独提取唱歌部分的人声，进行响度调整，然后再与原音频混合，能够使整体的声音大小听上去更加舒适。

文章图片

一个幕后小故事是，无论是画质修复还是音频修复，都需要人工来进行最终质量评估。
而修复团队的程序员们恰好都是听着《海阔天空》、《光辉岁月》长大的一群人。
因此处理Beyond演唱会的旧影像时，修复人员们都是以粉丝的心态，一遍又一遍不断地去听、去看修复效果，力图用算法把当年红馆的热烈氛围在今日重现。
他们的标准说起来也很简单：
我得先觉得身临其境了。

文章图片

另外，值得一提的是，修复人员谈到，本次修复基本都是AI搞定的。目前，这样的技术能力已经被集成到火山引擎对外开放的智能处理、音频技术两个产品中。