机器之心专栏北京邮电大学-模式识别与智能系统实验室来自北京邮电大学和英特尔中国研究院的...|参数量仅为原来1%，北邮等利用超分算法提出高性能视频传输方法( 二 ) 机器之心专栏

图1

文章图片
方法
神经网络视频传输是在传输互联网视频时利用DNN来节省带宽。与传统的视频传输系统不同，它们用低分辩率视频和内容感知模型取代了高分辨率视频。如上图所示，整个过程包括三个阶段：（i）在服务器上对每个视频段的模型进行训练；(ii)将低分辨率视频段与内容感知模型一起从服务器传送到客户端；(iii)客户端上对低分辨率视频进行超分工作。但是，该过程需要为每个视频段传输一个模型，从而导致额外的带宽成本。所以该研究提出了一种压缩方法，利用CaFM模块结合联合训练的方式，将模型参数压缩为原本的1% 。
动机和发现
图2

文章图片
该研究将视频分成n段，并相应地为这些视频段训练n个SR模型S1、S2...Sn 。然后通过一张随机选择的输入图片(DIV2K)来分析S1、S2...Sn模型间的关系。该研究在图2中可视化了3个SR模型的特征图。每张图像代表某个通道（channel）的特征图，为了简单起见，该研究只可视化了一层SR模型。具体来说，该研究将特征图表示为

文章图片
，其中i表示第i个模型， j表示第j个通道， k表示SR模型的第k层卷积。对于随机选择的图像，可以计算

文章图片
和

文章图片
之间的余弦距离，来衡量这两组特征图之间的相似度。对于图2中的特征图，该研究计算了

文章图片
，

文章图片
和

文章图片
之间的余弦距离矩阵。如图3所示，研究者观察到虽然S1,S2...Sn是在不同的视频段上训练的，但根据图3中矩阵的对角线值可以看出“对应通道之间的余弦距离非常小” 。该研究计算了S1、S2和S3之间所有层的余弦距离的平均值，结果分别约为0.16和0.04 。这表明虽然在不同视频段上训练得到了不同的SR模型，但是

文章图片
和

文章图片
之间的关系可以通过线性函数近似建模。这也是该研究提出CaFM模块的动机。
【机器之心专栏北京邮电大学-模式识别与智能系统实验室来自北京邮电大学和英特尔中国研究院的...|参数量仅为原来1%，北邮等利用超分算法提出高性能视频传输方法】图3

文章图片
内容感知特征调制模块(CaFM)
该研究将内容感知特征调制(CaFM)模块引入基线模型(EDSR) ，以私有化每个视频段的SR模型。整体框架如图4所示。正如上文动机中提到的， CaFM的目的是操纵特征图并使模型去拟合不同的视频段。因此，不同段的模型可以共享大部分参数。该研究将CaFM表示为channel-wise线性函数：

文章图片
其中x_j是第j个输入特征图， C是特征通道的数量， a_j和b_j分别是channel-wise的缩放和偏置参数。该研究添加CaFM来调制基线模型的每个卷积层的输出特征。以EDSR为例， CaFM的参数约占EDSR的0.6% 。因此，对于具有n个段的视频，可以将模型的大小从n个EDSR减少到1个共享EDSR和n个私有CaFM模块。因此，与基线方法相比，该方法可以显著降低带宽和存储成本。

机器之心专栏北京邮电大学-模式识别与智能系统实验室 来自北京邮电大学和英特尔中国研究院的...|参数量仅为原来1%，北邮等利用超分算法提出高性能视频传输方法( 二 )

机器之心专栏北京邮电大学-模式识别与智能系统实验室来自北京邮电大学和英特尔中国研究院的...|参数量仅为原来1%，北邮等利用超分算法提出高性能视频传输方法( 二 )