华为海思|揭秘华为海思自研越影ISP：五大飞跃、黑夜变白昼 ai|图像处理|算法

文章图片

文章图片

文章图片

华为海思的麒麟芯片受阻，但在其他领域，华为海思并没有止步，最近就推出了全新的越影AI ISP ，用于物联网智能终端的新一代智能图像处理引擎，突破了传统ISP图像处理的极限，将画质推向新的高度。
ISP是对图像传感器输入的原始数据进行图像处理的首个环节，涵盖数十种图像信号处理算法。为了适配各种不同的镜头和传感器，需要优化调整成百上千个参数，保证ISP兼备通用性和灵活性。
同时， ISP中众多模块的算法是相互影响的，算法协同需要大量调试工作，极其复杂，也极具挑战。
面对越来越高的场景复杂度，基于滤波等传统图像处理技术在暗光、宽动态等场景下，画质获得显著改进越来越困难，而且随着参数库逐渐庞大，调试越发困难，开发周期逐步拉长，画质提升的投资收益率也越来越低。
近年来，利用AI进行图像增强，逐渐成为行业研究新热点，并取得了显著的进展，尤其是利用AI对静态照片的优化，已经广泛应用于高端手机的相机拍照，并获得了不错的效果。
上海海思利用在传统ISP画质技术上的积累和经验，以及在端侧AI架构和优化上的优势，打造了新一代智能图像处理引擎——越影AI ISP ，将传统画质优化经验与AI技术深度融合，相比海思上一代旗舰ISP在五方面实现了飞跃。
【超感光降噪】基于深度学习的智能降噪，信噪比4倍提升
传统的NR降噪技术采用多级时域/空域滤波，且滤波器设计融合了多种异构类型，收益已逐渐降低。
海思利用神经网络深度学习海量低照度场景图片的噪声和信号的分布特性，训练出一套智能降噪的算法模型，越影AI ISP可以智能区分图像中的信号和噪声，实现低照度场景下的智能降噪。
根据测试，越影相比海思上一代旗舰ISP ，在低照场景下的图像信噪比可提升4倍。
【多光谱融合】采用专用硬件加速，实现0.01Lux低照全彩
低照场景下， RGB传感器感光能力急剧下降，导致彩色图像清晰度快速下降，无法同时兼顾图像细节与色彩。
在夜晚交通管理场景下，往往需要在闸口加装爆闪灯来补充照明，容易造成光污染甚至影响驾驶员的行车安全
多光谱融合技术通过将可见光与红外光感知信息进行融合，在不增加光污染的同时，解决了低照环境下由于可见光感光能力不足所造成的细节损失的问题，实现图像色彩与细节的最佳平衡，最终使图像效果达到0.01Lux暗光全彩，细节纹理丰富。
【超级宽动态】自适应光线复杂变化，动态范围提升12dB
宽动态技术是逆光场景下提升画质的重要技术。
例如行车进出隧道口时，由于内外光强反差巨大，如何快速跟踪不断变化的光线，并准确对目标进行自适应曝光，是对自动和辅助驾驶安全非常重要的技术。
超级宽动态技术基于智能识别目标场景，对价值区域进行自适应多重曝光，通过智能算法融合不同曝光时间的长帧、中帧、短帧的图像数据，使图像获得暗、亮区域的完美融合：亮处不过曝、暗部细节不丢失，逆光场景所见清晰，暗光区域色彩饱满、细节丰富。