高通带来全新Cognitive-ISP，拍一张照片竟能实现8层专业级优化( 二 ) 11月15日

这一代ISP ，让智能手机具备了计算机视觉（CV）能力，照片和视频的优化可以具体到每一帧。通过集成大量支持硬件加速的计算机视觉能力，与高通AI引擎相结合，带来了手机影像能力的再一次突破。
虽然ISP技术已经把智能手机影像技术提高到了一个新高度，但这一代产品仍然在某些方面无法替代人的作用。比如在拍夜景照片时候， ISP可以一次性拍摄多张照片然后极速合成，其对照片的优化是整体、全面优化。然而在真实世界里，摄影师修图是根据不同的画面部分来修饰，比如天空、人脸、眼睛、一棵树，甚至一片叶子。
这一次， 2022年发布的认知ISP ，终于借助更强大的AI技术解决了这个难题——对每一个部分进行单独优化。

文章图片
认知ISP：让AI“精修”影像
骁龙8的三核18-bitISP可同时处理三个3600万像素的摄像头30fps数据，对单个摄像头的像素支持最高可达2亿，同时支持快门滞后为零的108MP的传感器。
再结合认知ISP的照片、视频实时语义分割技术，智能手机影像体验将被推到新高度。虽然智能手机不具备单反相机那样的超大CMOS ，但AI技术的使用让智能手机已经可以拍摄专业级的影像了。

文章图片
那么，什么叫实时语义分割？
【高通带来全新Cognitive-ISP，拍一张照片竟能实现8层专业级优化】ISP使用Hexagon处理器内部的AI神经网络在场景中分离出多达八个层，然后单独处理这些层中的每一层以更好地微调整体图像质量。这允许图像处理管道独立地对场景的各个层应用不同级别的降噪、锐化和色彩校正，例如个人面孔、面部特征、头发、衣服、天空等，甚至可以去除眼镜上的眩光。
以上整个过程都是实时发生的。所谓“实时” ，就是在拍摄过程中即时发生，拍摄完成的画面和预览效果保持一致。极短时间可以处理如此复杂的计算，也彰显了认知ISP极高的运算效率。
高通表示，认知ISP有助于使SnapdragonSight骁龙影像技术开启专业品质相机体验的新时代，提供突破性、定制化、专业级的品质增强技术。
那么，认知ISP是如何做到的？
高通产品管理副总裁（VicePresidentofProductManagement）JuddHeape在示例中对此做了解释。在视频模式下，第二代骁龙8对每一层的优化都应用了单独的调优参数，所有这些都是凭借全新AI引擎中升级的Hexagon处理器完成的。

文章图片
第二代骁龙8也针对新的图像传感器进行了更深度调整。三星ISOCELLHP3是首款针对该平台优化的2亿像素图像传感器，可提供专业品质的照片和视频。

文章图片
在2021年12月高通发布第一代骁龙8移动平台时，曾透露它正在与索尼建立合作伙伴关系。一年后的现在，高通与索尼分享了其最新的劳动成果。第二代骁龙8支持新的四重曝光技术，该技术将充分利用索尼的新四重曝光数字重叠(QDOL)传感器，这使得其可以获得更大的动态范围。 QDOL4技术使视频和照片能够将光线最暗处和最亮处的细节呈现在同一画面上。
有的用户会有疑虑，认知ISP如此大的运算量，会不会让第二代骁龙8成为耗电大户？
然而借助AI ，骁龙8的AI能效和整体能效均得到了改善。首先，用于处理情境感知任务的AI处理器增加到两颗，识别效率和运算速度加倍。第二， Hexagon处理器采用了一个更大的张量加速器，带来了部分场景下高达4.35倍的AI性能提升；支持INT4AI精度格式，在持续AI推理方面能够实现60%的能效提升。