高通带来全新Cognitive-ISP,拍一张照片竟能实现8层专业级优化

高通带来全新Cognitive-ISP,拍一张照片竟能实现8层专业级优化
文章图片
11月15日 , 2022骁龙峰会在夏威夷举办 。 官方在介绍第二代骁龙8移动平台时 , 特意提到了认知ISP(Cognitive-ISP) 。 在大众对手机摄像头要求越来越高的时代 , 如果要讨论智能手机的影像技术 , ISP是一个无法绕过的话题 。
高通带来全新Cognitive-ISP,拍一张照片竟能实现8层专业级优化
文章图片
ISP撬动智能手机影像技术的进步
那么 , 什么是认知ISP?根据官方的介绍 , 认知ISP是一套提升手机影像性能的技术 。 凭借首个认知ISP , 第二代骁龙8通过实时语义分割实现照片和视频的自动增强 , 利用AI神经网络让摄像头在情境中感知人脸、面部特征、头发、衣服和天空等 , 进行独立优化 , 从而让每个细节获得定制的专业图像调优 。
通俗的说 , 在此之前 , 智能手机并不能完全识别出现在摄像头中的物体细节 , 对人脸优化也是整体优化 。 而现在 , 借助AI技术 , 智能手机可以精准识别并且单独对每一个部分进行优化 , 从而大大提升了用户的影像体验 。
高通带来全新Cognitive-ISP,拍一张照片竟能实现8层专业级优化
文章图片
“双摄时代”、HDR录制和慢动作视频 , 都与ISP进步有关
其实在认知ISP发布之前 , 历代骁龙移动平台集成的ISP便已经引领了移动影像多年 。 可以这样说 , 智能手机影像技术的每一次飞跃 , 都伴随着骁龙移动平台在ISP技术上的突破 。 如今 , 在AI的帮助下 , 智能手机正在快速接近专业级相机的性能 。
其实骁龙平台很早就已经集成了“双ISP” , 此后高像素、2PD对焦、4K视频/HDR视频拍摄逐渐实现 。 2016年 , 骁龙835平台配置了Spectra180ISP , 其最高支持两颗1600万像素摄像头 , 还能大幅度提高拍照和图像处理速度 , 是当时行业最强的ISP能力 , 手机也进入了“双摄时代” 。
至此 , 手机摄影才具备了现在的雏形 。
2017年12月 , 骁龙技术峰会上发布的骁龙845移动平台集成了全新Spectra280ISP 。 当时 , 集成SpectraISP的骁龙移动平台支持超过10亿种色调的10位色深 , 并实现了运动补偿、时间滤波(MCTF)和电子图像稳定(EIS) 。
在今天看起来那些已经普及的影像功能 , 诸如慢动作视频、HDR录制和高速性能捕捉(high-speedperformancecapture) , 都因为SpectraISP而成为可能 。 这一代SpectraISP上还集成了一个基于视差的深度感应系统 , 其工作原理与人眼非常相似 , 可以从双镜头视角判断物体的相对距离 。
这些技术大幅提高了智能手机影像体验 。
高通带来全新Cognitive-ISP,拍一张照片竟能实现8层专业级优化
文章图片
2018年发布CV-ISP , 按「帧」优化时代到来
2018年 , ISP技术迎来重磅升级 。 骁龙855带来了全新Spectra380ISP , 这是全球首款计算机视觉(CV)ISP , 在计算摄影和相机AI方面实现了巨大飞跃 。
高通带来全新Cognitive-ISP,拍一张照片竟能实现8层专业级优化
文章图片
Spectra380消除了图像处理管道中的瓶颈 , 并通过直接在ISP本身执行机器视觉处理 , 从而比前几代产品节省高达4倍的功耗 , 并通过与AI引擎配合 , 大幅提升了AI处理能力 。
对于普通用户而言 , 其体验提升是巨大的 。 Spectra380增加了对全HDR10+视频录制的支持 , 使得录制具有更大动态范围和更宽色彩空间的视频成为可能 , 以充分利用现代手机和电视的功能 。 此外 , 它将能够处理更高分辨率的成像 , 其双14位CV-ISP管道支持双摄像头的22MP30Hz并发捕获 , 以及单个图像传感器的48MP30Hz捕获 。