骁龙8四倍AI算力硬科技：上可超分下可增强信号，多个算法同时跑( 二 ) 机器之心报道机器之心编辑部

人脸上的细节也很重要。高通Spectra首次全面取代了构成摄影基础的传统算法，让AI彻底接手了拍摄任务，其可识别人脸特征，确定拍摄对象的眼睛是否睁开，甚至是否在微笑。全新的人脸特征引擎可以检测300个特征点，而且还针对更多人脸特征进行了训练，包括眉毛、嘴唇、下颌线等。
除了对焦和特效， AI引擎和相机引擎可以协同工作，每秒处理32亿像素，实现更强的变焦能力。去年搭载于骁龙888上的「夜间模式」将大约六帧照片组合在一起形成合成图像。而骁龙8的相机多帧大引擎将结合大约30帧，提供「五倍的夜间模式」。因为在暗光条件下有更多的像素被追踪到，相机可以智能过滤掉因手抖引起的模糊，进而获得更清晰的图像。同时，人工智能还可以消除广角镜头的画面扭曲。
随后是虚拟现实技术，高通展示了AI变革购物体验的新方向。通过AR技术，人们可以在家中布置虚拟家具、虚拟试穿运动鞋，实现更多个性化的购物体验。这些应用都是通过高通AI引擎优化实现的。
在骁龙8移动平台上，高通还将AI技术融入到调制解调器和射频系统中，带来了全球首个AI天线调谐技术，检测用户握持终端时手部的位置并切换接收信号的天线，旨在实现更快数据传输、更佳网络覆盖和更久电池续航。
第7代AIEngine ，性能能效都翻倍
这些都是如何做到的？我们知道，要想跑得起AI模型就需要强大的算力。在骁龙8移动平台的AI引擎上，高通实现了迄今为止最大的一次AI算力进步。
具体来说，第7代AI引擎包含多个低功耗的AI子系统，由下一代AdrenoGPU、Hexagon处理器、KryoCPU和第3代高通传感器中枢（SensingHub）组成，它们分别处理不同的计算需求。整个SoC的多个计算单元实现了6TOPS的异构算力。
在应用广泛的一些AI模型上，如inceptionv3、mobilenet_v2、Resnet50、VDSR等，推理速度比前代AI引擎快4倍，同时AI运算能效比前代提升了1.7倍。
第7代AI引擎能够实现如此量级的提升，很大程度上得益于新一代的AI软件：除了Hexagon处理器张量计算性能翻倍，共享内存翻倍以外，其AI软件性能也提升了2倍，现在支持了INT8+INT16的混合精度计算。

文章图片
更大的内存意味着芯片可以运行更大、更深的神经网络，而更高的精度则可以让算法推理的结果更加准确。开发工具上，新的神经网络处理SDK更新了算子支持， QualcommAIEngineDirect可直接接入移动端深度学习框架TensorFlowLite和AndroidNNAPI ，方便开发者将自己的AI模型更快地应用在移动端。
用手机完成台式机的任务
新的AI技术层出不穷，要如何把机器学习模型塞进手机呢？对于工程师们来说这是一个非常有挑战性的工作，使用AI技术自动来完成是一个很有前景的方向。高通和谷歌合作，将神经网络架构搜索（NAS）引入了骁龙平台，并已集成进第7代高通AI引擎。
正如AutoML的思路，高通提供的NAS工具NeualProcessingSDK可以将硬件配置、工作需求（如帧数、准确度）作为参数输入，由AI算法帮助工程师快速实现深度学习模型的最优设计。
AI可以从最基础层面开始，根据初始网络搜索并进行优化构建符合移动端硬件的模型。它能够考虑时延、网络规模、精度、功耗等目标，让模型在手机上运行得更快，而开发者的工作时间也可以从数月缩短到数周。

文章图片