OPPO|算力超苹果A15！OPPO首款自研芯片发布：四大核心问题揭秘( 四 ) ISP|算力超苹果A15！OPPO首款自研

▲IBM 7nm高能效AI芯片与7nm芯片性能及能效比参数对比
姜波强调，：“对于手机NPU来说，AI算力的提升并不是难点，因为这是可以通过增加NPU的面积把算力堆起来的。但是，手机内部的空间是有限的，并且有着严苛的功耗及热性能的限制，所以高能效比才是关键。而要想实现11.6TOPS/W能效比则是非常难的。

文章图片

“而且这个能效比是基于随机生成图片（人眼难以识别的）实测得到的，如果是基于现实世界里的人像、风景等真实的图片进行处理，这个能效比将超过12TOPS/W 。”
虽然，MariSilicon X 的6nm工艺所带来的提升，也是其高能效比的一个因素，但是更为关键的还是MariSilicon X当中NPU单元并没有采用第三方的NPU IP，而是采用了OPPO自研的MariNeuro IP，以达到OPPO需要的最优能效比。

文章图片

那么，之前在骁龙888上只能跑2fps、功耗达到1.7W的OPPO自研的AI降噪算法在MariNeuro NPU上能有多大的提升呢？答案是速度提升了20倍达到了40fps，使得OPPO自研AI降噪算法可以应用到视频降噪当中，同时功耗仅有800mW，能效比更是提升了40倍。显然OPPO自研影像NPU所带来的实际提升是非常惊人的。

文章图片

△基于MariSilicon X的4K Ultra HDR视频降噪效果

文章图片

△基于MariSilicon X的4K AI夜景视频效果
2、多级专用高速内存系统
除了NPU本身的架构使得它能够有更高的能耗效率和更高的利用率之外，内存子系统也是极为关键的，因为内存和运算对于AI整个系统是相辅相成的，如果内存变成瓶颈，形成“内存墙”的话，即使有再高的算力也无法发挥。
所以，OPPO还为MariNeuro NPU定制了一个Tb/秒级的片上内存子系统，这也使得NPU架构设计在与算法紧密耦合的同时，内存系统也是根据算法和场景要求进行相应定制优化的。
姜波解释称：“我们根据自己的算法和网络模型，我们知道它的网络复杂度有多少，需要多大容量和速度的片上内存去处理，才能达到一个最优的目标。其数据传输速度可达数万亿比特/秒（Tb/s），远高于外部的DDR内存。”

文章图片

在配备片上内存的同时，OPPO还设计了一个多级的内存控制系统，并针对MariSilicon X配备了独立DDR带宽，这个采用了LPDDR4X的DDR带宽为8.5Gb/s，是与MariSilicon X的Die封装在一起的，对于一些速度要求没那么高的数据可以跑在专用的内存上去做。

文章图片

OPPO表示，从整个系统层面来看，当MariSilicon X跟一个SoC主芯片搭载在一起使用的时候，整个系统的DDR吞吐率增加了17% 。
3、20bit Ultra HDR
目前智能手机在继屏幕尺寸、分辨率及材质的持续提升之后，屏幕的高动态范围 (HDR)显示效果，正在成为智能手机厂商及用户追逐的热点。同样，对于手机影像拍摄来说，HDR效果也已经成为了关键点。