挖通AI软硬协同管道！英特尔与百度飞桨揭秘合作之道智东西（公众号：zhidxcom）作者

智东西（公众号：zhidxcom）
作者|ZeR0
编辑|漠影
智东西5月26日报道，在上周举办的WaveSummit2022深度学习开发者峰会上，百度与英特尔等13家硬件伙伴联合发布“飞桨硬件生态伙伴共创计划” ，共创软硬一体人工智能（AI）生态。
百度飞桨与英特尔的合作涵盖从AI模型的开发训练阶段到优化部署阶段。在最新的OpenVINO2022.1发布中，对飞桨模型提供了直接支持。这一举措将OpenVINO在模型拓扑结构优化和显著提升深度学习网络在Intel异构硬件上的推理性能的优势，带给广大的飞桨开发者。
在此前合作的基础上，飞桨和OpenVINO将展开开源社区的合作，适配更多飞桨SOTA模型，通过OpenModelZoo加速开发者项目落地，希望在双方共同努力下，为AI开发者带来更好的用户体验，共同赋能全球AI开发者，共建开源生态。
英特尔与百度也展示了通过oneAPI、OpenVINO等软件优化及AI全栈硬件产品组合助力最新飞桨v2.3版本优化模型性能的方法，并分享了其在多个垂直领域的应用实例。

文章图片
峰会期间，英特尔高级首席工程师、物联网事业部中国区首席技术官张宇，百度飞桨总架构师于佃海，就AI推理底层软硬件需求之变、“AI+科学”面临的核心挑战等话题，与智东西等媒体进行了深入交流。
一、应对AI推理难点，深度适配优化软硬件
面对趋于多样化的应用场景， AI推理对软硬件的性能和功耗正提出更严苛的要求，并对原始数据保护产生越来越高的诉求。
对此，百度飞桨总架构师于佃海指出，飞桨团队在模型压缩优化的基础上持续投入，同时在构建端边云全场景的推理引擎，希望在推理侧做到较高的硬件覆盖广度和支持度，形成特色优势。
为了实现更好的AI推理效果，百度飞桨与英特尔做了很多联合优化工作，包括借助英特尔的oneAPI软件中对深度学习的加速技术，使模型在英特尔CPU上能获得更好的性能体验；以及借助英特尔推理工具套件OpenVINO提供的模型优化和推理加速能力，更好地实现模型从边缘到云端在英特尔全系列硬件上的适配与高效部署。
于佃海谈道，目前百度飞桨和OpenVINO主要通过两种方式为开发者提供飞桨模型的部署支持：一是OpenVINO原生支持飞桨的模型格式，二是飞桨的推理引擎，接入英特尔OpenVINO作为计算的后端，让用户能充分利用其对英特尔硬件的计算加速能力。
英特尔高级首席工程师、物联网事业部中国区首席技术官张宇补充道，考虑到各类AI应用对算力的不同需求，英特尔在芯片设计方面尽可能综合考虑，比如采用异构架构，像第三代至强可扩展处理器内置了可提高很多推理操作并行化的人工智能指令集DLBoost ，酷睿处理器集成了可实现媒体编解码等操作的集成显卡资源。
同时，英特尔也提供相应的软件工具来进一步完善软硬件间的自动适配能力，从而帮助开发者更高效地将软件功能部署到最适宜的硬件平台上。
此前飞桨模型经ONNX转化后才能被OpenVINO识别和使用，而英特尔最新的OpenVINO2022.1版本已经做到能直接将飞桨模型通过OpenVINO转变为其内部的中间表示文件，再部署到硬件平台上。这在减少了中间环节的同时，为开发者带来了更高的模型精度。

文章图片
除此之外，英特尔也通过联邦学习、英特尔SGX等技术，来满足用户在数据保护方面的诉求。