端侧 AI 开发难？揭秘 HUAWEI HiAI Foundation 助力快速部署 AI 应用的「超能力」( 二 ) 作者|宋慧AI人工智能从几年前

文章图片
第三， HUAWEIHiAIFoundation还推出了模型量化工具包和网络结构搜索工具包等自主调优工具，去帮助开发者精准优化模型，提升AI的精度。例如在模型量化工具包中支持无数据量化模型和训练感知量化模型，在16bit和8bit的基础上，支持更细粒度的4bit和2bit量化，并且工具包自适应混合精度量化，在保证精度的前提下，可以让笨重的模型变得更小，降低开发的存储压力。而网络结构搜索工具包，通过自动搜索NPU硬件信息，调整适配更优化的模型结构，提升硬件性能。目前， HUAWEIHiAIFoundation平台上已有300多种算子接口，以及模型编译接口、模型推理接口，并兼容多平台，形成了轻量化的软件栈。另外， AI模型庞杂，开发者在各种业务上的模型算法也各有不同，不过像视频超分、人脸识别等很多业务功能存在相似性。针对AI中的通用和相似功能， HUAWEIHiAIFoundation平台推出的ModelZoo积累了多个基于不同业务、与底层硬件（如NPU）调优后的最优业务模型，开放共享给开发者，开发者可以参考、借鉴、改进自身模型，提升性能，甚至将自己的优秀模型与ModelZoo其他开发者交流、分享。据HUAWEIHiAIFoundation的技术专家介绍，未来，开发者还可以通过ModelZoo搜索甚至定制自己所需的模型，以节省大量前期模型摸索的时间与工作量。
文章图片
HUAWEIHiAIFoundation应用实例：视频超分前后效果比较HUAWEIHiAIFoundation已经为各类主流应用提供了AI能力支撑，例如对硬件资源开销需求较大的音视频端侧视频超分、直播实时超分、端侧加速等等，使用HUAWEIHiAIFoundation平台的各种AI能力后，硬件功耗显著下降，性能与体验得到提升。 HMSCore ，用AI支撑更多开发服务AI正在释放巨大的潜力，除了HUAWEIHiAIFoundation ，作为华为端云能力开放的HMSCore ，还为开发者提供了应用服务、图形、AI、媒体、安全、连接与通信、智能终端七大领域的技术能力，除了AI领域，在其他服务领域中也有很多AI技术的身影。例如在视频编辑服务（VideoEditorKit）中，专属滤镜、人物追踪、一键染发等辅助视频创作的AI处理能力，背后就是使用华为自研AI框架MindSporeLite进行神经网络模型推理。视频编辑服务中的AI模型采用MindSporeLite提供的混合比特量化方式，最终在保证精度的同时达到了平均5倍多的模型压缩效果，例如一键染发的模型从原来的20.86M压缩到3.76M ，有效解决了模型过多、文件过大导致的部署困难问题。通过对AI模型的量化压缩，在ROM空间占用不变的前提下，保障剪辑产品可以部署更多的AI模型，充分发挥AI能力来提供更多的特效应用场景，使得剪辑功能更加强大、更加智能。
文章图片
视频编辑服务中的AI处理：专属滤镜、人物追踪、一键染发再例如HMSCore音频编辑服务，除了传统算法，也使用了AI算法模型语音编解码，实现智能降噪。在其提供的文本转换语音中，通过AI语音合成，将文字转换为自然饱满的朗读语音，实现AI配音。另外，音频中整条音频链路沟通的流畅性，以及弱网下的传输，都是可以采用AI算法模型去改进和发力的技术点。除了音视频之外， HMSCore还有应用于网络优化、智能传输的NetworkKit ，其通过DNS预取、预建链、AI动态调参，实现千人千面的网络参数调优特性，就是通过AI算法，有效降低内容加载时长。另外NetworkKit的断点续传，多任务并行，也是通过AI智能分片等技术，充分利用带宽，提升传输质量。而提供机器学习能力的MLKit包含了AI能够发挥的各方面，包括文本类识别、语音语言的翻译识别与合成、图像分类检测分割、人脸人体的识别检测和手势识别等等。另外， HMSCore还提供独特的手语服务，该能力是将AI技术带进了听障人士的应用中。除了基于深度学习的OCR ， AI手语翻译还需要3D数字人建模、自然语言理解、计算机视觉、3D动画、图形渲染、移动端Android开发、云侧服务化等众多技术，正是HMSCore平台的多种技术能力协同，才能让如此复杂艰巨的技术工程，能够真正实现，落地应用。 AI已经无处不在，为应用开发提供了创新的思路与研发助力。对HUAWEIHiAIFoundation等AI技术能力的专注投入与扎实研发，以及华为HMSCore一直在为开发者解决底层算力与体验中的切实问题和最新技术难点，都值得开发者持续地关注与了解。而借助HMSCore的技术与服务，开发者可以更高效地解决AI应用开发中的通用问题，专注自身所处领域的AI创新与研发实践，全力应对AI发展的机遇与挑战。