高通在 Snapdragon 888 展示基于软体的 AI 影片解码器,可达成 1,280 x 704 30fps 的即时解码

虽然基于软体的影片编解码器在当今重视效率的时代已非主流,不过一但有全新的影片编码格式,初期仍得仰赖软体方式进行解码,而高通认为现在内容资讯爆炸的时代会使得影片编码格式快速推陈出新,未来新解码器可能可透过下载持续更新,或许透过 AI 的辅助进

虽然基于软体的影片编解码器在当今重视效率的时代已非主流,不过一但有全新的影片编码格式,初期仍得仰赖软体方式进行解码,而高通认为现在内容资讯爆炸的时代会使得影片编码格式快速推陈出新,未来新解码器可能可透过下载持续更新,或许透过 AI 的辅助进行内容解码会是个可行的方式,其 Qualcomm AI Research 即在 Snapdragon 888 展示基于软体式的 AI 影片解码器,完成 1,280 x 704 30fps 的即时影片解码。

为何高通会展示目前认为效率相对低落的软体影片解码器?高通假设未来的影片编解码器将有以下特色:对编码比特率与感知品质指标的直接最佳化、简化的编码开发流程、基于大规模并行的本质、具高执行效率与更新已布署硬体的能力、可下载的编解码器更新等等;固定功能的硬体式编解码器虽然具有良好的执行效率,但就无法满足高通预期未来影片编解码器所需的弹性。

▲高通认为透过 AI 方式能够兼具高执行效率、高品质与软体解码的弹性

高通认为,藉由 AI 神经网络作为基础,就有可能满足上述未来影片编解码器所需的特质;简单的说高通认为可以写出一套基于 AI 的编解码逻辑,透过当前日益普及的 AI 加速架构去执行,实现比传统软体编解码更高的效率,高通研究机构也在近几年的研究当中发现基于 AI 神经网络的软体式影片编解码器的潜能。

不过高通也发现,由于实验室使用的硬体架构是採用具备浮点运算功能的高阶 GPU ,除了硬体规模远大于行动设备,这些 AI 影音编码器的 AI 模型也未以效率为优先考量,导致虽在 PC 型态的系统能够顺利执行基于软体的 AI 影片编解码,但难以在行动设备实现相同的行为。

Qualcomm AI Research 则是以能够在行动设备执行作为前提,将高通多年在节能 AI 的专业技术应用在影片编解码,採用高通创新中心的 AI 模型节能工具( AIMET ),将 AI 网络架构重新编写并简化架构,降低模型执行的複杂性,使行动设备的 AI 硬体也能够有效执行这样的即时解码模型。

高通透过一台搭载 Snapdragon 888 平台的市售版手机进行展演,以 Snapdragon 888 的 CPU 搭配第 6 代 AIE 引擎进行即时解码,实现接近 HD 解析度的 1,280 x 704 影片的即时解码。

另外,高通也一併宣布 AIMET 的进展, AIMET 是由高通创新中心( QuIC )在 2020 年 5 月于 GitHub 发表的开源项目,为 Qualcomm AI Research 的研究成果,指在透过一个简单的函式库 Plug-In ,以先进的量化与压缩技术提升 AI 模型的执行效率,使其在行动装置或是较简化的硬体得以顺畅执行,而在 2021 年 1 月, QuIC 再度以 AIMET Model Zoo 的方式于 GitHub 贡献一系列针对 8bit 推论最佳化的预先训练 AI 模型,同时还提供将主流的 FP32 以低耗损转化为 INT8 模型的方式。而高通此次宣布在 AIMET 导入 AdaRound ,使其可以在极低耗损实现 4bit 量化处理,同时也支援循环神经网络 RNN 的量化,提供针对如语音辨识等时间动态行为神经网络的支援。

原创文章,作者:天哥谈天,如若转载,请注明出处:https://www.53moban.com/6912.html

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息