Arm已经创建了其microNPU(神经处理单元)IP的新版本,该IP适合与应用处理器中的Cortex-A CPU内核一起使用。领先的被许可方NXP计划在即将到来的应用处理器家族中使用此IP,该处理器可以处理AI应用,例如姿势估计,视频中的多人脸识别和对象检测以及基本关键字识别之外的语音识别。
Ethos-U65
Arm的现有microNPU产品,旨在与Cortex-M内核一起使用微控制器级产品。它具有3至256个乘法累加单位(MAC),可提供高达0.5 TOPS的加速度(基于较小的几何形状,例如在1 GHz下运行的16或7 nm)。Arm的产品组合还包括Ethos-N77,N57和N37,它们分别提供4、2和1 TOPS。
Ethos-U65旨在维持Ethos-U55的电源效率,同时将可用MAC翻倍(在1GHz时最多512个并行MAC),总共达到1个TOPS。这种功率/性能组合特别适合与应用处理器级设备中的Cortex-A内核一起使用。Arm说,Ethos-U系列对ML运算符的本机支持也已更新和扩展。
领先的被许可人
领先的技术合作伙伴(和领先的被许可人)恩智浦在确定Ethos-U65的系统级方面与Arm密切合作,并表示将把Ethos-U65 IP集成到其下一代i.MX应用处理器中。
恩智浦AI / ML硬件首席工程师Ben Eckermann解释说,恩智浦针对AI应用处理器所考虑的架构将使Ethos-U65 microNPU与Cortex-M和Cortex-A内核并驾齐驱。Cortex-A运行该应用程序,处理(例如)麦克风或摄像头的驱动程序,并向NPU提供工作量。microNPU和Cortex-M计算机器学习的工作量,并将答案提供给Cortex-A。
“就像Ethos-U55一样,[Ethos-U65]依靠Cortex-M处理器位于系统中的某个位置,以防万一有来自神经网络的机器学习算子无法完全卸载在硬件方面,”埃克曼说。“有很多机器学习运算符很少被调用,并且可能不能证明仅在硬件中实现是合理的。”
Eckermann说,Cortex-M在这种配置中提供的灵活性还允许一定程度的面向未来。
与U55相比,U65拥有更宽的内部系统总线,并且经过定制以应对与DRAM相关的额外缓冲和延迟(在使用应用处理器的系统中很常见,而Cortex-M系统通常在使用SRAM)。
填充产品组合恩智浦正在填充其支持AI的SoC产品组合。
该公司先前宣布的i.MX 8M +应用处理器具有NPU AI加速器模块以及双核或四核Cortex-A53内核。这些产品中包含的NPU IP并非来自Arm。这是一种Verisilicon设计,可提供2.3 TOPS,足以进行场景分割,实时视频面部和物体识别或语音口音解释。在频谱的低端,具有Arm Ethos-U55 NPU的NXP微控制器可以处理人员检测,唤醒单词检测和视频降噪。
支持Ethos-U65的产品将位于这两个产品类别之间,处理AI应用程序,如多人脸识别,涉及更多的语音识别或姿势估计。因此,该类别中的任何新产品都不会与i.MX 8M +重叠。