机器学习将持续作为众多应用的重要推动因素，尤其是视觉导向的机器人或所谓的「协作机器人」应用。结合处理器核心与可编程逻辑的异质SoC，能打造出高效且可重配置的解决方案。

在目前的嵌入式视觉领域中，最热门的话题之一就是机器学习(machine learning)。机器学习涵盖多个产业重要趋势，不仅是嵌入式视觉(Embedded Vision；EV)，而且在工业物联网(IIoT)和云端运算中均发挥极为显著的作用。

对于不熟悉机器学习的人来说，很多时候机器学习是透过神经网路的创造和训练而实现的。神经网路(neural network)一语极为通用，包含大量截然不同的子类别。这些子类别的名称一般用于辨识被实现的具体网路类型。这些网路在大脑皮层上建模，大脑皮层中每个神经元接收输入、处理后并将其传达给另一个神经元。因此，神经元一般由输入层、多个内部隐藏层和一个输出层组成。

在最简单的层面上，神经元取得输入、施加权重给输入，然后在加权输入总和上执行传递函数。其结果随后传递至隐藏层中的另一层，或传递给输出层。将某一阶段的输出传递给另一阶段而不形成一个周期的神经网路被称为「前馈神经网路」(FNN)，而那些存在反馈、内含定向周期的神经网路则被称为「循环神经网路」(RNN)。

图1：简单的神经网路

在众多机器学习应用中极为常用的神经网路之一是「深度神经网路」(DNN)。这类神经网路拥有多个隐藏层，能实现更复杂的机器学习任务。为了确定每一层使用的权重和偏差值，必须对神经网路进行训练。在训练过程中，为该神经网路施加一定数量的正确输入和错误输入，并使用误差函数教授网路所需的性能。训练深度神经网路可能需要相当庞大的资料集，才足以正确训练所需性能。

机器学习最重要的应用之一是嵌入式视觉领域，其中，各类系统正从视觉实现的系统演进为视觉引导的自动化系统。相较于其他较简单的机器学习应用，嵌入式视觉应用最主要的区别在于采用二维(2D)输入格式。因此，在机器学习实施方案中，采用称为卷积神经网路(CNN)的网路结构，因为它们能够处理2D输入。

CNN是一种前馈网路，其中包含多个卷积层和子采样层以及一个单独的全连接网路，以执行最终分类。由于CNN的复杂性，它们也被归类在深度学习类别。在卷积层中，输入影像被细分为一系列重叠的小模组(tile)。在进行进一步的子采样和其它阶段之前，来自该卷积的结果先使用启动层建立启动图，然后应用到最终的全连接网路上。CNN网路的具体定义取决于所实施的网路架构，不过，一般通常至少包含下列元素：

卷积—用于辨识影像中的特征

‧修正线性单元(reLU)—用于在卷积后建立启动图的启动层

‧最大池化(Max Pooling)—在各层间进行子采样

‧全连接—执行最终分类

这些元素中的每一个权重都经由训练决定，而CNN的优势之一就在于训练网路相对容易。透过训练产生权重需要庞大的影像集，其中既有需要检测的物件，也有伪影像。这样能让我们为CNN建立所需的权重。由于训练过程中所涉及的处理要求，训练流程一般执行于提供高性能运算的云端处理器上。

架构

机器学习是一个复杂的课题，尤其是如果每一次都得从头开始，定义网路、网路架构以及产生训练演算法。为了协助工程师实作网路和训练网路，有一些产业标准架构可供使用，例如Caffe和Tensor Flow。Caffe架构为机器学习开发人员提供各种工具库、模型以及具有C++库的预训练权重，同时提供Python和Matlab绑定。该架构能让使用者无需从头开始，就能建立并训练网路，以执行所需的运算。

为了便于重复使用，Caffe的使用者能通过model zoo共用自己的模型。Model Zoo提供多种能根据所需的专门任务实作和更新的模型。这些网路和权重定义在prototxt档案中。在用于机器学习环境时，prototxt档是用于定义推论引擎的档案。

图2：定义网路的Prototxt档案实例

实现嵌入式视觉和机器学习

基于可编程逻辑的解决方案越来越广泛地用于嵌入式视觉应用，例如异质的赛灵思(Xilinx) All Programmable Zynq-7000 SoC和Zynq UltraScale+MPSoC等多处理器SoC(MPSoC)。这些元件结合了可编程逻辑(PL)架构以及处理系统(PS)中的高性能ARM核心。这种组合形成的系统能够拥有更快的回应速度、极其灵活以便于未来修改，并且提供了高能效解决方案。

对于许多应用来说，低延迟的决策与反应时间极为重要，例如视觉导向的自主机器人，其回应时间对于避免对人员造成伤害、对环境造成破坏至关重要。增加反应时间的具体方法是使用可编程逻辑，实作视觉处理流水线，以及使用机器学习推断引擎实现机器学习。

相较于传统的解决方案，在这方面使用可编程逻辑，能够减少系统瓶颈问题。在使用基于CPU/GPU的方法时，每一阶段的运算都必须使用外部DDR，因为影像不能在有限的内部快取功能之间传递。可编程逻辑途径让内部RAM得以按需要提供缓冲，从而实现串流的方法。如此则可免于在DDR内储存中介元素，不仅减少影像处理的延迟，同时也降低了功耗，甚至提高了确定性，因为无需与其他系统资源分享存取。

图3：实现可编程逻辑的好处

在异质SoC中实现影像处理演算法和机器学习网路，可透过诸如reVISION堆叠等工具来实现。reVISION能同时支援传统影像应用，以及基于SDSoC工具的机器学习应用；reVISION并同时支援OpenVX和Caffe Framework。为了支援OpenVX架构，核心的影像处理功能可被加速至可编程逻辑中，以建立影像处理管线。同时，机器学习推论环境支援可编程逻辑中的硬体最佳化工具库，以实现执行机器学习实作方案的推论引擎。

图4：reVISION堆叠

reVISION并提供与Caffe的整合，如此，实现机器学习推论引擎，就像是提供prototxt档案和经训练的权重一样简单，并由架构负责处理其余的工作。然后再用prototxt档案对执行于处理系统上的C/C++调度器进行配置，以加速可编程逻辑中硬体最佳化工具库上的神经网路推论。可编程逻辑用于实现推论引擎，其中包含Conv、ReLu和Pooling等功能。

图5：Caffe流程整合

机器学习推论引擎实作方案中所使用的数值显示系统，也对机器学习的性能发挥重要影响。越来越多的机器学习应用采用更高效的较低精确度定点数值系统，例如INT8运算式。相较于传统的浮点32(FP32)途径，使用较低精确度的定点数值系统并不会造成明显的精确度降低。因为与浮点运算相较，定点数学更易于实现，转而采用INT8则能在一些实作中提供更高效且快速的解决方案。

对于在可编程逻辑解决方案中进行实作而言，使用定点数值系统十分理想，例如，reVISION能够在可编程逻辑中与INT8运算式协同工作。这些INT8运算式便于在可编程逻辑中使用专用的DSP模组。在使用相同的核心权重时，这些DSP模组架构能实现最多两个同步的INT8乘法累加运算进行。这样不仅能提供高性能的实作方案，而且还能降低功耗。可编程逻辑元件的灵活性也便于实现进一步降低精确度的定点数值表达系统。

表1：不同权重表现的网路精确度

真实世界性能

在嵌入式视觉应用中使用机器学习的应用实例之一是车辆的避免碰撞系统。以reVISION堆叠针对Xilinx UltraScale+MPSoC开发相关应用，使用SDSoC为可编程逻辑的各项功能进行加速，以达到最佳化性能，能明显提高反应程度。在用于实施GoogLeNet解决方案的条件下，比较reVISION MPSoC的反应时间以及基于GPU的途径发现，二者差异相当明显。reVISION 设计能在2.7ms的时间内发现潜在的碰撞事件并启动煞车(使用批次规模为1)，而基于GPU的方法则需要49ms~320ms的时间(大批次规模)，具体取决于实作方案。GPU架构需要大批次的规模才能实现较合理的输送量，但其代价是牺牲反应时间，而Zynq在批次规模为1的情况下也能以极低延迟实现高性能。这种反应时间上的差异可能就决定了是否发生碰撞。