作者 Werner Goertz Annette Jump Gartner团体科技团队研讨总监 Alan Priestley Gartner研讨总监

摘要：在继续完善机器学习模型和训练进程中，各种团体设备(如：挪动设备、汽车和物联网)发扬着不可或缺的作用。着重论述了团体设备在优化深度学习架构中发扬的关键作用。

　　传统的机器学习包括两个功用：训练和推理(运转工夫)。训练模型(参见图1)经过比照真实事情(例如，捕获图像中的对象)完成继续改良和完善。在传统模型中，训练和推理完全在云中运转(图1中左侧的垂直箭头)。但是，这种形式最终会遇到可扩展性成绩，如：不可承受的延迟，依赖永远在线的带宽和数据隐私成绩等。因而，一种新的机器学习架构正在衰亡，处于网络边缘的设备在机器学习中扮演一定角色，尤其是在推理(右侧垂直箭头所示)方面。

　　关于各种设备制造商而言，这种新的散布式架构是很好的选择。科技产品管理指导者必需理解这一新兴趋向，掌握可以启动设备，将推理放在边缘上或设备中的组件和框架知识。如今，制定道路图成为了必要条件，它将本地AI(人工智能)处置和价值发明思索到其中。下列设备将受害于新架构构造的开发，并成为设备层面的推理备选项：

　　● 支持虚拟团体助理的扬声器(VPA-enabled speakers)

　　● 家庭网关(home gateways)

　　● 智能手机

　　● 平板电脑/团体电脑

　　● 家庭传感器(home sensors)。

　　在继续完善机器学习模型和训练进程中，各种团体设备(如：挪动设备、汽车和物联网)发扬着不可或缺的作用。

　　在本文中，我们着重阐了团体设备在优化深度学习架构中发扬的关键作用。

1 AI市场与散布式AI框架相交融

　　抢先的AI框架组合曾经成形，并正在支持AI组件的无缝集成。这些框架包括：

　　● TensorFlow/TensorFlow Lite：TensorFlow是Google的开源工具和软件库，旨在减速机器学习使用的开发进程。2017年5月，TensorFlow Lite在Google I/O上推出。

　　● Caffe：Caffe是加州大学伯克利分校开发的独立框架。Caffe也是一种开源框架，由全球奉献者网络提供支持。

　　● MXNet：Nvidia和Amazon是MXNet面前的推进力。Amazon Web Services(AWS)的客户对该开源框架推崇有加。

2 运转中的边缘AI

　　如今，技术供给商，特别是在智能家居范畴的供给商都在面向边缘AI的将来格式设计相关产品，而基于机器学习的智能数据剖析就是不错的末尾。此类典型产品包括：

　　● 联网家庭中枢和Wi-Fi接入点的制造商Securifi曾经将其机器学习功用使用于高端Almond路由器系列，“学习”联网家庭设备的典型行为和流量形式

　　● Speechmatics正在开发最终可以完全在设备上运转的自然言语处置技术

　　● Mojo Networks提供基于AI的工具以检测Wi-Fi或有线网络成绩。简单来说，创业有四步：一创意、二技术、三产品、四市场。对于停留在‘创意’阶段的团队，你们的难点不在于找钱，而在于找人。”结合自身微软背景及创业经验。

3 AI处理方案的开发需求团体设备供给商思索两个开展阶段

　　除了确定AI处理方案的运用目的，在评价AI处理方案的部署状况时，技术产品管理指导者必需思索两个关键的开发阶段，详细如下。

3.1 开发和训练AI模型/神经网络

　　许多基于AI的项目应用基于数据中心的资源，开发和训练用户与其团体设备互动的模型和神经网络，从而从AI处理方案中获益。应用数据中心资源的缘由在于神经网络的初始模型必需经过训练和“提升”，才干承当预期的特定义务，包括语音辨认/呼应、语音翻译或图像辨认。这通常要求模型可以拜访少量的“已知”数据和运转模型的延续迭代，来确保提供正确后果。训练神经网络需求高功能的效劳器驱动零碎，该零碎可以完成极高的数据吞吐量，以保证模型的屡次迭代在可控工夫段内运转。这些零碎通常基于高功能x86微处置器，并辅以一系列图形处置器(GPU)，来减速神经网络算法的高度并行元素。

　　在很大水平上，经过训练的神经网络的牢靠性取决于训练网络的已知优秀数据。这将要求设备供给商的技术产品管理指导者评价目前哪些数据可用，或可以拜访哪些数据训练神经网络在可用数据缺乏的状况下，可以受权第三方数据集，或取得预训练神经网络模型的拜访权限。运用预训练的神经网络可以最大限制地增加对高功能效劳器根底架构的投资，而在训练阶段处置大型数据集离不开这些根底架构。

　　在开发和训练模型或神经网络之后，开发人员通常会优化模型，以便在基于“未知”数据推断新后果，即在供客户运用之时，增加费用和等候工夫。

3.2 确定如何无效地为客户部署AI处理方案

　　用于部署AI处理方案，依据未知数据推断后果的选择有多种：

　　(1)云端部署

　　关于许多开发人员而言，这将是很复杂的部署方案。开发人员可以应用与开发神经网络相反的零碎和技术，这些零碎曾经成为许多云效劳中的“规范”产品。

　　这种办法面临的应战是少量原始数据必需传递到云端，以便神经网络做出呼应。这需求一个延续的高带宽通讯衔接到云端，运用具有有线互联网衔接的设备，这一切将成为能够(例如智能家居设备和VPA)。但是，当无法保证云端衔接或带宽无限时，此办法并不适用(例如蜂窝衔接)。

　　另一个必需思索的要素是云效劳处置输出数据，以及在合理工夫内做出呼应的才能，这就是所谓的延迟。人们关于在用户心生不满、转而采用其它办法之前的合理零碎呼应工夫内已展开了诸多研讨。而且随着AI零碎被用于义务关键型/生命关键型决策，延迟将越来越重要(例如自主驾驶零碎)。

　　在很多状况下，使用顺序延迟将是数据传输工夫与神经网络原始执行工夫共同的后果。在任何时分，这两种状况都会遭到用户数量的影响。在顶峰期，网络带宽或云计算才能能够会限制功能。

　　(2)团体设备

　　经过训练神经网络和优化推理模型，运转模型所需的处置资源普通远远少于训练阶段所需的资源。这可以使模型在更复杂的设备上运转，如：FPGA、公用神经网络芯片，甚至明天许多团体设备中运用的Arm处置器内核。

　　在团体设备中部署神经网络模型可以协助开发人员处理依赖云效劳形成的延迟和衔接性应战。

　　但是，将神经网络模型迁至设备自身也存在应战。首先，团体设备必需有足够的资源运转神经网络模型和数据存储，保管参考数据，使其可以依据新的未知输出推断答案。

　　团体设备有各种设计限制。这些限制能够包括外形规格、电池寿命、功用性或大批量可制造性。因而，许多设备都采用定制AP(使用处置器)设计，这些AP将设备的大局部功用集成到单个芯片上。定制AP的典型示例包括苹果公司在其智能手机战争板电脑中运用的A系列处置器，以及用于智能手机的高通Snapdragon AP。公用微控制器也常用于外形尺寸较大的团体设备。一切这些半导体器件都旨在均衡功能要求与延伸的电池寿命，即最低的设备功耗。

　　许多开发AP的半导体供给商正在评价可以运转神经网络的额定功用模块。其中一些模块公用于特定的神经网络功用，例如图像辨认。其他模块则提供更多的灵敏性，以便开发人员依据本人的需求优化神经网络。

　　如今，许多IP公司提供可集成到AP设计中的数字信号处置器(DSP)、GPU和FPGA IP模块一切这些都可以提供运转神经网络模型所需的并行性。

　　此外，一些公司正在开发公用的AI处置器。但大局部都还没有上市，不过在此时期，这些公司还提出了将AI功用添加到团体设备上的另一个选项。但是，由于这些AI处置器通常基于专有的处置器架构，提供完选集成的软件堆栈能够具有应战性。因而，应该停止片面的评价，评价收益与替代设计决策比照。

　　运用规范团体电脑架构的更复杂的团体设备可以选择运用基于周边设备互连高速(Peripheral Component Interconnect Express)的GPU或FPGA附加卡(FPGA add-in card)执行神经网络功用。

　　(3)两者兼具

　　关于许多使用而言，由于功能、功耗和外形规格要素的限制，完全在团体设备上运转神经网络模型能够并不可行。在这种状况下，最好别离推理操作，在设备和云中的其它设备上停止操作。