文章目录
- 为什么需要嵌入式AI
- 嵌入式AI是如何工作的
- 嵌入式AI的应用
嵌入式AI，又称为EAI（Embedded Artificial Intelligence，嵌入式人工智能），是一个内置在网络设备中的AI功能通用框架系统，为网络设备上基于AI算法的功能提供公共的模型管理、数据获取和预处理功能，并且支持将推理结果发送给基于AI算法的功能。不仅能够充分利用设备的样本数据和计算能力，而且具有降低数据传送成本、保证数据安全以及保证推理决策的实时性等优点。
为什么需要嵌入式AI
以人工智能为代表的第四次工业革命已经来临，AI正在以前所未有的速度深刻改变人类社会生活，改变世界。AI技术可以在参数调优、应用识别、安全、故障诊断等多个方面为网络设备创造价值。
AI的三个核心要素是：算法、算力和数据，如果设备上支持的AI功能都单独维护一套算法、算力和数据，基于AI算法的功能要求设备提供海量的样本数据和高性能的计算能力，将严重影响设备的正常运行。
嵌入式AI系统提供了一个完整的AI功能通用框架系统，AI功能可以订阅嵌入式AI系统的服务。订阅后，嵌入式AI系统会基于AI算法对该AI功能相关的实时数据进行推理，AI功能根据推理结果可以指导功能实现。在数据产生的本地进行分析和推理，具有降低数据传送成本、保证数据安全以及保证推理决策的实时性等优点。
嵌入式AI是如何工作的
嵌入式AI系统主要由三个模块组成：
- 模型模块：也可称为算法模块，集成了多种AI算法。模型模块管理了多个模型文件，每个文件中会包含一个或多个模型，不同的模型对应不同的AI算法。用户可以通过加载、删除模型文件，来管理嵌入式AI系统使用的AI算法。
- 数据模块：具有数据获取、数据预处理的能力，管理设备上所有AI功能需要的数据。
- 算力模块：基于模型模块的算法和数据模块的数据进行推理，推理结果会发送给设备上支持的AI功能，这些功能会对推理结果进行分析并形成具体配置下发到设备上。
嵌入式AI系统工作原理
嵌入式AI系统的工作原理如图所示，具体工作流程如下：
- 嵌入式AI系统的数据模块采集设备上各AI功能的相关数据，并对数据进行预处理，作为算力模块的输入。
- 用户在嵌入式AI系统中加载或删除不同的模型文件。这些模型文件中会包含各个AI功能适用的已经训练好的模型。
- 设备上的AI功能订阅嵌入式AI系统的服务。这个过程不需要用户配置，启用AI功能后即可完成订阅。AI功能订阅嵌入式AI服务后，嵌入式AI会对模型文件内该AI功能订阅的模型进行保护，确保最新版本的模型不可被删除，作为算力模块的输入。
- 算力模块根据模型模块的算法和数据模块的数据进行推理，并将推理结果发送给已经启用的AI功能。
- AI功能对嵌入式AI的推理结果进行分析后下发具体配置。
嵌入式AI的应用
AI ECN（Artificial Intelligence Explicit Congestion Notification）是一种根据现网流量模型智能地调整无损队列的ECN门限的功能，可以保障零丢包下的低时延和高吞吐，让无损业务达到最优性能。
传统的静态ECN功能需要手工配置ECN门限、ECN标记概率等参数，对于需要无丢包传输的无损业务，无法使ECN门限适应队列中不断变化的缓存空间。AI ECN订阅嵌入式AI功能，可以根据现网流量模型进行AI训练，对网络流量变化进行预测，及时推理出最优ECN门限，并且支持根据现网流量变化实时调整ECN门限，进行无损队列缓存的精确管控，保障整网的最优性能。
设备启用AI ECN功能后，会自动订阅嵌入式AI系统的服务。AI ECN组件收到推送的流量状态信息后，根据嵌入式AI系统的推理结果，智能的对当前的流量模型进行判断，如果该流量模型是嵌入式AI系统内已训练的模型，AI ECN组件将根据嵌入式AI系统推理的最优结果，计算出与当前网络状态匹配的ECN门限配置，并将最优ECN门限下发到设备中，调整无损队列的ECN门限。对于新获得的流量状态，将重复上述操作，保障无损队列的低时延和高吞吐，从而让不同流量场景下的无损业务性能都能达到最佳。
