CN112394950A - Ai模型部署方法、设备和存储介质 - Google Patents

Abstract

本申请提供了一种AI模型部署方法、第一电子设备、终端和存储介质。方法包括：响应于第二电子设备的模型部署请求，加载并显示预设的模型编排操作界面；若检测到用户基于模型编排操作界面选择的至少一个目标AI模型和编排的目标AI模型的协同配置信息，则将目标AI模型和目标AI模型的协同配置信息下发至第一电子设备的消息中心；在消息中心将目标AI模型和目标AI模型的协同配置信息基于物联网通信协议发送至第二电子设备。通过第一电子设备向第二电子设备下发目标AI模型和目标AI模型的协同配置信息，实现了第二电子设备在弱网的环境下调度目标AI模型，提高终端AI模型的高可扩展性和高可用性。

Description

AI模型部署方法、设备和存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种AI模型部署方法、设备和存储介质。

背景技术

常见的AI模型部署包括云端和终端两种部署模式。其中，云端部署模式指的是将AI模型算法部署在云端，在实际应用场景中，需要终端采集数据并经由网络传输至云端算法处理，并将结果回传至终端。终端部署模式指的是将AI模型的算法通过数据线或其他方式预先烧写到终端中，数据采集和算法处理均在终端完成。

虽然云端部署模式可以快速做模型的更新和替换，但是在实际应用场景中，需要终端通过网络采集数据并回传结果，存在流量成本高以及在弱网环境下延迟高的问题；而终端部署模式虽然支持在终端本地进行计算不依赖于网络环境，但是模型无法灵活更新和替换，一旦出现故障，则需要返厂进行故障排查，存在可扩展性差以及可用性低的问题。

发明内容

本申请提供了一种AI模型部署方法、设备和存储介质，旨在解决AI模型在没有网络的环境，具有高可扩展性和高可用性。

第一方面，本申请实施例提供了一种AI模型部署方法，应用于第一电子设备，所述方法包括：

响应于第二电子设备的模型部署请求，加载并显示预设的模型编排操作界面；

若检测到用户基于所述模型编排操作界面选择的至少一个目标AI模型和编排的所述目标AI模型的协同配置信息，则将所述目标AI模型和所述目标AI模型的协同配置信息下发至所述第一电子设备的消息中心；

在所述消息中心将所述目标AI模型和所述目标AI模型的协同配置信息基于物联网通信协议发送至所述第二电子设备，以使所述第二电子设备基于业务需求在所述模型容器中加载所述目标AI模型，根据所述目标AI模型的协同配置信息调度各个所述目标AI模型；所述目标AI模型的协同配置信息用于指示所述第二电子设备将所述目标AI模型和所述目标AI模型的协同配置信息关联存储。

第二方面，本申请实施例提供了一种AI模型部署方法，应用于第二电子设备，所述方法包括：

接收第一电子设备的消息中心基于物联网通信协议发送的目标AI模型和所述目标AI模型的协同配置信息；所述目标AI模型为用户基于第一电子设备的模型编排界面选择的AI模型，所述目标AI模型的协同配置信息为用户基于所述模型编排操作界面对用户选择的流程节点控制元素和所述目标AI模型进行编排得到；

将所述目标AI模型和所述目标AI模型的协同配置信息关联存储；

基于业务需求在所述模型容器中加载所述目标AI模型，根据所述目标AI模型间的协同配置信息调度各个所述目标AI模型。

第三方面，本申请实施例提供了一种AI模型部署设备，包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现上述第一方面的AI模型部署方法。

第四方面，本申请实施例提供了一种AI模型部署设备，包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现上述第二方面的AI模型部署方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述第一方面的AI模型部署方法，或者所述计算机程序被处理器执行时使所述处理器实现上述第二方面的AI模型部署方法。

本申请实施例提供了一种AI模型部署方法、设备和存储介质，通过第一电子设备将用户基于预设的模型编排操作界面选择的至少一个目标AI模型和编排的所述目标AI模型的协同配置信息下发至所述第一电子设备的消息中心；在所述消息中心将所述目标AI模型和所述目标AI模型的协同配置信息基于物联网通信协议发送至第二电子设备，进而通过所述目标AI模型的协同配置信息指示所述第二电子设备将所述目标AI模型和所述目标AI模型的协同配置信息关联存储，使得所述第二电子设备基于业务需求加载所述目标AI模型，根据所述目标AI模型的协同配置信息调度各个所述目标AI模型。实现了第二电子设备在弱网的环境下可以加载并调度模型容器中的目标AI模型，使得第二电子设备在无需网络传输数据时仍能灵活部署AI模型，提高AI模型的高可扩展性和高可用性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A至图1C是本申请实施例提供的第一电子设备的结构示意图；

图2A至图2B是本申请实施例提供的第二电子设备的结构示意图；

图3A是AI模型部署方法的场景示意图；

图3B是云服务器与终端设备的交互示意图；

图3C至图3D是第二电子设备调用目标AI模型的方法示意图；

图4是本申请实施例提供的AI模型部署方法应用于第一电子设备的一种可选实现流程示意图；

图5是本申请实施例提供的AI模型部署方法应用于第一电子设备的另一可选实现流程图；

图6是本申请实施例提供的AI模型部署方法应用于第二电子设备的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在说明本申请实施例提供的AI模型部署方法之前，对现有的AI模型部署方法以及AI模型部署原理进行示例性的说明。

请参阅图1A至图1C，图1A至图1C分别是本申请部分实施例提供的第一电子设备。如图1A所示，第一电子设备100包括第一存储器101、第一存储器控制器102、一个或多个第一处理器（CPU）103、一条或多条第一通信总线或第一信号线104。第一电子设备100可以在网络中为其他第二电子设备（如手机、平板电脑、ATM等）甚至是各种大型设备（如火车***、变电站***等）提供计算或者应用服务。应当理解，图1A只是示出了第一电子设备100的一个实例，该第一电子设备100的组件可以比图示具有更多或更少的组件，或者具有不同的组件配置。例如，所述第一电子设备还可以是云服务器或者云服务器集群。图1A所示的各种组件可以用硬件、软件或软硬件的组合来实现，包括一个或多个信号处理和/或专用集成电路。

第一存储器101可包括高速随机存取存储器，并且还可以包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，第一存储器101还可以包括远离一个或多个第一处理器103的存储器，例如经由外部端口以及通信网络访问的网络附加存储器。第一存储器控制器102可控制第一电子设备100的诸如一个或多个第一处理器103和其他如外设接口之类的组件对第一存储器101的访问。一个或多个第一处理器103具有高速的运算能力、长时间的可靠运行、强大的I/O外部数据吞吐能力以及更好的扩展性，运行各种存储在第一存储器101中的软件程序和/或指令集，以便执行第一电子设备100的各种功能，并对数据进行处理。其中，第一存储器101、第一存储器控制器102、一个或多个第一处理器103通过一条或多条第一通信总线或第一信号线104进行通信连接。

在本申请的一些实施例中，第一存储器101中存储有AI模型部署程序，第一电子设备100通过一个或多个第一处理器103执行存储在第一存储器101上的AI模型部署程序时，可以实现AI模型的训练，并在确定第二电子设备需要进行AI模型部署后，将训练完成的目标AI模型以及目标AI模型的协同配置信息发送至第二电子设备200（具体地，第二电子设备200如图2A与图2B所示），以便第二电子设备200根据业务需求进行目标AI模型的部署。

在本申请一些可选的实现方式中，第一电子设备100上还部署有消息中心105，所述消息中心105负责维持与第二电子设备200的心跳和物联网协议通信，支持第一电子设备100与第二电子设备200通过物联网通信协议在弱网环境下的通信。具体地，所述第一电子设备100通过一个或多个第一处理器103执行存储在第一存储器101上的AI模型部署程序，实现AI模型的训练后，将训练完成的所述AI模型下发至消息中心105，在消息中心105将目标AI模型和目标AI模型的协同配置信息基于物联网通信协议发送至第二电子设备200；其中，所述目标AI模型为与第二电子设备200的业务需求相匹配的AI模型。

示例性地，所述消息中心105可以是独立运行在第一电子设备100上的子程序。

在本申请一些可选的实现方式中，如图1B所示，第一电子设备100除了包括上述图1A所示的各组件之外，还部署有模型库106。模型库106用于存储第一电子设备100训练完成的AI模型，并供第一电子设备100基于第二电子设备200的业务需求获取目标AI模型。

示例性地，模型库106可以是与第一存储器101类似的高速随机存取存储器，也可以是非易失性存储器等。

在本申请一些可选的实现方式中，如图1C所示，第一电子设备100除了包括上述图1B所示的各组件之外，还部署有设备管理中心107。设备管理中心107用于存储第二电子设备200的AI模型的协同配置信息，并根据第二电子设备200上传的各个AI模型的运行日志确定各个AI模型的运行有无异常，实现对第二电子设备200上运行的各个AI模型的监控。

示例性地，设备管理中心107可以是独立运行在第一电子设备100上的子程序。

请参阅图2A与图2B所示，图2A和图2B分别是本申请部分实施例提供的第二电子设备。如图2A所示，第二电子设备200包括第二存储器201、第二存储器控制器202、一个或多个第二处理器（CPU）203、一条或多条第二通信总线或第二信号线204。第二电子设备200可以是手机、PAD等便携式手提终端，也可以是在各个应用场景下的监控设备、可穿戴设备或者机器人等。应当理解，图2A只是示出了第二电子设备200的一个实例，该第二电子设备200的组件可以比图示具有更多或更少的组件，或者具有不同的组件配置。图2A所示的各种组件可以用硬件、软件或软硬件的组合来实现，包括一个或多个信号处理和/或专用集成电路。

需要说明的是，第二电子设备200相较于图示的第一电子设备100，其构成组件基本相同，不同之处在于，第二电子设备200的计算能力和存储能力远低于第一电子设备100，即第二存储器201的存储能力远小于第一存储器101，一个或多个第二处理器202的处理计算能力远小于一个或多个第一处理器102。

第二电子设备200可以是经由通信设施向第一电子设备100输入程序和数据或接收第一电子设备100输出处理结果的设备。第二电子设备200通常设置在能利用通信设施与第一电子设备联接工作的方便场所，它主要由通信接口控制装置与专用或选定的输出装置组合而成。众多分散的第二电子设备200经由通信设施与第一电子设备100联接的***称为联机***。在需要向第一电子设备100输出少量而频繁的信息，或者需要查询检索第一电子设备100信息库时，常使用操作灵活的键盘显示第二电子设备。

示例性地，第二电子设备200是一种专用于网络计算环境下的设备。可以通过网络获取资源，应用软件和数据也都可以存放在第一电子设备100上。

在本申请一些可选的实现方式中，如图2B所示，第二电子设备200除了包括图2A所示的组件之外，还部署有模型容器205。模型容器205用于关联存储第一电子设备100下发的目标AI模型和目标AI模型的协同配置信息，供第二电子设备200基于业务需求加载目标AI模型，根据目标AI模型的协同配置信息调度各个目标AI模型。

示例性地，模型容器205配置有应用程序编程接口（Software Development Kit，SDK），部署在第二电子设备200上的各个应用可以通过SDK端口调用与各自的业务需求相匹配的目标AI模型，根据目标AI模型的协同配置信息完成目标AI模型的调用。

示例性的，如图3A所示，图3A是AI模型部署方法的场景示意图。第一电子设备100可以从第二电子设备200获取业务需求，执行AI模型部署方法生成目标AI模型，将目标AI模型和用户基于第二电子设备200的业务需求配置的目标AI模型的协同配置信息发送给第二电子设备200，以便第二电子设备200进行模型部署等操作。

在一实施例中，如图3B所示，第一电子设备100可以是为第二电子设备200提供AI模型的云服务器，所述云服务器除了具有常见的服务器功能之外，还包括消息中心105、模型库106以及设备管理中心107；其中，消息中心105、模型库106以及设备管理中心107的具体解释可以参见上述图1A至图1C的描述，在此不再赘述。

第二电子设备200为根据业务需求调用AI模型的终端设备，所述终端设备除了具有常见的终端设备功能之外，还包括模型容器205；所述模型容器205配置有应用程序编程接口（Software Development Kit，SDK），部署在第二电子设备200上的各个应用可以通过SDK端口调用与各自的业务需求相匹配的目标AI模型，根据目标AI模型的协同配置信息完成目标AI模型的调用。

例如，在一应用场景中，第二电子设备为安装在变电站的监控设备，第一电子设备为对变电站的监控设备提供AI模型的云服务器。在该应用场景中，变电站的监控设备对应的业务需求为识别违规作业人员，对应的云服务器根据该业务需求需要训练至少两个AI模型，假设为AI模型A和AI模型B。其中，AI模型A用于检测作业人员是否正确穿戴工作服和安全帽；AI模型B用于对作业人员进行人脸识别。

在本实施例中，云服务器为变电站的监控设备提供AI模型部署，在云服务器中存储有预先训练完成的与变电站的监控设备对应的各个业务需求相匹配的AI模型。例如云服务器将预先训练完成的各个AI模型存储在模型库中。当变电站的监控设备向云服务器发送携带有业务需求的模型部署请求后，云服务器基于该模型部署请求，加载并显示预设的模型编排操作界面。示例性地，所述模型编排操作界面可以是基于WEB的操作界面，该模型编排操作界面用于供用户根据第二电子设备的业务需求选择目标AI模型和配置目标AI模型的协同配置信息。当然，云服务器可以根据所述业务需求直接从模型库中获取目标AI模型，但是当与业务需求相匹配的目标AI模型为多个时，需要确定多个目标AI模型之间的协同关系，因此，本申请实施例中，设置了模型编排操作界面，并在模型编排操作界面上显示所有与当前业务需求相匹配的目标AI模型的信息以及流程节点控制元素，供用户根据模型编排操作界面编排各个目标AI模型的协同配置信息。

例如，在本实施例中，变电站的监控设备发送的满足业务需求的目标AI模型包括AI模型A和AI模型B，云服务器将AI模型A和AI模型B的信息以及各个流程节点控制元素显示在模型编排操作界面，用户通过模型编排操作界面编排两个模型，例如编排之后的协同配置信息包括：以AI模型A作为数据的第一入口，将AI模型A的检测输出图像作为AI模型B的输入，最终由AI模型B输出违规的人脸。

即在该应用场景下，第二电子设备按照顺序先调用AI模型A，在AI模型输出图像之后，再调用AI模型B，将AI模型输出的图像作为AI模型B的输入。详见附图3C所示。可以理解地，根据不同的应用场景，第二电子设备也可以是按照第一电子设备下发的协同配置规则包括的调用顺序，依次调用多个AI模型。

云服务器在检测到用户基于所述模型编排操作界面选择的AI模型A和AI模型B的协同配置信息后，将所述协同配置信息发送给预先注册的目标第二电子设备。在本申请的实施例中，为了实现在弱网环境下断点续传，云服务器将AI模型A、AI模型B以及AI模型A和AI模型B的协同配置信息下发到第一电子设备的消息中心，在所述消息中心将AI模型A和AI模型B以及AI模型A和AI模型B的协同配置信息基于物联网通信协议发送至变电站的监控设备。变电站的监控设备收到消息中心下发的模型协同配置信息后，解析所述模型协同配置信息，并加载下发的AI模型A和AI模型B，重新初始化并按照所述模型的协同配置信息调用AI模型A和AI模型B，在本实施例中，先通过AI模型A检测，再通过AI模型B识别，最终输出结果。由本实施例可知，各个AI模型的训练过程在云服务器端完成，各个AI模型的执行过程在变电站的监控设备端完成，使得AI模型在变电站的监控设备端的部署过程更灵活。

又如，在另一应用场景中，同样对应的第二电子设备是变电站的监控终端，对应第一电子设备为对变电站的监控终端提供AI模型部署的云服务器。在该应用场景中，变电站的监控设备对应的业务需求不是识别违规人员，而是在变电站进行防盗。对应在该应用场景下，云服务器需要提供不同光照条件下的人脸识别模型，例如亮光条件下的人脸识别模型C和暗光条件下的人脸识别模型D，并将不同光照条件下的人脸识别模型和不同光照条件下人脸识别模型的协同配置信息分别发送给变电站的监控终端，以供变电站的监控终端完成不同光照条件下模型的部署以及调用。例如亮光条件下的人脸识别模型C和暗光条件下的人脸识别模型D的协同配置信息包括：在光照强度大于预设光照强度阈值时，调用人脸识别模型C，在光照强度小于或等于预设光照强度阈值时，调用人脸识别模型D。

即在该应用场景下，第二电子设备是根据第一电子设备下发的协同配置规则包括的调用各个AI模型的条件，分别选择性地调用人脸识别模型C和人脸识别模型D。如图3D所示，对人脸识别模型C和人脸识别模型D的调用没有一定的顺序，当预设的条件（本实施例中为光照条件）满足调用人脸识别模型C时，调用人脸识别模型C，将人脸图像输入人脸识别模型C进行识别，或者当预设的条件满足调用人脸识别模型D时，调用人脸识别模型D，将人脸图像输入人脸识别模型D进行识别即可。可以理解地，在不同的应用场景下，根据预设的条件，也可以选择性地调用多余两个的人脸识别模型，且多余两个的人脸识别模型之间可以不具有固定的调用顺序。

具体地，对不同光照条件下人脸识别模型的部署及调用过程与上述应用场景中AI模型A和AI模型B的部署及调用过程相同，在此不再详述。

此外，本申请实施例提供的AI模型部署方法不仅限于上述实施例提供的应用场景，例如，可以适用于各种安检场景及自动化检测场景。

其中，安检场景中的第二电子设备可以是例如传染病防控中心的监测终端，对应的第一电子设备为对传染病防控中心的监测终端提供AI模型部署的云服务器。在该应用场景中，传染病防控中心的监测设备对应的业务需求为监测进入当前工作场所的人员是否佩戴口罩。对应在该应用场景下，云服务器需要提供用于检测口罩是否佩戴以及佩戴是否正常的AI模型和用于识别人脸轮廓的AI模型。例如用于检测口罩是否佩戴以及佩戴是否正常的AI模型E和用于识别人脸轮廓的AI模型F，并将AI模型E和AI模型F的协同配置信息分别发送给传染病防控中心的监测终端，以供传染病防控中心的监测终端完成对AI模型E和AI模型F的部署以及调用。例如AI模型E和AI模型F的协同配置信息包括：首先调用AI模型E，在AI模型E识别出未佩戴口罩的人员后，调用模型F，对未佩戴口罩的人员进行人脸识别。

即在该应用场景下，第二电子设备是根据第一电子设备下发的协同配置规则包括的调用各个AI模型的条件，首先调用AI模型E，并在AI模型E识别出未佩戴口罩的人员后，调用AI模型F。

其中，自动化检测场景中的第二电子设备可以是对人体固定姿态的自动化监测，例如自动化监控运动员的训练或运动状态，对应的第二电子设备可以是，例如运动员训练中心的监测终端，该监测终端用于自动化监控运动员的训练或运动状态，例如，自动化监控运动员的俯卧撑数量是否达标，对应的第一电子设备为对运动员训练中心的监测终端提供AI模型部署的云服务器。在该应用场景中，运动员训练中心的监测设备对应的业务需求为监测运动员的俯卧撑数量是否达标。对应在该应用场景下，云服务器需要提供用于检测人体图像的AI模型和用于识别人体姿态的AI模型。例如用于检测人体图像的AI模型G和用于识别人体姿态的AI模型H，并将AI模型G和AI模型H的协同配置信息分别发送给运动员训练中心的监测终端，以供运动员训练中心的监测终端完成对AI模型G和AI模型H的部署以及调用。例如AI模型G和AI模型H的协同配置信息包括：首先调用AI模型G，在AI模型G监测到人体图像后，调用AI模型H对监测到的人体图像进行人体姿态识别。具体地，在本实施例中调用AI模型H对监测到的人体图像进行俯卧撑姿态识别。

又如，自动化检测场景中的第二电子设备还可以是公共安全巡检场景中的监测设备，例如自动化监测是否有行人闯红灯的监测设备。对应的第一电子设备为对交通监控中心的监测终端提供AI模型部署的云服务器。在该应用场景中，交通监控中心的监测设备对应的业务需求为行人是否有行人闯红灯。对应在该应用场景下，云服务器需要提供行人跟踪AI模型和用于识别交通信号灯状态（如红、绿、黄等）的AI模型。例如行人跟踪AI模型I和用于识别交通信号灯状态的AI模型J，并将AI模型I和AI模型G的协同配置信息分别发送给交通监控中心的监测终端，以供交通监控中心的监测终端完成对AI模型I和AI模型J的部署以及调用。例如AI模型I和AI模型J的协同配置信息包括：首先调用AI模型I，在AI模型I跟踪到过马路的目标对象后，调用AI模型J识别当前的交通信号灯状态。

需要说明的是，上述各应用场景是对AI模型部署方法适用场景的举例，并不构成对AI模型部署方法适用场景的限制。

由上述分析可知，根据第二电子设备的业务需求，用户配置的协同配置信息包括：目标AI模型的调用顺序或者目标AI模型的调用条件。第二电子设备可以按照固定顺序分别调用对应的目标AI模型，也可以根据各个目标AI模型各自对应的调用条件，选择性地调用对应的目标AI模型。具体地，根据不用的业务需求，用户配置的协同配置信息还可以包括其他目标AI模型的协同配置信息，在此不再详述。

请参阅图4所示，图4是本申请实施例提供的AI模型部署方法应用于第一电子设备的一种可选实现流程示意图。由图4可知，本申请实施例提供的AI模型部署方法包括步骤S410至步骤S412。详述如下：

S410、响应于第二电子设备的模型部署请求，加载并显示预设的模型编排操作界面。

示例性的，第一电子设备在接收到第二电子设备发送的业务部署请求后，在第一电子设备的显示装置显示模型编排操作界面，用户可以通过与第一电子设备通信连接的输入装置在对应的界面选择至少一个目标AI模型和编排所述目标AI模型的协同配置信息。可以理解的，目标AI模型表示用户选择的与第二电子设备的业务需求相匹配的AI模型。此外，所述模型部署请求携带有第二电子设备的设备信息和第二电子设备的业务需求，第一电子设备在显示所述模型编排操作界面的同时，可以将所述业务需求和第二电子设备的设备信息显示在所述模型编排操作界面的预设区域，供用户根据设备信息和业务需求选择对应的目标AI模型以及编排目标AI模型的协同配置信息。

示例性地，与第一电子设备通信连接的输入装置包括但不限于键盘、鼠标、触控屏。

在一些实施方式中，所述业务需求包括以下至少一种：任务类型、终端类型、应用场景。

其中，任务类型表示第二电子设备需要的目标AI模型的实用场景，如该目标AI模型需要处理的任务，如分类、检测、视频、自然语言处理等。终端类型表示目标AI模型的部署环境，如部署该目标AI模型的终端的型号、终端的处理器类型、型号等。例如，终端的处理器类型可以包括CPU（Central Processing Unit）和/或GPU（Graphics Processing Unit）。应用场景可以包括以下至少一种：小样本检测、小物体检测、非均衡样本检测等。

可选地，模型编排操作界面可以是web端的界面，所述模型编排操作界面包括第一区域和第二区域；所述第一区域为元素区，包括流程节点控制元素和目标AI模型的信息，所述第二区域为画板区，用于供用户编排从所述第一区域选择的流程节点控制元素和目标AI模型，得到目标AI模型之间的协同配置信息。

示例性地，所述流程节点控制元素包括以下至少一种：调用顺序、数据入口、输出数据。所述目标AI模型的信息包括模型名称和类别。

其中，调用顺序表示第二电子设备调用各个目标AI模型的顺序，例如，需要首先调用AI模型A，在AI模型A输出检测结果后，再调用AI模型B，将AI模型A输出的检测结果输入AI模型B进行识别等。数据入口表示每个目标AI模型的输入数据类型以及调用对应类型数据的入口，例如，AI模型A的数据入口包括输入作业人员的全身图像信息和调用作业人员的全身图像信息的数据入口，AI模型B的数据入口包括输入AI模型A输出的检测图像和调用AI模型A输出的检测图像的数据入口。输出数据表示各个目标AI模型输出的结果，例如AI模型A的输出结果为包括未穿戴安全工作服的作业人员的图像，AI模型B的输出结构为对为穿戴安全工作服的作业人员的人脸识别结果。

在本申请的实施例中，在响应于第二电子设备的模型部署请求后，加载并显示预设的模型编排操作界面，可以使普通的工作人员根据可视化的模型编排操作界面的第一区域（元素区），选择流程节点控制元素和目标AI模型的信息，并在模型编排操作界面的第二区域（画板区），编排从所述第一区域选择的流程节点控制元素和目标AI模型，得到目标AI模型之间的协同配置信息。实现可视化的生成目标AI模型之间的协同配置信息，降低了目标AI模型之间协同配置信息的获取难度。

S411、若检测到用户基于所述模型编排操作界面选择的至少一个目标AI模型和编排的所述目标AI模型的协同配置信息，则将所述目标AI模型和所述目标AI模型的协同配置信息下发至所述第一电子设备的消息中心。

示例性地，不同的业务需求对应所要部署的AI模型类型、数量以及协同配置信息至少一样不同。在本申请的实施例中，第一电子设备中存储有预先训练完成的AI模型，预先训练完成的AI模型指的是在响应于第二电子设备的模型部署请求之前，第一电子设备已经训练完成的AI模型，第一电子设备可以将训练完成的AI模型存储在模型库中，第一电子设备还可以对训练完成的AI模型进行压缩和裁剪后存储在模型库中。具体地，第一电子设备可以根据预先配置的各个第二电子设备的算力，对训练完成的AI模型进行压缩，以使得训练完成的AI模型在第二电子设备中高效地运行。具体地，对应的压缩精度与第二电子设备的算力适配。

可以理解地，第一电子设备对各个AI模型的训练所需的时间、模型识别精度也可能不同，AI模型训练所需要初始模型、初始模型的训练时间、模型识别精度与第二设备的算力对应。因此，第一电子设备在响应于第二电子设备的模型部署请求之前，根据预先配置的各个第二电子设备的不同业务需求分别确定各个目标AI模型对应的初始模型及模型生成模式可以满足不同第二电子设备的定制化需求。

不同的模型生成模式表征用于训练所述初始模型的途径，即AI模型所生成的流程不同，也即模型生成的速度存在差异、生成目标AI模型的算力消耗不同，和/或目标AI模型的规模、准确度不同。

其中，第一电子设备训练生成各个目标AI模型后，可以将生成的各个目标AI模型存储在预设的模型库。具体地，所述模型库可以是设置在第一电子设备上用于存储AI模型的容器。

在一实施例中，若检测到用户基于所述模型编排操作界面的第一区域（元素区）选择的至少一个目标AI模型的信息和基于所述模型编排操作界面的第二区域（画板区）编排的所述目标AI模型的协同配置信息，则从所述模型库中获取所述目标AI模型，并将所述目标AI模型和所述目标AI模型的协同配置信息下发至所述第一电子设备的消息中心，实现了弱网环境的断点续传、重试。

S412、在所述消息中心将所述目标AI模型和所述目标AI模型的协同配置信息基于物联网通信协议发送至所述第二电子设备，以使所述第二电子设备基于业务需求在所述模型容器中加载所述目标AI模型，根据所述目标AI模型的协同配置信息调度各个所述目标AI模型。

其中，所述目标AI模型的协同配置信息用于指示所述第二电子设备将所述目标AI模型和所述目标AI模型的协同配置信息关联存储。例如，指示所述第二电子设备将所述目标AI模型和所述目标AI模型的协同配置信息关联存储于模型容器中。

其中，所述消息中心为预先部署在第一电子设备上，负责与第二电子设备的心跳和物联网协议通信的子***，在本实施例中，通过消息中心向第二电子设备下发目标AI模型和目标AI模型的协同配置信息，可以支持弱网环境断点续传，重试，保证目标AI模型以及目标AI模型的协同配置信息最终能够完成下发。

通过上述分析可知，本申请实施例提供的AI模型部署方法，通过第一电子设备将用户基于预设的模型编排操作界面选择的至少一个目标AI模型和编排的所述目标AI模型的协同配置信息下发至所述第一电子设备的消息中心；在所述消息中心将所述目标AI模型和所述目标AI模型的协同配置信息基于物联网通信协议发送至第二电子设备，进而通过所述目标AI模型的协同配置信息指示所述第二电子设备将所述目标AI模型和所述目标AI模型的协同配置信息关联存储，使得所述第二电子设备基于业务需求加载所述目标AI模型，根据所述目标AI模型的协同配置信息调度各个所述目标AI模型。实现第二电子设备在弱网的环境下可以加载并调度模型容器中的目标AI模型，使得第二电子设备在无需网络传输数据时仍能灵活部署AI模型，提高AI模型的高可扩展性和高可用性。

请参阅图5所示，图5是本申请实施例提供的AI模型部署方法应用于第一电子设备的另一可选实现流程图。由图5可知，本实施例与图4所示实施例相比，S514至S516与S410至S412的具体实现过程相同，在此不再详述，不同之处在于，在S514之前还包括S511至S513。具体如下：

S511，根据预先注册的所述第二电子设备的业务需求，训练得到支持所述第二电子设备的业务需求的至少一个AI模型。

示例性地，第二电子设备的业务需求可以由相关工作人员预先注册在第一电子设备中，第二电子设备的业务需求包括但不限于任务类型、终端类型或应用场景等。对应对于任务类型、终端类型以及应用场景的解释可详见上述图4对应实施例的描述，在此不再详述。具体地，第一电子设备可以将预先注册的各个第二电子设备对应的业务需求存储在第一电子设备的设备管理中心。所述设备管理中心为预先部署在第一电子设备上的子***，在一些可选的实现方式中，所述设备管理中心还用于存储第二电子设备的AI模型的协同配置信息，并根据第二电子设备上传的各个AI模型的运行日志确定各个AI模型的运行有无异常，实现对第二电子设备上运行的各个AI模型的监控。

在本申请的实施例中，第一电子设备可以根据第二电子设备的业务需求选择不同的AI模型的初始模型结构，不同的训练样本集以及不同的模型训练参数对各个AI模型进行训练。其中，初始模型结构包括但不限于卷积网络、残差网络、随机森林网络、决策树网络、聚类网络等。训练样本集包括但不限于人脸图像数据、动物图像数据、建筑物图像数据等。模型训练参数包括但不限于使模型收敛的权值衰减参数、学习率、Dropout等。

可以理解地，在选取训练样本集的过程中，还可能需要对训练样本进行预处理，得到满足训练需求的训练样本。其中，对训练样本进行预处理的手段包括但不限于数据扩充、数据筛选等。

此外，选取了各个AI模型的初始模型结构、训练样本和模型训练参数后，可以对选取的AI模型进行训练，具体的训练过程可以参见现有的模型训练过程，在此不再赘述。

S512，根据所述第二电子设备的适配芯片，将至少一个所述AI模型进行压缩和裁剪，得到支持所述第二电子设备的业务需求的目标AI模型。

其中，所述第二电子设备的适配芯片是指应用在第二电子设备上的芯片，常见的如主控Soc芯片，通常由通信处理器和应用处理器组成。在实际应用中，通过第二电子设备的适配芯片可以确定第二电子设备的算力。在本申请的实施例中，根据第二电子设备的适配芯片，将至少一个所述AI模型进行压缩和裁剪，得到与第二电子设备的算力相匹配的且支持所述第二电子设备的业务需求的目标AI模型。

S513，将所述目标AI模型放入预设的模型库中。

具体地，模型库为预先配置在第一电子设备上，用于存储第一电子设备训练完成的各个AI模型的仓库，其部署过程与数据库的部署过程相同，且功能也与数据库类似，在此不再详述。具体地，模型仓库可以按照AI模型的结构来组织、存储和管理AI模型。

S514，响应于第二电子设备的模型部署请求，加载并显示预设的模型编排操作界面。

S515，若检测到用户基于所述模型编排操作界面选择的至少一个目标AI模型和编排的所述目标AI模型的协同配置信息，则将所述目标AI模型和所述目标AI模型的协同配置信息下发至所述第一电子设备的消息中心。

S516，在所述消息中心将所述目标AI模型和所述目标AI模型的协同配置信息基于物联网通信协议发送至所述第二电子设备，以使所述第二电子设备基于业务需求在所述模型容器中加载所述目标AI模型，根据所述目标AI模型的协同配置信息调度各个所述目标AI模型；所述目标AI模型的协同配置信息用于指示所述第二电子设备将所述目标AI模型和所述目标AI模型的协同配置信息关联存储。

示例性地，在本申请的一些实施例中，第一电子设备将所述目标AI模型和所述目标AI模型的协同配置信息基于物联网通信协议发送至第二电子设备，指示第二电子设备将目标AI模型和目标AI模型的协同配置信息关联存储于第二电子设备预置的模型容器中，所述第二电子设备基于业务需求在所述模型容器中加载所述目标AI模型，根据所述目标AI模型的协同配置信息调度各个所述目标AI模型之后，第一电子设备还可以通过接收第二电子设备返回的各个目标AI模型的运行日志，确定各个目标AI模型的运行状态，进而根据各个目标AI模型的运行状态确定是否需要重新向第二电子设备下发目标AI模型的配置信息，保证AI模型在第二电子设备上的可运行性。具体地，第一电子设备接收第二电子设备基于物联网通信协议发送的各个目标AI模型的运行日志，在第一电子设备的设备管理中心根据各个目标AI模型的运行日志确定各个目标AI模型的运行状态有无异常。

示例性地，第一电子设备在设备管理中心解析运行日志，得到各个目标AI模型的处理速度、返回结果数据以及运行时间等，根据解析得到的处理速度、返回结果数据以及运行数据等，判断各个目标AI模型的运行有无异常。

示例性地，运行日志包括但不限于处理速度、返回结果数据、运行时间等。其中，处理速度可以是目标AI模型根据输入数据得到输出结果的速度；返回结果数据可以是目标AI模型根据输入数据得到的结果；运行时间可以是目标AI模型根据输入数据至输出结果数据所用的时间。

通过上述分析可知，本申请实施例提供的AI模型部署方法，首先在第一电子设备上根据预先注册的第二电子设备的业务需求，训练得到支持第二电子设备业务需求的至少一个AI模型，并进一步对训练得到的AI模型进行压缩和裁剪，使得AI模型的传输比特降低，提升AI模型的传输效率，且进行压缩和裁剪后得到与第二电子设备的算力更适配的目标AI模型，能够提高目标AI模型在第二电子设备上运行的效率；其次通过第一电子设备将用户基于预设的模型编排操作界面选择的至少一个目标AI模型和编排的所述目标AI模型的协同配置信息下发至所述第一电子设备的消息中心；在所述消息中心将所述目标AI模型和所述目标AI模型的协同配置信息基于物联网通信协议发送至第二电子设备，不仅实现了第二电子设备在弱网的环境下可以加载并调度模型容器中的目标AI模型，使得第二电子设备在无需网络传输数据时仍能灵活部署AI模型，还可以通过第二电子设备上传的目标AI模型的运行日志，实现对目标AI模型运行状态的监控，进而提高AI模型的高可扩展性和高可用性。

请参阅图6所示，图6是本申请实施例提供的AI模型部署方法应用于第二电子设备的流程示意图。如图6所示，在本实施例中，AI模型部署方法包括步骤S610至步骤S610至步骤S612。详述如下：

S610，接收第一电子设备的消息中心基于物联网通信协议发送的目标AI模型和所述目标AI模型的协同配置信息；所述目标AI模型为用户基于第一电子设备的模型编排界面选择的AI模型，所述目标AI模型间的协同配置信息为用户基于所述模型编排操作界面对用户选择的流程节点控制元素和所述目标AI模型进行编排得到。

其中，所述目标AI模型为第一电子设备根据第二电子设备的业务需求预先训练完成的AI模型，所有AI模型可以存储在第一电子设备上的模型库中，第一电子设备在接收到第二电子设备发送的AI模型部署请求后，加载并显示模型编排操作界面，供用户基于模型编排操作界面选择目标AI模型和编排目标AI模型的协同配置信息。

具体地，AI模型在第一电子设备端的训练过程以及用户基于模型编排操作界面选择和编排目标AI模型的过程可以详见上述实施例中的描述，在此不再赘述。

S611，将所述目标AI模型和所述目标AI模型的协同配置信息关联存储。

在本申请的实施例中，在第二电子设备上预先部署有模型容器，用于关联存储第一电子设备下发的目标AI模型和目标AI模型的协同配置信息，并提供应用程序调用接口，供第二电子设备上的应用根据业务需求调用对应目标AI模型的协同配置信息对应的各个目标AI模型，完成在本地运行目标AI模型，例如，第二电子设备在本地通过SDK暴露的接口请求，提供各个应用对应的目标AI模型，解决了从第一电子设备直接获取AI模型时流量成本高，延迟高和弱网环境无法提供服务的问题。

S612，基于业务需求在所述模型容器中加载所述目标AI模型，根据所述目标AI模型的协同配置信息调度各个所述目标AI模型。

通过上述分析可知，本申请实施例提供的模型部署方法，第二电子设备可以直接从预先配置的模型容器中加载并调度与业务需求相匹配的目标AI模型，进行本地处理，解决了从第一电子设备直接获取AI模型时流量成本高，延迟高和弱网环境无法提供服务的问题。

示例性地，第二电子设备在基于业务需求在所述模型容器中加载所述目标AI模型，根据所述目标AI模型的协同配置信息调度各个所述目标AI模型之后，还可以在所述模型容器中监测各个所述目标AI模型的运行状态；具体地，获取监测的各个所述目标AI模型的运行日志；将各个所述目标AI模型的所述运行日志分别发送至第一电子设备，各个所述目标AI模型的所述运行日志用于指示所述第一电子设备根据所述运行日志，判断各个所述目标AI模型的运行状态有无异常。

具体地，在本实施例中，第二电子设备通过物联网通信协议将各个所述目标AI模型的所述运行日志分别发送至第一电子设备的消息中心，其中，运行日志用于指示消息中心将运行日志上传至第一电子设备的设备管理中心，在设备管理中心解析运行日志，判断各个目标AI模型的运行有无异常。能够使第一电子设备根据目标AI模型的运行日志确定各个目标AI模型在第二电子设备上的运行状态，进而根据各个目标AI模型在第二电子设备上的运行状态控制更新或重新下发各个目标AI模型，实现第二电子设备对目标AI模型的高可扩展性和高可用性。

通过上述实施例可知，本申请提供的AI模型部署方法，通过在第一电子设备端进行AI模型的训练以及AI模型协同配置信息的编排，并将根据第二电子设备的业务需求选择的目标AI模型和目标AI模型的协同配置信息通过物联网协议下发至第二电子设备，能够保证AI模型的高效训练以及在弱网环境下模型部署的灵活性；通过第二电子设备根据业务需求直接从第二电子设备的模型容器中根据第一电子设备下发的目标AI模型的协同配置信息调度各个目标AI模型，解决了第二电子设备向第一电子设备获取模型数据时的流量成本高、延迟高和弱网环境无法提供服务的问题。

本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括AI模型部署程序指令，所述处理器执行所述AI模型生成程序指令，实现上述实施例提供的任一种所述的AI模型部署方法的步骤。

其中，所述计算机可读存储介质可以是前述任一实施例所述的第一电子设备或第二电子设备的内部存储单元，例如所述第一电子设备或第二电子设备的存储器或内存。所述计算机可读存储介质也可以是所述第一电子设备或第二电子设备的外部存储设备，例如所述第一电子设备或第二电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

应当理解，在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。

还应当理解，在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种AI模型部署方法，其特征在于，应用于第一电子设备，所述方法包括：

响应于第二电子设备的模型部署请求，加载并显示预设的模型编排操作界面；

若检测到用户基于所述模型编排操作界面选择的至少一个目标AI模型和编排的所述目标AI模型的协同配置信息，则将所述目标AI模型和所述目标AI模型的协同配置信息下发至所述第一电子设备的消息中心；

在所述消息中心将所述目标AI模型和所述目标AI模型的协同配置信息基于物联网通信协议发送至所述第二电子设备，以使所述第二电子设备基于业务需求在所述模型容器中加载所述目标AI模型，根据所述目标AI模型的协同配置信息调度各个所述目标AI模型；所述目标AI模型的协同配置信息用于指示所述第二电子设备将所述目标AI模型和所述目标AI模型的协同配置信息关联存储。

2.根据权利要求1所述的AI模型部署方法，其特征在于，在所述响应于终端的模型部署请求，加载并显示预设的模型编排操作界面之前，还包括：

根据预先注册的所述第二电子设备的业务需求，训练得到支持所述第二电子设备的业务需求的至少一个AI模型；

根据所述第二电子设备的适配芯片，将至少一个所述AI模型进行压缩和裁剪，得到支持所述第二电子设备的业务需求的目标AI模型；

将所述目标AI模型放入预设的模型库中。

3.根据权利要求1或2所述的AI模型部署方法，其特征在于，所述模型编排操作界面包括第一区域和第二区域；所述第一区域为元素区，包括流程节点控制元素和目标AI模型的信息，所述第二区域为画板区，用于供用户编排从所述第一区域选择的流程节点控制元素和目标AI模型，得到目标AI模型之间的协同配置信息。

4.根据权利要求1所述的AI模型部署方法，其特征在于，所述方法还包括：

接收所述第二电子设备基于物联网通信协议发送的各个所述目标AI模型的运行日志；

根据各个所述目标AI模型的运行日志确定各个所述目标AI模型的运行状态有无异常。

5.一种AI模型部署方法，其特征在于，应用于第二电子设备，所述方法包括：

接收第一电子设备的消息中心基于物联网通信协议发送的目标AI模型和所述目标AI模型的协同配置信息；所述目标AI模型为用户基于第一电子设备的模型编排界面选择的AI模型，所述目标AI模型间的协同配置信息为用户基于所述模型编排操作界面对用户选择的流程节点控制元素和所述目标AI模型进行编排得到；

将所述目标AI模型和所述目标AI模型的协同配置信息关联存储；

基于业务需求在所述模型容器中加载所述目标AI模型，根据所述目标AI模型的协同配置信息调度各个所述目标AI模型。

6.根据权利要求5所述的AI模型部署方法，其特征在于，所述方法还包括：

在所述模型容器中监测各个所述目标AI模型的运行状态；

获取监测的各个所述目标AI模型的运行日志；

将各个所述目标AI模型的所述运行日志分别发送至第一电子设备，各个所述目标AI模型的所述运行日志用于指示所述第一电子设备根据所述运行日志，判断各个所述目标AI模型的运行状态有无异常。

7.根据权利要求6所述的AI模型部署方法，其特征在于，将各个所述目标AI模型的所述运行日志分别发送至第一电子设备，包括：

通过物联网通信协议将各个所述目标AI模型的所述运行日志分别发送至所述第一电子设备的消息中心，以使所述消息中心将所述运行日志上传至所述第一电子设备的设备管理中心，在所述设备管理中心解析所述运行日志，判断各个所述目标AI模型的运行有无异常。

8.一种AI模型部署设备，其特征在于，包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如权利要求1至4中任一项所述的AI模型部署方法。

9.一种AI模型部署设备，其特征在于，包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如权利要求5至7中任一项所述的AI模型部署方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至4中任一项所述的AI模型部署方法，或者所述计算机程序被处理器执行时使所述处理器实现如权利要求5至7中任一项所述的AI模型部署方法。

Images