CN115988092B - 一种图像处理方法、装置、设备、介质及产品 - Google Patents

Abstract

本发明实施例提供了图像处理方法、装置、设备、介质及产品。方法包括：获取图像处理任务；图像处理任务包括多个子任务，获取可用的网络延时从小到大排序的处理节点，针对每个子任务，根据节点类型，任务类型，以及类型匹配规则，将子任务分配给候选处理节点，候选处理节点在相同节点类型中网络延时最小，根据子任务在当前处理节点上的预估处理时长，对子任务重新分配处理节点，直至分配给目标处理节点，由目标处理节点执行子任务，使得在将子任务先分配给相匹配的延时较小的候选处理节点，再根据预估处理时长重新分配处理节点，灵活使用处理节点，在计算能力和网络延时两个方面达到综合最优，提高了图像处理的实时性，减少了带宽占用。

Description

一种图像处理方法、装置、设备、介质及产品

技术领域

本发明涉及计算机技术领域，特别是涉及一种图像处理方法、一种图像处理装置、一种电子设备、一种可读存储介质以及一种计算机程序产品。

背景技术

视频分析技术能自动检测、识别目标并做出相应反应，极大地减少了人力消耗。伴随着视频监控的普及和应用，视频分析技术也得到广泛地应用。采用优化的深度学习模型可以有效提高分析准确率，而这些模型往往需要强算力的计算资源（如GPU（GraphicsProcessing Unit，图形处理器））作为运算设备，因此很多视频分析***运行在云端，受限于网络带宽，视频分析的延时增加，从而降低了视频分析的性能。

在视频监控以及其他实时性要求高的场景，只在云端分析无法满足延时要求，针对这类场景，人们提出了边缘计算的概念，即将计算和存储放在靠近物或数据源头的网络边缘侧。边缘计算减少了云上计算资源和存储资源的占用，减少带宽使用，同时能为边缘提供私有化、个性化应用服务。但很多边缘分析***在执行大量任务时，都会降低实时计算性能和增加带宽占用。

发明内容

本发明实施例所要解决的技术问题是提供一种图像处理方法、装置、电子设备、可读存储介质及计算机程序产品，以便解决在执行大量任务时降低实时计算性能和增加带宽占用的问题。

为了解决上述问题，本发明提供了一种图像处理方法，包括：

获取图像处理任务；所述图像处理任务包括多个子任务；

获取可用的网络延时从小到大排序的处理节点；

针对每个子任务，根据所述处理节点的节点类型，所述子任务的任务类型，以及类型匹配规则，将所述子任务分配给候选处理节点；其中，所述候选处理节点为相同节点类型的处理节点中网络延时最小的处理节点；

针对每个子任务，根据所述子任务在当前处理节点上的预估处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点；其中，所述目标处理节点比所述候选处理节点的网络延时更大；

由所述目标处理节点执行所述子任务。

可选地，所述根据所述处理节点的节点类型，所述子任务的任务类型，以及类型匹配规则，将所述子任务分配给候选处理节点包括：

根据所述子任务的任务类型和类型匹配规则，确定对应的处理节点的候选节点类型；

在所述候选节点类型的处理节点中，将所述子任务分配给网络延时最小的候选处理节点。

可选地，所述任务类型包括基础任务、和过滤任务、和机器学习任务；所述节点类型包括第一类型、和第二类型、和第三类型；所述第三类型的处理节点比所述第二类型的处理节点的计算能力更强且网络延时更大；所述第二类型的处理节点比所述第一类型的处理节点的计算能力更强且网络延时更大；所述基础任务和过滤任务对应的候选节点类型为第一类型；所述机器学习任务对应的候选节点类型为第二类型。

可选地，所述根据所述子任务在当前处理节点上的预估处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点包括：

计算所述子任务在当前处理节点上的预估处理时长；

将所述预估处理时长和已执行的子任务的处理时长的和值，确定为所述图像处理任务的任务处理时长；

根据所述任务处理时长，和所述图像处理任务的预设处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点。

可选地，所述根据所述任务处理时长，和所述图像处理任务的预设处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点包括：

若所述任务处理时长大于所述图像处理任务的预设处理时长，则在所述网络延时从小到大排序的处理节点中，将所述子任务分配给当前处理节点的下一个处理节点；

若所述任务处理时长不大于所述图像处理任务的预设处理时长，则将当前处理节点确定为所述目标处理节点。

可选地，所述方法还包括：

若所述任务处理时长不小于所述图像处理任务的预设处理时长，则将所述当前处理节点标记为不接受所述图像处理任务的其他子任务。

本发明还提供了一种图像处理装置，包括：

任务获取模块，用于获取图像处理任务；所述图像处理任务包括多个子任务；

节点获取模块，用于获取可用的网络延时从小到大排序的处理节点；

候选节点分配模块，用于针对每个子任务，根据所述处理节点的节点类型，所述子任务的任务类型，以及类型匹配规则，将所述子任务分配给候选处理节点；其中，所述候选处理节点为相同节点类型的处理节点中网络延时最小的处理节点；

目标节点分配模块，用于针对每个子任务，根据所述子任务在当前处理节点上的预估处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点；其中，所述目标处理节点比所述候选处理节点的网络延时更大；

任务执行模块，用于由所述目标处理节点执行所述子任务。

可选地，所述候选节点分配模块包括：

类型确定子模块，用于根据所述子任务的任务类型和类型匹配规则，确定对应的处理节点的候选节点类型；

候选节点分配子模块，用于在所述候选节点类型的处理节点中，将所述子任务分配给网络延时最小的候选处理节点。

可选地，所述任务类型包括基础任务、和过滤任务、和机器学习任务；所述节点类型包括第一类型、和第二类型、和第三类型；所述第三类型的处理节点比所述第二类型的处理节点的计算能力更强且网络延时更大；所述第二类型的处理节点比所述第一类型的处理节点的计算能力更强且网络延时更大；所述基础任务和过滤任务对应的候选节点类型为第一类型；所述机器学习任务对应的候选节点类型为第二类型。

可选地，所述目标节点分配模块包括：

预估子模块，用于计算所述子任务在当前处理节点上的预估处理时长；

任务时长确定子模块，用于将所述预估处理时长和已执行的子任务的处理时长的和值，确定为所述图像处理任务的任务处理时长；

目标节点分配子模块，用于根据所述任务处理时长，和所述图像处理任务的预设处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点。

可选地，所述目标节点分配子模块包括：

重新分配单元，用于若所述任务处理时长大于所述图像处理任务的预设处理时长，则在所述网络延时从小到大排序的处理节点中，将所述子任务分配给当前处理节点的下一个处理节点；

节点确定单元，用于若所述任务处理时长不大于所述图像处理任务的预设处理时长，则将当前处理节点确定为所述目标处理节点。

可选地，所述装置还包括：

标记模块，用于若所述任务处理时长不小于所述图像处理任务的预设处理时长，则将所述当前处理节点标记为不接受所述图像处理任务的其他子任务。

本发明实施例还公开了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现如上所述的方法步骤。

本发明实施例还公开了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本发明实施例中一个或多个所述的方法。

本发明实施例还公开了一种计算机程序产品，所述计算机程序产品在电子设备上运行时，使处理器执行时实现本发明实施例中一个或多个所述的方法中的步骤。

依据本发明实施例，通过获取图像处理任务；所述图像处理任务包括多个子任务，获取可用的网络延时从小到大排序的处理节点，针对每个子任务，根据所述处理节点的节点类型，所述子任务的任务类型，以及类型匹配规则，将所述子任务分配给候选处理节点；其中，所述候选处理节点为相同节点类型的处理节点中网络延时最小的处理节点，针对每个子任务，根据所述子任务在当前处理节点上的预估处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点；其中，所述目标处理节点比所述候选处理节点的网络延时更大，由所述目标处理节点执行所述子任务，使得在将不同任务类型的子任务先分配给相匹配的节点类型的候选处理节点，并优先使用网络延时较小的处理节点，再根据预估处理时长，对子任务重新分配处理节点，以网络延时的增加换取更短的处理时长，灵活使用处理节点，在计算能力和网络延时两个方面达到综合最优，提高了图像处理的实时性，减少了带宽占用。

附图说明

图1示出了本发明的一个实施例提供的一种图像处理方法的步骤流程图；

图2示出了一种实时视频分析***的示意图；

图3示出了本发明的另一个实施例提供的一种图像处理方法的步骤流程图；

图4示出了两步骤三阶段任务划分的示意图；

图5示出了任务节点分配流程的示意图；

图6示出了一种高精度视频分析***的模块框图；

图7示出了目标识别场景的示意图；

图8示出了本发明的另一个实施例提供的一种图像处理装置实施例的结构框图；

图9示出了根据一示例性实施例示出的一种用于图像处理的电子设备的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明实施例提供的一种图像处理方法的步骤流程图，具体可以包括如下步骤：

步骤101，获取图像处理任务；所述图像处理任务包括多个子任务。

在本发明实施例中，图像处理任务是指对图像进行处理的任务，例如，视频分析任务，或者其他任意适用的任务，本发明实施例对此不做限制。图像处理任务包括多个子任务，具体可以根据实际情况进行划分，本发明实施例对此不做限制。图像处理任务的待处理数据可以是针对数据源端采集的图像数据，例如，视频流数据。

例如，对于一个视频分析任务来说，将视频流解码、对视频帧进行剪裁、对连续多个视频帧进行运动检测、图像增强等基础任务，作为子任务B，将检测到视频帧中的目标、过滤掉不感兴趣的图像等过滤任务，作为子任务F，将对视频帧中的感兴趣的目标进行分析、对视频帧中的目标进行更高精度的分类等机器学习任务，作为子任务M。

步骤102，获取可用的网络延时从小到大排序的处理节点。

在本发明实施例中，处理节点是指用于执行图像处理任务的节点，例如，在一个边缘计算架构中，边缘节点通过合理部署和调配网络边缘侧节点的计算和存储能力，实现基础服务响应，边缘节点的上报数据将在云端节点进行存储，同时边缘节点无法处理的分析任务和综合全局信息的处理任务仍旧需要在云端节点完成。除此之外，云端节点还可以根据网络资源分布动态调整边缘节点的部署策略和算法。边缘节点和云端节点都是处理节点。具体还可以包括任意适用的处理节点，本发明实施例对此不做限制。

在本发明实施例中，对于图像处理任务，可用的处理节点是已知确定的。例如，图像处理任务是对来自于数据源端的图像数据进行处理的任务，对于数据源端来说，数据源端能就近接入网络的最边缘的一个或多个处理节点是可用的，然后从该最边缘的一个或多个处理节点到最中心的处理节点所途径的各个处理节点也是可用的。

在本发明实施例中，对于图像处理任务来说，处理节点的网络延时是指图像处理任务的待处理数据从数据源端传输到处理节点所带来的延时。处理节点的网络延时可以根据历史网络延时和当前网络状况确定。越靠近数据源端的处理节点的网络延时就小，不需要确定网络延时的真实值，只需要将处理节点按照网络延时从小到大排序即可。

例如，如图2所示的一种实时视频分析***的示意图，具体包括以下几个部分：终端资源：T1，T2…Tn表示第1，2…N个终端节点；边端资源：E1，E2…En表示第1，2…N个边端节点；云端资源：C1，C2…Cn表示第1，2…N个云端节点。云端资源、边端资源、终端资源都由多个节点资源构成，能并发处理多路视频流。视频流从采集设备（Cam1，Cam2…Camn）流出，依次经终端节点，边端节点，流向云端节点处理，在此流向中，处理节点的计算能力越来越强，而网络延时也随之增大。本发明实施例中支持水平和垂直拓展处理节点，比如增加一个或多个终端节点处理视频流，从而实现水平扩展，即在更多的终端节点中选择一个终端节点来处理视频流，或者比如增加一个或多个边端节点串联到现有***，从而实现垂直扩展，即可以分给更多层级的处理节点来处理图像处理任务。

步骤103，针对每个子任务，根据所述处理节点的节点类型，所述子任务的任务类型，以及类型匹配规则，将所述子任务分配给候选处理节点；其中，所述候选处理节点为相同节点类型的处理节点中网络延时最小的处理节点。

在本发明实施例中，处理节点具有节点类型，节点类型是按照网络架构的划分决定的。例如，处理节点的节点类型可以分为终端节点、边端节点、云端节点等。具体可以根据实际情况设置任意适用的节点类型，本发明实施例对此不做限制。对于图像处理任务的可用的处理节点，同一节点类型的处理节点之间计算能力和网络延时差别相对较小，不同节点类型的处理节点之间计算能力和网络延时差别相对较大。

在本发明实施例中，子任务具有任务类型，图像处理任务是按照任务类型划分成多个子任务。子任务的任务类型是由子任务对待处理数据的处理决定的。例如，任务类型可以包括基础任务、和过滤任务、和机器学习任务等。具体可以根据实际需要设置任意适用的任务类型，本发明实施例对此不做限制。

在本发明实施例中，类型匹配规则是指预先设置的任务类型和节点类型之间的匹配规则。一个任务类型的子任务适合一个或多个节点类型的处理节点来执行。但是类型匹配规则只是给出优选的匹配关系，并不对子任务最终分配的处理节点进行限制。

在本发明实施例中，子任务可能有依赖关系，例如，机器学习任务需再基础任务执行完之后执行。对于有执行顺序的子任务，后处理的子任务需要待先处理的子任务完成后再执行，对于没有执行顺序的子任务，可以并行执行，也可以排队执行，本发明实施例对此不做限制。

在本发明实施例中，针对每个子任务，根据处理节点的节点类型，该子任务的任务类型，以及类型匹配规则，可以确定该子任务的任务类型匹配的节点类型。在该节点类型的处理节点中，将网络延时最小的处理节点作为候选处理节点。先将子任务分配给候选处理节点。具体是将图像处理任务先分配到该候选处理节点。

步骤104，针对每个子任务，根据所述子任务在当前处理节点上的预估处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点；其中，所述目标处理节点比所述候选处理节点的网络延时更大。

在本发明实施例中，当前处理节点子任务当前被分配给的处理节点，可以是候选处理节点，也可以是其他处理节点。当前处理节点先不直接执行该子任务。先确定该子任务在当前处理节点上的预估处理时长。预估处理时长可以根据子任务的任务类型、子任务所需处理的数据量、当前处理节点的计算资源及其使用情况（如处理器、内存等）等有关信息，按照预先设置的估算算法，计算出预估处理时长。具体可以采用任意适用的估算算法，本发明实施例对此不做限制。

在本发明实施例中，根据子任务在当前处理节点上的预估处理时长，对子任务重新分配处理节点，有可能重新分配一次，就分配给目标处理节点，有可能重新分配多次，最终分配给目标处理节点。每次重新分配处理节点后，再重新确定子任务在当前处理节点上的预估处理时长，并据此决定是否重新分配处理节点。根据子任务在当前处理节点上的预估处理时长，确定要重新分配处理节点时，通常在可用的网络延时从小到大排序的处理节点中，分配给当前处理节点的下一个处理节点。最终分配的目标处理节点比候选处理节点的网络延时更大。目标处理节点不是特定的处理节点，而是最终分配的处理节点记为目标处理节点。

在本发明实施例中，根据所述子任务在当前处理节点上的预估处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点的具体实现方式可以包括多种。例如，若子任务在当前处理节点上的预估处理时长超过子任务的预设时长，则对子任务重新分配处理节点。又例如，将预估处理时长和已执行的子任务的处理时长的和值，确定为图像处理任务的任务处理时长；若任务处理时长超过图像处理任务的预设处理时长，对子任务重新分配处理节点。具体可以包括任意适用的实现方式，本发明实施例对此不做限制。

步骤105，由所述目标处理节点执行所述子任务。

在本发明实施例中，对于每个子任务，由目标处理节点执行子任务。图像处理任务的每个子任务都执行完成后，即完成了本次图像处理。

依据本发明实施例，通过获取图像处理任务；所述图像处理任务包括多个子任务，获取可用的网络延时从小到大排序的处理节点，针对每个子任务，根据所述处理节点的节点类型，所述子任务的任务类型，以及类型匹配规则，将所述子任务分配给候选处理节点；其中，所述候选处理节点为相同节点类型的处理节点中网络延时最小的处理节点，针对每个子任务，根据所述子任务在当前处理节点上的预估处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点；其中，所述目标处理节点比所述候选处理节点的网络延时更大，由所述目标处理节点执行所述子任务，使得在将不同任务类型的子任务先分配给相匹配的节点类型的候选处理节点，并优先使用网络延时较小的处理节点，再根据预估处理时长，对子任务重新分配处理节点，以网络延时的增加换取更短的处理时长，灵活使用处理节点，在计算能力和网络延时两个方面达到综合最优，提高了图像处理的实时性，减少了带宽占用。

参照图3，示出了本发明实施例提供的一种图像处理方法的步骤流程图，具体可以包括如下步骤：

步骤201，获取图像处理任务；所述图像处理任务包括多个子任务。

在本发明实施例中，此步骤的具体实现方式可以参见前述实施例中的描述，此处不另赘述。

步骤202，获取可用的网络延时从小到大排序的处理节点。

在本发明实施例中，此步骤的具体实现方式可以参见前述实施例中的描述，此处不另赘述。

步骤203，针对每个子任务，根据所述子任务的任务类型和类型匹配规则，确定对应的处理节点的候选节点类型。

在本发明实施例中，根据子任务和任务类型和类型匹配规则，可以确定撇皮的节点类型，作为对应的处理节点的候选节点类型。例如，基础任务匹配的候选节点类型为终端节点，过滤任务匹配的候选节点类型为终端节点或边端节点，机器学习任务匹配的候选节点类型为边端节点或云端节点。

步骤204，在所述候选节点类型的处理节点中，将所述子任务分配给网络延时最小的候选处理节点。

在本发明实施例中，在可用的网络延时从小到大排序的处理节点中，先筛选出候选节点类型的处理节点。在候选节点类型的处理节点中，将子任务分配给候选处理节点。若候选节点类型的处理节点仅有一个，直接将子任务分配给该候选处理节点，若候选节点类型的处理节点有多个，将子任务分配给其中网络延时最小的候选处理节点。

在本发明的一种可选实施例中，所述任务类型包括基础任务、和过滤任务、和机器学习任务；所述节点类型包括第一类型、和第二类型、和第三类型；所述第三类型的处理节点比所述第二类型的处理节点的计算能力更强且网络延时更大；所述第二类型的处理节点比所述第一类型的处理节点的计算能力更强且网络延时更大；所述基础任务和过滤任务对应的候选节点类型为第一类型；所述机器学习任务对应的候选节点类型为第二类型。

子任务的任务类型是由子任务对待处理数据的处理决定的。基础任务是指对图像数据进行基础处理的任务，例如，解码、对视频帧进行剪裁、对连续多个视频帧进行运动检测、图像增强等处理。过滤任务是指对图像数据进行过滤或匹配等处理的任务，例如，将检测到视频帧中的目标、过滤掉不感兴趣的图像等处理。机器学习任务是指采用机器学习算法的任务，例如，将对视频帧中的感兴趣的目标进行分析、对视频帧中的目标进行更高精度的分类等。

节点类型包括三类，第一类型、和第二类型、和第三类型。第三类型的处理节点比第二类型的处理节点的计算能力更强且网络延时更大；第二类型的处理节点比第一类型的处理节点的计算能力更强且网络延时更大。

基础任务和过滤任务对应的候选节点类型为第一类型，机器学习任务对应的候选节点类型为第二类型。

例如，如图4所示的两步骤三阶段任务划分的示意图。本发明还提出了两步骤、三阶段任务的概念，两步骤指过滤步骤和识别步骤，三阶段是基础阶段、过滤阶段和机器学习阶段。基础阶段对应于基础任务，过滤阶段对应的过滤任务，机器学习阶段对应于机器学习任务。过滤步骤是为了去除低价值的数据，该步骤可以包含基础阶段、过滤阶段和机器学习阶段，通常位于终端处理节点或边端节点。识别步骤是识别和分析过滤后的数据，仅包含机器学习阶段，可以位于边端节点或云端节点。

步骤205，针对每个子任务，计算所述子任务在当前处理节点上的预估处理时长。

在本发明实施例中，当前处理节点为候选处理节点时，计算子任务在候选处理节点上的预估处理时长。若为子任务重新分配处理节点，则当前处理节点为重新分配后的处理节点，则再执行步骤205，计算子任务在当前处理节点上的预估处理时长。循环执行步骤205~步骤207，直至分配给目标处理节点。

步骤206，将所述预估处理时长和已执行的子任务的处理时长的和值，确定为所述图像处理任务的任务处理时长。

在本发明实施例中，若子任务是第一个子任务，则已执行的子任务的处理时长为零，那么将该子任务的预估处理时长确定为图像处理任务的任务处理时长。若子任务不是第一个子任务，则获取已执行的子任务的处理时长，计算预估处理时长和已执行的子任务的处理时长的和值，确定为图像处理任务的任务处理时长。

步骤207，根据所述任务处理时长，和所述图像处理任务的预设处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点。

在本发明实施例中，图像处理任务预先设置有预设处理时长。根据任务处理时长和预设处理时长，对子任务重新分配处理节点，或者不需要再重新分配处理节点。

具体来说，比较任务处理时长和预设处理时长，根据比较结果，确定子任务是否需要重新分配处理节点。例如，如图5所示的任务节点分配流程的示意图，视频分析任务A包括子任务B、子任务F和子任务M。可用的网络延时从小到大排序的处理节点包括节点1，节点2…节点n。先将子任务分配到节点1上，计算子任务在节点1上的预估处理时长，获取视频分析任务A中当前已执行的子任务的处理时长，得到任务处理时长TTR。获取视频分析任务A最长可执行的预设处理时长JDT，若TTR>JDT，则节点1可以执行子任务，若TTR=JDT，则节点1可以执行子任务，若TTR<JDT，则节点1不可以执行子任务，需要将该子任务分配给节点2，再执行上述过程，直至确定目标处理节点可以执行该子任务。

在本发明的一种可选实施例中，根据所述任务处理时长，和所述图像处理任务的预设处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点的一种具体实现方式中，可以包括：若所述任务处理时长大于所述图像处理任务的预设处理时长，则在所述网络延时从小到大排序的处理节点中，将所述子任务分配给当前处理节点的下一个处理节点；若所述任务处理时长不大于所述图像处理任务的预设处理时长，则将当前处理节点确定为所述目标处理节点。

比较任务处理时长和图像处理任务的预设处理时长，若任务处理时长大于预设处理时长，则子任务不能再当前处理节点上执行，按照尽可能使用网络延时较小的处理节点的原则，在网络延时从小到大排序的处理节点中，将子任务分配给当前处理节点的下一个处理节点。若任务处理时长不大于预设处理时长，则将当前处理节点确定为目标处理节点，即子任务已经分配到目标处理节点上。

在本发明的一种可选实施例中，还可以包括：若所述任务处理时长不小于所述图像处理任务的预设处理时长，则将所述当前处理节点标记为不接受所述图像处理任务的其他子任务。

一种情况下任务处理时长大于预设处理时长，子任务会被分配到下一个处理节点，为了减少带宽占用，图像处理任务的其他子任务也不应分配到该处理节点，因此，将当前处理节点标记为不接受图像处理任务的其他子任务。

一种情况下任务处理时长等于预设处理时长，子任务会在当前处理节点执行，但若仍然在当前处理节点执行其他子任务，则处理时长一定会超时，图像处理任务的其他子任务也不应分配到该处理节点，因此，将当前处理节点标记为不接受图像处理任务的其他子任务。

例如，如图5所示，若TTR>JDT，则节点1标记为不可复用，若TTR=JDT，则节点1标记为不可复用，若TTR<JDT，则节点1标记为可复用。

步骤208，由所述目标处理节点执行所述子任务。

在本发明实施例中，此步骤的具体实现方式可以参见前述实施例中的描述，此处不另赘述。

例如，如图6所示的一种高精度视频分析***的模块框图，***中每个模块都可以有一个或多个处理节点。对于基础阶段，基础任务模块接受输入的视频流，并对视频流做基础处理（如解码、图像增强等）。对于机器学习阶段，MOD（Multiple ObjectDetection，多目标检测）模块是一个粗粒度的分类器，用来快速检测视频帧里的目标并标记出来，再送至过滤阶段的MOR（Multiple Object Router，多目标路由）模块。MOR模块会将MOD模块的识别结果按照规则引擎提供的规律过滤，只筛选出高质量感兴趣的目标给云端节点的OR（ObjectRecognition，目标识别）模块，OR模块是一个高精度优化的分类器。

又例如，如图7所示的目标识别场景的示意图。视频帧从数据源端流向云端。终端节点执行基础任务和过滤任务，基础任务包括视频流解码、帧裁剪、运动检测和图像增强等。边端节点执行过滤任务和机器学习任务，在检测到视频帧中的目标（如YOLO（You OnlyLook Once，只看一眼）目标检测）后，经过滤任务筛选出满足规则的帧对象发送到云端节点。如果该帧不满足规则，直接丢弃（sink），本例中边端节点只筛选人和车对象以进一步分析。最终的机器学习任务可以由边端节点或者云端节点执行，具体根据本发明分配处理节点的结果决定。

依据本发明实施例，通过获取图像处理任务；所述图像处理任务包括多个子任务，获取可用的网络延时从小到大排序的处理节点，针对每个子任务，根据所述子任务的任务类型和类型匹配规则，确定对应的处理节点的候选节点类型，在所述候选节点类型的处理节点中，将所述子任务分配给网络延时最小的候选处理节点，针对每个子任务，计算所述子任务在当前处理节点上的预估处理时长，将所述预估处理时长和已执行的子任务的处理时长的和值，确定为所述图像处理任务的任务处理时长，根据所述任务处理时长，和所述图像处理任务的预设处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点，由所述目标处理节点执行所述子任务，使得在将不同任务类型的子任务先分配给相匹配的节点类型的候选处理节点，并优先使用网络延时较小的处理节点，再根据预估处理时长，对子任务重新分配处理节点，以网络延时的增加换取更短的处理时长，灵活使用处理节点，在计算能力和网络延时两个方面达到综合最优，提高了图像处理的实时性，减少了带宽占用。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图8，示出了本发明另一实施例提供的一种图像处理装置实施例的结构框图，具体可以包括如下模块：

任务获取模块301，用于获取图像处理任务；所述图像处理任务包括多个子任务；

节点获取模块302，用于获取可用的网络延时从小到大排序的处理节点；

候选节点分配模块303，用于针对每个子任务，根据所述处理节点的节点类型，所述子任务的任务类型，以及类型匹配规则，将所述子任务分配给候选处理节点；其中，所述候选处理节点为相同节点类型的处理节点中网络延时最小的处理节点；

目标节点分配模块304，用于针对每个子任务，根据所述子任务在当前处理节点上的预估处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点；其中，所述目标处理节点比所述候选处理节点的网络延时更大；

任务执行模块305，用于由所述目标处理节点执行所述子任务。

可选地，所述候选节点分配模块包括：

类型确定子模块，用于根据所述子任务的任务类型和类型匹配规则，确定对应的处理节点的候选节点类型；

候选节点分配子模块，用于在所述候选节点类型的处理节点中，将所述子任务分配给网络延时最小的候选处理节点。

可选地，所述任务类型包括基础任务、和过滤任务、和机器学习任务；所述节点类型包括第一类型、和第二类型、和第三类型；所述第三类型的处理节点比所述第二类型的处理节点的计算能力更强且网络延时更大；所述第二类型的处理节点比所述第一类型的处理节点的计算能力更强且网络延时更大；所述基础任务和过滤任务对应的候选节点类型为第一类型；所述机器学习任务对应的候选节点类型为第二类型。

可选地，所述目标节点分配模块包括：

预估子模块，用于计算所述子任务在当前处理节点上的预估处理时长；

任务时长确定子模块，用于将所述预估处理时长和已执行的子任务的处理时长的和值，确定为所述图像处理任务的任务处理时长；

目标节点分配子模块，用于根据所述任务处理时长，和所述图像处理任务的预设处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点。

可选地，所述目标节点分配子模块包括：

重新分配单元，用于若所述任务处理时长大于所述图像处理任务的预设处理时长，则在所述网络延时从小到大排序的处理节点中，将所述子任务分配给当前处理节点的下一个处理节点；

节点确定单元，用于若所述任务处理时长不大于所述图像处理任务的预设处理时长，则将当前处理节点确定为所述目标处理节点。

可选地，所述装置还包括：

标记模块，用于若所述任务处理时长不小于所述图像处理任务的预设处理时长，则将所述当前处理节点标记为不接受所述图像处理任务的其他子任务。

依据本发明实施例，通过获取图像处理任务；所述图像处理任务包括多个子任务，获取可用的网络延时从小到大排序的处理节点，针对每个子任务，根据所述处理节点的节点类型，所述子任务的任务类型，以及类型匹配规则，将所述子任务分配给候选处理节点；其中，所述候选处理节点为相同节点类型的处理节点中网络延时最小的处理节点，针对每个子任务，根据所述子任务在当前处理节点上的预估处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点；其中，所述目标处理节点比所述候选处理节点的网络延时更大，由所述目标处理节点执行所述子任务，使得在将不同任务类型的子任务先分配给相匹配的节点类型的候选处理节点，并优先使用网络延时较小的处理节点，再根据预估处理时长，对子任务重新分配处理节点，以网络延时的增加换取更短的处理时长，灵活使用处理节点，在计算能力和网络延时两个方面达到综合最优，提高了图像处理的实时性，减少了带宽占用。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

图9是根据一示例性实施例示出的一种用于图像处理的电子设备700的结构框图。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图9，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出（I/ O）的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理部件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。

电力组件704为电子设备700的各种组件提供电力。电力组件704可以包括电源管理***，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风（MIC），当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/ O接口712为处理组件702和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件714经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件714还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。

在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行本发明实施例中一个或多个所述的图像处理方法。

一种计算机程序产品，所述计算机程序产品在电子设备上运行时，使处理器执行时实现本发明实施例中一个或多个所述的图像处理方法中的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种图像处理方法、一种图像处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取图像处理任务；所述图像处理任务包括多个子任务；

获取可用的网络延时从小到大排序的处理节点；

针对每个子任务，根据所述处理节点的节点类型，所述子任务的任务类型，以及类型匹配规则，将所述子任务分配给候选处理节点；其中，所述候选处理节点为相同节点类型的处理节点中网络延时最小的处理节点；

针对每个子任务，根据所述子任务在当前处理节点上的预估处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点；其中，所述目标处理节点比所述候选处理节点的网络延时更大；

由所述目标处理节点执行所述子任务。

2.根据权利要求1所述的方法，其特征在于，所述根据所述处理节点的节点类型，所述子任务的任务类型，以及类型匹配规则，将所述子任务分配给候选处理节点包括：

根据所述子任务的任务类型和类型匹配规则，确定对应的处理节点的候选节点类型；

在所述候选节点类型的处理节点中，将所述子任务分配给网络延时最小的候选处理节点。

3.根据权利要求2所述的方法，其特征在于，所述任务类型包括基础任务、和过滤任务、和机器学习任务；所述节点类型包括第一类型、和第二类型、和第三类型；所述第三类型的处理节点比所述第二类型的处理节点的计算能力更强且网络延时更大；所述第二类型的处理节点比所述第一类型的处理节点的计算能力更强且网络延时更大；所述基础任务和过滤任务对应的候选节点类型为第一类型；所述机器学习任务对应的候选节点类型为第二类型。

4.根据权利要求1所述的方法，其特征在于，所述根据所述子任务在当前处理节点上的预估处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点包括：

计算所述子任务在当前处理节点上的预估处理时长；

将所述预估处理时长和已执行的子任务的处理时长的和值，确定为所述图像处理任务的任务处理时长；

根据所述任务处理时长，和所述图像处理任务的预设处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点。

5.根据权利要求4所述的方法，其特征在于，所述根据所述任务处理时长，和所述图像处理任务的预设处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点包括：

若所述任务处理时长大于所述图像处理任务的预设处理时长，则在所述网络延时从小到大排序的处理节点中，将所述子任务分配给当前处理节点的下一个处理节点；

若所述任务处理时长不大于所述图像处理任务的预设处理时长，则将当前处理节点确定为所述目标处理节点。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

若所述任务处理时长不小于所述图像处理任务的预设处理时长，则将所述当前处理节点标记为不接受所述图像处理任务的其他子任务。

7.一种图像处理装置，其特征在于，包括：

任务获取模块，用于获取图像处理任务；所述图像处理任务包括多个子任务；

节点获取模块，用于获取可用的网络延时从小到大排序的处理节点；

候选节点分配模块，用于针对每个子任务，根据所述处理节点的节点类型，所述子任务的任务类型，以及类型匹配规则，将所述子任务分配给候选处理节点；其中，所述候选处理节点为相同节点类型的处理节点中网络延时最小的处理节点；

目标节点分配模块，用于针对每个子任务，根据所述子任务在当前处理节点上的预估处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点；其中，所述目标处理节点比所述候选处理节点的网络延时更大；

任务执行模块，用于由所述目标处理节点执行所述子任务。

8.根据权利要求7所述的装置，其特征在于，所述候选节点分配模块包括：

类型确定子模块，用于根据所述子任务的任务类型和类型匹配规则，确定对应的处理节点的候选节点类型；

候选节点分配子模块，用于在所述候选节点类型的处理节点中，将所述子任务分配给网络延时最小的候选处理节点。

9.根据权利要求8所述的装置，其特征在于，所述任务类型包括基础任务、和过滤任务、和机器学习任务；所述节点类型包括第一类型、和第二类型、和第三类型；所述第三类型的处理节点比所述第二类型的处理节点的计算能力更强且网络延时更大；所述第二类型的处理节点比所述第一类型的处理节点的计算能力更强且网络延时更大；所述基础任务和过滤任务对应的候选节点类型为第一类型；所述机器学习任务对应的候选节点类型为第二类型。

10.根据权利要求7所述的装置，其特征在于，所述目标节点分配模块包括：

预估子模块，用于计算所述子任务在当前处理节点上的预估处理时长；

任务时长确定子模块，用于将所述预估处理时长和已执行的子任务的处理时长的和值，确定为所述图像处理任务的任务处理时长；

目标节点分配子模块，用于根据所述任务处理时长，和所述图像处理任务的预设处理时长，对所述子任务重新分配处理节点，直至分配给目标处理节点。

11.根据权利要求10所述的装置，其特征在于，所述目标节点分配子模块包括：

重新分配单元，用于若所述任务处理时长大于所述图像处理任务的预设处理时长，则在所述网络延时从小到大排序的处理节点中，将所述子任务分配给当前处理节点的下一个处理节点；

节点确定单元，用于若所述任务处理时长不大于所述图像处理任务的预设处理时长，则将当前处理节点确定为所述目标处理节点。

12.根据权利要求10所述的装置，其特征在于，所述装置还包括：

标记模块，用于若所述任务处理时长不小于所述图像处理任务的预设处理时长，则将所述当前处理节点标记为不接受所述图像处理任务的其他子任务。

13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。

14.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如方法权利要求1-6中一个或多个所述的方法。

Images