CN117201873B - 一种视频图像智能分析方法及装置 - Google Patents

Abstract

本发明公开了一种视频图像智能分析方法及装置，方法包括：通过索引控制模块获取待分析视频和待分析视频的分析目标；通过视频切分模块形成多个视频片段；索引控制模块为每一视频片段建立索引结构模型；在索引控制模块建立用于管控每一视频片段的子控制单元，将分析目标和对应的视频片段发送至不同的子控制单元，并为每个子控制单元分配一组处理单元；每一子控制单元根据对应的索引结构模型的架构，按照分配的一组处理单元的负载参数，将处理单元按照索引结构模型排列形成处理单元索引结构，以利用处理单元索引结构中的处理单元的负载参数差异，完成视频片段的快速处理。本发明有利于解决现有技术中视频图像的处理实时性低的问题。

Description

一种视频图像智能分析方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频图像智能分析方法和一种图像分析装置。

背景技术

视频是图像的集合，传统方案中对视频图像进行分析时，需要采用分析终端逐个分析视频图像的每一视频帧，由于视频包含众多图像，因此，视频图像的处理难度大，处理实时性低。

因此，需要提出一种视频图像智能分析方法及装置，以提高视频图像处理过程中的处理实时性。

发明内容

本发明的主要目的在于提供一种视频图像智能分析方法，以及一种图像分析装置，旨在解决现有技术中视频图像的处理实时性低的问题。

为实现上述目的，本发明提供的一种视频图像智能分析方法，应用于图像分析装置，图像分析装置包括索引控制模块和分别与索引控制模块通信连接的视频切分模块和处理模块，处理模块包括多个处理单元；所述方法包括如下步骤：

通过索引控制模块获取待分析视频和待分析视频的分析目标；

通过视频切分模块对待分析视频进行切分，以形成多个视频片段；

索引控制模块根据切分形成的视频片段数量和处理单元数量，为每一视频片段建立索引结构模型，其中，索引结构模型中包括多个处理层，每一处理层包括若干处理节点，且相邻两处理层中，上一处理层的处理节点设置有母节点，母节点在下一处理层链接有子节点，以构造索引结构模型中各个处理节点之间的层级与索引关系；

在索引控制模块建立用于管控每一视频片段的子控制单元，将分析目标和对应的视频片段发送至不同的子控制单元，并为每个子控制单元分配一组处理单元；

每一子控制单元根据对应的索引结构模型的架构，按照分配的一组处理单元的负载参数，将处理单元按照索引结构模型排列形成处理单元索引结构，以利用处理单元索引结构中的处理单元的负载参数差异，完成视频片段的快速处理。

优选地，所述索引控制模块根据切分形成的视频片段数量和处理单元数量，为每一视频片段建立索引结构模型的步骤，包括：

索引控制模块为每一视频片段建立索引结构模型；

索引控制模块获取每一视频片段对应的视频帧数量，根据视频帧数量，确定视频片段对应的索引结构模型的第一处理层的处理节点数量；

根据第一处理层的处理节点数量，建立索引结构模型中其他处理层的节点数量，其中，随着索引结构模型中的层级增大，每一处理层对应的节点数量越多；

为索引结构模型中第一处理层之后的每一处理层中的节点，在上一处理层中确定对应的母节点；

根据各处理层的节点数量，以及第一处理层之后的每一处理层中的节点对应的母节点，为每一视频片段建立对应的索引结构模型。

优选地，所述在索引控制模块建立用于管控每一视频片段的子控制单元，将分析目标和对应的视频片段发送至不同的子控制单元的步骤，包括：

在索引控制模块根据视频片段的数量，建立用于管控每一视频片段的子控制单元；

建立视频片段与子控制单元的一一对应关系；

按照一一对应关系，将分析目标和视频片段发送至对应的子控制单元。

优选地，所述每一子控制单元根据对应的索引结构模型的架构，按照分配的一组处理单元的负载参数，将处理单元按照索引结构模型排列形成处理单元索引结构，以利用处理单元索引结构中的处理单元的负载参数差异，完成视频片段的快速处理的步骤，包括：

子控制单元侦测分配的一组处理单元中的各个处理单元的负载参数，根据负载参数从小到大的顺序，排列形成处理单元序列；

根据处理单元序列和索引结构模型的节点次序，将处理单元序列中的各个处理单元依次排列于处理单元索引结构中的每个节点，以排列形成处理单元索引结构；

将子控制单元分配的视频片段中的各个视频帧分配至处理单元索引结构中的各处理层的处理单元，进行快速处理。

优选地，所述分析目标为从视频图像中提取目标图像；所述将子控制单元分配的视频片段中的各个视频帧分配至处理单元索引结构中的各处理层的处理单元，进行快速处理的步骤，包括：

按照子控制单元分配到的视频片段中的视频帧数量，以及子控制单元对应的处理单元索引结构中的第一处理层的处理单元数量，确定采样间隔；

采用子控制单元对应的处理单元索引结构中的第一处理层的处理单元，按照采样间隔从视频片段中提取采样视频帧；

第一处理层的处理单元从采样视频帧中提取目标图像，以将存在目标图像的采样视频帧作为核心目标视频帧；

将位于核心目标视频帧前后的预设取样数量的第一取样范围内的第一目标视频帧分配至处理单元索引结构中的第二层处理单元提取目标图像；

根据各第一取样范围中存在目标图像的边界视频帧、第一目标视频帧对应的核心目标视频帧，以及预设取样数量，划定与第一取样范围不重合的第二取样范围；

将第二取样范围内的第二目标视频帧分配至第三层处理单元提取目标图像；

判断第二目标视频帧中是否存在目标图像；

若是，根据各第二目标视频帧中存在目标图像的边界视频帧以及预设取样数量，划定分别与第二取样范围和第一目标视频帧不重合的第三取样范围；将第三取样范围内的第三目标视频帧分配至第四层处理单元提取目标图像；

若否，结束本轮目标图像提取；

根据处理单元索引结构提取出的所有目标图像，形成图像分析结果。

优选地，所述按照子控制单元分配到的视频片段中的视频帧数量，以及子控制单元对应的处理单元索引结构中的第一处理层的处理单元数量，确定采样间隔的步骤，包括：

获取预设的最大采样间隔；

根据子控制单元分配到的视频片段中的视频帧数量和子控制单元对应的处理单元索引结构中的第一处理层的处理单元数量，确定临时采样间隔；

判断临时采样间隔是否未超过最大采样间隔；

若是，将临时采样间隔确定为采样间隔，以使第一处理层的处理单元通过一次采样提取出全部采样视频帧；

若否，将最大采样间隔作为采样间隔，以使第一处理层的处理单元通过多次采样提取出全部采样视频帧。

优选地，所述根据处理单元索引结构提取出的所有目标图像，形成图像分析结果的步骤，包括：

获取提取出的所有目标图像所对应的视频帧序号；

获取视频帧序号对应的时间标识点；

获取提取出的所有目标图像在视频帧中的位置；

根据目标图像出现的视频帧序号对应的时间标识点和对应的位置，形成图像分析结果。

优选地，每个索引结构模型中的各处理层的节点数量通过以下方式确定：

；

；

其中，i为索引结构模型的序号，j为索引结构模型中的处理层序号，，I为索引结构模型数量，/>，/>为第i个索引结构模型中的处理层数量；/>为第i个索引结构模型中的第j个处理层的处理节点总数；/>为第i个索引结构模型中的第一处理层的处理节点数量，/>为第i个索引结构模型中的第k-1个处理层中的每个母节点向第k个处理层链接的子节点个数，/>；/>为第i个索引结构模型中的第j个处理层的冗余节点数量，/>；

根据/>确定，/>为第i个索引结构模型对应的第i个视频片段的视频帧数，且/>根据第i个视频片段的视频帧数查询映射关系表确定，映射关系表记载了视频帧数与第一处理层的节点数量的映射关系。

优选地，划定第二取样范围的具体方式为：

确定第一取样范围中存在目标图像的边界视频帧，其中，边界视频帧指的是第一取样范围中存在目标图像的帧顺序最小的视频帧和帧顺序最大的视频帧；

确定第一目标视频帧对应的核心目标视频帧与最小边界视频帧的第一帧顺序之差，以及最大边界视频帧与核心目标视频帧的第二帧顺序之差；

以第一帧顺序之差和第二帧顺序之差的大小关系，确定第二取样范围的取样方向，具体的：

；

；

当时，第二取样范围的取样方向为向着帧顺序减小的方向取样；

当时，第二取样范围的取样方向为向着帧顺序增大的方向取样；

当时，第二取样范围的取样方向为向着帧顺序减小的方向和向着帧顺序增大的方向分别取样；

其中，为第一帧顺序之差，/>为第二帧顺序之差，/>为第一目标视频帧对应的核心目标视频帧的帧顺序，/>为第一取样范围中存在目标图像的最小边界视频帧的帧顺序，/>为第一取样范围中存在目标图像的最大边界视频帧的帧顺序；

以取样方向上的边界视频帧作为起点，按照预设取样数量，向取样方向进行取样，划定与第一取样范围不重合的第二取样范围。

为实现上述目的，本发明还提出一种图像分析装置，应用所述视频图像智能分析方法，图像分析装置包括索引控制模块和分别与索引控制模块通信连接的视频切分模块和处理模块，处理模块包括多个处理单元。

本发明的技术方案中，图像分析装置中的索引控制模块用于获取分析视频和待分析视频的分析目标；视频切分模块用于对待分析视频分段形成多个视频片段；索引控制模块为每个视频片段建立索引结构模型，索引结构模型包括多个处理层，每一处理层包括若干处理节点，且相邻两处理层中，上一处理层的处理节点设置有母节点，母节点在下一处理层链接有子节点，以构造索引结构模型中各个处理节点之间的层级与索引关系；每一处理节点用于排列一处理单元，从而可以通过索引结构模型，指导用于处理同一视频片段的处理单元排列形成多个处理层，并确定每一处理层级的处理单元数量，以及相邻两处理层之间的处理单元链接关系；索引控制模块为每一视频片段建立对应的子控制单元，并为每一子控制单元分配一组处理单元；子控制单元按照分配到的一组处理单元的负载参数，将分配到的一组处理单元中的各个处理单元按照索引结构模型排列，以排列形成处理单元索引结构。从而，每一处理单元索引结构中各个处理单元的次序按照负载参数由小到大的顺序排列，将视频片段的分析任务分配到排列成处理单元索引结构的各个处理单元进行处理时，不仅可以同时采用多个处理单元对同一视频片段进行处理，并且，本发明的技术方案还能优先利用负载参数低的处理单元优先进行图像处理，有利于提高视频图像分析的处理实时性。

附图说明

图1为本发明中视频图像智能分析方法在第一实施例中的流程示意图。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“单元”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“单元”、“部件”或“单元”可以混合地使用。

请参阅图1，本发明的第一实施例中提供一种视频图像智能分析方法，应用于图像分析装置，图像分析装置包括索引控制模块和分别与索引控制模块通信连接的视频切分模块和处理模块，处理模块包括多个处理单元；所述方法包括如下步骤：

步骤S10，通过索引控制模块获取待分析视频和待分析视频的分析目标；

步骤S20，通过视频切分模块对待分析视频进行切分，以形成多个视频片段；

步骤S30，索引控制模块根据切分形成的视频片段数量和处理单元数量，为每一视频片段建立索引结构模型，其中，索引结构模型中包括多个处理层，每一处理层包括若干处理节点，且相邻两处理层中，上一处理层的处理节点设置有母节点，母节点在下一处理层链接有子节点，以构造索引结构模型中各个处理节点之间的层级与索引关系；

步骤S40，在索引控制模块建立用于管控每一视频片段的子控制单元，将分析目标和对应的视频片段发送至不同的子控制单元，并为每个子控制单元分配一组处理单元；

步骤S50，每一子控制单元根据对应的索引结构模型的架构，按照分配的一组处理单元的负载参数，将处理单元按照索引结构模型排列形成处理单元索引结构，以利用处理单元索引结构中的处理单元的负载参数差异，完成视频片段的快速处理。

本发明的技术方案中，图像分析装置中的索引控制模块用于获取分析视频和待分析视频的分析目标；视频切分模块用于对待分析视频分段形成多个视频片段；索引控制模块为每个视频片段建立索引结构模型，索引结构模型包括多个处理层，每一处理层包括若干处理节点，且相邻两处理层中，上一处理层的处理节点设置有母节点，母节点在下一处理层链接有子节点，以构造索引结构模型中各个处理节点之间的层级与索引关系；每一处理节点用于排列一处理单元，从而可以通过索引结构模型，指导用于处理同一视频片段的处理单元排列形成多个处理层，并确定每一处理层级的处理单元数量，以及相邻两处理层之间的处理单元链接关系；索引控制模块为每一视频片段建立对应的子控制单元，并为每一子控制单元分配一组处理单元；子控制单元按照分配到的一组处理单元的负载参数，将分配到的一组处理单元中的各个处理单元按照索引结构模型排列，以排列形成处理单元索引结构。从而，每一处理单元索引结构中各个处理单元的次序按照负载参数由小到大的顺序排列，将视频片段的分析任务分配到排列成处理单元索引结构的各个处理单元进行处理时，不仅可以同时采用多个处理单元对同一视频片段进行处理，并且，本发明的技术方案还能优先利用负载参数低的处理单元优先进行图像处理，有利于提高视频图像分析的处理实时性。

具体的，每个处理单元是一个单独的图像分析单元，处理模块可以是一独立的计算终端，或者，是若干计算终端的集合。图像分析的种类不限，例如，可以是图像分类、图像识别、目标检测和目标提取。

待分析视频的分析目标根据图像分析的种类，由用户输入图像分析装置。在本发明中，每一视频片段的分析目标可以相同或者不同。例如，分析目标可以是从第一视频片段中提取目标A，从第二视频片段中提取目标B。

视频切分模块对待分析视频进行切分，是为了将待分析视频进行处理任务的切分，从而，可以使同一待分析视频切分为同步进行分析的多个视频片段，提高图像分析的实时响应性能。具体的，视频切分时，可以根据待分析视频的时长或者视频帧数，将待分析视频切分成多个视频片段。

在一具体实施方式中，视频切分模块还可以根据用户输入的分段指令，将待分析视频按照用户自定义的方式切分成多个视频片段。从而，每个视频片段的长度可能相同或不同。

索引控制模块为每一视频片段建立索引结构模型，并为每一视频片段分配一子控制单元，每一子控制单元用于管控一组处理单元。每一子控制单元根据视频片段对应的索引结构模型，将分配的一组处理单元按照索引结构模型中的处理节点顺序排列，在排列处理节点的过程中，就确定了各个处理单元接收图像分析任务的先后顺序，其中，负载参数最小的处理单元排列于最靠前的处理层，且优先接收图像分析任务，由于负载参数小，因此可以快速得到第一次的处理结果，而子控制单元根据第一次的处理结果再次向负载参数较小的处理单元进一步分发图像分析任务，并较快得到第二次的处理结果，然后，子控制单元根据第二次的处理结果再次向负载参数稍大的处理单元进一步分发图像分析任务。从而，在分发任务的过程中，按照各个处理单元的先后索引关系进行任务分发，而不是无差别分发图像处理任务，同时，本发明中每一批次的图像分析任务都是向负载参数接近的处理单元分发，从而也能在相近时间获得同一处理层级的处理单元的处理结果，避免个别处理单元长期无响应。从而提高了视频图像分析的实时性。

基于本发明的视频图像智能分析方法的第一实施例，本发明的视频图像智能分析方法的第二实施例中，所述步骤S30，包括：

步骤S31，索引控制模块为每一视频片段建立索引结构模型；此时，建立的索引结构模型为参数可变的模型，可变参数包括：索引结构模型的处理层数量、每一处理层的处理节点数量和前后两处理层的处理节点的链接关系；

步骤S32，索引控制模块获取每一视频片段对应的视频帧数量，根据视频帧数量，确定视频片段对应的索引结构模型的第一处理层的处理节点数量；

步骤S33，根据第一处理层的处理节点数量，建立索引结构模型中其他处理层的节点数量，其中，随着索引结构模型中的层级增大，每一处理层对应的节点数量越多；

步骤S34，为索引结构模型中第一处理层之后的每一处理层中的节点，在上一处理层中确定对应的母节点；

步骤S35，根据各处理层的节点数量，以及第一处理层之后的每一处理层中的节点对应的母节点，为每一视频片段建立对应的索引结构模型。

其中，索引控制模块在确定视频片段对应的索引结构模型的第一处理层的处理节点数量时，根据视频片段对应的视频帧数量确定第一处理层的处理节点数量，当视频帧数量较多时，第一处理层的处理节点数量也设置得较多；当视频帧数量较少时，第一处理层的处理节点数量也设置得较少。

同时，本发明中的索引结构模型采用至少四层，从第一处理层开始，各处理层包含的处理节点数量逐渐递增。

本发明中，每个索引结构模型中的各处理层的节点数量通过以下方式确定：

；

；

其中，i为索引结构模型的序号，j为索引结构模型中的处理层序号，，I为索引结构模型数量，/>为第i个索引结构模型中的处理层数量；为第i个索引结构模型中的第j个处理层的处理节点总数；/>为第i个索引结构模型中的第一处理层的处理节点数量，/>为第i个索引结构模型中的第k-1个处理层中的每个母节点向第k个处理层链接的子节点个数，/>；/>为第i个索引结构模型中的第j个处理层的冗余节点数量，/>；

根据/>确定，/>为第i个索引结构模型对应的第i个视频片段的视频帧数，且/>根据第i个视频片段的视频帧数查询映射关系表确定，映射关系表记载了视频帧数与第一处理层的节点数量的映射关系。

需要说明的是，当k为1时，为第i个索引结构模型中的第0个处理层中的每个母节点向第1个处理层链接的子节点个数，也就是第一处理层的处理节点数量。

在初始计算每个处理层的节点数量时，可以令对应的冗余节点数量为0，在计算到每一处理层的处理节点数量后，由于每个视频片段分配的处理节点数量确定，从而索引结构模型的处理层数量也能确定，而层数确定后，不足以架构下一处理层的处理节点就可以作为冗余节点分配至一个或多个处理层中。

基于本发明的视频图像智能分析方法的第二实施例，本发明的视频图像智能分析方法的第三实施例中，所述步骤S40中的在索引控制模块建立用于管控每一视频片段的子控制单元，将分析目标和对应的视频片段发送至不同的子控制单元的步骤，包括：

步骤S41，在索引控制模块根据视频片段的数量，建立用于管控每一视频片段的子控制单元；

步骤S42，建立视频片段与子控制单元的一一对应关系；

步骤S43，按照一一对应关系，将分析目标和视频片段发送至对应的子控制单元。

基于本发明的视频图像智能分析方法的第三实施例，本发明的视频图像智能分析方法的第四实施例中，所述步骤S50，包括：

步骤S51，子控制单元侦测分配的一组处理单元中的各个处理单元的负载参数，根据负载参数从小到大的顺序，排列形成处理单元序列；

步骤S52，根据处理单元序列和索引结构模型的节点次序，将处理单元序列中的各个处理单元依次排列于处理单元索引结构中的每个节点，以排列形成处理单元索引结构；

步骤S53，将子控制单元分配的视频片段中的各个视频帧分配至处理单元索引结构中的各处理层的处理单元，进行快速处理。

负载参数体现了每个处理单元的响应速率，其中负载参数可以通过在一段时间内侦测各个处理单元的响应速率确定。

索引结构模型包括多个处理层，每一处理层包括若干处理节点，每个处理节点按照所属处理层的先后和在每一处理层的位置，具有不同的处理节点序号。

依次从处理单元序列中提取出处理单元排列在索引结构模型的对应处理节点位置，从而，靠前的处理层中排列负载参数小的处理单元，而靠后的处理层中排列负载参数大的处理单元。

处理层的层级先后，决定了分配到图像分析任务的先后，负载参数小的处理单元在分配到图像分析任务后，能更快速地获取图像分析结果并形成下一图像分析结果转发至后续的处理层中排列的处理单元，并且在分析图像分析任务的处理时间内，也能给负载参数大的处理单元预留一定的等待时间来结束之前的处理任务。

负载参数可以是负载率，也可以包括处理队列中的等待任务数量和处理队列完成情况。

基于本发明的视频图像智能分析方法的第四实施例，本发明的视频图像智能分析方法的第五实施例中，所述步骤S53，包括：

步骤S531，按照子控制单元分配到的视频片段中的视频帧数量，以及子控制单元对应的处理单元索引结构中的第一处理层的处理单元数量，确定采样间隔；

步骤S532，采用子控制单元对应的处理单元索引结构中的第一处理层的处理单元，按照采样间隔从视频片段中提取采样视频帧；

步骤S533，第一处理层的处理单元从采样视频帧中提取目标图像，以将存在目标图像的采样视频帧作为核心目标视频帧；

步骤S534，将位于核心目标视频帧前后的预设取样数量的第一取样范围内的第一目标视频帧分配至处理单元索引结构中的第二层处理单元提取目标图像；

步骤S535，根据各第一取样范围中存在目标图像的边界视频帧、第一目标视频帧对应的核心目标视频帧，以及预设取样数量，划定与第一取样范围不重合的第二取样范围；

步骤S536，将第二取样范围内的第二目标视频帧分配至第三层处理单元提取目标图像；

步骤S537，判断第二目标视频帧中是否存在目标图像；

若是，执行步骤S538：根据各第二目标视频帧中存在目标图像的边界视频帧以及预设取样数量，划定分别与第二取样范围和第一目标视频帧不重合的第三取样范围；将第三取样范围内的第三目标视频帧分配至第四层处理单元提取目标图像；

若否，执行步骤S539：结束本轮目标图像提取；

步骤S5310，根据处理单元索引结构提取出的所有目标图像，形成图像分析结果。

进一步的，第一取样范围、第二取样范围、第三取样范围求交集后的取样范围能覆盖一个采样间隔。若一开始不能覆盖一个采样间隔，需要调大预设采样数量。

容易理解，视频是由数量较多的具有某种逻辑关系的画面按照设定时间连接而形成。因此，视频图像分析需要从视频中首先提取目标图像（即从视频的各个视频帧中提取图像），再对提取出的图像进行分析。

例如，视频图像分析可以是从一段视频录像中提取出具有某个目标的视频帧，再根据提取出的所有视频帧，分析该目标出现的时段。

本实施例用于确定一种从待分析的视频片段中快速提取目标图像进行图像分析的具体方案。

具体的，在本实施例中，利用处理单元索引结构中的第一层处理单元作为第一批采样单元。同一视频片段具有连续的多个视频帧，处理单元索引结构中的第一层处理单元按照采样间隔，每隔若干视频帧就从连续的多个视频帧中采样出一个视频帧，例如，按照采样间隔计算出视频片段中的待采样视频帧的帧序号，然后将待采样的帧序号分配至第一层处理单元中的所有处理单元，然后第一层处理单元中的每一处理单元各自按照分配到的帧序号从视频片段中提取出一个视频帧，然后第一层处理单元中的每一处理单元对提取出的视频帧进行分析，确定是否能提取到目标图像。

容易理解，假设待分析视频为一段监控画面，要从监控画面中提取目标车辆，则在监控画面对应的拍摄时段内，目标车辆可能会停留一段时间，或者会离开一段时间，也可能一直停留在监控画面中，或者一直未出现在监控画面中。

在本实施例中，将待分析视频划分成多个视频片段后，每一视频片段对应的处理单元索引结构中的第一层处理单元，会从视频片段中按照采样间隔提取一些采样视频帧。这些提取出的采样视频帧都是间断且相隔一定播放时间的，那么，这些采样视频帧中可能有一些存在目标图像，而有一些不存在目标图像。容易理解，在连续画面中的某一画面中出现过的目标图像不可能仅存在一张图像中，而是会连续存在于多张图像中，因此，存在目标图像的采样视频帧的帧顺序前后的视频帧，出现目标图像的概率很大。而不存在目标图像的采样视频帧的帧顺序前后的视频帧，不存在目标图像的概率较大。

从而，在利用处理单元索引结构中的第一层处理单元采样视频帧并提取目标图像结束后，将存在目标图像的采样视频帧作为核心目标视频帧。由于核心目标视频帧周围的视频帧出现目标图像的概率更大，因此，子控制单元会根据预设取样数量，从每一核心目标视频帧的帧顺序之前提取数量等于预设取样数量的视频帧，并从每一核心目标视频帧的帧顺序之后提取数量等于预设取样数量的视频帧，作为第一目标视频帧。并将第一目标视频帧分配到第二层处理节点。

具体的，将第一目标视频帧分配至第二层处理单元时，采用如下方式：

第一处理层中提取到目标图像的处理单元，将核心目标视频帧前后提取到的第一目标视频帧，向第二层处理单元中的子节点进行分配。

子控制单元根据未提取到目标图像的采样视频帧对应的视频帧范围，重新确定采样间隔（例如，采样间隔减小），并采用第一处理层的处理单元根据重新确定的采样间隔，从视频片段中再次提取采样视频帧。若在重新采样的过程中找到新的核心目标视频帧，则将新的核心目标视频帧对应的第一目标视频帧也向第二层处理单元中的子节点进行分配。

第一目标视频帧由于是从位于核心目标视频帧前后的视频帧按照预设取样数量进行取样，因此，一个核心目标视频帧对应的第一目标视频帧是一段连续的视频帧（除核心目标视频帧以外），对应第一取样范围。

划定第二取样范围的具体方式为：

确定第一取样范围中存在目标图像的边界视频帧，其中，边界视频帧指的是第一取样范围中存在目标图像的帧顺序最小的视频帧和帧顺序最大的视频帧；

确定第一目标视频帧对应的核心目标视频帧与最小边界视频帧的第一帧顺序之差，以及最大边界视频帧与核心目标视频帧的第二帧顺序之差；

以第一帧顺序之差和第二帧顺序之差的大小关系，确定第二取样范围的取样方向，具体的：

；

；

当时，第二取样范围的取样方向为向着帧顺序减小的方向取样；

当时，第二取样范围的取样方向为向着帧顺序增大的方向取样；

当时，第二取样范围的取样方向为向着帧顺序减小的方向和向着帧顺序增大的方向分别取样；

其中，为第一帧顺序之差，/>为第二帧顺序之差，/>为第一目标视频帧对应的核心目标视频帧的帧顺序，/>为第一取样范围中存在目标图像的最小边界视频帧的帧顺序，/>为第一取样范围中存在目标图像的最大边界视频帧的帧顺序；

以取样方向上的边界视频帧作为起点，按照预设取样数量，向取样方向进行取样，划定与第一取样范围不重合的第二取样范围。

其中，当第一帧顺序之差大于第二帧顺序之差时，或第一帧顺序之差小于第二帧顺序之差时，第二取样范围的取样数量为预设取样数量；当第一帧顺序之差等于第二帧顺序之差时，第二取样范围向两方向的取样数量分别为预设取样数量的二分之一，以使总取样数量为预设取样数量。

例如，当取样方向为向着帧顺序增大的方向取样时，以第一取样范围中存在目标图像的最大边界视频帧作为起点，向着帧顺序增大的方向提取预设取样数量的视频帧，并去除与第一取样范围重合的视频帧，从而得到第二取样范围。

分配到第一目标视频帧的第二层处理单元，相应都会存在第二取样范围，因此，每一分配到第一目标视频帧的第二层处理单元，将第二取样范围与第一目标视频帧的不重叠范围内的第二目标视频帧，向第三层处理节点中的对应子节点进行分配。

将第二取样范围内的第二目标视频帧分配至第三层处理单元提取目标图像。

确定第三取样范围的方式参照第二取样范围的方法同理类推。

在本实施例中采用每一处理层从视频片段中寻找存在目标图像的视频段落。在这种寻找视频段落的过程中，通过存在目标图像的边界视频帧，将不存在目标图像的边界视频帧滤除，从而有助于降低图像分析的任务量，提高图像分析的实时性。因此，不需要每一视频帧都进行分析，而是会筛选存在目标图像的视频帧来进行图像分析。

基于本发明的视频图像智能分析方法的第五实施例，本发明的视频图像智能分析方法的第六实施例中，所述步骤S531，包括：

步骤S531a，获取预设的最大采样间隔；

步骤S531b，根据子控制单元分配到的视频片段中的视频帧数量和子控制单元对应的处理单元索引结构中的第一处理层的处理单元数量，确定临时采样间隔；

步骤S531c，判断临时采样间隔是否未超过最大采样间隔；

若是，执行步骤S531d：将临时采样间隔确定为采样间隔，以使第一处理层的处理单元通过一次采样提取出全部采样视频帧；

若否，执行步骤S531e：将最大采样间隔作为采样间隔，以使第一处理层的处理单元通过多次采样提取出全部采样视频帧。

具体的，采用如下方式确定采样间隔：

；

当时，/>；

当时，/>；

其中，为第i个视频片段的临时采样间隔，/>为最大采样间隔；/>为的第i个视频片段中的视频帧数量，/>为第i个处理单元索引结构中的第一处理层的处理单元数量。

容易理解，当临时采样间隔超过最大采样间隔时，第一处理层的处理单元全部完成第一次采样后，至少还需要有一部分处理单元继续进行第二次采样，才能完成所有采样。

基于本发明的视频图像智能分析方法的第五实施例或第六实施例，本发明的视频图像智能分析方法的第七实施例中，所述步骤S5310，包括：

步骤S5310a，获取提取出的所有目标图像所对应的视频帧序号；

步骤S5310b，获取视频帧序号对应的时间标识点；

步骤S5310c，获取提取出的所有目标图像在视频帧中的位置；

步骤S5310d，根据目标图像出现的视频帧序号对应的时间标识点和对应的位置，形成图像分析结果。

在视频图像中，每一帧画面都与时序对应，获得图像分析结果的实施例有多种情况。例如，在录像视频中，各视频帧都对应有录像的时间点。根据提取到的目标图像对应的视频帧序号，能够对应到视频的时间标识点，根据时间标识点可以确定目标图像出现的时段，根据目标图像在视频帧中的位置，能确定目标图像出现的位置，从而，可以确定目标对象的监控结果。

为实现上述目的，本发明还提出一种图像分析装置，应用所述视频图像智能分析方法，图像分析装置包括索引控制模块和分别与索引控制模块通信连接的视频切分模块和处理模块，处理模块包括多个处理单元。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备进入本发明各个实施例所述的方法。

在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、 或“第一实施例~第X实施例”等的描述意指结合该实施例或示例描述的具体特征、 结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料、方法步骤或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种视频图像智能分析方法，其特征在于，应用于图像分析装置，图像分析装置包括索引控制模块和分别与索引控制模块通信连接的视频切分模块和处理模块，处理模块包括多个处理单元；所述方法包括如下步骤：

通过索引控制模块获取待分析视频和待分析视频的分析目标；

通过视频切分模块对待分析视频进行切分，以形成多个视频片段；

索引控制模块根据切分形成的视频片段数量和处理单元数量，为每一视频片段建立索引结构模型，其中，索引结构模型中包括多个处理层，每一处理层包括若干处理节点，且相邻两处理层中，上一处理层的处理节点设置有母节点，母节点在下一处理层链接有子节点，以构造索引结构模型中各个处理节点之间的层级与索引关系；

在索引控制模块建立用于管控每一视频片段的子控制单元，将分析目标和对应的视频片段发送至不同的子控制单元，并为每个子控制单元分配一组处理单元；

每一子控制单元根据对应的索引结构模型的架构，按照分配的一组处理单元的负载参数，将处理单元按照索引结构模型排列形成处理单元索引结构，以利用处理单元索引结构中的处理单元的负载参数差异，完成视频片段的快速处理；

所述索引控制模块根据切分形成的视频片段数量和处理单元数量，为每一视频片段建立索引结构模型的步骤，包括：

索引控制模块为每一视频片段建立索引结构模型；

索引控制模块获取每一视频片段对应的视频帧数量，根据视频帧数量，确定视频片段对应的索引结构模型的第一处理层的处理节点数量；

根据第一处理层的处理节点数量，建立索引结构模型中其他处理层的节点数量，其中，随着索引结构模型中的层级增大，每一处理层对应的节点数量越多；

为索引结构模型中第一处理层之后的每一处理层中的节点，在上一处理层中确定对应的母节点；

根据各处理层的节点数量，以及第一处理层之后的每一处理层中的节点对应的母节点，为每一视频片段建立对应的索引结构模型；

所述每一子控制单元根据对应的索引结构模型的架构，按照分配的一组处理单元的负载参数，将处理单元按照索引结构模型排列形成处理单元索引结构，以利用处理单元索引结构中的处理单元的负载参数差异，完成视频片段的快速处理的步骤，包括：

子控制单元侦测分配的一组处理单元中的各个处理单元的负载参数，根据负载参数从小到大的顺序，排列形成处理单元序列；

根据处理单元序列和索引结构模型的节点次序，将处理单元序列中的各个处理单元依次排列于处理单元索引结构中的每个节点，以排列形成处理单元索引结构；

将子控制单元分配的视频片段中的各个视频帧分配至处理单元索引结构中的各处理层的处理单元，进行快速处理；

所述分析目标为从视频图像中提取目标图像；所述将子控制单元分配的视频片段中的各个视频帧分配至处理单元索引结构中的各处理层的处理单元，进行快速处理的步骤，包括：

按照子控制单元分配到的视频片段中的视频帧数量，以及子控制单元对应的处理单元索引结构中的第一处理层的处理单元数量，确定采样间隔；

采用子控制单元对应的处理单元索引结构中的第一处理层的处理单元，按照采样间隔从视频片段中提取采样视频帧；

第一处理层的处理单元从采样视频帧中提取目标图像，以将存在目标图像的采样视频帧作为核心目标视频帧；

将位于核心目标视频帧前后的预设取样数量的第一取样范围内的第一目标视频帧分配至处理单元索引结构中的第二层处理单元提取目标图像；

根据各第一取样范围中存在目标图像的边界视频帧、第一目标视频帧对应的核心目标视频帧，以及预设取样数量，划定与第一取样范围不重合的第二取样范围，其中，边界视频帧指的是第一取样范围中存在目标图像的帧顺序最小的视频帧和帧顺序最大的视频帧；

将第二取样范围内的第二目标视频帧分配至第三层处理单元提取目标图像；

判断第二目标视频帧中是否存在目标图像；

若是，根据各第二目标视频帧中存在目标图像的边界视频帧以及预设取样数量，划定分别与第二取样范围和第一目标视频帧不重合的第三取样范围；将第三取样范围内的第三目标视频帧分配至第四层处理单元提取目标图像；

若否，结束本轮目标图像提取；

根据处理单元索引结构提取出的所有目标图像，形成图像分析结果。

2.根据权利要求1所述的视频图像智能分析方法，其特征在于，所述在索引控制模块建立用于管控每一视频片段的子控制单元，将分析目标和对应的视频片段发送至不同的子控制单元的步骤，包括：

在索引控制模块根据视频片段的数量，建立用于管控每一视频片段的子控制单元；

建立视频片段与子控制单元的一一对应关系；

按照一一对应关系，将分析目标和视频片段发送至对应的子控制单元。

3.根据权利要求1所述的视频图像智能分析方法，其特征在于，所述按照子控制单元分配到的视频片段中的视频帧数量，以及子控制单元对应的处理单元索引结构中的第一处理层的处理单元数量，确定采样间隔的步骤，包括：

获取预设的最大采样间隔；

根据子控制单元分配到的视频片段中的视频帧数量和子控制单元对应的处理单元索引结构中的第一处理层的处理单元数量，确定临时采样间隔；

判断临时采样间隔是否未超过最大采样间隔；

若是，将临时采样间隔确定为采样间隔，以使第一处理层的处理单元通过一次采样提取出全部采样视频帧；

若否，将最大采样间隔作为采样间隔，以使第一处理层的处理单元通过多次采样提取出全部采样视频帧。

4.根据权利要求1所述的视频图像智能分析方法，其特征在于，所述根据处理单元索引结构提取出的所有目标图像，形成图像分析结果的步骤，包括：

获取提取出的所有目标图像所对应的视频帧序号；

获取视频帧序号对应的时间标识点；

获取提取出的所有目标图像在视频帧中的位置；

根据目标图像出现的视频帧序号对应的时间标识点和对应的位置，形成图像分析结果。

5.根据权利要求1所述的视频图像智能分析方法，其特征在于，每个索引结构模型中的各处理层的节点数量通过以下方式确定：

；

；

其中，i为索引结构模型的序号，j为索引结构模型中的处理层序号，，I为索引结构模型数量，/>，/>为第i个索引结构模型中的处理层数量；/>为第i个索引结构模型中的第j个处理层的处理节点总数；/>为第i个索引结构模型中的第一处理层的处理节点数量，/>为第i个索引结构模型中的第k-1个处理层中的每个母节点向第k个处理层链接的子节点个数，/>，/>；/>为第i个索引结构模型中的第j个处理层的冗余节点数量，；

根据/>确定，/>为第i个索引结构模型对应的第i个视频片段的视频帧数，且根据第i个视频片段的视频帧数查询映射关系表确定，映射关系表记载了视频帧数与第一处理层的节点数量的映射关系。

6.根据权利要求3所述的视频图像智能分析方法，其特征在于，划定第二取样范围的具体方式为：

确定第一取样范围中存在目标图像的边界视频帧；

确定第一目标视频帧对应的核心目标视频帧与最小边界视频帧的第一帧顺序之差，以及最大边界视频帧与核心目标视频帧的第二帧顺序之差；

以第一帧顺序之差和第二帧顺序之差的大小关系，确定第二取样范围的取样方向，具体的：

；

；

当时，第二取样范围的取样方向为向着帧顺序减小的方向取样；

当时，第二取样范围的取样方向为向着帧顺序增大的方向取样；

当时，第二取样范围的取样方向为向着帧顺序减小的方向和向着帧顺序增大的方向分别取样；

其中，为第一帧顺序之差，/>为第二帧顺序之差，/>为第一目标视频帧对应的核心目标视频帧的帧顺序，/>为第一取样范围中存在目标图像的最小边界视频帧的帧顺序，/>为第一取样范围中存在目标图像的最大边界视频帧的帧顺序；

以取样方向上的边界视频帧作为起点，按照预设取样数量，向取样方向进行取样，划定与第一取样范围不重合的第二取样范围。

7.一种图像分析装置，其特征在于，应用如权利要求1至6中任一项所述的视频图像智能分析方法，图像分析装置包括索引控制模块和分别与索引控制模块通信连接的视频切分模块和处理模块，处理模块包括多个处理单元。