CN108596109A - 一种基于神经网络和运动矢量的目标检测方法及装置 - Google Patents

Abstract

本发明提供了一种目标检测方法及装置，方法包括：解析视频数据码流以提取多帧图像，记录每帧图像的顺序号；针对每帧图像，根据图像的顺序号确定图像是否为帧内预测编码帧，若是，执行A1；否则执行A2至A4；A1：通过神经网络模型对图像进行识别以检测至少一个目标，存储各个目标在图像中的位置信息，在图像中对各个目标进行标记以形成目标图像；A2：根据图像的顺序号确定参考图像，获取对应的运动矢量信息；A3：根据各个目标在参考图像中的位置信息以及运动矢量信息，确定各个目标在图像中的当前位置信息；A4：根据各个目标在图像中的当前位置信息，在图像中对各个目标进行标记以形成目标图像。本发明提供的技术方案，检测效率较高。

Description

一种基于神经网络和运动矢量的目标检测方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种基于神经网络和运动矢量的目标检测方法及装置。

背景技术

在车载自动驾驶***中，经常需要对图像采集设备发送的视频数据码流进行相应的解析并识别，以确定并标记出视频数据码流携带的每一帧图像上各个目标(比如，车辆、行人及交通标志等)的位置，实现对视频数据码流所携带的图像进行目标检测。

目前，实现对视频数据码流所携带的图像进行目标检测时，需要通过神经网络模型对视频数据码流所携带的每一帧图像分别进行图像识别，以确定并标记每一帧图像上的至少一个目标，并将标记后的每一帧图像输出。

上述技术方案中，通过神经网络模型对每一帧图像分别进行图像识别消耗时间较长，检测效率较低。

发明内容

本发明实施例提供了一种基于神经网络和运动矢量的目标检测方法及装置，校测效率较高。

第一方面，本发明提供了一种基于神经网络和运动矢量的目标检测方法，包括：

接收图像采集设备发送的视频数据码流；

解析所述视频数据码流以提取至少两帧图像，并记录提取的每一帧所述图像所分别对应的顺序号；

针对于每一帧所述图像，根据所述图像所对应的顺序号确定所述图像是否为帧内预测编码帧，若是，则执行A1；否则，执行A2、A3及A4；

A1：通过神经网络模型对所述图像进行识别以检测出所述图像携带的至少一个目标，确定并存储各个所述目标在所述图像中的位置信息，在所述图像中对各个所述目标的位置进行标记处理以形成目标图像；

A2：根据所述图像所对应的顺序号确定所述图像所对应的参考图像，并获取所述图像对应于所述参考图像的运动矢量信息；

A3：根据各个所述目标在所述参考图像中的位置信息以及所述运动矢量信息，确定各个所述目标在所述图像中的当前位置信息；

A4：根据各个所述目标在所述图像中的当前位置信息，在所述图像中对各个所述目标的位置进行标记处理以形成目标图像。

优选地，

所述根据所述图像所对应的顺序号确定所述图像是否为帧内预测编码帧，包括：

通过如下公式计算所述图像所对应的评价值：

其中，β表征所述评价系数、α表征所述图像所对应的顺序号、n为大于1的预设常数；

当β为整数时，确定所述图像为帧内预测编码帧，否则，确定所述图像为帧间预测编码帧。

优选地，

所述运动矢量信息，包括：整像素运动矢量及帧内预测编码图像块。

第二方面，本发明实施例提供了一种基于神经网络和运动矢量的目标检测装置，包括

码流接收模块，用于接收图像采集设备发送的视频数据码流；

码流解析模块，解析所述视频数据码流以提取至少两帧图像，并记录提取的每一帧所述图像所分别对应的顺序号；

图像确定模块，用于针对于每一帧所述图像，根据所述图像所对应的顺序号确定所述图像是否为帧内预测编码帧，若是，则触发神经网络调用模块；否则，触发信息获取模块；

所述神经网络调用模块，用于通过神经网络模型对所述图像进行识别以检测出所述图像携带的至少一个目标，确定并存储各个所述目标在所述图像中的位置信息，在所述图像中对各个所述目标的位置进行标记处理以形成目标图像；

所述信息获取模块，用于根据所述图像所对应的顺序号确定所述图像所对应的参考图像，并获取所述图像对应于所述参考图像的运动矢量信息；

位置确定模块，用于根据各个所述目标在所述参考图像中的位置信息以及所述运动矢量信息，确定各个所述目标在所述图像中的当前位置信息；

标记处理模块，用于根据各个所述目标在所述图像中的当前位置信息，在所述图像中对各个所述目标的位置进行标记处理以形成目标图像。

优选的，

所述图像确定模块，用于执行如下步骤：

通过如下公式计算所述图像所对应的评价值：

其中，β表征所述评价系数、α表征所述图像所对应的顺序号、n为大于1的预设常数；

当β为整数时，确定所述图像为帧内预测编码帧，当β为非整数时，确定所述图像为帧间预测编码帧。

优选地，

所述运动矢量信息，包括：整像素运动矢量及帧内预测编码图像块。

本发明实施例提供了一种基于神经网络和运动矢量的目标检测方法及装置，该方法中，通过对接收的视频数据码流进行解析以提取到至少两帧图像，并记录提取的每一帧图像所分别对应的顺序号，后续则可针对每一帧图像，根据该图像所对应的顺序号确定该图像是否为帧内预测编码帧；当图像为帧内预测编码帧时，才通过神经网络模型对该图像进行识别以检测出该图像携带的至少一个目标，在该图像中对各个目标的位置进行标记处理以形成目标图像，并存储各个目标在该图像中的位置信息；当图像为非帧内预测编码帧时，可根据该图像所对应的顺序号确定该图像所对应的参考图像，并获取该图像对应于参考图像的运动矢量信息，从而根据运动矢量信息以及各个目标在参考图像中的位置信息确定各个目标在该图像中的当前位置信息，进而根据各个目标在该图像中的当前位置信息，在该图像中对各个目标的位置进行标记处理以形成目标图像。综上所述，本发明实施例提供的技术方案，无需通过神经网络模型对视频数据码流所携带的每一帧图像分别进行识别，即可检测并标记出每一帧图像上的各个目标，检测效率较高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种基于神经网络和运动矢量的目标检测方法的流程图；

图2是本发明一实施例提供的一种基于神经网络和运动矢量的目标检测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于神经网络和运动矢量的目标检测方法，包括：

步骤101，接收图像采集设备发送的视频数据码流；

步骤102，解析所述视频数据码流以提取至少两帧图像，并记录提取的每一帧所述图像所分别对应的顺序号；

步骤103，依次选择一个未被选择的顺序号所对应的图像；

步骤104，根据选择的所述图像所对应的顺序号确定所述图像是否为帧内预测编码帧，若是，则执行步骤105；否则，执行步骤106；

步骤105，通过神经网络模型对所述图像进行识别以检测出所述图像携带的至少一个目标，确定并存储各个所述目标在所述图像中的位置信息，在所述图像中对各个所述目标的位置进行标记处理以形成目标图像；

步骤106，根据所述图像所对应的顺序号确定所述图像所对应的参考图像，并获取所述图像对应于所述参考图像的运动矢量信息；

步骤107，根据各个所述目标在所述参考图像中的位置信息以及所述运动矢量信息，确定各个所述目标在所述图像中的当前位置信息；

步骤108，根据各个所述目标在所述图像中的当前位置信息，在所述图像中对各个所述目标的位置进行标记处理以形成目标图像；

步骤109，是否存在未被选择的图像，若是，则执行步骤103；否则，结束当前流程。

如图1所示的实施例，通过对接收的视频数据码流进行解析以提取到至少两帧图像，并记录提取的每一帧图像所分别对应的顺序号，后续则可针对每一帧图像，根据该图像所对应的顺序号确定该图像是否为帧内预测编码帧；当图像为帧内预测编码帧时，才通过神经网络模型对该图像进行识别以检测出该图像携带的至少一个目标，在该图像中对各个目标的位置进行标记处理以形成目标图像，并存储各个目标在该图像中的位置信息；当图像为非帧内预测编码帧时，可根据该图像所对应的顺序号确定该图像所对应的参考图像，并获取该图像对应于参考图像的运动矢量信息，从而根据运动矢量信息以及各个目标在参考图像中的位置信息确定各个目标在该图像中的当前位置信息，进而根据各个目标在该图像中的当前位置信息，在该图像中对各个目标的位置进行标记处理以形成目标图像。综上所述，本发明实施例提供的技术方案，无需通过神经网络模型对视频数据码流所携带的每一帧图像分别进行识别，即可检测并标记出每一帧图像上的各个目标，检测效率较高。

相应的，无需通过神经网络模型对视频数据码流所携带的每一帧图像分别进行识别，还可节约神经网络模型的工作负载，降低实现对视频数据码流携带的各帧图像进行目标检测的终端的功耗，为终端执行其他任务提供足够的计算机存储阈量，同时也可提高终端对于目标被遮挡及发生形变造成的视频数据畸变的处理能力，提高其鲁棒性。

本发明一个实施例中，所述根据所述图像所对应的顺序号确定所述图像是否为帧内预测编码帧，包括：

通过如下公式计算所述图像所对应的评价值：

其中，β表征所述评价系数、α表征所述图像所对应的顺序号、n为大于1的预设常数；

当β为整数时，确定所述图像为帧内预测编码帧，否则，确定所述图像为帧间预测编码帧。

上述实施例中，n为大于1的预设常数，该预设常数可以结合实际业务场景(比如执行该方法的设备的计算能力或存储能力)进行合理设置，预设常数的大小通常会影响图像中目标的检测精度，为了确保具有较高的检测精度，预设常数应当相对较小，通常可以设置为大于1且小于6的整数，比如，可以设置为2、3、4、5中的任意一个。

上述实施例中，当α＝1时，即图像所对应的顺序号为1时，表征该图像是从接收的视频数据码流中提取的第一张图像，此时，该图像应当为帧内预测编码帧，需要通过神经网络模型对该图像进行识别以检测出该图像携带的一个或多个目标，在该图像中对各个目标的位置进行标记处理以形成目标图像，同时，还应当存储该各个目标在该图像中的位置信息。

不难理解的，从接收的视频提取的各帧图像中，凡是满足上述实施例所限定的条件的每一帧图像均应当被确定为镇内预测编码帧，举例来说，当n＝3且视频数据码流中携带9帧图像时，对应顺序号为1、4、7的各帧图像均会被确定为镇内预测编码帧；相应的，对应顺序号为2、3、5、6、8、9的各帧图像即为帧间预测编码帧。

本发明一个实施例中，由于对接收的视频数据进行解析时，通常是边接收边解析，因此，当确定出不是帧内预测编码帧时，即确定出图像为帧间预测编码帧时，可根据图像所对应的顺序号按照由大到小的顺序对提取的各张图像进行回溯遍历以确定遍历的图像是否为帧内预测编码帧，直到遍历的当前图像是帧内预测编码帧时将遍历的当前图像确定为参考图像。举例来说，当确定出对应顺序号为6的当前图像不是帧内预测编码帧时，则可首先遍历顺序号5，当确定出顺序号5所对应的图像也不是帧内预测编码帧时，遍历顺序号4，当确定出顺序号4所对应的图像是帧内预测编码帧时，则可将顺序号4所对应的图像确定为与该当前图像相对应的参考图像。

本发明一个实施例中，所述运动矢量信息，包括但不限于整像素运动矢量及帧内预测编码图像块，比如，还可以包括分像素运动矢量。

举例来说，当对应顺序号6的当前图像A是帧间预测编码帧，该图像所对应的参考图像是对应顺序号为4的图像B(帧内预测编码帧)，当运动矢量信息中包括帧内预测编码图像块时，表征图像A和图像B中均具有该帧内预测编码图像块，可通过该帧内预测编码图像块在图像B中相对其在图像A中的整像素运动矢量，确定出同一个目标在图像A和图像B中的相对运动矢量，由于各个目标在图像A中的位置已知，因此，则可根据相对运动矢量及各个目标在图像A中的位置确定出各个目标在图像B中的位置，从而在图像B中标记出各个目标。

如图2所示，本发明实施例提供了一种基于神经网络和运动矢量的目标检测装置，包括：

码流接收模块201，用于接收图像采集设备发送的视频数据码流；

码流解析模块202，解析所述视频数据码流以提取至少两帧图像，并记录提取的每一帧所述图像所分别对应的顺序号；

图像确定模块203，用于针对于每一帧所述图像，根据所述图像所对应的顺序号确定所述图像是否为帧内预测编码帧，若是，则触发神经网络调用模块204；否则，触发信息获取模块205；

所述神经网络调用模块204，用于通过神经网络模型对所述图像进行识别以检测出所述图像携带的至少一个目标，确定并存储各个所述目标在所述图像中的位置信息，在所述图像中对各个所述目标的位置进行标记处理以形成目标图像；

所述信息获取模块205，用于根据所述图像所对应的顺序号确定所述图像所对应的参考图像，并获取所述图像对应于所述参考图像的运动矢量信息；

位置确定模块206，用于根据各个所述目标在所述参考图像中的位置信息以及所述运动矢量信息，确定各个所述目标在所述图像中的当前位置信息；

标记处理模块207，用于根据各个所述目标在所述图像中的当前位置信息，在所述图像中对各个所述目标的位置进行标记处理以形成目标图像。

本发明一个实施例中，所述图像确定模块203，用于执行如下步骤：

通过如下公式计算所述图像所对应的评价值：

其中，β表征所述评价系数、α表征所述图像所对应的顺序号、n为大于1的预设常数；

当β为整数时，确定所述图像为帧内预测编码帧，当β为非整数时，确定所述图像为帧间预测编码帧。

本发明一个实施例中，所述运动矢量信息，包括：整像素运动矢量及帧内预测编码图像块。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

综上所述，本发明各个实施例至少具有如下有益效果：

1、本发明一实施例中，通过对接收的视频数据码流进行解析以提取到至少两帧图像，并记录提取的每一帧图像所分别对应的顺序号，后续则可针对每一帧图像，根据该图像所对应的顺序号确定该图像是否为帧内预测编码帧；当图像为帧内预测编码帧时，才通过神经网络模型对该图像进行识别以检测出该图像携带的至少一个目标，在该图像中对各个目标的位置进行标记处理以形成目标图像，并存储各个目标在该图像中的位置信息；当图像为非帧内预测编码帧时，可根据该图像所对应的顺序号确定该图像所对应的参考图像，并获取该图像对应于参考图像的运动矢量信息，从而根据运动矢量信息以及各个目标在参考图像中的位置信息确定各个目标在该图像中的当前位置信息，进而根据各个目标在该图像中的当前位置信息，在该图像中对各个目标的位置进行标记处理以形成目标图像。综上所述，本发明实施例提供的技术方案，无需通过神经网络模型对视频数据码流所携带的每一帧图像分别进行识别，即可检测并标记出每一帧图像上的各个目标，检测效率较高。

2、本发明一实施例中，无需通过神经网络模型对视频数据码流所携带的每一帧图像分别进行识别，还可节约神经网络模型的工作负载，降低实现对视频数据码流携带的各帧图像进行目标检测的终端的功耗，为终端执行其他任务提供足够的计算机存储阈量，同时也可提高终端对于目标被遮挡及发生形变造成的视频数据畸变的处理能力，提高其鲁棒性。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (6)

1.一种基于神经网络和运动矢量的目标检测方法，其特征在于，包括：

接收图像采集设备发送的视频数据码流；

解析所述视频数据码流以提取至少两帧图像，并记录提取的每一帧所述图像所分别对应的顺序号；

针对于每一帧所述图像，根据所述图像所对应的顺序号确定所述图像是否为帧内预测编码帧，若是，则执行A1；否则，执行A2、A3及A4；

A1：通过神经网络模型对所述图像进行识别以检测出所述图像携带的至少一个目标，确定并存储各个所述目标在所述图像中的位置信息，在所述图像中对各个所述目标的位置进行标记处理以形成目标图像；

A2：根据所述图像所对应的顺序号确定所述图像所对应的参考图像，并获取所述图像对应于所述参考图像的运动矢量信息；

A3：根据各个所述目标在所述参考图像中的位置信息以及所述运动矢量信息，确定各个所述目标在所述图像中的当前位置信息；

A4：根据各个所述目标在所述图像中的当前位置信息，在所述图像中对各个所述目标的位置进行标记处理以形成目标图像。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述图像所对应的顺序号确定所述图像是否为帧内预测编码帧，包括：

通过如下公式计算所述图像所对应的评价值：

其中，β表征所述评价系数、α表征所述图像所对应的顺序号、n为大于1的预设常数；

当β为整数时，确定所述图像为帧内预测编码帧，否则，确定所述图像为帧间预测编码帧。

3.根据权利要求1或2所述的方法，其特征在于，

所述运动矢量信息，包括：整像素运动矢量及帧内预测编码图像块。

4.一种基于神经网络和运动矢量的目标检测装置，其特征在于，包括：

码流接收模块，用于接收图像采集设备发送的视频数据码流；

码流解析模块，解析所述视频数据码流以提取至少两帧图像，并记录提取的每一帧所述图像所分别对应的顺序号；

图像确定模块，用于针对于每一帧所述图像，根据所述图像所对应的顺序号确定所述图像是否为帧内预测编码帧，若是，则触发神经网络调用模块；否则，触发信息获取模块；

所述神经网络调用模块，用于通过神经网络模型对所述图像进行识别以检测出所述图像携带的至少一个目标，确定并存储各个所述目标在所述图像中的位置信息，在所述图像中对各个所述目标的位置进行标记处理以形成目标图像；

所述信息获取模块，用于根据所述图像所对应的顺序号确定所述图像所对应的参考图像，并获取所述图像对应于所述参考图像的运动矢量信息；

位置确定模块，用于根据各个所述目标在所述参考图像中的位置信息以及所述运动矢量信息，确定各个所述目标在所述图像中的当前位置信息；

标记处理模块，用于根据各个所述目标在所述图像中的当前位置信息，在所述图像中对各个所述目标的位置进行标记处理以形成目标图像。

5.根据权利要求4所述的装置，其特征在于，

所述图像确定模块，用于执行如下步骤：

通过如下公式计算所述图像所对应的评价值：

其中，β表征所述评价系数、α表征所述图像所对应的顺序号、n为大于1的预设常数；

当β为整数时，确定所述图像为帧内预测编码帧，当β为非整数时，确定所述图像为帧间预测编码帧。

6.根据权利要求4或5所述的装置，其特征在于，

所述运动矢量信息，包括：整像素运动矢量及帧内预测编码图像块。