CN116246308A - 基于视觉识别的多目标跟踪预警方法、装置及终端设备 - Google Patents

Abstract

本申请适用于图像处理技术领域，提供了基于视觉识别的多目标跟踪预警方法、装置及终端设备，该方法包括：采集第一待识别图像，第一待识别图像中包含多个待识别目标；对待识别图像进行识别，根据身体特征为每个待识别目标设置唯一的识别标识；根据第一待识别目标的运动轨迹，预测第一待识别目标的下一目标区域；调取下一目标区域的图像采集装置采集第二待识别图像，基于第二待识别图像对第一待识别目标进行跟踪识别。本申请不需要人工目视对多目标进行跟踪监控，能够提高多目标跟踪的效率以及准确性。

Description

基于视觉识别的多目标跟踪预警方法、装置及终端设备

技术领域

本申请属于图像处理技术领域，尤其涉及基于视觉识别的多目标跟踪预警方法、装置及终端设备。

背景技术

随着科技和经济的快速发展，大型区域(例如商场)日益增多扩大，基于此大型区域的监控要求也越来越高。以商场为例，目前商场监控***的功能较为简单，主要还是依靠人工目视在监控屏幕上获知商场的安保情况。由于商场购物人员越来越多，传统的人工目视监控管理手段存在安全瓶颈，监管不力容易导致安全事故的发生。因此，传统的人工目视已经难以满足大型区域的监控需求，当前亟需提高大型区域的视频监视***的智能化水平。

发明内容

为克服相关技术中存在的问题，本申请实施例提供了基于视觉识别的多目标跟踪预警方法、装置及终端设备。

本申请是通过如下技术方案实现的：

第一方面，本申请实施例提供了一种基于视觉识别的多目标跟踪预警方法，包括：采集第一待识别图像，所述第一待识别图像为在第一目标区域采集的图像，且所述第一待识别图像中包含多个待识别目标；对所述待识别图像进行识别，根据身体特征为每个待识别目标设置唯一的识别标识，并存储每个识别标识对应的身体特征，所述身体特征包含人脸特征，肢体特征和动作特征中的至少一种；根据第一待识别目标的运动轨迹，预测第一待识别目标的下一目标区域为第二目标区域，所述第一代识别目标为所述多个待识别目标中的任一待识别目标；调取第二目标区域的图像采集装置采集第二待识别图像，并基于所述第二待识别图像对所述第一待识别目标进行跟踪识别，所述第二待识别图像包含所述第一待识别目标。

上述基于视觉识别的多目标跟踪预警方法，采集第一目标区域的第一待识别图像，对第一代识别图像进行识别确定各个待识别目标的身体特征。之后，根据第一待识别目标的运动轨迹，预测第一待识别目标的下一目标区域。之后，根据待识别目标的身体特征从第二待识别图像中识别出各个待识别目标，从而实现对多目标的跟踪识别预警，不需要人工目视来对多目标进行跟踪监控，能够提高多目标跟踪的效率以及准确性。

结合第一方面，在一些实施例中，所述根据身体特征为每个待识别目标设置唯一的识别标识，包括：获取待识别图像中每个头部区域的第一位置和每个肢体区域的第二位置；基于所述第一位置和所述第二位置，确定各个所述头部区域与各个所述肢体区域之间的位置关系；基于各个所述头部区域与各个所述肢体区域之间的位置关系，确定各个所述头部区域与各个所述肢体区域之间的关联关系；基于所述关联关系，确定多对相对应的头部区域和肢体区域；提取各对相对应的头部区域的头部特征和肢体区域的肢体特征，为所述头部特征和肢体特征设置唯一的识别标识。

结合第一方面，在一些实施例中，所述第一位置为头部区域的第一区域位置，所述第二位置为肢体区域的第二区域位置或肢体区域的多个特征点的第二位置，所述肢体区域包括上肢肢体区域和下肢肢体区域；所述基于各个所述头部区域与各个所述肢体区域之间的位置关系，确定各个所述头部区域与各个所述肢体区域之间的关联关系，包括：计算头部区域与肢体区域之间的距离，所述距离包括头部区域中心到肢体区域中心的距离，以及头部区域边缘到肢体区域边缘的最大距离和最小距离；若到第一头部区域与多个第二肢体区域之间的距离小于阈值，则计算第一头部区域与各个第二肢体区域之间的角度，所述角度为经过头部区域中心的第一竖线与经过肢体区域中心的第二竖线之间的角度，所述第一头部区域为任一头部区域；根据第一头部区域与各个第二肢体区域之间的角度，确定第一头部区域与各个第二肢体区域之间的关联关系。

结合第一方面，在一些实施例中，所述第一位置为头部区域的多个第一特征点的第一特征点位置，所述第二位置为肢体区域的多个第二特征点的第二特征点位置；所述基于各个所述头部区域与各个所述肢体区域之间的位置关系，确定各个所述头部区域与各个所述肢体区域之间的关联关系，包括：计算头部区域与肢体区域之间的距离，所述距离包括各个第一特征点与各个第二特征点之间的距离；若到第一头部区域与多个第二肢体区域之间的距离小于阈值，则计算第一头部区域与各个第二肢体区域之间的角度，所述角度为预设的第一特征点与第二特征点的连线与竖直线之间的角度，所述第一头部区域为任一头部区域，所述头部区域中心；根据第一头部区域与各个第二肢体区域之间的角度，确定第一头部区域与各个第二肢体区域之间的关联关系。

结合第一方面，在一些实施例中，在所述对所述待识别图像进行识别之前，所述方法还包括对所述待识别图像进行二值化处理的步骤；所述对所述待识别图像进行二值化处理，包括：对于所述待识别图像中的头部区域，采用预设大小的扫描窗对所述头部区域进行扫描，所述头部区域包含人脸部分；若所述头部区域中与所述扫描窗中部对应的像素点的亮度值，小于周围部分像素点的亮度值，则将所述扫描窗中部对应的像素点的灰度值设置为第一灰度值；若所述头部中与所述扫描窗中部对应的像素点的亮度值，大于周围部分像素点的亮度值，则将所述扫描窗中部对应的像素点的灰度值设置为第二灰度值。

结合第一方面，在一些实施例中，所述对所述待识别图像进行二值化处理，还包括：对于所述头部区域中最外圈的像素点，将该像素点的灰度值与灰度阈值比较，若该像素点的灰度值大于或等于所述灰度阈值，则将该像素点的灰度值设置为第二灰度值；若该像素点的灰度值小于所述灰度阈值，则将该像素点的灰度值设置为第一灰度值。

结合第一方面，在一些实施例中，图像转换为灰度图；提取所述灰度图中预设行和预设列所对应的像素点；按照提取出的各个像素点在原图中的位置关系，将提取出的各个像素点组合生成新的待识别图像。

结合第一方面，在一些实施例中，每个图像采集装置对应一个用于存储所采集的图像的数据库，所述方法还包括：若待识别目标为第二待识别目标，在数据库中为第二待识别目标设置目标存储空间，将包含第二待识别目标的待识别图像存入所述目标存储空间；响应查找指令，所述查找指令包含第二待识别目标对应的目标识别标识；基于所述目标识别标识，确定所述数据库中的目标存储空间；调取所述目标存储空间中的图像，并播放所述图像。

第二方面，本申请实施例提供了一种基于视觉识别的多目标跟踪预警装置，包括：图像采集模块，用于采集第一待识别图像，所述第一待识别图像为在第一目标区域采集的图像，且所述第一待识别图像中包含多个待识别目标；识别模块，用于对所述待识别图像进行识别，根据身体特征为每个待识别目标设置唯一的识别标识，并存储每个识别标识对应的身体特征，所述身体特征包含人脸特征，肢体特征和动作特征中的至少一种；预测模块，用于根据第一待识别目标的运动轨迹，预测第一待识别目标的下一目标区域为第二目标区域，所述第一代识别目标为所述多个待识别目标中的任一待识别目标；跟踪模块，用于调取第二目标区域的图像采集装置采集第二待识别图像，并基于所述第二待识别图像对所述第一待识别目标进行跟踪识别，所述第二待识别图像包含所述第一待识别目标。

第三方面，本申请实施例提供了一种终端设备，包括存储器和处理器，所述存储器中存储有、可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的基于视觉识别的多目标跟踪预警方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的基于视觉识别的多目标跟踪预警方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的基于视觉识别的多目标跟踪预警方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的应用场景示意图；

图2是本申请一实施例提供的基于视觉的多目标跟踪预警方法的流程示意图；

图3是图2中步骤202的流程示意图；

图4是本申请一实施例提供的扫描窗扫描待识别图像的场景示意图；

图5是本申请一实施例提供的扫描窗对应的像素点的示意图；

图6(a)和图6(b)是本申请一实施例提供的图像缩放的场景示意图；

图7是本申请实施例提供的基于视觉的多目标跟踪预警装置的结构示意图；

图8是本申请实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

举例说明，本申请实施例可以应用到如图1所示的示例性应用场景中。在该应用场景中，包括第一区域、第二区域和第三区域，每个区域设置有至少一个图像采集装置。例如，第一区域设置有第一摄像头101，第二区域设置有第二摄像头102，第三区域设置有第三摄像头103，每个摄像头均可以采集对应区域的全区域图像。

以下以用户A、用户B和用户C在上述三个区域中移动为例，进行说明。在初始时刻，用户A、用户B和用户C位于第一区域，第一摄像头101采集到的图像中包含用户A、用户B和用户C。之后，用户A和用户C移动至第二区域，第二摄像头102采集到的图像中包含用户A和用户C。之后，用户C移动至第三区域，第三摄像头103采集到的图像中包含用户C。

摄像头将采集到的包含用户的图像发送给服务器(图中未示出)，服务器根据摄像头发送来的图像能够实现对用户A、用户B和用户C的多目标跟踪监控。另外，服务器还可以生成用户A、用户B和用户C的轨迹，以及对某个用户的锁定轨迹等功能。

上述三个区域可以为商场等室内的区域，也可以为广场等室外的区域，本申请实施例对此不予限定。

以下结合图1对本申请的基于视觉识别的多目标跟踪预警方法进行详细说明。

图2是本申请一实施例提供的基于视觉识别的多目标跟踪预警方法的示意性流程图，参照图2，对该基于视觉识别的多目标跟踪预警方法的详述如下：

步骤201，采集第一待识别图像。

其中，所述第一待识别图像为在第一目标区域采集的图像，且所述第一待识别图像中包含多个待识别目标。

示例性的，可以通过设置在目标区域内的图像采集装置采集包含多个待识别目标的图像。例如，该图像采集装置可以实时采集目标区域内的图像，也可以每隔预设时间采集一次目标区域的图像，也可以在某些条件下采集目标区域的图像，还可以按照其他规则采集目标区域的图像，申请实施例对此不予限定。

步骤202，对所述待识别图像进行识别，根据身体特征为每个待识别目标设置唯一的识别标识，并存储每个识别标识对应的身体特征。

其中，所述身体特征可以包含人脸特征，肢体特征和动作特征中的至少一种。

一些实施例中，参见图3，步骤202的实现过程可以包括步骤2021至步骤2025，详述如下：

步骤2021，获取待识别图像中每个头部区域的第一位置和每个肢体区域的第二位置。

步骤2022，基于所述第一位置和所述第二位置，确定各个所述头部区域与各个所述肢体区域之间的位置关系。

其中，上述位置关系可以为各个头部区域与各个肢体区域之间的距离、方位、角度等信息。头部区域与肢体区域之间的方位可以为在地球坐标系下，头部区域相对于肢体区域的方位，或肢体区域相对于头部区域的方位。头部区域与肢体区域之间的角度可以为在地球坐标系下，头部区域与肢体区域之间到的夹角。

步骤2023，基于各个所述头部区域与各个所述肢体区域之间的位置关系，确定各个所述头部区域与各个所述肢体区域之间的关联关系。

其中，头部区域与肢体区域之间的关联关系，可以包括：关联和不关联。例如，头部区域A与肢体区域A关联，表征头部区域A与肢体区域A相对应，对应同一人体的头部和肢体。又例如，头部区域A与肢体区域B不关联，表征头部区域A与肢体区域B不对应，非同一人体的头部和肢体。

步骤2024，基于所述关联关系，确定多对相对应的头部区域和肢体区域。

步骤2025，提取各对相对应的头部区域的头部特征和肢体区域的肢体特征，为所述头部特征和肢体特征设置唯一的识别标识。

示例性的，头部特征可以包括多个头部特征点，肢体特征可以包括多个肢体特征点，因此可以为相对应的多个头部特征点和多个肢体特征点设置一个唯一的识别标识。在新的待识别图像中，基于上述多个头部特征点和/或多个肢体特征点，识别图像中的各个人体对应的识别标识。

一种场景中，所述第一位置为头部区域的第一区域位置，所述第二位置为肢体区域的第二区域位置或肢体区域的多个特征点的第二位置，所述肢体区域包括上肢肢体区域和下肢肢体区域。

对应的，上述步骤2023的实现过程可以包括：计算头部区域与肢体区域之间的距离，所述距离包括头部区域中心到肢体区域中心的距离，以及头部区域边缘到肢体区域边缘的最大距离和最小距离；若到第一头部区域与多个第二肢体区域之间的距离小于第一阈值，则计算第一头部区域与各个第二肢体区域之间的角度，所述角度为经过头部区域中心的第一竖线与经过肢体区域中心的第二竖线之间的角度，所述第一头部区域为任一头部区域；根据第一头部区域与各个第二肢体区域之间的角度，确定第一头部区域与各个第二肢体区域之间的关联关系。

其中，第一阈值可以根据多个样本确定，该多个样本基于对图像样本中的头部区域和肢体区域的距离进行标注得到。人体的头部与肢体之间的角度通常在一个角度范围内，若第一头部区域与某个第二肢体区域之间的角度位于该角度范围内，则可以确定第一头部区域与该第二肢体区域相关联，及第一头部区域和该第二肢体区域为同一人体的头部和肢体。

又一种场景中，所述第一位置为头部区域的多个第一特征点的第一特征点位置，所述第二位置为肢体区域的多个第二特征点的第二特征点位置。

对应的，上述步骤1023的实现过程可以包括：计算头部区域与肢体区域之间的距离，所述距离包括各个第一特征点与各个第二特征点之间的距离；若到第一头部区域与多个第二肢体区域之间的距离小于第二阈值，则计算第一头部区域与各个第二肢体区域之间的角度，所述角度为预设的第一特征点与第二特征点的连线与竖直线之间的角度，所述第一头部区域为任一头部区域，所述头部区域中心；根据第一头部区域与各个第二肢体区域之间的角度，确定第一头部区域与各个第二肢体区域之间的关联关系。

其中，头部区域与肢体区域之间距离可以为各个第一特征点与各个第二特征点之间的距离的均值或加权均值。第二阈值可以根据多个样本确定，该多个样本基于对图像样本中的头部区域和肢体区域的距离进行标注得到。第一阈值与第二阈值可以相同，也可以不同，可以根据实际情况设定，在此不予限定。

示例性的，预设的第一特征点与第二特征点的连线，可以为预设的一个第一特征点与一个第二特征点之间的连线。或者，预设的第一特征点与第二特征点的连线，可以为多个第一特征点与多个第二特征点之间连线。例如对该多个第一特征点和该多个第二特征点分别进行加权计算，得到两个点，对这两个点进行连线，得到预设的第一特征点与第二特征点的连线。竖直线可以为垂直于地面的直线。

步骤203，根据第一待识别目标的运动轨迹，预测第一待识别目标的下一目标区域为第二目标区域。

其中，所述第一代识别目标为所述多个待识别目标中的任一待识别目标。

一些实施例中，可以采集第一待识别目标在目标区域内的多个行走位置，根据该多个行走位置得到第一待识别目标的运动轨迹。之后，根据第一待识别目标的运动轨迹，对第一待识别目标的行走位置进行确定，进而确定第一待识别目标的下一目标区域。

本实施例中，上述根据该多个行走位置得到第一待识别目标的运动轨迹，可以基于已有的相关算法实现，在此不再赘述。

步骤204，调取第二目标区域的图像采集装置采集第二待识别图像，并基于所述第二待识别图像对所述第一待识别目标进行跟踪识别。

其中，所述第二待识别图像包含所述第一待识别目标。

本步骤中，在预测到第一待识别目标移动至第二目标区域后，对此后第二目标区域的图像采集装置采集到的第二待识别图像进行识别，确定第一代识别目标，对第一待识别目标继续进行跟踪监控。

示例性的，可以根据第一待识别目标的身体特征，从第二待识别图像中识别出第一待识别目标，具体过程在此不再赘述，请参考前述相关内容。另外，还可以在显示设备上对第一待识别目标进行实时标记，以便于工作人员查看。

一些实施例中，基于图2所示的实施例，在步骤202之前，上述基于视觉识别的多目标跟踪预警方法还可以包括：对所述待识别图像进行二值化处理的步骤。

示例性的，对所述待识别图像进行二值化处理的过程包括：对于所述待识别图像中的头部区域，采用预设大小的扫描窗对所述头部区域进行扫描，所述头部区域包含人脸部分；若所述头部区域中与所述扫描窗中部对应的像素点的亮度值，小于周围部分像素点的亮度值，则将所述扫描窗中部对应的像素点的灰度值设置为第一灰度值；若所述头部中与所述扫描窗中部对应的像素点的亮度值，大于周围部分像素点的亮度值，则将所述扫描窗中部对应的像素点的灰度值设置为第二灰度值。

其中，扫描窗的大小也可以为n*m个像素点的大小，n为大于或等于3的整数，m为大于或等于3的整数，n和m可以相同也可以不同。

参见图4，示例性的，扫描窗的大小可以为3*3个像素点的大小，通过一个大小为3*3个像素点的扫描窗对待识别图像进行扫描。扫描过程可以为：将扫描窗分为上中下三部分，扫描窗中部与待识别图像中的第1行像素点对齐，之后从第1个像素点开始，逐个对第1行像素点中的各个像素点进行扫描，之后对下一行的像素点进行扫描。

参见图5，以扫描窗为3*3个像素点的大小为例进行说明，粗线框为扫描窗，位于扫描窗中的像素点1至像素点9为扫描窗覆盖的9个像素点，即此时扫描窗正在扫描待识别图像中的像素点9。假定像素点1至像素点9的亮度值分别为l1至l9，若像素点5的亮度值l5均小于或等于其他八个像素点的灰度值，则将像素点5的灰度值设置为第一灰度值，例如255。若像素点5的亮度值l5小于或等于其他八个像素点的亮度值，则将像素点5的灰度值设置为第e二灰度值，例如0。

考虑到待识别目标的面部可能存在光线较为强烈或光线较弱的情况，基于此采集到的待识别图像很可能也受到光线强弱的影响，即光线对面部区域的照射不均衡，在对面部区域进行二值化处理时可能会严重影响处理的结果。如果采用一个灰度阈值将所有像素点进行二值化，则得到的二值化图像很可能会失真，无法准确地识别面部区域。发明人对于这一技术问题，采用扫描窗对待识别图像中的像素点进行逐个扫描对比，来设置各个像素点的灰度值为第一灰度值或第二灰度值，从而来消除光线照射不均衡带来的影响。

示例性的，对于目标区域位于室外的情况，可以根据目标区域的所在位置及采集时间等信息，确定待识别图像中是否会存在光线照射不均衡的情况。

例如，目标区域位于户外阳光能够直射到的位置，若采集时间为太阳光线较好的阶段，大概率存在上述光线照射不均衡的情况，若采集时间为早晨或傍晚，此时太阳光线较弱，基本不存在上述光线照射不均衡的情况。

又例如，目标区域位于户外阳光能够直射到的位置，若采集时间为太阳光线较好的阶段，且当时为晴天，则大概率存在上述光线照射不均衡的情况；若当时为多云、阴天、雨雪等天气，则基本不存在上述光线照射不均衡的情况。

又例如，目标区域位于阳光不能够直射到的位置，则基本不存在上述光线照射不均衡的情况。

若确定存在上述光线照射不均衡的情况，则可以执行上述对待识别图像进行二值化处理的步骤。若确定不存在上述光线照射不均衡的情况，则可以采用一个灰度阈值对待识别图像的各个像素点进行二值化处理。

可选的，对所述待识别图像进行二值化处理，还可以包括：对于所述头部区域中最外圈的像素点，将该像素点的灰度值与灰度阈值比较，若该像素点的灰度值大于或等于所述灰度阈值，则将该像素点的灰度值设置为第二灰度值；若该像素点的灰度值小于所述灰度阈值，则将该像素点的灰度值设置为第一灰度值。

示例性的，对于目标区域位于室外的情况，上述灰度阈值可以基于采集所述待识别图像的时间、云量和位置确定，每对时间、云量和位置对应一个灰度阈值。其中，每对时间、云量和位置对应的光照越强，灰度阈值越小；每对时间、云量和位置对应的光照越弱，灰度阈值越大。根据采集所述待识别图像的时间和云量确定灰度阈值，能够进一步减少较强光线照射带来的影响。

一些实施例中，基于图2所示的实施例，在步骤202之前，上述基于视觉识别的多目标跟踪预警方法还可以包括对待识别图像进行压缩的步骤。

示例性的，上述对待识别图像进行压缩的过程可以包括：将所述待识别图像转换为灰度图；提取所述灰度图中预设行和预设列所对应的像素点；按照提取出的各个像素点在原图中的位置关系，将提取出的各个像素点组合生成新的待识别图像。

其中，预设行可以为奇数行，或者为偶数行，或者为其他规则对应的行；预设列可以为奇数列，或者为偶数列，或者为其他规则对应的列。例如，对于靠近待识别图像边缘的行，可以每隔两行，提取一行像素点；对于靠近待识别图像中部的行，可以每隔一行，提取一行像素点。同样的，对于靠近待识别图像边缘的列，可以每隔两列，提取一列像素点；对于靠近待识别图像中部的列，可以每隔一列，提取一列像素点。

参见图6(a)，提取灰度图中偶数行和偶数列所对应的像素点；按照提取出的各个像素点在原图中的位置关系，将提取出的各个像素点组合生成新的待识别图像，如图6(b)所示。

一些实施例中，每个图像采集装置可以对应一个用于存储所采集的图像的数据库，通过该数据库能够快速查找调取所需要的图像视频。

基于图2所示的实施例，上述基于视觉识别的多目标跟踪预警方法还可以包括：若待识别目标为第二待识别目标，在数据库中为第二待识别目标设置目标存储空间，将包含第二待识别目标的待识别图像存入所述目标存储空间；响应查找指令，所述查找指令包含第二待识别目标对应的目标识别标识；基于所述目标识别标识，确定所述数据库中的目标存储空间；调取所述目标存储空间中的图像，并播放所述图像。

其中，第二待识别目标可以为需要特别关注的目标。将第二待识别目标的图像存入数据库的目标存储空间中，一旦需要查看该第二待识别目标的历史图像视频时，服务器能够根据该目标对应的目标识别标识，快速确定该目标的历史图像视频的存储位置，从而快速调取图像。

上述基于视觉识别的多目标跟踪预警方法，采集第一目标区域的第一待识别图像，对第一代识别图像进行识别确定各个待识别目标的身体特征。之后，根据第一待识别目标的运动轨迹，预测第一待识别目标的下一目标区域。之后，根据待识别目标的身体特征从第二待识别图像中识别出各个待识别目标，从而实现对多目标的跟踪识别预警，不需要人工目视来对多目标进行跟踪监控，能够提高多目标跟踪的效率以及准确性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的基于视觉识别的多目标跟踪预警方法，图7示出了本申请实施例提供的基于视觉识别的多目标跟踪预警装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参见图7，本申请实施例中的基于视觉识别的多目标跟踪预警装置可以包括图像采集模块301、识别模块302、预测模块303和跟踪模块304。

其中，图像采集模块301用于采集第一待识别图像，所述第一待识别图像为在第一目标区域采集的图像，且所述第一待识别图像中包含多个待识别目标。识别模块302用于对所述待识别图像进行识别，根据身体特征为每个待识别目标设置唯一的识别标识，并存储每个识别标识对应的身体特征，所述身体特征包含人脸特征，肢体特征和动作特征中的至少一种。预测模块303用于根据第一待识别目标的运动轨迹，预测第一待识别目标的下一目标区域为第二目标区域，所述第一代识别目标为所述多个待识别目标中的任一待识别目标。跟踪模块304用于调取第二目标区域的图像采集装置采集第二待识别图像，并基于所述第二待识别图像对所述第一待识别目标进行跟踪识别，所述第二待识别图像包含所述第一待识别目标。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种终端设备，参见图8，该终端设备400可以包括：至少一个处理器410和存储器420，所述存储器420中存储有可在所述至少一个处理器410上运行的计算机程序，所述处理器410执行所述计算机程序时实现上述任意各个方法实施例中的步骤，例如图2所示实施例中的步骤201至步骤204。或者，处理器410执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块301至304的功能。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器420中，并由处理器410执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该程序段用于描述计算机程序在终端设备400中的执行过程。

本领域技术人员可以理解，图8仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。

处理器410可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器420可以是终端设备的内部存储单元，也可以是终端设备的外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。所述存储器420用于存储所述计算机程序以及终端设备所需的其他程序和数据。所述存储器420还可以用于暂时地存储已经输出或者将要输出的数据。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

本申请实施例提供的基于视觉识别的多目标跟踪预警方法可以应用于服务器、计算机、车载设备、平板电脑、笔记本电脑、上网本、个人数字助理(personal digitalassistant，PDA)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、手机等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述基于视觉识别的多目标跟踪预警方法各个实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述基于视觉识别的多目标跟踪预警方法各个实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于视觉识别的多目标跟踪预警方法，其特征在于，包括：

采集第一待识别图像，所述第一待识别图像为在第一目标区域采集的图像，且所述第一待识别图像中包含多个待识别目标；

对所述待识别图像进行识别，根据身体特征为每个待识别目标设置唯一的识别标识，并存储每个识别标识对应的身体特征，所述身体特征包含人脸特征，肢体特征和动作特征中的至少一种；

根据第一待识别目标的运动轨迹，预测第一待识别目标的下一目标区域为第二目标区域，所述第一代识别目标为所述多个待识别目标中的任一待识别目标；

调取第二目标区域的图像采集装置采集第二待识别图像，并基于所述第二待识别图像对所述第一待识别目标进行跟踪识别，所述第二待识别图像包含所述第一待识别目标。

2.如权利要求1所述的基于视觉识别的多目标跟踪预警方法，其特征在于，所述根据身体特征为每个待识别目标设置唯一的识别标识，包括：

获取待识别图像中每个头部区域的第一位置和每个肢体区域的第二位置；

基于所述第一位置和所述第二位置，确定各个所述头部区域与各个所述肢体区域之间的位置关系；

基于各个所述头部区域与各个所述肢体区域之间的位置关系，确定各个所述头部区域与各个所述肢体区域之间的关联关系；

基于所述关联关系，确定多对相对应的头部区域和肢体区域；

提取各对相对应的头部区域的头部特征和肢体区域的肢体特征，为所述头部特征和肢体特征设置唯一的识别标识。

3.如权利要求2所述的基于视觉识别的多目标跟踪预警方法，其特征在于，所述第一位置为头部区域的第一区域位置，所述第二位置为肢体区域的第二区域位置或肢体区域的多个特征点的第二位置，所述肢体区域包括上肢肢体区域和下肢肢体区域；

所述基于各个所述头部区域与各个所述肢体区域之间的位置关系，确定各个所述头部区域与各个所述肢体区域之间的关联关系，包括：

计算头部区域与肢体区域之间的距离，所述距离包括头部区域中心到肢体区域中心的距离，以及头部区域边缘到肢体区域边缘的最大距离和最小距离；

若到第一头部区域与多个第二肢体区域之间的距离小于阈值，则计算第一头部区域与各个第二肢体区域之间的角度，所述角度为经过头部区域中心的第一竖线与经过肢体区域中心的第二竖线之间的角度，所述第一头部区域为任一头部区域；

根据第一头部区域与各个第二肢体区域之间的角度，确定第一头部区域与各个第二肢体区域之间的关联关系。

4.如权利要求2所述的基于视觉识别的多目标跟踪预警方法，其特征在于，所述第一位置为头部区域的多个第一特征点的第一特征点位置，所述第二位置为肢体区域的多个第二特征点的第二特征点位置；

所述基于各个所述头部区域与各个所述肢体区域之间的位置关系，确定各个所述头部区域与各个所述肢体区域之间的关联关系，包括：

计算头部区域与肢体区域之间的距离，所述距离包括各个第一特征点与各个第二特征点之间的距离；

若到第一头部区域与多个第二肢体区域之间的距离小于阈值，则计算第一头部区域与各个第二肢体区域之间的角度，所述角度为预设的第一特征点与第二特征点的连线与竖直线之间的角度，所述第一头部区域为任一头部区域，所述头部区域中心；

根据第一头部区域与各个第二肢体区域之间的角度，确定第一头部区域与各个第二肢体区域之间的关联关系。

5.如权利要求1所述的基于视觉识别的多目标跟踪预警方法，其特征在于，在所述对所述待识别图像进行识别之前，所述方法还包括对所述待识别图像进行二值化处理的步骤；

所述对所述待识别图像进行二值化处理，包括：

对于所述待识别图像中的头部区域，采用预设大小的扫描窗对所述头部区域进行扫描，所述头部区域包含人脸部分；

若所述头部区域中与所述扫描窗中部对应的像素点的亮度值，小于周围部分像素点的亮度值，则将所述扫描窗中部对应的像素点的灰度值设置为第一灰度值；

若所述头部中与所述扫描窗中部对应的像素点的亮度值，大于周围部分像素点的亮度值，则将所述扫描窗中部对应的像素点的灰度值设置为第二灰度值。

6.如权利要求5所述的基于视觉识别的多目标跟踪预警方法，其特征在于，所述对所述待识别图像进行二值化处理，还包括：

对于所述头部区域中最外圈的像素点，将该像素点的灰度值与灰度阈值比较，若该像素点的灰度值大于或等于所述灰度阈值，则将该像素点的灰度值设置为第二灰度值；若该像素点的灰度值小于所述灰度阈值，则将该像素点的灰度值设置为第一灰度值。

7.如权利要求1所述的基于视觉识别的多目标跟踪预警方法，其特征在于，在所述对所述待识别图像进行识别之前，所述方法还包括：

将所述待识别图像转换为灰度图；

提取所述灰度图中预设行和预设列所对应的像素点；

按照提取出的各个像素点在原图中的位置关系，将提取出的各个像素点组合生成新的待识别图像。

8.如权利要求1所述的基于视觉识别的多目标跟踪预警方法，其特征在于，每个图像采集装置对应一个用于存储所采集的图像的数据库，所述方法还包括：

若待识别目标为第二待识别目标，在数据库中为第二待识别目标设置目标存储空间，将包含第二待识别目标的待识别图像存入所述目标存储空间；

响应查找指令，所述查找指令包含第二待识别目标对应的目标识别标识；

基于所述目标识别标识，确定所述数据库中的目标存储空间；

调取所述目标存储空间中的图像，并播放所述图像。

9.一种终端设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。

Images