CN114399729A - 监控对象移动识别方法、***、终端及存储介质 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体提供一种监控对象移动识别方法、***、终端及存储介质，包括：利用目标检测算法从监控区域的监控图像中识别监控对象轮廓，并利用人体姿势识别模型基于监控对象轮廓提取第一关键点集合；利用监控图像与标准图像的特征点计算单应矩阵；利用单应矩阵将第一关键点集合映射至标准图像坐标系，计算第一关键点集合在标准图像坐标系上围成的多边形面积；将标准图像中监控对象的关键点围成的多边形的面积作为标准面积，计算多边形面积与标准面积的度量值；比对度量值与设定的阈值，如果度量值未超过阈值则判定监控对象被移动。本发明可应用于动态监控场景，提升动态监控场景下的识别结果的准确性。

Description

监控对象移动识别方法、***、终端及存储介质

技术领域

本发明涉及图像识别技术领域，具体涉及一种监控对象移动识别方法、***、终端及存储介质。

背景技术

在电力施工现场等环境复杂的场景中，一些重要设备不可以被移动。例如设置在变电站、高压设备、起重工作地点等周围的安全围栏。一旦被移动极容易出现安全事故。因此，需要对这些重要设备进行监控。现有的监控方法是在监控区域安装摄像头，然后进行图像一致性比对，以确认监控对象是否在原有位置。但是这种方法成本较高，且固定摄像头也容易在施工现场被破坏。采用自动跟踪摄像机或无人机等动态监控设备虽然可以节省成本，但是由于摄像视野、焦距不固定，导致现有的图像一致性比对方法无法得到准确的识别结果。此外现有的图像一致性比对方法在围栏形状多变的情况下，也难以准确检出围栏的实际位置和区域，易造成误报。

发明内容

针对现有技术的上述不足，本发明提供一种监控对象移动识别方法、***、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种监控对象移动识别方法，包括：

利用目标检测算法从监控区域的监控图像中识别监控对象轮廓，并利用人体姿势识别模型基于所述监控对象轮廓提取第一关键点集合；

利用特征提取算法提取所述监控图像的第一特征点和标准图像中与第一特征点具有映射关系的第二特征点，基于第一特征点和第二特征点计算将监控图像映射至标准图像坐标系的单应矩阵；

利用单应矩阵将所述第一关键点集合映射至标准图像坐标系，计算第一关键点集合在标准图像坐标系上围成的多边形面积；

将标准图像中监控对象的关键点围成的多边形的面积作为标准面积，计算所述多边形面积与所述标准面积的度量值；

比对度量值与设定的阈值，如果度量值未超过所述阈值则判定监控对象被移动。

进一步的，在利用目标检测算法从监控区域的监控图像中识别监控对象轮廓，并利用人体姿势识别模型基于所述监控对象轮廓提取第一关键点集合之前，所述方法还包括：

利用图像批量缩放工具将监控图像的尺寸缩放至设定的标准尺寸；

利用训练好的EfficientDet网络模型从标准尺寸的监控图像中识别人体目标；

如果识别到人体目标则继续从标准尺寸的监控图像中识别监控对象轮廓，所述监控对象轮廓为监控对象目标的最小外接矩形；

如果未识别到人体目标则终止对所述监控图像的识别程序，并输出提示信息。

进一步的，利用目标检测算法从监控区域的监控图像中识别监控对象轮廓，并利用人体姿势识别模型基于所述监控对象轮廓提取第一关键点集合，包括：

利用人体姿势识别模型对监控对象轮廓范围内的图像进行关键点识别，所述人体姿势识别模型采用DarkPose模型，且DarkPose模型主干网络使用HRNet神经网络，学习率设置为0.001，优化器为Adam；

利用数据标注软件对识别出的所有关键点进行坐标标注，并将所有关键点坐标存储为第一关键点集合。

进一步的，利用特征提取算法提取所述监控图像的第一特征点和标准图像中与第一特征点具有映射关系的第二特征点，基于第一特征点和第二特征点计算将监控图像映射至标准图像坐标系的单应矩阵，包括：

利用OrientedBrief特征提取算法分别从监控图像和标准图像提取多个特征点，所述标准图像为监控对象在初始状态下的图像；

利用暴力算法对监控图像的多个特征点与标准图像的多个特征点进行匹配，建立对监控图像的多个特征点与标准图像的多个特征点的一一映射关系；

利用公式I＝H*K计算单应矩阵H，其中K为监控图像的特征点坐标，I为标准图像中的映射特征点坐标；

利用多对具有映射关系的特征点计算多个单应矩阵，从多个单应矩阵中筛选出准确单应矩阵。

进一步的，将标准图像中监控对象的关键点围成的多边形的面积作为标准面积，计算所述多边形面积与所述标准面积的度量值，包括：

利用公式

计算所述度量值，其中S_ref为标准图像中的监控对象区域的标准面积，S_n为第一关键点集合在标准图像坐标系上围成的多边形面积，|·|表示求像素个数运算。

进一步的，比对度量值与设定的阈值，如果度量值未超过所述阈值则判定监控对象被移动，包括：

通过预先采集多张监控对象处于不同状态的样本图像，并分别对多张样本图像进行处理获取多张样本图像相对于标准图像的样本度量值，通过分析多个样本度量值对应的监控对象状态设定阈值；

比对监控图像相对于标准图像的度量值与设定的阈值的大小，如果所述度量值超过所述阈值，则判定监控对象未被移动。

进一步的，所述方法还包括：

采集监控区域的监控视频，并利用图像批量缩放工具从所述监控视频中截取多帧标准尺寸的监控图像；

分别对多张监控图像进行处理，得到多张监控图像的监控对象移动识别结果；

将占比较大的监控对象移动识别结果作为最终的监控对象移动识别结果输出。

第二方面，本发明提供一种监控对象移动识别***，包括：

目标识别单元，用于利用目标检测算法从监控区域的监控图像中识别监控对象轮廓，并利用人体姿势识别模型基于所述监控对象轮廓提取第一关键点集合；

矩阵计算单元，用于利用特征提取算法提取所述监控图像的第一特征点和标准图像中与第一特征点具有映射关系的第二特征点，基于第一特征点和第二特征点计算将监控图像映射至标准图像坐标系的单应矩阵；

面积计算单元，用于利用单应矩阵将所述第一关键点集合映射至标准图像坐标系，计算第一关键点集合在标准图像坐标系上围成的多边形面积；

度量计算单元，用于将标准图像中监控对象的关键点围成的多边形的面积作为标准面积，计算所述多边形面积与所述标准面积的度量值；

结果判定单元，用于比对度量值与设定的阈值，如果度量值未超过所述阈值则判定监控对象被移动。

进一步的，***还包括预处理单元，所述预处理单元用于：

利用图像批量缩放工具将监控图像的尺寸缩放至设定的标准尺寸；

利用训练好的EfficientDet网络模型从标准尺寸的监控图像中识别人体目标；

如果识别到人体目标则继续从标准尺寸的监控图像中识别监控对象轮廓，所述监控对象轮廓为监控对象目标的最小外接矩形；

如果未识别到人体目标则终止对所述监控图像的识别程序，并输出提示信息。

进一步的，目标识别单元用于：

利用人体姿势识别模型对监控对象轮廓范围内的图像进行关键点识别，所述人体姿势识别模型采用DarkPose模型，且DarkPose模型主干网络使用HRNet神经网络，学习率设置为0.001，优化器为Adam；

利用数据标注软件对识别出的所有关键点进行坐标标注，并将所有关键点坐标存储为第一关键点集合。

进一步的，矩阵计算单元用于：

利用OrientedBrief特征提取算法分别从监控图像和标准图像提取多个特征点，所述标准图像为监控对象在初始状态下的图像；

利用暴力算法对监控图像的多个特征点与标准图像的多个特征点进行匹配，建立对监控图像的多个特征点与标准图像的多个特征点的一一映射关系；

利用公式I＝H*K计算单应矩阵H，其中K为监控图像的特征点坐标，I为标准图像中的映射特征点坐标；

利用多对具有映射关系的特征点计算多个单应矩阵，从多个单应矩阵中筛选出准确单应矩阵。

进一步的，度量计算单元用于：

利用公式

计算所述度量值，其中S_ref为标准图像中的监控对象区域的标准面积，S_n为第一关键点集合在标准图像坐标系上围成的多边形面积，|·|表示求像素个数运算。

进一步的，结果判定单元用于：

通过预先采集多张监控对象处于不同状态的样本图像，并分别对多张样本图像进行处理获取多张样本图像相对于标准图像的样本度量值，通过分析多个样本度量值对应的监控对象状态设定阈值；

比对监控图像相对于标准图像的度量值与设定的阈值的大小，如果所述度量值超过所述阈值，则判定监控对象未被移动。

进一步的，所述***还包括结果校正单元，所述结果校正单元用于：

采集监控区域的监控视频，并利用图像批量缩放工具从所述监控视频中截取多帧标准尺寸的监控图像；

分别对多张监控图像进行处理，得到多张监控图像的监控对象移动识别结果；

将占比较大的监控对象移动识别结果作为最终的监控对象移动识别结果输出。

第三方面，提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。

第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明提供的监控对象移动识别方法、***、终端及存储介质，包括以下有益效果：

(1)基于图像匹配、深度学习技术，建模动态监控场景中的目标，识别搬移行为，提升对监控对象的监控能力。

(2)使用由“粗”到“细”的方式建模图像中的监控对象区域。现有技术中采用目标检测方法获取监控对象位置和边界，实现对监控对象的粗略建模；本发明在现有方法基础上加入监控对象关键点检测，实现对监控对象的精细化建模，提升建模精度。

(3)利用图像匹配技术，将当前图像中的监控对象区域校正至标准图像坐标系，实现在同一坐标系内计算监控对象区域的变化程度，使得本发明所提方法可应用于动态监控场景，扩展现有方法的应用场景。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的方法的围栏最小外接矩形及关键点标注示意图。

图3是本发明一个实施例的方法的围栏搬移识别算法流程图。

图4是本发明一个实施例的方法的校正当前图像中围栏关键点流程图。

图5是是本发明一个实施例的方法的参考图像与当前图像中围栏区域示意图。

图6是本发明一个实施例的***的示意性框图。

图7为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

为了解决现有图像识别方法存在的识别准确率低，且只能对固定视野和焦距的图像进行一致性匹配。本发明提供一种监控对象移动识别方法，包括以下步骤：

通过利用无人机定期对监控对象进行巡航拍照，获取监控图像。利用步骤S 1-S4对监控对象进行处理，得到当前次巡航的监控结果。

S 1、利用目标检测算法从监控区域的监控图像中识别监控对象轮廓，并利用人体姿势识别模型基于所述监控对象轮廓提取第一关键点集合。

S2、利用特征提取算法提取所述监控图像的第一特征点和标准图像中与第一特征点具有映射关系的第二特征点，基于第一特征点和第二特征点计算将监控图像映射至标准图像坐标系的单应矩阵；

S3、利用单应矩阵将所述第一关键点集合映射至标准图像坐标系，计算第一关键点集合在标准图像坐标系上围成的多边形面积；

S4、将标准图像中监控对象的关键点围成的多边形的面积作为标准面积，计算所述多边形面积与所述标准面积的度量值；

比对度量值与设定的阈值，如果度量值未超过所述阈值则判定监控对象被移动。

为了便于对本发明的理解，下面以本发明监控对象移动识别方法的原理，结合实施例中对监控对象进行移动识别的过程，对本发明提供的监控对象移动识别方法做进一步的描述。

具体的，请参考图1，以监控对象为安全围栏为例进行说明，所述监控对象移动识别方法包括：

(1)图像采集与处理：在电力安全围栏监控区域，使用自动跟踪摄像机、无人机等动态监控设备采集视频数据。采用OpenCV工具(图像批量缩放工具)从拍摄的视频片段或实时视频流中解码图像，提取连续的关键帧图像，并将图像尺寸缩放至1080×720。

(2)由于安全围栏只有在有人活动的场景下才最可能被搬移，因此为了减少无用计算量，本实施例设计人体目标检测：将步骤1所得的图像输入EfficientDet网络(目标检测算法)，输出人体目标的检测结果。所述EfficientDet是一种轻量级的通用目标检测网络，经训练后可用于检测电力场景中的目标。采用EfficientDet算法默认的超参数训练网络。参阅图1，若未检测到人体目标，则不进行围栏粗略建模、精细化建模及搬移识别，返回步骤1。

人体目标检测结果格式举例：

所述目标检测结果格式举例中，“class”表示类别，“person”表示人体；“confidence”表示置信度，其范围为[0,1]；“box”表示人体目标的最小外接矩形，格式为[x_min,y_min,x_max,y_max]。

(3)围栏粗略建模：采用EfficientDet目标检测网络对围栏进行粗建模，获得围栏的粗略位置及区域。采用EfficientDet算法默认的超参数训练网络。参阅图1，若图像中存在围栏目标，EfficientDet模型输出围栏目标的最小外接矩形，格式为[x_min,y_min,x_max,y_max]。若未检测到围栏目标，则不进行围栏精细化建模及搬移识别，返回步骤1。

围栏目标检测结果格式举例：

所述目标检测结果格式举例中，“class”表示类别，“safety_fence”表示安全围栏，“confidence”表示置信度，其范围为[0,1]；“box”表示围栏目标的最小外接矩形。

(4)围栏精细化建模：受拍摄视角的影响，仅采用目标检测无法精确地检测出围栏的实际区域。围栏的精细化建模可采用关键点检测、语义分割等技术。考虑到语义分割算法计算量大、执行效率低，本发明在围栏目标检测的基础上加入围栏关键点检测，进一步获取围栏的精细化区域。本实施例中采用DarkPose检测围栏的关键点。DarkPose是一种基于深度学习的关键点检测网络，除算法性能外，其与OpenPose的主要不同点为OpenPose属于自下而上的方法，而DarkPose属于自上而下的方法。DarkPose需确定目标边界后再检测关键点，此方式可避免其他目标的干扰，有利于提高关键点预测的准确率。目标边界即步骤3中围栏的最小包围矩形。参考图2，围栏的关键点位于四个顶角，即图2中P₁～P₄指向的四个黑色圆点；a₁、a₂为围栏的立柱；b为围栏的横杆或防护带。采用开源软件Labelme标注围栏关键点，生成训练集和测试集。本实施例中，DarkPose主干网络使用HRNet，学习率设置为0.001，优化器为Adam，其他训练超参数均采用算法默认配置。

(5)围栏搬移识别：当在图像中检测到人体并对围栏进行建模后，执行围栏搬移识别算法。自动跟踪摄像机、无人机巡检等动态监控场景拍摄过程中，若摄像机发生移动、变焦，图像内的物***置、形状也随之发生变化。本发明中加入图像校正算法，将围栏关键点映射至参考图像坐标系，实现在同一坐标系中比较围栏区域是否发生显著变化，以识别围栏是否被搬移。围栏搬移识别算法流程如图3所示，其过程如下：

(5.1)获取图像及围栏关键点：参考图像I_ref定义为实时监控过程中首次同时检测到人体和围栏目标时的图像，围栏搬移识别算法执行完成后，清空参考图像。从步骤(1)获取参考图像I_ref、当前图像I。从步骤(4)中获取当前图像中的围栏关键点，其表示为P₁＝(x₁,y₁)、P₂＝(x₂,y₂)、P₃＝(x₃,y₃)、P₄＝(x₄,y₄)。

(5.2)校正当前图像中围栏关键点：本步骤的目的是将当前图像内的关键点校正至参考图像坐标系，其包括提取特征点、匹配特征点、计算单应矩阵和校正围栏关键，如图4所示。为提高图像匹配速度，本实施例中采用ORB(Oriented Brief)特征提取算法，快速提取当前图像I以及参考图像I_ref中的特征点。采用Brute Force方法匹配I及I_ref中的特征点。通过匹配的特征点计算单应矩阵H，进而校正当前图像中的围栏关键点。采用OpenCV中的findHomography函数求解单应矩阵H。

透视变换公式为：

将式1展开可得

x＝a₁₁u+a₁₂v+a₁₃ (式2)

y＝a₂₁u+a₂₂v+a₂₃ (式3)

z＝a₃₁u+a₃₂v+a₃₃ (式4)

由式2、3、4可计算出经校正后得新坐标

其中，u、v为点的原始坐标。由上述推导过程可知，通过单应矩阵H，可计算经透视变换后的新坐标x′、y′。

校正围栏关键点：将当前图像中围栏关键点P₁＝(x₁,y₁)、P₂＝(x₂,y₂)、P₃＝(x₃,y₃)、P₄＝(x₄,y₄)，带入新坐标计算表达式后得到校正后的围栏关键点P_1n＝(x_1n,y_1n)、P₂＝(x_2n,y_2n)、P_3n＝(x_3n,y_3n)、P_4n＝(x_4n,y_4n)。

若拍摄过程中摄像机发生移动、变焦，经过上述校正处理后，当前图像中围栏关键点坐标系可统一至参考图像的坐标系，实现在同一坐标系内比较围栏区域，使得本发明所提方法可适用于动态监控场景。

(5.3)计算围栏区域IOU：现有目标检测技术通常使用最小外接矩形建模目标区域，此种方式易引入无效的背景区域，无法精确建模目标区域。本发明采用基于关键点的方式建模目标区域，选取围栏的四个顶角组成四边形作为围栏的有效区域。设参考图像中的围栏区域为S_ref，校正后的围栏区域为S_n，如图5所示。

计算参考图像中的围栏区域与当前图像中校正后的围栏区域IOU，表达式为

式7中|·|表示求像素个数运算。

根据预先设置的阈值IOU_th判断围栏是否被搬移：

情况1：IOU≤IOU_th，围栏被搬移；

情况2：IOU>IOU_th，围栏未被搬移。

本实施例中，阈值IOU_th设置为0.7。进一步的，本发明实施例中仅说明由单张当前图像判断围栏是否被搬移。工程实施过程中，目标检测、关键点检测算法不可避免地存在误检。为降低误报率，提高围栏搬移识别算法的鲁棒性，可采用多帧检测和“投票法”进行判断。具体方法为连续检测k帧后，若“围栏被搬移”占多数，输出结果为围栏被搬移；反之，输出结果为围栏未被搬移。实施过程中，应根据摄像机帧率f调整k的取值，k的范围一般为f～10f。

此外，本实施例中的深度学习模型的训练集含有16000张图像，测试集含有4000张图像。硬件配置为16G内存、Intel Core i7-9750、NVIDIA GeForce GTX 1070。在处理1080×720的视频时，速度约为20fps。

如图6所示，该***600包括：

目标识别单元610，用于利用目标检测算法从监控区域的监控图像中识别监控对象轮廓，并利用人体姿势识别模型基于所述监控对象轮廓提取第一关键点集合；

矩阵计算单元620，用于利用特征提取算法提取所述监控图像的第一特征点和标准图像中与第一特征点具有映射关系的第二特征点，基于第一特征点和第二特征点计算将监控图像映射至标准图像坐标系的单应矩阵；

面积计算单元630，用于利用单应矩阵将所述第一关键点集合映射至标准图像坐标系，计算第一关键点集合在标准图像坐标系上围成的多边形面积；

度量计算单元640，用于将标准图像中监控对象的关键点围成的多边形的面积作为标准面积，计算所述多边形面积与所述标准面积的度量值；

结果判定单元650，用于比对度量值与设定的阈值，如果度量值未超过所述阈值则判定监控对象被移动。

可选地，作为本发明一个实施例，***还包括预处理单元，所述预处理单元用于：

利用图像批量缩放工具将监控图像的尺寸缩放至设定的标准尺寸；

利用训练好的EfficientDet网络模型从标准尺寸的监控图像中识别人体目标；

如果识别到人体目标则继续从标准尺寸的监控图像中识别监控对象轮廓，所述监控对象轮廓为监控对象目标的最小外接矩形；

如果未识别到人体目标则终止对所述监控图像的识别程序，并输出提示信息。

可选地，作为本发明一个实施例，目标识别单元用于：

利用人体姿势识别模型对监控对象轮廓范围内的图像进行关键点识别，所述人体姿势识别模型采用DarkPose模型，且DarkPose模型主干网络使用HRNet神经网络，学习率设置为0.001，优化器为Adam；

利用数据标注软件对识别出的所有关键点进行坐标标注，并将所有关键点坐标存储为第一关键点集合。

可选地，作为本发明一个实施例，矩阵计算单元用于：

利用Oriented Brief特征提取算法分别从监控图像和标准图像提取多个特征点，所述标准图像为监控对象在初始状态下的图像；

利用暴力算法对监控图像的多个特征点与标准图像的多个特征点进行匹配，建立对监控图像的多个特征点与标准图像的多个特征点的一一映射关系；

利用公式I＝H*K计算单应矩阵H，其中K为监控图像的特征点坐标，I为标准图像中的映射特征点坐标；

利用多对具有映射关系的特征点计算多个单应矩阵，从多个单应矩阵中筛选出准确单应矩阵。

可选地，作为本发明一个实施例，度量计算单元用于：

利用公式

计算所述度量值，其中S_ref为标准图像中的监控对象区域的标准面积，S_n为第一关键点集合在标准图像坐标系上围成的多边形面积，|·|表示求像素个数运算。

可选地，作为本发明一个实施例，结果判定单元用于：

通过预先采集多张监控对象处于不同状态的样本图像，并分别对多张样本图像进行处理获取多张样本图像相对于标准图像的样本度量值，通过分析多个样本度量值对应的监控对象状态设定阈值；

比对监控图像相对于标准图像的度量值与设定的阈值的大小，如果所述度量值超过所述阈值，则判定监控对象未被移动。

可选地，作为本发明一个实施例，***还包括结果校正单元，所述结果校正单元用于：

采集监控区域的监控视频，并利用图像批量缩放工具从所述监控视频中截取多帧标准尺寸的监控图像；

分别对多张监控图像进行处理，得到多张监控图像的监控对象移动识别结果；

将占比较大的监控对象移动识别结果作为最终的监控对象移动识别结果输出。

图7为本发明实施例提供的一种终端700的结构示意图，该终端700可以用于执行本发明实施例提供的监控对象移动识别方法。

其中，该终端700可以包括：处理器710、存储器720及通信单元730。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器720可以用于存储处理器710的执行指令，存储器720可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器720中的执行指令由处理器710执行时，使得终端700能够执行以下上述方法实施例中的部分或全部步骤。

处理器710为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器720内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器710可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

通信单元730，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

因此，本发明基于图像匹配、深度学习技术，建模动态监控场景中的目标，识别搬移行为，提升对监控对象的监控能力；使用由“粗”到“细”的方式建模图像中的监控对象区域。现有技术中采用目标检测方法获取监控对象位置和边界，实现对监控对象的粗略建模；本发明在现有方法基础上加入监控对象关键点检测，实现对监控对象的精细化建模，提升建模精度；利用图像匹配技术，将当前图像中的监控对象区域校正至标准图像坐标系，实现在同一坐标系内计算监控对象区域的变化程度，使得本发明所提方法可应用于动态监控场景，扩展现有方法的应用场景，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，***或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种监控对象移动识别方法，其特征在于，包括：

利用目标检测算法从监控区域的监控图像中识别监控对象轮廓，并利用人体姿势识别模型基于所述监控对象轮廓提取第一关键点集合；

利用特征提取算法提取所述监控图像的第一特征点和标准图像中与第一特征点具有映射关系的第二特征点，基于第一特征点和第二特征点计算将监控图像映射至标准图像坐标系的单应矩阵；

利用单应矩阵将所述第一关键点集合映射至标准图像坐标系，计算第一关键点集合在标准图像坐标系上围成的多边形面积；

将标准图像中监控对象的关键点围成的多边形的面积作为标准面积，计算所述多边形面积与所述标准面积的度量值；

比对度量值与设定的阈值，如果度量值未超过所述阈值则判定监控对象被移动。

2.根据权利要求1所述的方法，其特征在于，在利用目标检测算法从监控区域的监控图像中识别监控对象轮廓，并利用人体姿势识别模型基于所述监控对象轮廓提取第一关键点集合之前，所述方法还包括：

利用图像批量缩放工具将监控图像的尺寸缩放至设定的标准尺寸；

利用训练好的EfficientDet网络模型从标准尺寸的监控图像中识别人体目标；

如果识别到人体目标则继续从标准尺寸的监控图像中识别监控对象轮廓，所述监控对象轮廓为监控对象目标的最小外接矩形；

如果未识别到人体目标则终止对所述监控图像的识别程序，并输出提示信息。

3.根据权利要求1所述的方法，其特征在于，利用目标检测算法从监控区域的监控图像中识别监控对象轮廓，并利用人体姿势识别模型基于所述监控对象轮廓提取第一关键点集合，包括：

利用人体姿势识别模型对监控对象轮廓范围内的图像进行关键点识别，所述人体姿势识别模型采用DarkPose模型，且DarkPose模型主干网络使用HRNet神经网络，学习率设置为0.001，优化器为Adam；

利用数据标注软件对识别出的所有关键点进行坐标标注，并将所有关键点坐标存储为第一关键点集合。

4.根据权利要求1所述的方法，其特征在于，利用特征提取算法提取所述监控图像的第一特征点和标准图像中与第一特征点具有映射关系的第二特征点，基于第一特征点和第二特征点计算将监控图像映射至标准图像坐标系的单应矩阵，包括：

利用Oriented Brief特征提取算法分别从监控图像和标准图像提取多个特征点，所述标准图像为监控对象在初始状态下的图像；

利用暴力算法对监控图像的多个特征点与标准图像的多个特征点进行匹配，建立对监控图像的多个特征点与标准图像的多个特征点的一一映射关系；

利用公式I＝H*K计算单应矩阵H，其中K为监控图像的特征点坐标，I为标准图像中的映射特征点坐标；

利用多对具有映射关系的特征点计算多个单应矩阵，从多个单应矩阵中筛选出准确单应矩阵。

5.根据权利要求1所述的方法，其特征在于，将标准图像中监控对象的关键点围成的多边形的面积作为标准面积，计算所述多边形面积与所述标准面积的度量值，包括：

利用公式

计算所述度量值，其中S_ref为标准图像中的监控对象区域的标准面积，S_n为第一关键点集合在标准图像坐标系上围成的多边形面积，|·|表示求像素个数运算。

6.根据权利要求1所述的方法，其特征在于，比对度量值与设定的阈值，如果度量值未超过所述阈值则判定监控对象被移动，包括：

通过预先采集多张监控对象处于不同状态的样本图像，并分别对多张样本图像进行处理获取多张样本图像相对于标准图像的样本度量值，通过分析多个样本度量值对应的监控对象状态设定阈值；

比对监控图像相对于标准图像的度量值与设定的阈值的大小，如果所述度量值超过所述阈值，则判定监控对象未被移动。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采集监控区域的监控视频，并利用图像批量缩放工具从所述监控视频中截取多帧标准尺寸的监控图像；

分别对多张监控图像进行处理，得到多张监控图像的监控对象移动识别结果；

将占比较大的监控对象移动识别结果作为最终的监控对象移动识别结果输出。

8.一种监控对象移动识别***，其特征在于，包括：

目标识别单元，用于利用目标检测算法从监控区域的监控图像中识别监控对象轮廓，并利用人体姿势识别模型基于所述监控对象轮廓提取第一关键点集合；

矩阵计算单元，用于利用特征提取算法提取所述监控图像的第一特征点和标准图像中与第一特征点具有映射关系的第二特征点，基于第一特征点和第二特征点计算将监控图像映射至标准图像坐标系的单应矩阵；

面积计算单元，用于利用单应矩阵将所述第一关键点集合映射至标准图像坐标系，计算第一关键点集合在标准图像坐标系上围成的多边形面积；

度量计算单元，用于将标准图像中监控对象的关键点围成的多边形的面积作为标准面积，计算所述多边形面积与所述标准面积的度量值；

结果判定单元，用于比对度量值与设定的阈值，如果度量值未超过所述阈值则判定监控对象被移动。

9.一种终端，其特征在于，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-7任一项所述的方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images