CN111242075A - 一种用于警务督察睡觉行为识别方法 - Google Patents

Abstract

本发明公开了一种用于警务督察睡觉行为识别方法，通过睡觉行为检测，对视频解码的序列图片进行分析，检测分析结果，对审讯人员可能存在的睡觉行为进行报警处理，再通过人工审核，确定存在趴着睡觉的违规行为。本发明创造通过深度学习中的成熟的目标检测算法实现趴着睡觉动作的精确定位，能从整体到局部逐级细分，实现了精细化处理；同时与工程上结合使得非常适用于公安督察***，从而减少误报发生。

Description

一种用于警务督察睡觉行为识别方法

技术领域

本发明涉及计算机视觉和图像处理领域，尤其涉及一种用于警务督察睡觉行为识别方法。

背景技术

现如今，为落实中央提升民警执法能力规范文明执法，加强对审讯室执法过程的监督，贯彻科技强警的理念，应用现代化先进技术，对审讯室执法过程进行监督，将大量繁琐的视频审查工作交由机器执行，可以有效的提升督察监督效率，为文明执法保驾护航。在督察期间，发现公安工作人员在审讯过程中“趴着睡觉”的情况屡见不鲜，有损文明执法形象，也降低了办案效率，可见“趴着睡觉”的危害之大。所以，设计一个能够实时监控审讯员是否存在趴着睡觉行为的方法，就能大大降低审讯员违规的情况。

针对上述情况结合目前现有的技术方案，存在以下问题：

(1)没有能够准确地检测到趴着睡觉动作的方法，并把方法运用到公安督察***；

(2)误报率高，没有合理有效的方法对***反馈的结果进行评判。

发明内容

本发明的目的在于，针对上述问题，提出一种用于警务督察睡觉行为识别方法。

本发明的发明目的是通过以下技术方案实现的：一种用于警务督察睡觉行为识别方法，其特征在于，包括以下步骤：

S1：采集视频数据，实时采集审讯室内的视频数据；

S2：解码视频为序列图片，将视频数据解码为序列图片进行睡觉行为状态检测；

S3：检测睡觉行为，检测手臂，桌面，头部各自区域结果；

S4：判断睡觉行为，通过分析检测区域结果与指定阈值大小，判断是否存在趴着睡觉行为；

S5：图像报警提醒，当存在趴着睡觉行为，进行报警处理；

S6：人工审核，通过人工审核确认趴着睡觉行为。

具体的，所述的步骤S3，还包括以下子步骤：

S301：检测桌面矩形区域；

S302：检测头部矩形区域；

S303：检测手臂矩形区域；

具体的，所述的步骤S4，还包括以下子步骤：

S401：判断步骤S301和步骤S302所得距离结果是否小于第一阈值；

S402：判断步骤S302和步骤S303所得距离结果是否小于第二阈值；

具体的，所述的步骤S4，还包括当步骤S401和步骤S402中所得距离结果同时小于相应阈值，则判定为“趴着睡觉”状态，并进行步骤S5和步骤S6。

具体的，所述的步骤S301，还包括以下子步骤：

S3011：提前获取不同审讯室、不同角度、不同时段的图像数据；

S3012：挑选出所有含有桌面的图像数据；

S3013：将上述数据制作标签数据；

S3014：选用CenterNet目标检测算法训练数据得到桌面检测模型；

S3015：在图像中运用训练好的CenterNet目标检测算法预测得到桌面的矩形区域BBboxA(x,y,w,h)，其中x、y为矩形中心点坐标，w、h为该矩形区域的宽和高，并在矩形框上方叠加字符“桌面”。

具体的，所述的步骤S302，还包括以下子步骤：

S3021：提前获取不同审讯室、不同角度、不同时段的图像数据；

S3022：挑选出所有含有头部的图像数据；

S3023：将上述数据制作标签数据；

S3024：选用CenterNet目标检测算法训练数据得到头部检测模型；

S3025：在图像中运用训练好的CenterNet目标检测算法预测得到头部的矩形区域BBboxB(x,y,w,h)，其中x、y为矩形中心点坐标，w、h为该矩形区域的宽和高，并在矩形框上方叠加字符“头部”。

所述的步骤S303，还包括以下子步骤：

S3031：提前获取不同审讯室、不同角度、不同时段的图像数据；

S3032：挑选出所有含有手臂的图像数据；

S3033：将上述数据制作标签数据；

S3034：选用CenterNet目标检测算法训练数据得到手臂检测模型；

S3035：在图像中运用训练好的CenterNet目标检测算法预测，分别得到左手臂的矩形区域BBboxCL(x,y,w,h)和右手臂BBboxCR(x,y,w,h)，其中x、y为矩形中心点坐标，w、h为该矩形区域的宽和高，并在矩形框上方叠加字符

“左手臂”和“右手臂”。

具体的，所述的步骤S3035，通过将靠近图像左侧检测出的手臂定为左手臂和高进图像右侧检测出的手臂定为右手臂，区分左手臂和右手臂。

具体的，所述的步骤S401，计算桌面中心点坐标和人头中心点坐标的欧式距离是否小于给定值：

首先，假定桌面中心点坐标BBboxA(x,y,w,h)，记为A(x2,y2)，头部BBboxB(x,y,w,h)的中心点坐标简写为B(x1,y1)。

所述距离计算方式如下：

当ρ≤50时，认为头部与桌面距离很近，可能存在趴着睡觉状态。

具体的，所述的步骤S402，计算手臂所在的直线以及人头到该直线的距离是否小于给定值方法如下：

设直线L的方程为Ax+By+C＝0；

假定左手臂BBboxCL(x,y,w,h)和右手臂BBboxCR(x,y,w,h)的中心点坐标简写为L(x,y)和R(x,y)，人头BBboxB(x,y,w,h)的中心点坐标简写为B(x0,y0)；

将该两个点带入直线L方程很容易得到A，B，C的值；

根据点到直线的距离公式得到距离d；

当d≤20时，认为头部和手臂距离很近，可能存在趴着睡觉状态。

本发明的有益效果：

(1)通过趴着睡觉行为识别方法，能够有效地规范办案人员的行为；

(2)通过对“趴着睡觉”状态识别进行大量优化和改进，，使用成熟的目标检测算法以及判断检测距离和所定阈值的范围，提高识别“趴着睡觉”状态的准确性；

(3)通过使用人工审核的方法，有效地降低了误报几率。

附图说明

图1是本发明的结构流程框图；

图2是本发明步骤S3和S4的结构流程框图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，先对照附图说明本发明的具体实施方式。

本实施例中，如图1，一种用于警务督察睡觉行为识别方法，包括以下步骤：

步骤一，实时采集审讯室视频数据。

步骤二，将视频解码成序列图片。

步骤三，在序列图片中运用头部检测模块检测出人头，得到人头的矩形区域，该矩形区域表示为BBboxA(x,y,w,h)，其中x、y为矩形中心点坐标，w、h为该矩形区域的宽和高，并在矩形框上方叠加字符“人头”。对于人头检测主要技术要点为：(1)、提前获取约30万张不同审讯室、不同角度、不同时段的图像数据；(2)、挑选出所有含有人头的图像数据；(3)、将上述数据制作标签数据；(4)、选用CenterNet(一种最新基于目标中心点估计的检测框架，论文名字。CenterNet:Objects as Points)目标检测算法训练人头数据得到人头检测模型；(5)、在图像中运用训练好的CenterNet目标检测算法预测得到人头的矩形区域BBboxA(x,y,w,h)。

步骤四，在序列图片中运用桌面检测模块检测出桌面，得到桌面的矩形框BBboxB(x,y,w,h)，并在矩形框上方叠加字符“桌面”。其中x、y、w、h释义同步骤3，对于检测得到桌面区域BBboxB(x,y,w,h)的主要技术要点同上述步骤3中的方法。

步骤五，在序列图片中运用手臂检测模块检测出两只手臂，分别得到手臂的矩形框左手臂BBboxCL(x,y,w,h)和右手臂BBboxCR(x,y,w,h)，并在矩形框上方分别叠加字符“左手臂”和“右手臂”。其中x、y、w、h释义同步骤3，对于检测得到左手臂BBboxCL(x,y,w,h)和右手臂BBboxCR(x,y,w,h)的主要技术要点同上述步骤3中的方法，其中区分左手臂和右手臂方法在于靠近图像左侧检测出的手臂为左手臂，靠近图像右侧检测出的手臂为右手臂。

步骤六，计算手臂所在的直线以及人头到该直线的距离是否小于给定值：

首先，设直线L的方程为Ax+By+C＝0；

其次，假定左手臂BBboxCL(x,y,w,h)和右手臂BBboxCR(x,y,w,h)的中心点坐标简写为L(x,y)和R(x,y)，人头BBboxA(x,y,w,h)的中心点坐标简写为A(x0,y0)；

然后，将该两个点带入直线L方程很容易得到A，B，C的值；

最后，根据点到直线的距离公式得到距离d：

当d≤20时，人头靠近手臂所在直线，只需要判断定桌面和人头是否小于某一欧式距离即可。

步骤七，计算桌面中心点坐标和人头中心点坐标的欧式距离是否小于给定值：

首先，假定桌面中心点坐标BBboxB(x,y,w,h)，记为B(x2,y2)，人头BBboxA(x,y,w,h)的中心点坐标简写为A(x1,y1)。

所述距离计算方式如下：

当ρ≤50时，认为人头与桌面距离很近，可能为趴着睡觉状态。

步骤八，综合距离d与ρ得出结论：

只有当d≤20，ρ≤50同时满足时，认为是趴着睡觉状态。

步骤九，最后根据步骤八中报警信息，工作人员将进行人工复核/确认。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种用于警务督察睡觉行为识别方法，其特征在于，包括以下步骤：

S1：采集视频数据，实时采集审讯室内的视频数据；

S2：解码视频为序列图片，将视频数据解码为序列图片进行睡觉行为状态检测；

S3：检测睡觉行为，检测手臂，桌面，头部各自区域结果；

S4：判断睡觉行为，通过分析检测区域结果与指定阈值大小，判断是否存在趴着睡觉行为；

S5：图像报警提醒，当存在趴着睡觉行为，进行报警处理；

S6：人工审核，通过人工审核确认趴着睡觉行为；

所述的步骤S3，还包括以下子步骤：

S301：检测桌面矩形区域；

S302：检测头部矩形区域；

S303：检测手臂矩形区域；

所述的步骤S4，还包括以下子步骤：

S401：判断步骤S301和步骤S302所得距离结果是否小于第一阈值；

S402：判断步骤S302和步骤S303所得距离结果是否小于第二阈值。

2.根据权利要求1所述的一种用于警务督察睡觉行为识别方法，其特征在于，所述的步骤S4，还包括当步骤S401和步骤S402中所得距离结果同时小于相应阈值，则判定为“趴着睡觉”状态，并执行步骤S5和步骤S6。

3.根据权利要求1所述的一种用于警务督察睡觉行为识别方法，其特征在于，所述的步骤S301，还包括以下子步骤：

S3011：提前获取不同审讯室、不同角度、不同时段的图像数据；

S3012：挑选出所有含有桌面的图像数据；

S3013：将上述数据制作标签数据；

S3014：选用CenterNet目标检测算法训练数据得到桌面检测模型；

S3015：在图像中运用训练好的CenterNet目标检测算法预测得到桌面的矩形区域BBboxA(x,y,w,h)，其中x、y为矩形中心点坐标，w、h为该矩形区域的宽和高，并在矩形框上方叠加字符“桌面”。

4.根据权利要求1所述的一种用于警务督察睡觉行为识别方法，其特征在于，所述的步骤S302，还包括以下子步骤：

S3021：提前获取不同审讯室、不同角度、不同时段的图像数据；

S3022：挑选出所有含有头部的图像数据；

S3023：将上述数据制作标签数据；

S3024：选用CenterNet目标检测算法训练数据得到头部检测模型；

S3025：在图像中运用训练好的CenterNet目标检测算法预测得到头部的矩形区域BBboxB(x,y,w,h)，其中x、y为矩形中心点坐标，w、h为该矩形区域的宽和高，并在矩形框上方叠加字符“头部”。

5.根据权利要求1所述的一种用于警务督察睡觉行为识别方法，其特征在于，所述的步骤S303，还包括以下子步骤：

S3031：提前获取不同审讯室、不同角度、不同时段的图像数据；

S3032：挑选出所有含有手臂的图像数据；

S3033：将上述数据制作标签数据；

S3034：选用CenterNet目标检测算法训练数据得到手臂检测模型；

S3035：在图像中运用训练好的CenterNet目标检测算法预测，分别得到左手臂的矩形区域BBboxCL(x,y,w,h)和右手臂BBboxCR(x,y,w,h)，其中x、y为矩形中心点坐标，w、h为该矩形区域的宽和高，并在矩形框上方叠加字符“左手臂”和“右手臂”。

6.根据权利要求5所述的一种用于警务督察睡觉行为识别方法，其特征在于，所述的步骤S3035，通过将靠近图像左侧检测出的手臂定为左手臂和高进图像右侧检测出的手臂定为右手臂，区分左手臂和右手臂。

7.根据权利要求1所述的一种用于警务督察睡觉行为识别方法，其特征在于，所述的步骤S401，计算桌面中心点坐标和人头中心点坐标的欧式距离是否小于给定值：

首先，假定桌面中心点坐标BBboxA(x,y,w,h)，记为A(x2,y2)，头部BBboxB(x,y,w,h)的中心点坐标简写为B(x1,y1)；

所述距离计算方式如下：

当ρ≤50时，认为头部与桌面距离很近，可能存在趴着睡觉状态。

8.根据权利要求1所述的一种用于警务督察睡觉行为识别方法，其特征在于，所述的步骤S402，计算手臂所在的直线以及人头到该直线的距离是否小于给定值方法如下：

设直线L的方程为Ax+By+C＝0；

假定左手臂BBboxCL(x,y,w,h)和右手臂BBboxCR(x,y,w,h)的中心点坐标简写为L(x,y)和R(x,y)，人头BBboxB(x,y,w,h)的中心点坐标简写为B(x0,y0)；

将该两个点带入直线L方程很容易得到A，B，C的值；

根据点到直线的距离公式得到距离d；

当d≤20时，认为头部和手臂距离很近，可能存在趴着睡觉状态。

Images