CN113807224A - 一种工厂违规行为检测跟踪方法 - Google Patents

Abstract

本发明公开了一种工厂违规行为检测跟踪方法，包括：采集图像，输入模型获得目标框的位置和类别；对违规行为类别图像，采用改进的kcf跟踪算法跟踪并控制移动机器人对目标语音提醒，跟踪包括：保存目标的目标框为目标图像并更新，当响应峰值低于第一预设阈值时，停止更新，当低于第二预设阈值时，定义当前帧图像为搜索图像；匹配目标图像和搜索图像；将搜索图像的匹配特征点形成的矩形区域定义为跟踪区域；跟踪区域放大前后均与目标图像匹配并记录响应峰值，以响应峰值大的对应区域为最新跟踪区域，持续跟踪。该方法抗遮挡，计算量低、检测速度快、准确度高、实时性强，可自动识别违规行为进行跟踪提醒，省时省力，提高作业安全性，适用范围广。

Description

一种工厂违规行为检测跟踪方法

技术领域

本发明属于图像处理技术领域，具体涉及一种工厂违规行为检测跟踪方法。

背景技术

近年来工厂事故频发，通常是工人未能遵守工厂的安全规定，或在某个时间段松懈而酿成惨痛后果，如常见的事故原因包括在需要佩戴安全帽的工厂未佩戴安全帽而造成砸伤；在需要佩戴口罩的场所未佩戴口罩造成污染中毒；在严禁烟火的场所抽烟导致可燃物***等。为监督工人时刻遵守工厂安全规定，大部分的工厂采用人工进行视频监控实现监督。而这种人工监督的方法需要消耗大量的人力物力，甚至会出现监控疲劳而导致的意外。

随着图像处理在民用和商用领域的广泛应用，目标跟踪在智能视频监控、自动驾驶和无人超市等领域起到日益重要的作用。目前在目标跟踪中，可以通过相邻帧之间的局部关联算法实现目标跟踪或通过所有帧之间的全局关联算法实现目标跟踪。然而，使用相邻帧之间的局部关联算法时，由于可用信息较少，跟踪准确率较低，在行人密度较高或者目标之间的遮挡较为严重的复杂场景中，跟踪效果较差。使用所有帧之间的全局关联算法时，虽然跟踪准确率相对较高，但无法进行实时跟踪，且算法的时间复杂度往往较高，当视频中的目标数量较多时，跟踪算法的耗时大。且均计算量大，需要GPU的支持，应用具有局限性。因此，需要一种兼具实时跟踪和高准确率的目标跟踪方法。

发明内容

本发明的目的在于针对上述问题，提出一种工厂违规行为检测跟踪方法，具有抗遮挡功能，可在目标重新出现后最快找到目标进行跟踪，整体计算量低，检测速度快、准确度高，适用于实时检测目标的违规行为，且能够自动识别违规行为并进行跟踪提醒，无需消耗大量人力物力，大大提高作业安全性，适用范围更广。

为实现上述目的，本发明所采取的技术方案为：

本发明提出的一种工厂违规行为检测跟踪方法，应用于移动机器人，包括如下步骤：

S1、采集工人行为图像，输入yolov3-tiny网络模型进行违规行为检测，获得目标框的位置和类别；

S2、对属于违规行为类别的工人行为图像，采用改进的kcf跟踪算法对深度信息最小的目标进行跟踪并控制移动机器人对目标进行语音提醒，采用改进的kcf跟踪算法进行目标跟踪，包括：

S21、保存目标的目标框为目标图像，每一帧工人行为图像都对该目标图像进行更新，并判断响应峰值是否低于第一预设阈值，若不低于第一预设阈值，则判断为目标未被遮挡，转入步骤S3，若低于第一预设阈值，则停止更新目标图像，对当前目标图像进行特征点提取并进行描述；

S22、判断响应峰值是否低于第二预设阈值，若不低于第二预设阈值，则判断为目标被半遮挡，转入步骤S3，若低于第二预设阈值，则判断为目标被遮挡丢失，定义当前帧工人行为图像为搜索图像，对搜索图像进行特征点提取并进行描述；

S23、将目标图像和搜索图像进行描述子匹配，设定经验阈值，在匹配值大于经验阈值时，判断目标图像和搜索图像的特征点匹配；

S24、判断特征点的匹配对数量是否低于第三预设阈值，若是，更新下一帧工人行为图像为搜索图像，并对搜索图像进行特征点提取并进行描述，返回执行步骤S23，否则，计算搜索图像的匹配特征点中最大的位置坐标和最小的位置坐标，并将最大的位置坐标和最小的位置坐标形成的矩形区域定义为跟踪区域；

S25、将跟踪区域与目标图像进行模板匹配，记录第一响应峰值V1，将跟踪区域放大预设倍数与目标图像进行模板匹配，记录第二响应峰值V2；

S26、判断是否满足V2≥V1，若是，将放大后的跟踪区域作为最新跟踪区域，否则，保留放大前的跟踪区域为最新跟踪区域，将最新跟踪区域作为目标框；

S3、持续跟踪，直到违规行为解除。

优选地，步骤S1中，目标框的类别包括佩戴安全帽、未佩戴安全帽、佩戴口罩、未佩戴口罩和抽烟五个类别，其中，未佩戴安全帽、未佩戴口罩和抽烟为违规行为类别，佩戴安全帽和佩戴口罩为非违规行为类别。

优选地，第一预设阈值为0.7，第二预设阈值为0.2。

优选地，进行特征点提取并进行描述，具体如下：

1)提取

选取对应图像上任一像素点Q，设定第四预设阈值T，以像素点Q为圆心、R为半径的圆上存在周围像素点M个，当有连续N(N≤M)个周围像素点的像素值大于Q+T或小于Q-T，则像素点Q为特征点，遍历图像全部像素点获取全部特征点。

2)描述

在各特征点的周围区域取128对像素点，每对像素点包括像素点P和像素点L且两者灰度值不等，若像素点P的灰度值大于像素点L的灰度值，则取1，反之，取0，获得128位二进制数。

优选地，目标图像和搜索图像上对应的特征点的每对像素点所取位置相同。

优选地，步骤S23中，匹配值采用汉明距离计算获得。

与现有技术相比，本发明的有益效果为：

1)该方法结合yolov3-tiny网络和kcf跟踪算法，通过对kcf跟踪算法进行改进，增加抗遮挡功能，在跟踪目标被遮挡后再次出现时能通过重搜索的方式匹配跟踪目标，搜索过程计算量少，实现在目标重新出现后最快找到目标进行跟踪，整体计算量低，检测速度快、准确度高，适用于实时检测目标的违规行为；

2)能够自动识别违规行为，并对违规行为进行跟踪提醒，无需消耗大量人力物力，大大提高作业过程中的安全性，且轻量化，无需GPU支持，适用范围更广。

附图说明

图1为本发明的检测跟踪方法总体流程图；

图2为本发明的kcf跟踪算法流程图；

图3为本发明的响应峰值曲线图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

如图1-3所示，一种工厂违规行为检测跟踪方法，应用于移动机器人，包括如下步骤：

S1、采集工人行为图像，输入yolov3-tiny网络模型进行违规行为检测，获得目标框的位置和类别。

在一实施例中，步骤S1中，目标框的类别包括佩戴安全帽、未佩戴安全帽、佩戴口罩、未佩戴口罩和抽烟五个类别，其中，未佩戴安全帽、未佩戴口罩和抽烟为违规行为类别，佩戴安全帽和佩戴口罩为非违规行为类别。需要说明的是，目标框的类别还可根据实际需求进行划分。

该方法可应用于移动机器人(如巡逻机器人等)，移动机器人的本体包括运动机构和控制主板，可采用现有的移动机器人，如双足移动机器人等，移动机器人的本体上还设有图像采集模块和语音模块，控制主板与图像采集模块和语音模块连接，并驱动移动本体运动。图像采集模块为摄像头，语音模块用于进行语音提醒，如提醒工人解除违规行为。摄像头采集的工人行为图像输入yolov3-tiny网络模型进行违规行为检测，获得目标框的位置和类别。

yolov3-tiny网络模型可为提前训练好的模型，训练步骤如下：

1)将采集的工人行为图像中的目标框用labelImg软件进行标注，如包括佩戴安全帽、未佩戴安全帽、佩戴口罩、未佩戴口罩和抽烟五个类别，标注的内容依次为hat、person、mask、no_mask、smoke；

2)将标注后的图像数据集分为测试集和训练集；

3)使用训练集训练yolov3-tiny网络模型，获得多个权重文件；

4)用测试集测试每个yolov3-tiny网络模型的平均准确率，选取平均准确率最高的一个权重文件作为最终yolov3-tiny网络模型，进行违规行为检测。

S2、对属于违规行为类别的工人行为图像，采用改进的kcf跟踪算法对深度信息最小的目标进行跟踪并控制移动机器人对目标进行语音提醒。如移动机器人的控制主板根据图像的深度信息发送速度指令控制运动机构的轮子转动运动至最近目标(即深度信息最小的目标)，并通过语音模块进行语音提醒工人解除违规行为。可自动筛查行为类别，对于违规行为进行跟踪提醒，大大提高作业过程中的安全性。

采用改进的kcf跟踪算法进行目标跟踪，包括：

S21、保存目标的目标框为目标图像，每一帧工人行为图像都对该目标图像进行更新，并判断响应峰值是否低于第一预设阈值，若不低于第一预设阈值，则判断为目标未被遮挡，转入步骤S3，若低于第一预设阈值，则停止更新目标图像，对当前目标图像进行特征点提取并进行描述。

在一实施例中，进行特征点提取并进行描述，即进行Fast特征点提取和BRIEF描述，具体如下：

1)提取

选取对应图像上任一像素点Q，设定第四预设阈值T，以像素点Q为圆心、R为半径的圆上存在周围像素点M个，当有连续N(N≤M)个周围像素点的像素值大于Q+T或小于Q-T，则像素点Q为特征点，遍历图像全部像素点获取全部特征点。

具体地，以像素点Q为圆心、R为半径画圆，如圆周上对应有M＝16个周围像素点，当有连续N＝10个周围像素点的像素值大于Q+T或小于Q-T，则像素点Q为Fast特征点，同理，遍历图像全部像素点获取全部Fast特征点。

2)描述

在各特征点的周围区域取128对像素点，每对像素点包括像素点P和像素点L且两者灰度值不等，若像素点P的灰度值大于像素点L的灰度值，则取1，反之，取0，获得128位二进制数。

S22、判断响应峰值是否低于第二预设阈值，若不低于第二预设阈值，则判断为目标被半遮挡，转入步骤S3，若低于第二预设阈值，则判断为目标被遮挡丢失，定义当前帧工人行为图像为搜索图像，对搜索图像进行特征点提取并进行描述。

在一实施例中，第一预设阈值为0.7，第二预设阈值为0.2。当响应峰值V满足V≥0.7时，目标未遮挡，持续跟踪；当响应峰值满足0.2≤V＜0.7时，目标被半遮挡，持续跟踪；当响应峰值满足V＜0.2时，目标被遮挡丢失，进入重新搜索阶段。如图3所示，横坐标表示图像帧数，纵坐标表示响应峰值，当位于第125帧时，响应峰值下降到0.7，目标开始被遮挡，响应峰值持续下降。当位于155帧时，目标完全被遮挡，响应峰值下降到0.2，当响应峰值低于0.2时，目标完全被遮挡的情况下目标跟踪丢失，开始进入目标重搜索阶段。需要说明的是，第一预设阈值和第二预设阈值的具体取值还可根据实际需求进行确定。

在一实施例中，目标图像和搜索图像上对应的特征点的每对像素点所取位置相同。

S23、将目标图像和搜索图像进行描述子匹配，设定经验阈值，在匹配值大于经验阈值时，判断目标图像和搜索图像的特征点匹配。

在一实施例中，步骤S23中，匹配值采用汉明距离计算获得。通过汉明距离在所有的匹配对中选出最相似的匹配以提高检测准确度，如计算对应的搜索图像的128位二进制数和目标图像的128位二进制数中不同的位数即为距离，距离越大越不相似，距离越小越相似，设定一个经验阈值，在匹配值大于经验阈值时，判断目标图像和搜索图像的特征点匹配。

S24、判断特征点的匹配对数量是否低于第三预设阈值，若是，更新下一帧工人行为图像为搜索图像，并对搜索图像进行特征点提取并进行描述，返回执行步骤S23，否则，计算搜索图像的匹配特征点中最大的位置坐标和最小的位置坐标，并将最大的位置坐标和最小的位置坐标形成的矩形区域定义为跟踪区域。

其中，当特征点的匹配对数量低于第三预设阈值(如第三预设阈值为2)表明目标未搜索到，需重新对更新后的搜索图像返回执行步骤S23；当特征点的匹配对数量不低于第三预设阈值时，以搜索图像的匹配特征点中最大的位置坐标和最小的位置坐标形成的矩形区域为跟踪区域。需要说明的是，第三预设阈值的具体取值还可根据实际需求进行确定。

S25、将跟踪区域与目标图像进行模板匹配，记录第一响应峰值V1，将跟踪区域放大预设倍数与目标图像进行模板匹配，记录第二响应峰值V2。

S26、判断是否满足V2≥V1，若是，将放大后的跟踪区域作为最新跟踪区域，否则，保留放大前的跟踪区域为最新跟踪区域，将最新跟踪区域作为目标框。通过选择不同的跟踪区域为最新跟踪区域，可以获取最适合目标尺寸大小的跟踪框，有助于提高检测精度。

S3、持续跟踪，直到违规行为解除。在持续跟踪时，移动机器人保持对所述目标的跟踪及语音提醒工人解除违规行为，并返回执行步骤S21直到违规行为解除。

该方法结合yolov3-tiny网络和kcf跟踪算法，通过对kcf跟踪算法进行改进，增加抗遮挡功能，在跟踪目标被遮挡后再次出现时能通过重搜索的方式匹配跟踪目标，搜索过程计算量少，实现在目标重新出现后最快找到目标进行跟踪，整体计算量低，检测速度快、准确度高，适用于实时检测目标的违规行为；能够自动识别违规行为，并对违规行为进行跟踪提醒，无需消耗大量人力物力，大大提高作业过程中的安全性，且轻量化，无需GPU支持，适用范围更广。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种工厂违规行为检测跟踪方法，应用于移动机器人，其特征在于：所述工厂违规行为检测跟踪方法包括如下步骤：

S1、采集工人行为图像，输入yolov3-tiny网络模型进行违规行为检测，获得目标框的位置和类别；

S2、对属于违规行为类别的工人行为图像，采用改进的kcf跟踪算法对深度信息最小的目标进行跟踪并控制移动机器人对所述目标进行语音提醒，所述采用改进的kcf跟踪算法进行目标跟踪，包括：

S21、保存所述目标的目标框为目标图像，每一帧工人行为图像都对该目标图像进行更新，并判断响应峰值是否低于第一预设阈值，若不低于第一预设阈值，则判断为所述目标未被遮挡，转入步骤S3，若低于第一预设阈值，则停止更新所述目标图像，对当前目标图像进行特征点提取并进行描述；

S22、判断响应峰值是否低于第二预设阈值，若不低于第二预设阈值，则判断为所述目标被半遮挡，转入步骤S3，若低于第二预设阈值，则判断为所述目标被遮挡丢失，定义当前帧工人行为图像为搜索图像，对所述搜索图像进行特征点提取并进行描述；

S23、将所述目标图像和所述搜索图像进行描述子匹配，设定经验阈值，在匹配值大于所述经验阈值时，判断所述目标图像和所述搜索图像的特征点匹配；

S24、判断特征点的匹配对数量是否低于第三预设阈值，若是，更新下一帧工人行为图像为搜索图像，并对所述搜索图像进行特征点提取并进行描述，返回执行步骤S23，否则，计算所述搜索图像的匹配特征点中最大的位置坐标和最小的位置坐标，并将所述最大的位置坐标和最小的位置坐标形成的矩形区域定义为跟踪区域；

S25、将所述跟踪区域与所述目标图像进行模板匹配，记录第一响应峰值V1，将所述跟踪区域放大预设倍数与所述目标图像进行模板匹配，记录第二响应峰值V2；

S26、判断是否满足V2≥V1，若是，将放大后的所述跟踪区域作为最新跟踪区域，否则，保留放大前的所述跟踪区域为最新跟踪区域，将最新跟踪区域作为目标框；

S3、持续跟踪，直到违规行为解除。

2.如权利要求1所述的工厂违规行为检测跟踪方法，其特征在于：步骤S1中，所述目标框的类别包括佩戴安全帽、未佩戴安全帽、佩戴口罩、未佩戴口罩和抽烟五个类别，其中，所述未佩戴安全帽、未佩戴口罩和抽烟为违规行为类别，所述佩戴安全帽和佩戴口罩为非违规行为类别。

3.如权利要求1所述的工厂违规行为检测跟踪方法，其特征在于：所述第一预设阈值为0.7，所述第二预设阈值为0.2。

4.如权利要求1所述的工厂违规行为检测跟踪方法，其特征在于：所述进行特征点提取并进行描述，具体如下：

1)提取

选取对应图像上任一像素点Q，设定第四预设阈值T，以像素点Q为圆心、R为半径的圆上存在周围像素点M个，当有连续N(N≤M)个所述周围像素点的像素值大于Q+T或小于Q-T，则所述像素点Q为特征点，遍历图像全部像素点获取全部特征点。

2)描述

在各特征点的周围区域取128对像素点，每对像素点包括像素点P和像素点L且两者灰度值不等，若像素点P的灰度值大于像素点L的灰度值，则取1，反之，取0，获得128位二进制数。

5.如权利要求4所述的工厂违规行为检测跟踪方法，其特征在于：所述目标图像和搜索图像上对应的所述特征点的每对像素点所取位置相同。

6.如权利要求1所述的工厂违规行为检测跟踪方法，其特征在于：步骤S23中，所述匹配值采用汉明距离计算获得。

Images