CN115690496A - 基于YOLOv5的实时区域入侵检测方法 - Google Patents

Abstract

本发明公开了一种基于YOLOv5的实时区域入侵检测方法，包括：选取YOLOv5模型；将YOLOv5模型的检测功能划分为图片检测、本地视频检测和实时摄像头检测；在YOLOv5模型中若选中图片检测，则读取本地图片，采用bbox框选出识别的物体，并获取bbox坐标预测信息和置信度；若选中本地视频检测或实时摄像头检测检测，接入视频流，再判断是否执行区域入侵指令，若是，执行步骤5，否则执行步骤4；采用bbox框选出识别的物体，并获取bbox坐标预测信息和置信度；先生成多边形的入侵区域，再对视频帧执行入侵区域的目标检测，获取入侵区域内的bbox坐标信息、入侵类别和置信度，并生成报警信息。本发明采用bbox中心点与入侵区域的相对位置进行判定是否存在区域入侵，实时性好，效率高。

Description

基于YOLOv5的实时区域入侵检测方法

技术领域

本发明属于图像处理的技术领域，具体涉及一种基于YOLOv5的实时区域入侵检测方法。

背景技术

随着深度学习技术的发展和海量视频监控资源的产生，仅通过人力对视频资源进行分析和处理远远满足不了需求，探索应用智能视频识别技术，智能分析重点监控区域的违法违规行为并进行预警可以弥补耗时耗力的问题，但现有的区域入侵检测方法实时性较差、检测精度不高，因此急需发明一种判断精度高、实时性好的视频监控物体入侵检测区域的方法。

发明内容

本发明的目的在于针对现有技术的不足之处，提供一种基于YOLOv5的实时区域入侵检测方法，该方法使用预测结果中心点与多边形入侵区域的相对位置关系进行快速判定是否存在区域入侵，实时性好，效率高。

为解决上述技术问题，本发明采用如下技术方案：

一种基于YOLOv5的实时区域入侵检测方法，包括如下步骤：

步骤1，选择数据集对YOLOv5模型进行训练，得到训练好的YOLOv5模型；

步骤2，初始化训练好的YOLOv5模型，并将YOLOv5模型的检测功能划分为图片检测、本地视频检测和实时摄像头检测；

步骤3，在YOLOv5模型中选择相应的检测功能对检测目标进行检测；若选中图片检测，则读取相应的本地图片，执行目标检测，采用bbox框选出识别的物体，并获取bbox坐标预测信息和置信度，再将结果输出展示；若选中本地视频检测，先判断是否执行区域入侵指令，若是，执行步骤5，否则执行步骤4；若选中实时摄像头检测，先接入视频流，再判断是否执行区域入侵指令，若是，执行步骤5，否则执行步骤4；

步骤4，根据视频附带的FPS，对视频帧执行目标检测，采用bbox框选出识别的物体，并获取bbox坐标预测信息和置信度，再将结果输出展示；

步骤5，根据视频附带的FPS，若选择上传本地区域坐标信息JSON文件，先生成多边形的入侵区域，再对视频帧执行入侵区域的目标检测，获取入侵区域内的bbox坐标信息、入侵类别和置信度，并生成报警信息；若选择实时绘制入侵区域，则连点成线构成多边形的入侵区域，再对视频帧执行入侵区域的目标检测，获取入侵区域内的bbox坐标信息、入侵类别和置信度，并生成报警信息。

进一步地，步骤3中，在执行目标检测前，将图片和视频的分辨率进行统一。

进一步地，步骤5中实时绘制入侵区域的方法为：

进行区域入侵模式，确保绘制指令能够被识别；

结合步骤3的图片、视频或实时摄像头监测结果，在结果图像输出的区域范围内，发出绘制指令，完成创建多边形边界的单个点操作，通过重复执行绘制指令，在创建出三个及以上的不同点后，连接成多边形边界形成入侵区域；

如果需要重新绘制多边形，则发出清除指令，将之前创建的所有多边形点进行清除。

进一步地，步骤5所述对视频帧执行多边形区域的入侵目标检测方法为：

获取框选识别出物体的bbox框的中点坐标；

对比bbox框的中点坐标和多边形区域的位置关系，判断中点是否在多边形边界内，从中点向外部引出多条射线，统计多条射线与多边形边界的交点个数，若为奇数个交点，则说明bbox框中点在多边形区域内，判定物体入侵多边形区域中，若为偶数个交点，则说明bbox框中点在多边形区域在外，判定物体未入侵多边形区域中。

进一步地，步骤5中生成报警信息可视化的方法为：

规定区域入侵的报警触发规则为框选物体的bbox中点位于当前帧图像的多边形区域中；区域入侵的报警消除规则为框选物体的bbox中点坐标不在当前帧图像的多边形区域中；

YOLOv5模型识别到物体类别和物体在图像中所处的多边形区域后，绘制bbox坐标信息、物体类别和置信度；在区域入侵模式下，在当前帧图像上加载显示出步骤5绘制的多边形区域，对当前帧图像进行判断，是否有满足多边形警示区域中的物体，如果有，在报警信息框中更新该物体的bbox中点坐标，同时判断该物体是否属于person类别，如果是，统计当前帧的图像中入侵人数，同时更新判断该物体为person类别的置信度。

与现有技术相比，本发明的有益效果为：本发明检测模型采用YOLOv5降低了模型的运行要求，同时兼顾了精度和速度，能够对图片、视频以及摄像头进行精确检测；本发明基于YOLOv5实时处理视频流，并且使用预测结果中心点与多边形的相对位置关系进行快速判定是否存在区域入侵，实时性好，效率高。

附图说明

图1是本发明实施例基于YOLOv5的实时区域入侵检测方法的流程示意图；

图2是本发明实施例的区域入侵原理图；

图3是本发明实施例的区域入侵检测结果图。

具体实施方式

下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明实施例提供了一种基于YOLOv5的实时区域入侵检测方法，该方法在区域入侵检测中，充分利用YOLOv5模型小，检测速度快的优势，保证算法稳定性和准确度的同时，降低了模型的运行要求，减少了检测时间，实现了区域入侵检测的实时性。YOLOv5和以往的YOLO系列算法相比，有更高的准确率，和FCN系列的二步检测法相比有更快的检测速度。

具体请参阅图1，图1是本实施例基于YOLOv5的实时区域入侵检测方法的总体流程示意图。如图1所示，本实施方式区域入侵检测方法具体包括以下步骤：

步骤1，选择数据集对YOLOv5模型进行训练，得到训练好的YOLOv5模型；YOLOv5模型包括检测精度依次升高的YOLOv5m、YOLOv5s、YOLOv5x，在本实施例中，通过COCO数据集对YOLOv5模型进行预训练得到相关的权重参数，选择预先训练好的权重参数作为YOLOv5模型的权重参数。

步骤2，初始化训练好的YOLOv5模型，并将YOLOv5模型的检测功能划分为图片检测、本地视频检测和实时摄像头检测；

根据选择好的权重参数对YOLOv5模型进行初始化，使其具有目标检测的能力。根据目标检测的对象类型不同，将YOLOv5模型的检测功能划分为图片检测、本地视频检测和实时摄像头检测三大功能。

步骤3，在YOLOv5模型中选择相应的检测功能对检测目标进行检测；若选中图片检测，则读取相应的本地图片，执行目标检测，采用bbox框选出识别的物体，并获取bbox坐标预测信息和置信度，再将结果输出展示；若选中视频检测，先判断是否执行区域入侵功能，若是，执行步骤5，否则执行步骤4；若选中实时摄像头检测，先接入视频流，再判断是否执行区域入侵功能，若是，执行步骤5，否则执行步骤4；

当选择的是YOLOv5模型中的图片检测功能，则读取用户选择的且存放在本地的图片文件。为了避免不同图片之间存在较大的分辨率差异，将加载的图片分辨率统一缩放到预设的分辨率，在本实施例中为640×480，并利用YOLOv5模型执行目标检测，识别图片中的物体，采用bbox框选出识别出的物***置，标识其类别，并获取bbox坐标信息和置信度，随后将这些信息输出并进行展示。

当选择的是YOLOv5模型中的本地视频检测功能，则读取用户选择的且存放在本地的视频文件，并将视频拆分成一帧一帧的图像，对每一帧图像都进行目标检测，其中，拆分的视频每秒帧数(FPS)与原视频的一致；而当选择的是YOLOv5模型中的实时摄像头检测功能，则可以选择提供的若干个不同场所的摄像头作为输入视频流，将场所和对应的RTMP视频流进行关联，在本实施例中将FPS控制在25，再将每一帧图像显示并进行目标检测。

YOLOv5模型执行本地视频检测和实时摄像头检测功能的步骤如下：

对图像进行尺寸上的统一缩放，调整到640×480的分辨率大小；

利用YOLOv5模型对当前帧图像进行目标检测，采用bbox框选出识别出的物***置，识别物体类别，并获取bbox坐标和置信度等信息。

然后判断执行本地视频检测和实时摄像头检测功能时，是否执行区域入侵指令，若是，执行步骤5，否则执行步骤4。

步骤4，根据视频附带的FPS，对视频帧执行目标检测，采用bbox框选出识别的物体，并获取bbox坐标预测信息和置信度，再将结果输出展示；

判断是否执行“区域入侵”指令，如果否，则与图片检测功能类似，显示当前帧的检测结果信息，即采用bbox框选出识别出的物***置，识别物体类别，并获取bbox坐标和置信度等信息，并对每一帧的结果都在***的结果输出窗口进行更新。

步骤5，根据视频附带的FPS，若选择上传本地区域坐标信息JSON文件，先生成多边形的入侵区域，再对视频帧执行入侵区域的目标检测，获取入侵区域内的bbox坐标信息、入侵类别和置信度，并生成报警信息；若选择实时绘制入侵区域，则连点成线构成多边形的入侵区域，再对视频帧执行入侵区域的目标检测，获取入侵区域内的bbox坐标信息、入侵类别和置信度，并生成报警信息；

如果执行“区域入侵”指令，在YOLOv5模型的本地视频检测功能和实时摄像头检测功能中执行区域入侵指令的具体步骤如下：

在图像输出窗口绘制入侵区域的多边形边界，其中绘制方式还分为鼠标绘制和加载本地区域JSON文件两种方式。其中，鼠标绘制的具体步骤如下：

鼠标在图像输出窗口进行移动时，自动获取到鼠标当前相对于图像输出窗口左上角(0,0)的(x,y)坐标；

单击鼠标左键，作为绘制入侵区域的多边形边界点的触发事件，当单击鼠标左键时，将鼠标当前的(x,y)坐标添加到一个有序列表中；

当有序列表中保存了三个及以上的不一样(x,y)点时，将按照添加的先后顺序将其连成一个多边形，随后每次添加一个新的点都将重新绘制多边形边界；

如果对于绘制的入侵区域不满意，可以选择单击鼠标右键，收到右键的清除指令后，清除多边形有序列表中的所有点，进行重新绘制。

加载本地区域JSON文件的具体步骤如下：

通过软件对视频中感兴趣的区域进行绘制并导出对应的JSON文件，JSON文件中包含区域坐标的二维数组{[x₁,y₁],[x₂,y₂],……,[x_n,y_n]}，其中，x_n和y_n代表一个点的(x,y)坐标，n＝1,2,3,4,……；

读取JSON中的各个点，将其存入有序列表中，并按照顺序绘制多边形边界。

这两种方式绘制的入侵区域需要考虑的问题在于，在绘制前均需要事先将不同分辨率大小的图像统一调整到640×480分辨率，以便后续的结果展示，而区域入侵算法是在原尺寸的图像上进行，因此需要获取图像原尺寸和当前尺寸的比例关系，否则绘制显示的区域和实际检测的区域会存在一定的偏移。所以需要维护两套多边形有序列表，一套用于绘制显示的入侵区域，一套用于区域入侵算法检测物体是否越过边界。这两套列表的点坐标通过图像原尺寸和当前尺寸的比例关系进行互相转换。

在读取到入侵区域的多边形边界后，再判断物体是否侵入绘制的入侵区域，如图2所示，具体步骤如下：

通过YOLOv5模型进行目标检测，获取框选物体的bbox框的中点；

从中点向外部引出多条射线；

如果射线和入侵区域边界的交点个数为偶数个，则说明该物体不在入侵区域内部，则判断该物体未侵入入侵区域；如果交点个数为奇数个，则说明该物体处在入侵区域内部，则判断该物体侵入了入侵区域。

当判断物体处于入侵区域内部时，会根据获取到的入侵区域内的物体类别信息进行筛选，在本实施例中只关注person类别，因此被判断为person的物体会被统计在“非法入侵人数”这一信息中，连同当前帧的入侵区域内所有物体bbox坐标、入侵类别和置信度作为报警信息，显示到***的结果输出窗口中。***区域入侵方法的演示效果如图3所示，中间区域是***的图像输出窗口，显示的是本地视频的一帧，多边形是入侵区域的边界，右侧“检测信息”统计了当前帧的入侵人数和具体信息。

综上所述，本实施例提出了一种基于YOLOv5的实时区域入侵检测方法与***，利用预训练好的YOLOv5模型，针对需要检测的主体目标不同，划分为三个功能模块：1)图片检测模块，读取本地图片并使用YOLOv5模型进行目标检测；2)本地视频检测模块，读取本地视频并使用YOLOv5进行目标检测，并根据需要对每一帧视频画面都绘制入侵区域，判断物体类别、bbox坐标信息和置信度，通过bbox中点引出的射线与入侵区域边界的交点个数，判断物体是否在区域内部，从而达到实时区域入侵检测的效果；3)实时摄像头检测模块，接入HTTP视频流进行目标检测，并根据需要对每一帧视频画面都绘制入侵区域，判断物体类别、bbox坐标信息和置信度，通过bbox中点引出的射线与入侵区域边界的交点个数，判断物体是否在区域内部，从而达到实时区域入侵检测的效果。***将各个功能模块得到的检测结果进行输出，并统计入侵物体的个数和具体信息，从而达到实时区域入侵检测方法的落地应用。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (5)

1.一种基于YOLOv5的实时区域入侵检测方法，其特征在于，包括如下步骤：

步骤1，选择数据集对YOLOv5模型进行训练，得到训练好的YOLOv5模型；

步骤2，初始化训练好的YOLOv5模型，并将YOLOv5模型的检测功能划分为图片检测、本地视频检测和实时摄像头检测；

步骤3，在YOLOv5模型中选择相应的检测功能对检测目标进行检测；若选中图片检测，则读取相应的本地图片，执行目标检测，采用bbox框选出识别的物体，并获取bbox坐标预测信息和置信度，再将结果输出展示；若选中本地视频检测，先判断是否执行区域入侵指令，若是，执行步骤5，否则执行步骤4；若选中实时摄像头检测，先接入视频流，再判断是否执行区域入侵指令，若是，执行步骤5，否则执行步骤4；

步骤4，根据视频附带的FPS，对视频帧执行目标检测，采用bbox框选出识别的物体，并获取bbox坐标预测信息和置信度，再将结果输出展示；

步骤5，根据视频附带的FPS，若选择上传本地区域坐标信息JSON文件，先生成多边形的入侵区域，再对视频帧执行入侵区域的目标检测，获取入侵区域内的bbox坐标信息、入侵类别和置信度，并生成报警信息；若选择实时绘制入侵区域，则连点成线构成多边形的入侵区域，再对视频帧执行入侵区域的目标检测，获取入侵区域内的bbox坐标信息、入侵类别和置信度，并生成报警信息。

2.根据权利要求1所述的基于YOLOv5的实时区域入侵检测方法，其特征在于，步骤3中，在执行目标检测前，将图片和视频的分辨率进行统一。

3.根据权利要求1所述的基于YOLOv5的实时区域入侵检测方法，其特征在于，步骤5中实时绘制入侵区域的方法为：

进行区域入侵模式，确保绘制指令能够被识别；

结合步骤3的图片、视频或实时摄像头监测结果，在结果图像输出的区域范围内，发出绘制指令，完成创建多边形边界的单个点操作，通过重复执行绘制指令，在创建出三个及以上的不同点后，连接成多边形边界形成入侵区域；

如果需要重新绘制多边形，则发出清除指令，将之前创建的所有多边形点进行清除。

4.根据权利要求1所述的基于YOLOv5的实时区域入侵检测方法，其特征在于，步骤5所述对视频帧执行多边形区域的入侵目标检测方法为：

获取框选识别出物体的bbox框的中点坐标；

对比bbox框的中点坐标和多边形区域的位置关系，判断中点是否在多边形边界内，从中点向外部引出多条射线，统计多条射线与多边形边界的交点个数，若为奇数个交点，则说明bbox框中点在多边形区域内，判定物体入侵多边形区域中，若为偶数个交点，则说明bbox框中点在多边形区域在外，判定物体未入侵多边形区域中。

5.根据权利要求1所述的基于YOLOv5的实时区域入侵检测方法，其特征在于，步骤5中生成报警信息可视化的方法为：

规定区域入侵的报警触发规则为框选物体的bbox中点位于当前帧图像的多边形区域中；区域入侵的报警消除规则为框选物体的bbox中点坐标不在当前帧图像的多边形区域中；

YOLOv5模型识别到物体类别和物体在图像中所处的多边形区域后，绘制bbox坐标信息、物体类别和置信度；在区域入侵模式下，在当前帧图像上加载显示出步骤5绘制的多边形区域，对当前帧图像进行判断，是否有满足多边形警示区域中的物体，如果有，在报警信息框中更新该物体的bbox中点坐标，同时判断该物体是否属于person类别，如果是，统计当前帧的图像中入侵人数，同时更新判断该物体为person类别的置信度。

Images