CN113128340B - 一种人员入侵检测方法及装置 - Google Patents

一种人员入侵检测方法及装置 Download PDF

Info

Publication number
CN113128340B
CN113128340B CN202110279138.XA CN202110279138A CN113128340B CN 113128340 B CN113128340 B CN 113128340B CN 202110279138 A CN202110279138 A CN 202110279138A CN 113128340 B CN113128340 B CN 113128340B
Authority
CN
China
Prior art keywords
image
target
image sequence
personnel
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110279138.XA
Other languages
English (en)
Other versions
CN113128340A (zh
Inventor
李静
王荣秋
尚伟艺
李朝辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huawei Mingtian Software Technology Co ltd
Original Assignee
Guangzhou Huawei Mingtian Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huawei Mingtian Software Technology Co ltd filed Critical Guangzhou Huawei Mingtian Software Technology Co ltd
Priority to CN202110279138.XA priority Critical patent/CN113128340B/zh
Publication of CN113128340A publication Critical patent/CN113128340A/zh
Application granted granted Critical
Publication of CN113128340B publication Critical patent/CN113128340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种人员入侵检测方法及其装置,通过4个步骤对区域内进行人员入侵检测。本发明能保持基于深度学习人员检测准确率，同时通过非移动目标排除从而能解决深度学习目标检测方法偶尔出现大量重复误告警问题。本发明通过缓存即时缓存图像序列和间隔缓存图像序列能大大降低缓存图片数量，从而能大节省存储空间。

Description

一种人员入侵检测方法及装置
技术领域
本发明涉及人员入侵检测技术领域，特别涉及一种人员入侵检测方法及装置。
背景技术
基于监控视频的人员入侵检测具有非常普遍的应用价值，可广泛应用于监狱的周界防范，电力电网的安全作业管控，以及其它各种违禁人员进入的场景。
人员入侵的检测方法主要有两类，一类是以vibe算法为代表的移动侦测检测方法，一类是以yolo为代表的深度学习目标检测方法。移动侦测检测方法存在检出率低、误告率高的不足，存在无法区分人员与其它动态物体的缺点。基于深度学习目标检测方法整体检出率较高，是目前的主流方法，但也存在一旦画面中出现与人员相类似的物体形态时，例如人员画像、衣物等，该方法会出现大量重复误告警的不足。
因此，针对现有技术不足，提供一种人员入侵检测方法及其装置以解决现有技术不足甚为必要。
发明内容
本发明其中一个的目的在于避免现有技术的不足之处而提供一种人员入侵检测方法。该人员入侵检测方法能避免大量重复误告警产生。
本发明的上述目的通过以下技术措施实现：
提供一种人员入侵检测方法,步骤包括：
步骤一、将实时获取监控的视频流得到连续图像序列,并根据预设时间间隔对连续图像序列中进行图像选取，得到识别图像；
步骤二、将步骤一得到的识别图像进行缓存得到即时缓存图像序列和间隔缓存图像序列；
步骤三、将步骤二得到的即时缓存图像序列中的当前图像输入至最优算法模型，得到目标信息；在步骤二得到的间隔缓存图像序列和即时缓存图像序列中选择的对比图像，根据目标信息和对比图像得到对比结果，对对比结果进行非移动目标排除得到人员入侵结果；
步骤四、根据步骤三得到人员入侵结果，判断是否存在人员入侵，当存在人员入侵则对应输出告警并返回步骤一，当非移动物体则返回步骤一。
优选的，上述步骤二包括有：
步骤2.1、将最新的识别图像定义为当前图像；
步骤2.2、将当前图像进行缓存，根据即时缓存图像序列更新方法得到即时缓存图像序列，根据间隔缓存图像序列更新方法得到间隔缓存图像序列；
步骤2.3、判断即时缓存图像序列和间隔缓存图像序列的图像数目是否饱满，当两者同时饱满时进入步骤三，否则返回步骤2.2。
优选的，上述即时缓存图像序列更新方法为将当前图像更新至缓存模块的即时缓存图像序列中，且即时缓存图像序列的存储长度为n，且n为正整数。
优选的，上述即时缓存图像序列更新方法具体为将连续多帧的识别图像按时间顺序从后向前排列，将当前图像作为即时缓存图像序列的末端图像并定义为An，与An相邻在前的第一帧图像定义为An-1，……，与An相邻在前的第i帧图像定义为An-i，与An相邻在前的第n-1帧图像定义为A1，存在n≥i≥2，且n和i均为正整数，将位于A1之后的识别图像删除。
优选的，上述间隔缓存图像序列更新方法为每间隔时间t1分钟将当前图像作为间隔缓存图像序列的末端图像更新至间隔缓存图像序列，且间隔缓存图像序列的存储长度为m，且m为正整数。
将所述间隔缓存图像序列中最新更新的识别图像定义为Bm，与Bm相邻的前一次更新的图像定义为Bm-1，……，与Bm相邻的第j次前更新的图像定义为Bm-j，……，与Bm相邻的在第m-1次前更新的图像定义为B1，存在m≥j≥2，且m和j均为正整数，t1为正数，将位于B1之后的识别图像删除。
优选的，上述步骤三包括有：
步骤3.1、将步骤二得到的即时缓存图像序列中An定义为目标图像，将目标图像输入至最优算法模型进行目标检测生成目标数据；
步骤3.2、判断目标数据是否存在人员，当没有存在人员时返回步骤一，当目标数存在人员时进入步骤3.3；
步骤3.3、将目标数据中的待处理目标人员的数量定义为s,分别对s个待处理目标人员P依次命名为P1，……，Pn，……，Ps,其中s≥n≥1；
步骤3.4、令Ps＝P进入步骤3.5；
步骤3.5、在目标图像中截选与目标人员P对应的目标框坐标相同的区域，定义为目标框ROI区域；
步骤3.6、将即时缓存图像序列中A1定义为第一对比图像，将间隔缓存图像序列中的Bm定义为第二对比图像，将间隔缓存图像序列中的B1定义为第三对比图像；
步骤3.7、分别在第一对比图像、第二对比图像和第三对比图像中截取与目标人员P对应的目标框坐标相同的区域，对应得到第一对比ROI区域图片、第二对比ROI区域图片和第三对比ROI区域图片；
步骤3.8、将目标框ROI区域分别与第一对比ROI区域图片、第二对比ROI区域图片和第三对比ROI区域图片进行相似度值对比，得到对比结果；
步骤3.9、更新剩余待处理目标人员的数量，判断剩余目标人员数量是否大于0，如果是进入步骤3.10，否则进入步骤3.11；
步骤3.10、令P＝Ps-1并返回步骤3.5；
步骤3.11、根据对比结果进行非移动目标排除得到人员入侵结果进入步骤四。
优选的，上述步骤3.8具体为，分别计算目标框ROI区域与第一对比ROI区域图片、第二对比ROI区域图片和第三对比ROI区域图片的相似度，分别得到Ra、Rb和Rc，将相似度值Ra、Rb和Rc定义为对比结果。
优选的，上述步骤3.11具体为，将对比结果Ra与第一阈值R1、Rb与第二阈值R2，将Rc与第二阈值R3进行对比，当存在Ra≥R1、Rb≥R2或者Rb≥R3中存在两个或以上情况时则人员入侵结果为非移动物体进入步骤四，否则人员入侵结果为人员入侵进入步骤四。
优选的，上述最优算法模型通过如下步骤得到：
步骤A、收集多张人形素材图像；
步骤B、分别对步骤A得到的多张人形素材图像进行标注，得到多个目标框坐标信息；
步骤C、对步骤B得到的多个目标框坐标信息进行重聚类，得到重聚类分组数据；
步骤D、对darknet框架训练深度学习神经网络yolov4算法的训练参数进行训练，得到最优算法模型。
优选的，上述步骤B具体为，分别通过labelImg工具对步骤A得到的多张人形素材图像进行标注，得到多个目标框坐标信息。
优选的，上述步骤C具体为，对步骤B得到的多个目标框坐标信息进行kmeans重聚类，且K设置为6，得到重聚类人员宽高分组数据。
优选的，上述步骤一具体为，将获取监控的视频流，将视频流解码成连续图像序列,并根据预设时间间隔t2秒,从连续图像序列中均匀抽取多帧图像得到识别图像，t2为正数。
优选的，上述人形素材图像包含有数据集筛选图像和具有应用场景人形图像。
优选的，上述数据集筛选图像为对数据集中的具有人员图像进行高度筛选后的人形图像。
优选的，上述具有应用场景人形图像为以入侵应用场景为背景的人形图像。
优选的，上述入侵应用场景为监狱、广场或者城市道路中的至少一种。
优选的，上述高度筛选为对人员高度大于图像整体高度三分之一进行剔除。
优选的，上述n为10，m为12，t1为4～6，t2为0.2；R1为0.95，R2和R3都为0.8。
优选的，上述训练参数为batch、subdivisions、max_batches、steps、scales、classes、filters和anchors，其中batch和subdivisions为训练服务器的一个批次训练图片数据参数，max_batches为训练终止条件参数，steps和scales为配套学习率，classes为类别数量，filters为卷积核的数量，anchor为步骤C的重聚类人员宽高分组数据。
优选的，上述最优算法模型的mAP值大于80％。
本发明另一个的目的在于避免现有技术的不足之处而提供一种采用人员入侵检测方法的装置。该采用人员入侵检测方法的装置能避免大量重复误告警产生。
本发明的上述目的通过以下技术措施实现：
提供一种采用人员入侵检测方法的装置,采用上述的人员入侵检测方法进行人员入侵检测。
本发明一种采用人员入侵检测方法的装置，设置有：
存储模块——存储训练最优算法模型的人形素材图像及对应的目标框坐标信息，及存储经过模型训练模块训练后的最优算法模型的参数；
模型训练模块——根据存储模块中的人形素材图像及对应的目标框坐标信息进行训练最优算法模型；
视频采集设备——实时获取区域内的视频；
视频处理模块——根据RTS视频协议或者RTMP视频协议在视频采集设备中获取实时视频流，并对视频流进行连续解码，得到识别图像；
缓存模块——将视处理模块的识别图像进行缓存，得到即时缓存图像序列和间隔缓存图像序列；
模型推断模块——根据最优算法模型获取目标图像的目标信息；
计算模块——将目标信息与对比图像进得对比，得到对比结果，并对对比结果进行非移动目标排除得到人员入侵结果。
本发明的一种人员入侵检测方法及其装置,通过4个步骤对区域内进行人员入侵检测。本发明能保持基于深度学习人员检测准确率，同时通过非移动目标排除从而能解决深度学习目标检测方法偶尔出现大量重复误告警问题。本发明通过缓存即时缓存图像序列和间隔缓存图像序列能大大降低缓存图片数量，从而能大节省存储空间。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1为一种人员入侵检测方法的流程图。
具体实施方式
结合以下实施例对本发明的技术方案作进一步说明。
实施例1。
一种人员入侵检测方法,如图1所示，步骤包括：
步骤一、将实时获取监控的视频流得到连续图像序列,并根据预设时间间隔对连续图像序列中进行图像选取，得到识别图像；
步骤二、将步骤一得到的识别图像进行缓存得到即时缓存图像序列和间隔缓存图像序列；
步骤三、将步骤二得到的即时缓存图像序列中的目标图像输入至最优算法模型，得到目标信息；在步骤二得到的间隔缓存图像序列和即时缓存图像序列中选择的对比图像，根据目标信息和对比图像得到对比结果，对对比结果进行非移动目标排除得到人员入侵结果；
步骤四、根据步骤三得到人员入侵结果，判断是否存在人员入侵，当存在人员入侵则对应输出告警并返回步骤一，当非移动物体则返回步骤一。
其中本发明的步骤二包括有：
步骤2.1、将最新的识别图像定义为当前图像；
步骤2.2、将当前图像进行缓存，根据即时缓存图像序列更新方法得到即时缓存图像序列，根据间隔缓存图像序列更新方法得到间隔缓存图像序列；
步骤2.3、判断即时缓存图像序列和间隔缓存图像序列的图像数目是否饱满，当两者同时饱满时进入步骤三，否则返回步骤2.2。
其中即时缓存图像序列更新方法为将当前图像更新至缓存模块的即时缓存图像序列中，且即时缓存图像序列的存储长度为n，且n为正整数。
其中本发明的即时缓存图像序列更新方法具体为将连续多帧的识别图像按时间顺序从后向前排列，将当前图像作为即时缓存图像序列的末端图像并定义为An，与An相邻在前的第一帧图像定义为An-1，……，与An相邻在前的第i帧图像定义为An-i，与An相邻在前的第n-1帧图像定义为A1，存在n≥i≥2，且n和i均为正整数，将位于A1之后的识别图像删除。
本发明的间隔缓存图像序列更新方法为每间隔时间t1分钟将当前图像作为间隔缓存图像序列的末端图像更新至间隔缓存图像序列，且间隔缓存图像序列的存储长度为m，且m为正整数。
将所述间隔缓存图像序列中最新更新的识别图像定义为Bm，与Bm相邻的前一次更新的图像定义为Bm-1，……，与Bm相邻的第j次前更新的图像定义为Bm-j，……，与Bm相邻的在第m-1次前更新的图像定义为B1，存在m≥j≥2，且m和j均为正整数，t1为正数，将位于B1之后的识别图像删除。
需要说明的是，本发明的间隔缓存图像序列更新方法是每间隔时间t1分钟更新一次间隔缓存图像序列，即***产生第一张当前图像时第一次更新间隔缓存图像序列，并开始计时，当计时时间达到t1分钟时刻起产生的当前图像更新二次间隔缓存图像序列，并重新计时，如此反复更新。因此并非每张识别图像都需要更新间隔缓存图像序列，仅按照t1间隔时间更新，其中t1为预设时间间隔。
本发明的步骤三包括有：
步骤3.1、将步骤二得到的即时缓存图像序列中An定义为目标图像，将目标图像输入至最优算法模型进行目标检测生成目标数据；
步骤3.2、判断目标数据是否存在人员，当没有存在人员时返回步骤一，当目标数存在人员时进入步骤3.3；
步骤3.3、将目标数据中的待处理目标人员的数量定义为s,分别对s个待处理目标人员P依次命名为P1，……，Pn，……，Ps,其中s≥n≥1；
步骤3.4、令Ps＝P进入步骤3.5；
步骤3.5、在目标图像中截选与目标人员P对应的目标框坐标相同的区域，定义为目标框ROI区域；
步骤3.6、将即时缓存图像序列中A1定义为第一对比图像，将间隔缓存图像序列中的Bm定义为第二对比图像，将间隔缓存图像序列中的B1定义为第三对比图像；
步骤3.7、分别在第一对比图像、第二对比图像和第三对比图像中截取与目标人员P对应的目标框坐标相同的区域，对应得到第一对比ROI区域图片、第二对比ROI区域图片和第三对比ROI区域图片；
步骤3.8、将目标框ROI区域分别与第一对比ROI区域图片、第二对比ROI区域图片和第三对比ROI区域图片进行相似度值对比，得到对比结果；
其中相似度计算采用以下公式：
Figure BDA0002977819280000111
其中n为ROI区域图片的总数据量，xi和yi分别为两张ROI区域图片第i个数据的灰度值。
步骤3.9、更新剩余待处理目标人员的数量，判断剩余目标人员数量是否大于0，如果是进入步骤3.10，否则进入步骤3.11；
步骤3.10、令P＝Ps-1并返回步骤3.5；
步骤3.11、根据对比结果进行非移动目标排除得到人员入侵结果进入步骤四。
其中步骤3.8具体为，分别计算目标框ROI区域与第一对比ROI区域图片、第二对比ROI区域图片和第三对比ROI区域图片的相似度，分别得到Ra、Rb和Rc，将相似度值Ra、Rb和Rc定义为对比结果。
其中步骤3.11具体为，将对比结果Ra与第一阈值R1、Rb与第二阈值R2，将Rc与第二阈值R3进行对比，当存在Ra≥R1、Rb≥R2或者Rb≥R3中存在两个或以上情况时则人员入侵结果为非移动物体进入步骤四，否则人员入侵结果为人员入侵进入步骤四。
本发明的最优算法模型通过如下步骤得到：
步骤A、收集多张人形素材图像；
步骤B、分别对步骤A得到的多张人形素材图像进行标注，得到多个目标框坐标信息；
步骤C、对步骤B得到的多个目标框坐标信息进行重聚类，得到重聚类分组数据；
步骤D、对darknet框架训练深度学习神经网络yolov4算法的训练参数进行训练，得到最优算法模型。
其中步骤B具体为，分别通过labelImg工具对步骤A得到的多张人形素材图像进行标注，得到多个目标框坐标信息。
其中步骤C具体为，对步骤B得到的多个目标框坐标信息进行kmeans重聚类，且K设置为6，得到重聚类人员宽高分组数据。
其中步骤一具体为，将获取监控的视频流，将视频流解码成连续图像序列,并根据预设时间间隔t2秒,从连续图像序列中均匀抽取多帧图像得到识别图像，t2为正数。
人形素材图像包含有数据集筛选图像和具有应用场景人形图像。数据集筛选图像为对数据集中的具有人员图像进行高度筛选后的人形图像。
需要说明的是，本实施例的数据集为COCO，
其中具有应用场景人形图像为以入侵应用场景为背景的人形图像。入侵应用场景为监狱、广场或者城市道路中的至少一种；
高度筛选为对人员高度大于图像整体高度三分之一进行剔除。
本实施例具体的n为10，m为12，t1为4～6，t2为0.2；R1为0.95，R2和R3都为0.8。
本发明的训练参数为batch、subdivisions、max_batches、steps、scales、classes、filters和anchors。
其中batch和subdivisions为训练服务器的一个批次训练图片数据参数，max_batches为训练终止条件参数，steps和scales为配套学习率。classes为类别数量，具体的当只检测人形是可以设置为1，当增加非人类别时可以设置为2。filters为卷积核的数量，可以用于表征从多个不同角度提取的特征数量。anchor为步骤C的重聚类人员宽高分组数据。
本发明的最优算法模型的mAP值大于80％。
需要说明的是，本发明采用的darknet框架训练深度学习神经网络yolov4算法为本领域技术公知常识，当输入人形素材图像、目标框坐标信息和训练参数输入进行darknet框架训练深度学习神经网络yolov4算法训练后，可以得到本发明的最优算法模型。因此在此不再一一累述darknet框架训练深度学习神经网络yolov4算法的具体设置与操作过程。对于本发明所采用kmean重聚类为公知的算法，本领域技术人员也应当知晓其参数及参数设置，当参数设置后再将本发明的目标框坐标信息采用kmeans重聚类后，可以得到本发明的重聚类人员宽高分组数据。因此在此不再一一累述kmeans重聚类的具体设置与操作过程。
该人员入侵检测方法能保持基于深度学习人员检测准确率，同时通过非移动目标排除从而能解决深度学习目标检测方法偶尔出现大量重复误告警问题。本发明通过缓存即时缓存图像序列和间隔缓存图像序列能大大降低缓存图片数量，从而能大节省存储空间。
实施例2。
一种人员入侵检测方法的实际应用：步骤包括：
步骤一、将获取监控的视频流，将视频流解码成连续图像序列,并根据预设时间间隔t2秒,从连续图像序列中均匀抽取多帧图像得到识别图像，t2为正数，且t2为0.2.
步骤二包括有：
步骤2.1、将最新的识别图像定义为当前图像；
步骤2.2、将当前图像进行缓存，根据即时缓存图像序列更新方法得到即时缓存图像序列，根据间隔缓存图像序列更新方法得到间隔缓存图像序列；
步骤2.3、判断即时缓存图像序列和间隔缓存图像序列的图像数目是否饱满，当两者同时饱满时进入步骤三，否则返回步骤2.2。
其中即时缓存图像序列更新方法为将当前图像更新至缓存模块的即时缓存图像序列中，且即时缓存图像序列的存储长度为n，且n为正整数。本实施例的n具体为10。即时缓存图像序列更新方法具体为将连续多帧的识别图像按时间顺序从后向前排列，将当前图像作为即时缓存图像序列的末端图像并定义为An，与An相邻在前的第一帧图像定义为An-1，……，与An相邻在前的第i帧图像定义为An-i，与An相邻在前的第n-1帧图像定义为A1，存在n≥i≥2，且n和i均为正整数，将位于A1之后的识别图像删除。
具体如下：设置即时缓存图像序列的图像数量为10张，用于缓存最近10张需要识别的图像，10张图张像中最早收到的一张图像为两秒前收到的图片，记为A1；最近收到的一张图张为当前图片也就是需要识别的图像即为A10.当0.2秒之后，新的一张图张输入时，删除A1，并将原A2记为A1,原A3记为A2,依次类推，并将新输入图片记为A10，如此循环操作。
其中间隔缓存图像序列更新方法为每间隔时间t1分钟将当前图像作为间隔缓存图像序列的末端图像更新至间隔缓存图像序列，且间隔缓存图像序列的存储长度为m，且m为正整数，本实施例m具体为12。将间隔缓存图像序列中最新更新的识别图像定义为Bm，与Bm相邻的前一次更新的图像定义为Bm-1，……，与Bm相邻的第j次前更新的图像定义为Bm-j，……，与Bm相邻的在第m-1次前更新的图像定义为B1，存在m≥j≥2，且m和j均为正整数，t1为正数，将位于B1之后的识别图像删除。
具体如下：设置间隔缓存图像序列的图像数量为12张，每五分钟缓存一张，其中缓存最早的图像约为一小时前的图像，该图像记为B1,最新缓存图像记为B12，表示当前时刻的图像，该图像序列每隔五分钟更新一次，即5分钟后删除B1,将原B2记为B1,原B3记为B2,依次类推，并将新增图像记为B12。
该即时缓存方法和间隔缓存方法的优势是一共只需缓存22张图像，即可解决长中短不同图像的缓存需求，相比全部一个小时全部图像90000张都缓存，可以节省99.97％的空间；相比每秒5张图像抽样一个小时总计18000张图像全缓存，也可以节省99.87％的空间。虽然间隔缓存方法的获取图像的时间准确性不足，即不能准确的获取刚好5分钟前的那张图像，但本发明来说，该点具备较强的鲁棒性，获取的是4分钟前还是6分钟前的图像，并无差异，从识别的准确概率来说是等价的。
步骤三包括有：
步骤3.1、将步骤二得到的即时缓存图像序列中An定义为目标图像，将目标图像输入至最优算法模型进行目标检测生成目标数据，其中目标数据具体为人员数量及目标框信息，目标框信息的相对坐标信息记为(topX,topY,w,h)，
步骤3.2、判断目标数据是否存在人员，当没有存在人员时返回步骤一，当目标数存在人员时进入步骤3.3，本实施例具体得到人员数量为2，其中1个为真人，1个为非真人，目标框坐标分别为(0.2088,0.0391,0.1809,0.4557)和(0.5074,0.1250,0.0897,0.3125)；
步骤3.3、将目标数据中的待处理目标人员的数量定义为s,分别对s个待处理目标人员P依次命名为P1，……，Pn，……，Ps,其中s≥n≥1；例如本实施例的具有两个待处理目标人员，且待处理目标人员命名为P1和P2，P1的目标框坐标(0.2088,0.0391,0.1809,0.4557)，P2的目标框坐标(0.5074,0.1250,0.0897,0.3125)；
步骤3.4、令P2＝P进入步骤3.5；
步骤3.5、在目标图像中截选与P对应的目标框信息坐标相同的区域，定义为目标框ROI区域，具体为在目标图像中截选(0.2088,0.0391,0.1809,0.4557)的区域，定义为目标框ROI区域；
步骤3.6、将即时缓存图像序列中A1定义为第一对比图像，将间隔缓存图像序列中的Bm定义为第二对比图像，将间隔缓存图像序列中的B1定义为第三对比图像；
步骤3.7、分对在A10、A1、B12和B1中截选(0.2088,0.0391,0.1809,0.4557)的区域对应得到第一对比ROI区域图片、第二对比ROI区域图片和第三对比ROI区域图片；
步骤3.8、分别计算目标框ROI区域与第一对比ROI区域图片、第二对比ROI区域图片和第三对比ROI区域图片的相似度，分别得到Ra、Rb和Rc，将相似度值Ra、Rb和Rc定义为对比结果；
步骤3.9、更新剩余待处理目标人员的数量，判断剩余目标人员数量是否大于0，如果是进入步骤3.10，否则进入步骤3.11，更新后剩余待处理目标人员的数量为1，则进入步骤3.10
步骤3.10、令P＝Ps-1并返回步骤3.5，也就是说将P＝P1后，以目标框坐标(0.5074,0.1250,0.0897,0.3125)重复步骤3.8；
步骤3.11、将对比结果Ra与第一阈值R1、Rb与第二阈值R2，将Rc与第二阈值R3进行对比，当存在Ra≥0.95、Rb≥0.8或者Rb≥0.8中存在两个或以上情况时则人员入侵结果为非移动物体进入步骤四，否则人员入侵结果为人员入侵进入步骤四；
本实施例具体的真人的目标框ROI区域对比结果分别为Ra＝0.417,Rb＝0.253,Rc＝0.247；其中非真人的目标框ROI区域对比结果分别Ra＝0.907,Rb＝0.969和Rc＝0.974，因此真人的目标框ROI区域的人员入侵结果为人员入侵。
需要说明的因为对于静止物体来说，其短时间内变化量极小，而对应移动物体来说，变化量也可能不是特别大，0.95的相似度能够很好的区分这两者情况，而中长时间看，0.8的区分度即可更好的区分静止与移动物体。基于上述预设参数，三个判断条件简化为：Ra≥0.95、Rb≥0.8、Rb≥0.8；本实施例最终判断规则为：当所述三个判断条件有两个以上满足时，则判定为非移动物体。一般情况下对于非移动物体来说，三个条件均能满足，但当环境出现变化，例如光线变化剧烈时，可能存在某一个条件未能满足的可能。
步骤四、根据步骤三得到人员入侵结果，判断是否存在人员入侵，当存在人员入侵则对应输出告警并返回步骤一，当非移动物体则返回步骤一。
本发明的最优算法模型通过如下步骤得到：
步骤A、收集多张人形素材图像；
步骤B、分别通过labelImg工具对步骤A得到的多张人形素材图像进行标注，得到多个目标框坐标信息；
其中，人形素材图像包含有数据集筛选图像和具有应用场景人形图像。数据集筛选图像为对数据集中的具有人员图像进行高度筛选后的人形图像。高度筛选为对人员高度大于图像整体高度三分之一进行剔除。具有应用场景人形图像为以入侵应用场景为背景的人形图像。入侵应用场景为监狱、广场或者城市道路中的至少一种。
具体为抽取COCO数据集中4万多张有人员图像，对人员图像进行高度筛选，剔除人员高度高于图片高度三分之一的图片，最后保留图片约15000张；另外收集监狱、广场、城市道路采集的远景监控有人形图像10000张。汇总后得到符合本场景需求人形素材图像总计25000张作为样本库。
步骤C、对步骤B得到的多个目标框坐标信息进行kmeans重聚类，且K设置为6，得到重聚类人员宽高分组数据，对上述25000张人形素材图像的重聚类人员宽高分组数据具体为[10,27,19,57,49,67,31,114,61,160,86,268]；
步骤D、对darknet框架训练深度学习神经网络yolov4算法的训练参数进行训练，得到最优算法模型。
训练参数为batch、subdivisions、max_batches、steps、scales、classes、filters和anchors，其中batch和subdivisions为训练服务器的显存设置参数，max_batches为训练终止条件参数，steps和scales为配套学习率，classes为类别数量，filters为卷积核的数量，anchor为步骤C的重聚类人员宽高分组数据。
本实施例具体的batch为32，subdivisions为8，max_batches为30000，steps为10000,20000，scales为.2,.1，classes为1，filters为18，anchors为10,27,19,57,49,67,31,114,61,160,86,268。
参数说明：
(1)batch及subdivisions根据训练服务器的显存进行设置，经实验验证batch及subdivisions的值设置对最优算法模型的影响不大；
(2)max_batches为总的训练终止条件，本实施例通过实验得到训练30000批次可以得到最优效果区域；
(3)steps和scales为配套使用的，本实施例设置每训练10000批次调整一次学习率，首次调整降低80％，再次调整再降低90％。
(4)classes和filters为根据检测类别计算，本模型仅检测一个类别：人形。
(5)anchors是基于Kmeans方法聚类而来的宽高信息对，从数据可知聚类后没有特别大的目标，这是因为摄像机中人员目标是远景的，图片中的人较小，与原始80类模型不同，这里都是人形，所以所有长宽中可以看到宽明显小于高。
基于上述参数设计，训练30000批次后，本实施例得到的最优算法模型的mAP值高达94％，其参数为本实施例最终采用模型参数。主要原因在于基于场景制作图片样本，并总结设置合适的训练参数。在现有技术与yolov4基础模型80个类别的mAP值只有65％左右，本实施例高达94％的分类mAP值，本实施例的mAP值是与训练的类别数量有较大关系，因此明显优于现有技术。
该人员入侵检测方法能保持基于深度学习人员检测准确率，同时通过非移动目标排除从而能解决深度学习目标检测方法偶尔出现大量重复误告警问题。本发明通过缓存即时缓存图像序列和间隔缓存图像序列能大大降低缓存图片数量，从而能大节省存储空间。
实施例3。
一种采用人员入侵检测方法的装置,采用如实施例1的人员入侵检测方法进行人员入侵检测。
设置有：
存储模块——存储训练最优算法模型的人形素材图像及对应的目标框坐标信息，及存储经过模型训练模块训练后的最优算法模型的参数；
模型训练模块——根据存储模块中的人形素材图像及对应的目标框坐标信息进行训练最优算法模型；
视频采集设备——实时获取区域内的视频；
视频处理模块——根据RTS视频协议或者RTMP视频协议在视频采集设备中获取实时视频流，并对视频流进行连续解码，得到识别图像；
缓存模块——将视处理模块的识别图像进行缓存，得到即时缓存图像序列和间隔缓存图像序列；
模型推断模块——根据最优算法模型获取目标图像的目标信息；
计算模块——将目标信息与对比图像进得对比，得到对比结果，并对对比结果进行非移动目标排除得到人员入侵结果。
该采用人员入侵检测方法的装置,能保持基于深度学习人员检测准确率，同时通过非移动目标排除从而能解决深度学习目标检测方法偶尔出现大量重复误告警问题。本发明通过缓存即时缓存图像序列和间隔缓存图像序列能大大降低缓存图片数量，从而能大节省存储空间。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种人员入侵检测方法,其特征在于，步骤包括：
步骤一、将实时获取监控的视频流得到连续图像序列,并根据预设时间间隔对连续图像序列中进行图像选取，得到识别图像；
步骤二、将步骤一得到的识别图像进行缓存得到即时缓存图像序列和间隔缓存图像序列；
步骤三、将步骤二得到的即时缓存图像序列中的目标图像输入至最优算法模型，得到目标信息；在步骤二得到的间隔缓存图像序列和即时缓存图像序列中选择对比图像，根据目标信息和对比图像得到对比结果，对对比结果进行非移动目标排除得到人员入侵结果；
步骤四、根据步骤三得到人员入侵结果，判断是否存在人员入侵，当存在人员入侵则对应输出告警并返回步骤一，当非移动物体则返回步骤一；
所述即时缓存图像序列更新方法为将当前图像更新至缓存模块的即时缓存图像序列中，且即时缓存图像序列的存储长度为n，且n为正整数；
所述即时缓存图像序列更新方法具体为将连续多帧的识别图像按时间顺序从后向前排列，将当前图像作为即时缓存图像序列的末端图像并定义为An，与An相邻在前的第一帧图像定义为An-1，……，与An相邻在前的第i帧图像定义为An-i，与An相邻在前的第n-1帧图像定义为A1，存在n≥i≥2，且n和i均为正整数，将位于A1之后的识别图像删除；
所述间隔缓存图像序列更新方法为每间隔时间t1分钟将当前图像作为间隔缓存图像序列的末端图像更新至间隔缓存图像序列，且间隔缓存图像序列的存储长度为m，且m为正整数；
将所述间隔缓存图像序列中最新更新的识别图像定义为Bm，与Bm相邻的前一次更新的图像定义为Bm-1，……，与Bm相邻的第j次前更新的图像定义为Bm-j，……，与Bm相邻的在第m-1次前更新的图像定义为B1，存在m≥j≥2，且m和j均为正整数，t1为正数，将位于B1之后的识别图像删除；
所述步骤三包括有：
步骤3.1、将步骤二得到的即时缓存图像序列中An定义为目标图像，将目标图像输入至最优算法模型进行目标检测生成目标数据；
步骤3.2、判断目标数据是否存在人员，当没有存在人员时返回步骤一，当目标数存在人员时进入步骤3.3；
步骤3.3、将目标数据中的待处理目标人员的数量定义为s,分别对s个待处理目标人员P依次命名为P1，……，Pn，……，Ps,其中s≥n≥1；
步骤3.4、令Ps＝P进入步骤3.5；
步骤3.5、在目标图像中截选与目标人员P对应的目标框坐标相同的区域，定义为目标框ROI区域；
步骤3.6、将即时缓存图像序列中A1定义为第一对比图像，将间隔缓存图像序列中的Bm定义为第二对比图像，将间隔缓存图像序列中的B1定义为第三对比图像；
步骤3.7、分别在第一对比图像、第二对比图像和第三对比图像中截取与目标人员P对应的目标框坐标相同的区域，对应得到第一对比ROI区域图片、第二对比ROI区域图片和第三对比ROI区域图片；
步骤3.8、将目标框ROI区域分别与第一对比ROI区域图片、第二对比ROI区域图片和第三对比ROI区域图片进行相似度值对比，得到对比结果；
步骤3.9、更新剩余待处理目标人员的数量，判断剩余目标人员数量是否大于0，如果是进入步骤3.10，否则进入步骤3.11；
步骤3.10、令P＝Ps-1并返回步骤3.5；
步骤3.11、根据对比结果进行非移动目标排除得到人员入侵结果进入步骤；
所述步骤3.8具体为，分别计算目标框ROI区域与第一对比ROI区域图片、第二对比ROI区域图片和第三对比ROI区域图片的相似度，分别得到Ra、Rb和Rc，将相似度值Ra、Rb和Rc定义为对比结果；
所述步骤3.11具体为，将对比结果Ra与第一阈值R1、Rb与第二阈值R2，将Rc与第二阈值R3进行对比，当存在Ra≥R1、Rb≥R2或者Rb≥R3中存在两个或以上情况时则人员入侵结果为非移动物体进入步骤四，否则人员入侵结果为人员入侵进入步骤四。
2.根据权利要求1所述的人员入侵检测方法,其特征在于，所述步骤二包括有：
步骤2.1、将最新的识别图像定义为当前图像；
步骤2.2、将当前图像进行缓存，根据即时缓存图像序列更新方法得到即时缓存图像序列，根据间隔缓存图像序列更新方法得到间隔缓存图像序列；
步骤2.3、判断即时缓存图像序列和间隔缓存图像序列的图像数目是否饱满，当两者同时饱满时进入步骤三，否则返回步骤2.2。
3.根据权利要求2所述的人员入侵检测方法,其特征在于，所述最优算法模型通过如下步骤得到：
步骤A、收集多张人形素材图像；
步骤B、分别对步骤A得到的多张人形素材图像进行标注，得到多个目标框坐标信息；
步骤C、对步骤B得到的多个目标框坐标信息进行重聚类，得到重聚类分组数据；
步骤D、对darknet框架训练深度学习神经网络yolov4算法的训练参数进行训练，得到最优算法模型。
4.根据权利要求3所述的人员入侵检测方法,其特征在于：所述步骤B具体为，分别通过labelImg工具对步骤A得到的多张人形素材图像进行标注，得到多个目标框坐标信息；
所述步骤C具体为，对步骤B得到的多个目标框坐标信息进行kmeans重聚类，且K设置为6，得到重聚类人员宽高分组数据；
所述步骤一具体为，将获取监控的视频流，将视频流解码成连续图像序列,并根据预设时间间隔t2秒,从连续图像序列中均匀抽取多帧图像得到识别图像，t2为正数。
5.根据权利要求4所述的人员入侵检测方法,其特征在于：所述人形素材图像包含有数据集筛选图像和具有应用场景人形图像；
所述数据集筛选图像为对数据集中的具有人员图像进行高度筛选后的人形图像；
所述具有应用场景人形图像为以入侵应用场景为背景的人形图像；
所述入侵应用场景为监狱、广场或者城市道路中的至少一种；
所述高度筛选为对人员高度大于图像整体高度三分之一进行剔除；
所述n为10，m为12，t1为4～6，t2为0.2；R1为0.95，R2和R3都为0.8；
所述训练参数为batch、subdivisions、max_batches、steps、scales、classes、filters和anchors，其中batch和subdivisions为训练服务器的一个批次训练图片数据参数，max_batches为训练终止条件参数，steps和scales为配套学习率，classes为类别数量，filters为卷积核的数量，anchor为步骤C的重聚类人员宽高分组数据；
所述最优算法模型的mAP值大于80％。
6.一种采用人员入侵检测方法的装置,其特征在于：采用权利要求1至5任意一项所述的人员入侵检测方法进行人员入侵检测；
设置有：
存储模块——存储训练最优算法模型的人形素材图像及对应的目标框坐标信息，及存储经过模型训练模块训练后的最优算法模型的参数；
模型训练模块——根据存储模块中的人形素材图像及对应的目标框坐标信息进行训练最优算法模型；
视频采集设备——实时获取区域内的视频；
视频处理模块——根据RTS视频协议或者RTMP视频协议在视频采集设备中获取实时视频流，并对视频流进行连续解码，得到识别图像；
缓存模块——将视处理模块的识别图像进行缓存，得到即时缓存图像序列和间隔缓存图像序列；
模型推断模块——根据最优算法模型获取目标图像的目标信息；
计算模块——将目标信息与对比图像进得对比，得到对比结果，并对对比结果进行非移动目标排除得到人员入侵结果。
CN202110279138.XA 2021-03-16 2021-03-16 一种人员入侵检测方法及装置 Active CN113128340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110279138.XA CN113128340B (zh) 2021-03-16 2021-03-16 一种人员入侵检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110279138.XA CN113128340B (zh) 2021-03-16 2021-03-16 一种人员入侵检测方法及装置

Publications (2)

Publication Number Publication Date
CN113128340A CN113128340A (zh) 2021-07-16
CN113128340B true CN113128340B (zh) 2022-09-02

Family

ID=76773409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110279138.XA Active CN113128340B (zh) 2021-03-16 2021-03-16 一种人员入侵检测方法及装置

Country Status (1)

Country Link
CN (1) CN113128340B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106981163A (zh) * 2017-03-26 2017-07-25 天津普达软件技术有限公司 一种人员入侵异常事件报警方法
CN111564015A (zh) * 2020-05-20 2020-08-21 中铁二院工程集团有限责任公司 一种轨道交通周界入侵的监测方法及装置
CN111813997A (zh) * 2020-09-08 2020-10-23 平安国际智慧城市科技股份有限公司 入侵分析方法、装置、设备及存储介质
CN112216049A (zh) * 2020-09-25 2021-01-12 交通运输部公路科学研究所 一种基于图像识别的施工警戒区监测预警***及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073933B (zh) * 2016-11-08 2021-05-25 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106981163A (zh) * 2017-03-26 2017-07-25 天津普达软件技术有限公司 一种人员入侵异常事件报警方法
CN111564015A (zh) * 2020-05-20 2020-08-21 中铁二院工程集团有限责任公司 一种轨道交通周界入侵的监测方法及装置
CN111813997A (zh) * 2020-09-08 2020-10-23 平安国际智慧城市科技股份有限公司 入侵分析方法、装置、设备及存储介质
CN112216049A (zh) * 2020-09-25 2021-01-12 交通运输部公路科学研究所 一种基于图像识别的施工警戒区监测预警***及方法

Also Published As

Publication number Publication date
CN113128340A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
WO2021184894A1 (zh) 一种去模糊的人脸识别方法、***和一种巡检机器人
CN108090458B (zh) 人体跌倒检测方法和装置
CN108446630B (zh) 机场跑道智能监控方法、应用服务器及计算机存储介质
CN112528960B (zh) 一种基于人体姿态估计和图像分类的吸烟行为检测方法
US7995843B2 (en) Monitoring device which monitors moving objects
RU2393544C2 (ru) Способ и устройство для обнаружения пламени
CN110135374A (zh) 采用图像块特征识别与回归分类的火灾烟雾检测方法
WO2019114145A1 (zh) 监控视频中人数检测方法及装置
CN111723773B (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN107330414A (zh) 暴力行为监控方法
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
KR102511287B1 (ko) 영상 기반 자세 예측 및 행동 검출 방법 및 장치
CN110569770A (zh) 人体入侵行为识别方法、装置、存储介质及电子设备
CN111582166B (zh) 基于高斯建模和YoLo V3目标检测的遗留物检测方法
CN111767881A (zh) 一种基于ai技术的自适应人群密度估计装置
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
CN114373162A (zh) 用于变电站视频监控的危险区域人员入侵检测方法及***
CN113657250A (zh) 一种基于监控视频的火焰检测方法及***
CN113052139A (zh) 一种基于深度学习双流网络的攀爬行为检测方法及***
CN113128340B (zh) 一种人员入侵检测方法及装置
JPH0620049A (ja) 侵入者識別システム
CN114821978B (zh) 一种误报警的消除方法、装置以及介质
CN107403192B (zh) 一种基于多分类器的快速目标检测方法及***
CN115909144A (zh) 一种基于对抗学习的监控视频异常检测方法及***
CN111178134B (zh) 一种基于深度学习与网络压缩的摔倒检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant