CN117135324A - 一种视频一体化智能识别*** - Google Patents
一种视频一体化智能识别*** Download PDFInfo
- Publication number
- CN117135324A CN117135324A CN202311157896.XA CN202311157896A CN117135324A CN 117135324 A CN117135324 A CN 117135324A CN 202311157896 A CN202311157896 A CN 202311157896A CN 117135324 A CN117135324 A CN 117135324A
- Authority
- CN
- China
- Prior art keywords
- detection
- camera
- video
- database
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010354 integration Effects 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims description 73
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003032 molecular docking Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 239000000463 material Substances 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000007670 refining Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
- G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种视频一体化智能识别***，包括：摄像单元、数据库单元和智能控制单元，所述摄像单元的数据能够存储于数据库单元中，所述智能控制单元能够对数据库单元进行查询并更新相关配置，且配置包括摄像单元的任务分配和工作时间；所述摄像单元包括多个摄像机，多个所述摄像机与智能控制单元连接，且智能控制单元能够对每台摄像机开启一个进程任务，进程会为每台摄像机分配资源。本发明利用深度神经网络技术和视频图像识别技术应用于监狱监控***，可以长时间连续运转，更充分的利用现代网络技术，实现信息共享，在安全防范管理的基础上，结合了监狱的监管功能模块，节省了大量的人力物力，提高监狱安全管理水平和工作效率。
Description
技术领域
本发明涉及的视频识别技术领域，尤其涉及一种视频一体化智能识别***。
背景技术
监狱监区属于高危场所，必须使报警信息能及时有效的发出，确保险情尽早尽快地发现，针对监狱安全防范工作的要求，报警***设备组成、***架构、视频识别、智能报警等是其重要内容。
为了更好地提高监狱***的科学化管理水平，进一步实现监管业务管理信息化，就必须提高报警***智能化程度，减少人为检测带来的误检、漏检等问题，为此，我们提出一种视频一体化智能识别***来解决上述提出的问题。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有视频一体化智能识别***存在的问题，提出了本发明。
因此，本发明目的是提供一种视频一体化智能识别***，其利用深度神经网络技术和视频图像识别技术应用于监狱监控***，可以长时间连续运转，更充分的利用现代网络技术，实现信息共享，在安全防范管理的基础上，结合了监狱的监管功能模块，节省了大量的人力物力，提高监狱安全管理水平和工作效率。
为解决上述技术问题，本发明提供如下技术方案：一种视频一体化智能识别***，包括：
摄像单元、数据库单元和智能控制单元，所述摄像单元的数据能够存储于数据库单元中，所述智能控制单元能够对数据库单元进行查询并更新相关配置，且配置包括摄像单元的任务分配和工作时间；
所述摄像单元包括多个摄像机，多个所述摄像机与智能控制单元连接，且智能控制单元能够对每台摄像机开启一个进程任务，进程会为每台摄像机分配资源，且各进程之间相互隔离，所述进程任务包括加载模型、初始化数据和设置定时任务并启动，所述定时任务包括数据库检测和智能检测，所述智能检测包括逻辑连接和检测分类，且检测分类包括三个子任务，分别为：入侵检测、遗留物检测和打架识别，各子任务需要同时关联摄像机的启闭时间管理；
所述数据库单元包括人脸数据库和查询数据库，所述人脸数据库内存储有内部员工人脸模型数据和犯人人脸模型数据，所述数据库单元内设置有查询模块和更新模块，所述查询模块采用pymysql对接数据库，对数据库数据进行查询，获取各摄像头的配置信息，所述更新模块能够及时更新内部员工人脸数据库。
作为本发明所述视频一体化智能识别***的一种优选方案，其中：所述智能控制单元能够对各进程任务设置定时任务，能够设置每n秒对摄像头进行一次采集，同时设置每m次警告产生一次警告。
作为本发明所述视频一体化智能识别***的一种优选方案，其中：所述Python查询数据借助pymysql库进行查询，本***中数据查询包括：
1）、查询数据库中所有摄像机的id，用于确定按摄像机分配子进程的数量以及每个子进程对应的摄像机序列；
2）、根据不同的摄像机id查询本摄像机的登录名、密码和警报类型，用于连接摄像机获取摄像机视频帧；
3）、查询每台摄像机的启闭时间，根据启闭时间确定是否启动相关的摄像机的检测。
作为本发明所述视频一体化智能识别***的一种优选方案，其中：所述进程任务的加载模型中模型的加载放在进程的最开始，且每个进程模型加载只加载一次，避免重复加载；所述初始化数据包括初始化进程内共享变量、查询数据库本机信息并初始化共享列表；所述定时任务需要根据数据库查询信息，确定需要启动的定时检测任务类型，包括：
（1）、数据库查询并更新设备配置到进程共享数据列表中，智能检测根据配置执行相应任务；
（2）、智能检测任务。
作为本发明所述视频一体化智能识别***的一种优选方案，其中：所述智能检测任务包括：
a1、首先判断当前时间点是否在用户确定的开放时间段内，当前摄像头不在检测时间段内，代码进入阻塞状态；
a2、在检测时间段内，根据用户要求，确定需要检测的任务类型，各检测任务在当前进程内分别开子线程进行同步检测；
a3、根据检测结果，判断是否存在异常，如果存在异常，保存当前的异常图片已经异常状态时的视频并发送警报信息到前台；
其中，入侵检测需要在检测到人员入侵后进一步人脸检测并细化入侵类别，发送警告信息时需要带上相关的入侵级别信息。
作为本发明所述视频一体化智能识别***的一种优选方案，其中：所述入侵检测入侵检测采用SSD模型；所述人脸识别采用MTCNN算法获取人脸数据库中人脸特征向量，使用余弦相似度将待预测图片与人脸库人脸特征进行对比，根据阈值判断当前人员是否为内部人员，结合入侵检测进行相关报警。
作为本发明所述视频一体化智能识别***的一种优选方案，其中：所述遗留物检测包括：
b1、采用灰度直方图算法计算两张图片的相似度；
b2、遗留物标注：采用opencv对预留背景图片与当前视频帧做图片减法并处理，获取遗留物位置。
作为本发明所述视频一体化智能识别***的一种优选方案，其中：所述遗留物标注具体包括以下步骤：
c1、使用numpy对结果矩阵进行绝对化，去除结果矩阵中的负数结果（直接转换为绝对值，绝对值大意味着两张图片对应位置存在较大区别，表明有遗留物），使之能够在图像中表达；
c2、绝对化后的结果矩阵使用opencv进行二值化，获得黑白二值图片，其中，白色表示前景（遗留物）、黑色表示背景；
c3、使用opencv进一步对结果矩阵进行降噪处理，包括图像的腐蚀与膨胀；
c4、使用opencv对降噪后的图片进行边界提取，通过设置合理宽高阈值进一步过滤图片，获得遗留物的位置，并标注出来。
作为本发明所述视频一体化智能识别***的一种优选方案，其中：所述遗留物检测的过程包括：
d1、定时抓取视频帧，首先将视频帧与原背景库中背景做相似度对比，判断是否相似，若相似，判断无遗留物，并清空遗留物临时表，否则进入d2；
d2、查询遗留物临时表，确定上次检测是否包含遗留物，若无上次遗留物，判断本视频帧包含遗留物，更新遗留物临时表，若遗留物临时表含有上次数据，进入d3；
d3、抓取的视频帧与遗留物临时表中含有遗留物的图片做相似度对比，若相似，表示为上次检测的原遗留物，不相似则表明有新遗留物，更新临时表；
d4、检测到遗留物后，对遗留物视频帧进行遗留物标注，保存相应图片并向后台逻辑单元发送警告信息。
作为本发明所述视频一体化智能识别***的一种优选方案，其中：所述打架识别通过SlowFast来分析视频片段的内容，视频场景中的帧包含两个不同的部分：缓慢变化的静态区域和正在发生变化的动态区域，所述SlowFast使用一个慢速高分辨率Slow通道来分析视频中的静态内容并且同时使用一个快速低分辨率Fast通道来分析视频中的动态内容。
本发明的有益效果：本发明利用深度神经网络技术和视频图像识别技术应用于监狱监控***，可以长时间连续运转，更充分的利用现代网络技术，实现信息共享，在安全防范管理的基础上，结合了监狱的监管功能模块，节省了大量的人力物力，提高监狱安全管理水平和工作效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明视频一体化智能识别***的监狱视频一体化智能识别***框图；
图2为本发明视频一体化智能识别***的定时任务逻辑结构示意图；
图3为本发明视频一体化智能识别***的智能检测逻辑结构示意图；
图4为本发明视频一体化智能识别***的遗留物检测逻辑结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
再其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
参照图1-图4，提供了一种视频一体化智能识别***，包括：
摄像单元、数据库单元和智能控制单元，摄像单元的数据能够存储于数据库单元中，智能控制单元能够对数据库单元进行查询并更新相关配置，且配置包括摄像单元的任务分配和工作时间；
其中，摄像单元包括多个摄像机，多个摄像机与智能控制单元连接，且智能控制单元能够对每台摄像机开启一个进程任务，进程会为每台摄像机分配资源，且各进程之间相互隔离，进程任务包括加载模型、初始化数据和设置定时任务并启动，定时任务包括数据库检测和智能检测，智能检测包括逻辑连接和检测分类，且检测分类包括三个子任务，分别为：入侵检测、遗留物检测和打架识别，各子任务需要同时关联摄像机的启闭时间管理；
其中，数据库单元包括人脸数据库和查询数据库，人脸数据库内存储有内部员工人脸模型数据和犯人人脸模型数据，数据库单元内设置有查询模块和更新模块，查询模块采用pymysql对接数据库，对数据库数据进行查询，获取各摄像头的配置信息，更新模块能够及时更新内部员工人脸数据库，具体的，Python查询数据借助pymysql库进行查询，本***中数据查询包括：
1）、查询数据库中所有摄像机的id，用于确定按摄像机分配子进程的数量以及每个子进程对应的摄像机序列；
2）、根据不同的摄像机id查询本摄像机的登录名、密码和警报类型，用于连接摄像机获取摄像机视频帧；
3）、查询每台摄像机的启闭时间，根据启闭时间确定是否启动相关的摄像机的检测。
其中，智能控制单元能够对各进程任务设置定时任务，能够设置每n秒对摄像头进行一次采集，同时设置每m次警告产生一次警告。
其中，参照图2和图3，进程任务的加载模型中模型的加载放在进程的最开始，且每个进程模型加载只加载一次，避免重复加载；初始化数据包括初始化进程内共享变量、查询数据库本机信息并初始化共享列表；定时任务需要根据数据库查询信息，确定需要启动的定时检测任务类型，包括：
（1）、数据库查询并更新设备配置到进程共享数据列表中，智能检测根据配置执行相应任务；
（2）、智能检测任务。
进一步的，智能检测任务包括：
a1、首先判断当前时间点是否在用户确定的开放时间段内，当前摄像头不在检测时间段内，代码进入阻塞状态；
a2、在检测时间段内，根据用户要求，确定需要检测的任务类型，各检测任务在当前进程内分别开子线程进行同步检测；
a3、根据检测结果，判断是否存在异常，如果存在异常，保存当前的异常图片已经异常状态时的视频并发送警报信息到前台；
其中，入侵检测需要在检测到人员入侵后进一步人脸检测并细化入侵类别，发送警告信息时需要带上相关的入侵级别信息，入侵检测入侵检测采用SSD模型；具体的，该模型以VGG-16为基础，使用VGG的前五个卷积，后面增加从CONV6开始的5个卷积结构，输入图片要求300*300。
其中，人脸识别采用MTCNN算法获取人脸数据库中人脸特征向量，使用余弦相似度将待预测图片与人脸库人脸特征进行对比，根据阈值判断当前人员是否为内部人员，结合入侵检测进行相关报警，具体的，MTCNN算法就是多任务级联卷积神经网络算法，包括3个阶段组成：
第一阶段，通过CNN快速产生候选框体；
第二阶段，通过更复杂一点的CNN精炼候选窗体，丢弃大量的重叠窗体；
第三阶段，使用更强大的CNN，实现候选窗体去留，同时回归5个面部关键点；更具体的，第一阶段是使用一种叫做PNet的卷积神经网络，获得候选窗体和边界回归向量；同时，候选窗体根据边界框进行校准，然后利用非极大值抑制去除重叠窗体；第二阶段是使用R-Net卷积神经网络进行操作，将经过P-Net确定的包含候选窗体的图片在R-Net中训练，最后使用全连接网络进行分类；利用边界框向量微调候选窗体，最后还是利用非极大值抑制算法去除重叠窗体；第三阶段，使用Onet卷积神经网络进行操作，该网络比R-Net多一层卷积层，功能与R-Net类似，只是在去除重叠候选窗口的同时标定5个人脸关键点位置。
其中，遗留物检测包括：
b1、采用灰度直方图算法计算两张图片的相似度；
b2、遗留物标注：采用opencv对预留背景图片与当前视频帧做图片减法并处理，获取遗留物位置，遗留物标注具体包括以下步骤：
c1、使用numpy对结果矩阵进行绝对化，去除结果矩阵中的负数结果（直接转换为绝对值，绝对值大意味着两张图片对应位置存在较大区别，表明有遗留物），使之能够在图像中表达；
c2、绝对化后的结果矩阵使用opencv进行二值化，获得黑白二值图片，其中，白色表示前景（遗留物）、黑色表示背景；
c3、使用opencv进一步对结果矩阵进行降噪处理，包括图像的腐蚀与膨胀；
c4、使用opencv对降噪后的图片进行边界提取，通过设置合理宽高阈值进一步过滤图片，获得遗留物的位置，并标注出来；
更进一步的，遗留物检测的过程包括：
d1、定时抓取视频帧，首先将视频帧与原背景库中背景做相似度对比，判断是否相似，若相似，判断无遗留物，并清空遗留物临时表，否则进入d2；
d2、查询遗留物临时表，确定上次检测是否包含遗留物，若无上次遗留物，判断本视频帧包含遗留物，更新遗留物临时表，若遗留物临时表含有上次数据，进入d3；
d3、抓取的视频帧与遗留物临时表中含有遗留物的图片做相似度对比，若相似，表示为上次检测的原遗留物，不相似则表明有新遗留物，更新临时表；
d4、检测到遗留物后，对遗留物视频帧进行遗留物标注，保存相应图片并向后台逻辑单元发送警告信息。
其中，打架识别通过SlowFast来分析视频片段的内容，视频场景中的帧包含两个不同的部分：缓慢变化的静态区域和正在发生变化的动态区域，SlowFast使用一个慢速高分辨率Slow通道来分析视频中的静态内容并且同时使用一个快速低分辨率Fast通道来分析视频中的动态内容，具体的，SlowFast该模型的核心是对同一个视频片段应用两个平行的卷积神经网络：一个慢通道，一个快通道；例如，飞机起飞的视频会包含相对静态的机场和一个在场景中快速移动的动态物体，在日常生活中，当两个人见面时，握手通常会比较快而场景中的其他部分则相对静态；根据这一洞察，SlowFast使用了一个慢速高分辨率Slow通道来分析视频中的静态内容，同时使用一个快速低分辨率Fast通道来分析视频中的动态内容，Slow通道和Fast通道都使用3D RestNet模型，捕捉若干帧之后立即运行3D卷积操作，根据定义好的巡视轨迹和巡视计划，结合CAD、摄像头定时自动执行虚拟巡视作业，发现异常***自动报警，同时支持轨迹显示、回放、存证，逐步实现全要素、全状态、全轨迹管控，推进警务执勤模式变革，提高值班人员工作效率。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种视频一体化智能识别***，其特征在于，包括：
摄像单元、数据库单元和智能控制单元，所述摄像单元的数据能够存储于数据库单元中，所述智能控制单元能够对数据库单元进行查询并更新相关配置，且配置包括摄像单元的任务分配和工作时间；
所述摄像单元包括多个摄像机，多个所述摄像机与智能控制单元连接，且智能控制单元能够对每台摄像机开启一个进程任务，进程会为每台摄像机分配资源，且各进程之间相互隔离，所述进程任务包括加载模型、初始化数据和设置定时任务并启动，所述定时任务包括数据库检测和智能检测，所述智能检测包括逻辑连接和检测分类，且检测分类包括三个子任务，分别为：入侵检测、遗留物检测和打架识别，各子任务需要同时关联摄像机的启闭时间管理；
所述数据库单元包括人脸数据库和查询数据库，所述人脸数据库内存储有内部员工人脸模型数据和犯人人脸模型数据，所述数据库单元内设置有查询模块和更新模块，所述查询模块采用pymysql对接数据库，对数据库数据进行查询，获取各摄像头的配置信息，所述更新模块能够及时更新内部员工人脸数据库。
2.根据权利要求1所述的视频一体化智能识别***，其特征在于：所述智能控制单元能够对各进程任务设置定时任务，能够设置每n秒对摄像头进行一次采集，同时设置每m次警告产生一次警告。
3.根据权利要求2所述的视频一体化智能识别***，其特征在于：所述Python查询数据借助pymysql库进行查询，本***中数据查询包括：
1）、查询数据库中所有摄像机的id，用于确定按摄像机分配子进程的数量以及每个子进程对应的摄像机序列；
2）、根据不同的摄像机id查询本摄像机的登录名、密码和警报类型，用于连接摄像机获取摄像机视频帧；
3）、查询每台摄像机的启闭时间，根据启闭时间确定是否启动相关的摄像机的检测。
4.根据权利要求3所述的视频一体化智能识别***，其特征在于：所述进程任务的加载模型中模型的加载放在进程的最开始，且每个进程模型加载只加载一次，避免重复加载；所述初始化数据包括初始化进程内共享变量、查询数据库本机信息并初始化共享列表；所述定时任务需要根据数据库查询信息，确定需要启动的定时检测任务类型，包括：
（1）、数据库查询并更新设备配置到进程共享数据列表中，智能检测根据配置执行相应任务；
（2）、智能检测任务。
5.根据权利要求4所述的视频一体化智能识别***，其特征在于：所述智能检测任务包括：
a1、首先判断当前时间点是否在用户确定的开放时间段内，当前摄像头不在检测时间段内，代码进入阻塞状态；
a2、在检测时间段内，根据用户要求，确定需要检测的任务类型，各检测任务在当前进程内分别开子线程进行同步检测；
a3、根据检测结果，判断是否存在异常，如果存在异常，保存当前的异常图片已经异常状态时的视频并发送警报信息到前台；
其中，入侵检测需要在检测到人员入侵后进一步人脸检测并细化入侵类别，发送警告信息时需要带上相关的入侵级别信息。
6.根据权利要求5所述的视频一体化智能识别***，其特征在于：所述入侵检测入侵检测采用SSD模型；所述人脸识别采用MTCNN算法获取人脸数据库中人脸特征向量，使用余弦相似度将待预测图片与人脸库人脸特征进行对比，根据阈值判断当前人员是否为内部人员，结合入侵检测进行相关报警。
7.根据权利要求1所述的视频一体化智能识别***，其特征在于：所述遗留物检测包括：
b1、采用灰度直方图算法计算两张图片的相似度；
b2、遗留物标注：采用opencv对预留背景图片与当前视频帧做图片减法并处理，获取遗留物位置。
8.根据权利要求7所述的视频一体化智能识别***，其特征在于：所述遗留物标注具体包括以下步骤：
c1、使用numpy对结果矩阵进行绝对化，去除结果矩阵中的负数结果（直接转换为绝对值，绝对值大意味着两张图片对应位置存在较大区别，表明有遗留物），使之能够在图像中表达；
c2、绝对化后的结果矩阵使用opencv进行二值化，获得黑白二值图片，其中，白色表示前景（遗留物）、黑色表示背景；
c3、使用opencv进一步对结果矩阵进行降噪处理，包括图像的腐蚀与膨胀；
c4、使用opencv对降噪后的图片进行边界提取，通过设置合理宽高阈值进一步过滤图片，获得遗留物的位置，并标注出来。
9.根据权利要求8所述的视频一体化智能识别***，其特征在于：所述遗留物检测的过程包括：
d1、定时抓取视频帧，首先将视频帧与原背景库中背景做相似度对比，判断是否相似，若相似，判断无遗留物，并清空遗留物临时表，否则进入d2；
d2、查询遗留物临时表，确定上次检测是否包含遗留物，若无上次遗留物，判断本视频帧包含遗留物，更新遗留物临时表，若遗留物临时表含有上次数据，进入d3；
d3、抓取的视频帧与遗留物临时表中含有遗留物的图片做相似度对比，若相似，表示为上次检测的原遗留物，不相似则表明有新遗留物，更新临时表；
d4、检测到遗留物后，对遗留物视频帧进行遗留物标注，保存相应图片并向后台逻辑单元发送警告信息。
10.根据权利要求1所述的视频一体化智能识别***，其特征在于：所述打架识别通过SlowFast来分析视频片段的内容，视频场景中的帧包含两个不同的部分：缓慢变化的静态区域和正在发生变化的动态区域，所述SlowFast使用一个慢速高分辨率Slow通道来分析视频中的静态内容并且同时使用一个快速低分辨率Fast通道来分析视频中的动态内容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311157896.XA CN117135324A (zh) | 2023-09-08 | 2023-09-08 | 一种视频一体化智能识别*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311157896.XA CN117135324A (zh) | 2023-09-08 | 2023-09-08 | 一种视频一体化智能识别*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117135324A true CN117135324A (zh) | 2023-11-28 |
Family
ID=88862794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311157896.XA Pending CN117135324A (zh) | 2023-09-08 | 2023-09-08 | 一种视频一体化智能识别*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117135324A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650638A (zh) * | 2016-12-05 | 2017-05-10 | 成都通甲优博科技有限责任公司 | 一种遗留物检测方法 |
| CN106851226A (zh) * | 2017-03-29 | 2017-06-13 | 宁夏宁信信息科技有限公司 | 基于用户行为识别的摄像头自动调整的监控方法及*** |
| CN109544859A (zh) * | 2018-12-12 | 2019-03-29 | 焦点科技股份有限公司 | 一种主动安全家用摄像头智能实现方法 |
| CN109902640A (zh) * | 2019-03-05 | 2019-06-18 | 江南大学 | 基于边缘计算和机器学习的视频质量异常检测***及其检测方法 |
| CN110428522A (zh) * | 2019-07-24 | 2019-11-08 | 青岛联合创智科技有限公司 | 一种智慧新城的智能安防*** |
| CN115223029A (zh) * | 2022-06-30 | 2022-10-21 | 陕西千智星创科技有限公司 | 一种基于智能托育机器人的智能监控*** |
| CN116630592A (zh) * | 2023-05-30 | 2023-08-22 | 北京东土科技股份有限公司 | 一种基于多路视频调度的安全生产检测方法、装置及设备 |
-
2023
- 2023-09-08 CN CN202311157896.XA patent/CN117135324A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650638A (zh) * | 2016-12-05 | 2017-05-10 | 成都通甲优博科技有限责任公司 | 一种遗留物检测方法 |
| CN106851226A (zh) * | 2017-03-29 | 2017-06-13 | 宁夏宁信信息科技有限公司 | 基于用户行为识别的摄像头自动调整的监控方法及*** |
| CN109544859A (zh) * | 2018-12-12 | 2019-03-29 | 焦点科技股份有限公司 | 一种主动安全家用摄像头智能实现方法 |
| CN109902640A (zh) * | 2019-03-05 | 2019-06-18 | 江南大学 | 基于边缘计算和机器学习的视频质量异常检测***及其检测方法 |
| CN110428522A (zh) * | 2019-07-24 | 2019-11-08 | 青岛联合创智科技有限公司 | 一种智慧新城的智能安防*** |
| CN115223029A (zh) * | 2022-06-30 | 2022-10-21 | 陕西千智星创科技有限公司 | 一种基于智能托育机器人的智能监控*** |
| CN116630592A (zh) * | 2023-05-30 | 2023-08-22 | 北京东土科技股份有限公司 | 一种基于多路视频调度的安全生产检测方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109166261B (zh) | 基于图像识别的图像处理方法、装置、设备及存储介质 | |
| US9460361B2 (en) | Foreground analysis based on tracking information | |
| CN107463888B (zh) | 基于多任务学习与深度学习的人脸情绪分析方法及*** | |
| KR20200058260A (ko) | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법 | |
| CN102665071A (zh) | 一种社会治安视频监控图像智能处理和检索方法 | |
| CN107222660B (zh) | 一种分布式网络视觉监控*** | |
| WO2018030658A1 (ko) | 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법 | |
| CN112598677B (zh) | 用于图像分析的方法和设备 | |
| CN112800975A (zh) | 一种基于图像处理的安检通道内行为识别方法 | |
| CN210666820U (zh) | 一种基于dsp边缘计算的行人异常行为检测*** | |
| Lin et al. | Real-time active tampering detection of surveillance camera and implementation on digital signal processor | |
| Komagal et al. | Real time background subtraction techniques for detection of moving objects in video surveillance system | |
| CN116246416A (zh) | 一种用于安防的智能分析预警平台及方法 | |
| CN111429376A (zh) | 高低精度融合的高效数字图像处理方法 | |
| CN112949401B (zh) | 图像分析方法、装置、设备及计算机存储介质 | |
| US20210117686A1 (en) | Methods and systems for customized image and video analysis | |
| CN117135324A (zh) | 一种视频一体化智能识别*** | |
| Agarwal et al. | Suspicious Activity Detection in Surveillance Applications Using Slow-Fast Convolutional Neural Network | |
| Anandhi | Edge Computing-Based Crime Scene Object Detection from Surveillance Video Using Deep Learning Algorithms | |
| CN116310928A (zh) | 一种云边联合计算智能视频识别方法及应用 | |
| WO2022125353A1 (en) | Reducing false negatives and finding new classes in object detectors | |
| CN114550060A (zh) | 周界入侵识别方法、***及电子设备 | |
| CN112347996A (zh) | 一种场景状态判断方法、装置、设备及存储介质 | |
| CN113128439A (zh) | 一种基于视频图像序列的火焰实时检测算法及*** | |
| Annabel et al. | Automatic signal clearance system using density based traffic control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |