CN113065026A - 基于安全微服务架构的异常事件智能检测***、方法及介质 - Google Patents

基于安全微服务架构的异常事件智能检测***、方法及介质 Download PDF

Info

Publication number
CN113065026A
CN113065026A CN202110407443.2A CN202110407443A CN113065026A CN 113065026 A CN113065026 A CN 113065026A CN 202110407443 A CN202110407443 A CN 202110407443A CN 113065026 A CN113065026 A CN 113065026A
Authority
CN
China
Prior art keywords
abnormal
video
module
information
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110407443.2A
Other languages
English (en)
Inventor
孙锬锋
许可
秦仲学
尚珂全
陈荔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110407443.2A priority Critical patent/CN113065026A/zh
Publication of CN113065026A publication Critical patent/CN113065026A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供了一种基于安全微服务架构的异常事件智能检测***、方法及介质，包括：采集模块：采集监管场所的视频流；分发模块：对采集的视频流进行数据分发，实现负载均衡；检测模块：根据预设条件，对筛选的光流异常视频流进行检测分析，输出结果到WEB模块，并存储在数据库中；警报模块：根据检测结果，对异常视频流产生警报信息，通知管理员并发送到WEB服务模块；WEB模块：通过WEB对检测结果进行展示和交互。本发明通过WEB形式部署在监管场所的私有网络中，保证了数据的隐私性、安全性，并以微服务框架实现部署，提高了处理效率和***的可用性。

Description

基于安全微服务架构的异常事件智能检测***、方法及介质
技术领域
本发明涉及智能检测技术领域，具体地，涉及一种基于安全微服务架构的异常事件智能检测***、方法及介质。
背景技术
自深度学习算法被提出以来，人工智能技术取得了突破性发展，逐步与多种场景深度融合，被应用到越来越多的领域。将人工智能运用到监管场所的自动化监管中，将大幅度地降低人工监管所需投入的人力物力成本，因此一种智能的对监管场所的异常事件自动化检测***十分必要。
专利文献CN112288050A(申请号：CN202011590026.8)公开了一种异常行为识别方法、识别装置、终端设备及存储介质，该方法包括：获取待识别轨迹数据；利用预设的时序神经网络对所述待识别轨迹数据进行特征提取，得到所述待识别轨迹数据的第一时间加权向量，以及利用预设的空间神经网络对所述待识别轨迹数据进行特征提取，得到所述待识别轨迹数据的第一空间加权向量；将所述第一时间加权向量以及所述第一空间加权向量进行特征融合，得到第一目标向量，并将所述第一目标向量输入至第一预设全连接网络中，得到目标概率值；将属于异常概率区间的目标概率值对应的待识别轨迹数据确定为异常轨迹数据。但是该专利方法难以适用于监管场所的异常事件识别，仅通过轨迹进行异常行为判断，难以判断细粒度异常行为。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于安全微服务架构的异常事件智能检测***、方法及介质。
根据本发明提供的基于安全微服务架构的异常事件智能检测***，包括：
采集模块：采集监管场所的视频流；
分发模块：对采集的视频流进行数据分发，实现负载均衡；
检测模块：根据预设条件，对筛选的光流异常视频流进行检测分析，输出结果到WEB模块，并存储在数据库中；
警报模块：根据检测结果，对异常视频流产生警报信息，通知管理员并发送到WEB服务模块；
WEB模块：通过WEB对检测结果进行展示和交互。
优选的，还包括：完整性校验模块：结合视频的重压缩检测算法与哈希值校验，通过重压缩检测算法检测视频是否被二次编辑，通过哈希值校验保证视频的完整性。
优选的，还包括：隐藏水印模块：对在WEB模块显示的视频添加隐藏水印，用于在视频外泄时进行追溯。
优选的，所述WEB模块包括：进行监控视频实时预览、异常事件警报提示、异常事件视频标注和历史数据追溯，并保存监控视频和日志信息。
根据本发明提供的基于安全微服务架构的异常事件智能检测方法，包括：
采集步骤：通过监控摄像头采集监管场所中的视频流，并检测视频流的光流状态；
检测步骤：将光流异常状态视频流进行异常行为检测；
存储步骤：将检测结果为异常的事件信息存储在数据库中；
展示步骤：在显示终端显示异常事件信息并发送给管理员；
所述异常事件信息包括：异常事件类型、事件发生时间和事件结束时间。
优选的，所述检测步骤包括：使用Yolo网络提取视频流中的人数和违规物品位置信息，使用Alphapose网络提取视频流中人体的骨骼点信息，通过骨骼点信息、违规物品位置信息以及对多人骨骼点交互动作信息进行分析，得到异常事件类型、起始时间和结束时间，并记录异常事件信息。
优选的，所述存储步骤包括：将分布在监管场所中各场景的监控视频中检测到的异常事件信息及视频流存储到数据库中。
优选的，所述展示步骤包括：在终端显示界面上显示异常事件信息，在数据库中查询历史异常事件信息以及经过标注处理的视频，将异常事件信息通过邮件、短信发送给管理员。
优选的，所述标注处理包括：在视频流异常事件发生的时间段中标注事件类型，标记产生异常行为的目标人物的骨骼点运动信息，并框出违规物品。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
(1)本发明实现了监管场所人员的自动化监督，便于管理，大大减少了人力和物力成本的投入；
(2)本发明将整个***服务模块化拆分，以微服务的架构将各服务模块分别部署不同服务器上，有效负载均衡，提高***检测效率以及***可用性和稳定性；
(3)本发明将检测到的异常事件信息保存到数据库中，具有历史追溯性，并通过引入完整性校验，保护数据的完整性，使其具有不可抵赖性；
(4)本发明针对监管场所下的保密性需求，对于每个访问***服务的用户，对其显示的终端界面增加可唯一辨别身份信息的隐藏水印，实现视频数据泄露时的溯源功能。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明所述基于安全微服务架构的异常事件智能检测***的微服务框架图；
图2为本发明所述基于安全微服务架构的异常事件智能检测***的结构框架图；
图3为本发明所述基于安全微服务架构的异常事件智能检测方法的算法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例：
如图1所示，本实施例提供了一种基于安全微服务架构的异常事件智能检测***，本***部署在监管场所的内部网络中，以WEB的形式实现前端显示和交互，并以微服务的架构提供监控服务、检测服务、警报服务、视频查询服务、视频完整性校验服务和隐藏水印服务。
具体的，监控服务包括通过WEB前端交互设置监控设备的配置信息，如：分辨率、焦距、曝光度、开启和关闭等，开启监控设备录像功能后，将多个监控设备的视频流通过视频流分发模块，分发给检测服务模块、隐藏水印服务模块，并保存到数据库中。
具体的，检测服务作为整个***的核心服务，由多个高性能服务器提供服务，并通过如图2所示的分发模块的调度，实现负载均衡。通过违规物品的位置信息提取，人体骨骼点运动信息的提取，进行四种异常事件的检测，将检测结果、视频片段以及通过SHA算法提取的视频文件哈希值保存到数据库中，同时将检测信息递交警报服务模块。
具体的，视频查询服务与前端WEB界面进行信息交互，当收到包含视频片段事件、id等关键信息的查询消息，经过检索模块对数据库中的视频片段进行检索，获取符合检索规则的视频片段。为了验证视频未经过篡改及其完整性，通过完整性校验服务进行哈希值校验和基于视频重压缩的篡改检测，实现对视频可信和完整性的校验。最终，将可信的视频片段传递给隐藏水印服务模块。
具体的，隐藏水印服务接受来自监控服务的视频流、视频查询服务的视频片段，使用隐藏水印技术对输入到WEB前端的显示画面添加与登录用户一一对应的隐藏水印。通过隐藏水印技术，既不会干扰到原视频的质量或遮挡关键信息，同时也能在视频画面泄漏的时候实现泄漏源的追溯，保证监管视频的安全性。
具体的，警报服务模块实时监听来自检测服务的消息，当收到异常事件信息，传递给WEB前端进行显示。除此之外，为了更好地在异常事件发生时提供及时响应，该服务可选将异常事件提示信息通过邮件、短信发送给管理人员。
具体的，WEB前端服务作为上述微服务的用户接口，将这些微服务集成调用，为终端用户提供多种功能***，包括监控设备配置、历史视频查询、视频流显示及切换、异常事件警报显示、视频完整性认证信息等，实现本专利所提出的一种基于安全微服务架构的异常事件智能检测***的整体功能。
图2为***的对应于微服务模块的整体结构图，包括视频流分发模块、异常事件检测模块、警报模块、完整性校验模块、隐藏水印模块、数据库存储模块和WEB服务模块。将整体***解耦为多功能模块，分别部署于不同服务器，可有效实现复杂均衡，并行计算提高***检测效率，增强***的稳定性和可用性。
由于监管场所拍摄视频内容的隐私性，本发明将***设计部署在内部网络上，实现私有云服务，可以最高程度地保护信息安全。且通过采用边缘计算的部署方式，将检测服务、校验服务等需要大量算力的服务与WEB前端服务分离部署，保证WEB服务的稳定性、高效性、可用性。
部署整个微服务框架WEB***，具体地：部署数据库，为了实现数据库的安全服务，采用RAID10进行数据的存储、备份和恢复；部署视频流分发模块到指定设备中，并绑定监控摄像头和数据库IP/MAC地址；部署多台异常事件检测服务设备，将设备群IP/MAC登记于视频流分发设备，并绑定数据库IP/MAC地址；警报服务设备部署，警报服务设备需具备邮件分发能力和短信分发能力；完整性校验服务设备部署；隐藏水印服务设备部署；WEB前端服务部署。
具体地，检测服务所提供的检测异常事件包括：检测传递违禁物品事件，根据场景不同，违禁物品包括但不限于：刀具、药物、电子产品等；检测人员违规离开；检测违规使用通讯设备事件；检测人群快速聚集事件。
具体地，如图3所示异常事件检测服务的算法框架。对于输入的视频流，计算视频帧间的光流信息，对光流异常片段进行截取，作为待检测视频片段。通过Yolo网络对视频片段的违规物品的类型和位置信息提取，使用Alphapose网络对视频帧中的人数信息以及人体骨骼位置信息进行提取，通过分析单人骨骼点运动信息、骨骼点与违规物品相对位置信息、多人骨骼点相对位置信息进行四种异常事件检测的判别。
保存到数据库中的数据字段类型如表1所示，异常事件类型、起始时间、结束时间用于标记异常事件发生位置，监控设备ID、监控设备名称用于对实际场景进行调查，视频保存路径和哈希值用于对历史异常事件视频追溯，并保证视频的完整性。
WEB前端模块实现警报信息显示、实时视频流画面显示、历史视频查询和视频完整性校验的用户交互功能。除了上述用户可感知功能，因为监管场所监控视频的隐私性，用户显示界面增加了隐藏水印，当视频画面外泄时，通过隐藏水印技术可以实现泄漏源追溯以及追责。
表1本发明所述的数据库表单设计图
字段名称 字段定义 字段类型 字段说明
条目ID log_id int 每个日志条目专属ID
异常事件类型 event_type string 视频中异常事件类型
起始时间 time_start string 事件发生时刻
结束时间 time_end string 事件结束时刻
视频段ID video_id int 每个视频段专属ID
监控设备ID cam_id int 所属监控设备id
监控设备名称 cam_name string 所属监控设备的设备名
视频路径 video_path string 视频片段存储路径
哈希值 sha string 进行完整性校验
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于安全微服务架构的异常事件智能检测***，其特征在于，包括：
采集模块：采集监管场所的视频流；
分发模块：对采集的视频流进行数据分发，实现负载均衡；
检测模块：根据预设条件，对筛选的光流异常视频流进行检测分析，输出结果到WEB模块，并存储在数据库中；
警报模块：根据检测结果，对异常视频流产生警报信息，通知管理员并发送到WEB服务模块；
WEB模块：通过WEB对检测结果进行展示和交互。
2.根据权利要求1所述的基于安全微服务架构的异常事件智能检测***，其特征在于，还包括：完整性校验模块：结合视频的重压缩检测算法与哈希值校验，通过重压缩检测算法检测视频是否被二次编辑，通过哈希值校验保证视频的完整性。
3.根据权利要求1所述的基于安全微服务架构的异常事件智能检测***，其特征在于，还包括：隐藏水印模块：对在WEB模块显示的视频添加隐藏水印，用于在视频外泄时进行追溯。
4.根据权利要求1所述的基于安全微服务架构的异常事件智能检测***，其特征在于，所述WEB模块包括：进行监控视频实时预览、异常事件警报提示、异常事件视频标注和历史数据追溯，并保存监控视频和日志信息。
5.一种基于安全微服务架构的异常事件智能检测方法，其特征在于，包括：
采集步骤：通过监控摄像头采集监管场所中的视频流，并检测视频流的光流状态；
检测步骤：将光流异常状态视频流进行异常行为检测；
存储步骤：将检测结果为异常的事件信息存储在数据库中；
展示步骤：在显示终端显示异常事件信息并发送给管理员；
所述异常事件信息包括：异常事件类型、事件发生时间和事件结束时间。
6.根据权利要求5所述的基于安全微服务架构的异常事件智能检测方法，其特征在于，所述检测步骤包括：使用Yolo网络提取视频流中的人数和违规物品位置信息，使用Alphapose网络提取视频流中人体的骨骼点信息，通过骨骼点信息、违规物品位置信息以及对多人骨骼点交互动作信息进行分析，得到异常事件类型、起始时间和结束时间，并记录异常事件信息。
7.根据权利要求5所述的基于安全微服务架构的异常事件智能检测方法，其特征在于，所述存储步骤包括：将分布在监管场所中各场景的监控视频中检测到的异常事件信息及视频流存储到数据库中。
8.根据权利要求5所述的基于安全微服务架构的异常事件智能检测方法，其特征在于，所述展示步骤包括：在终端显示界面上显示异常事件信息，在数据库中查询历史异常事件信息以及经过标注处理的视频，将异常事件信息通过邮件、短信发送给管理员。
9.根据权利要求8所述的基于安全微服务架构的异常事件智能检测方法，其特征在于，所述标注处理包括：在视频流异常事件发生的时间段中标注事件类型，标记产生异常行为的目标人物的骨骼点运动信息，并框出违规物品。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求5至9中任一项所述的方法的步骤。
CN202110407443.2A 2021-04-15 2021-04-15 基于安全微服务架构的异常事件智能检测***、方法及介质 Pending CN113065026A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110407443.2A CN113065026A (zh) 2021-04-15 2021-04-15 基于安全微服务架构的异常事件智能检测***、方法及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110407443.2A CN113065026A (zh) 2021-04-15 2021-04-15 基于安全微服务架构的异常事件智能检测***、方法及介质

Publications (1)

Publication Number Publication Date
CN113065026A true CN113065026A (zh) 2021-07-02

Family

ID=76566711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110407443.2A Pending CN113065026A (zh) 2021-04-15 2021-04-15 基于安全微服务架构的异常事件智能检测***、方法及介质

Country Status (1)

Country Link
CN (1) CN113065026A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095753A (zh) * 2021-11-17 2022-02-25 中国建设银行股份有限公司 视频流处理方法、装置、设备、介质和程序产品
CN116797429A (zh) * 2023-05-31 2023-09-22 北京瑞泰兴成工程技术有限公司 综合安防管理方法、平台、设备及计算机可读存储介质
CN117423049A (zh) * 2023-09-15 2024-01-19 如皋市公安局 一种实时视频追踪异常事件的方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917611A (zh) * 2010-08-31 2010-12-15 北京德博正业科技有限公司 能够追踪传播源的视频输出装置
CN112052804A (zh) * 2020-09-10 2020-12-08 公安部第三研究所 实现安全管理的视频智能分析及报警***及其方法
CN112395978A (zh) * 2020-11-17 2021-02-23 平安科技（深圳）有限公司 行为检测方法、装置及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917611A (zh) * 2010-08-31 2010-12-15 北京德博正业科技有限公司 能够追踪传播源的视频输出装置
CN112052804A (zh) * 2020-09-10 2020-12-08 公安部第三研究所 实现安全管理的视频智能分析及报警***及其方法
CN112395978A (zh) * 2020-11-17 2021-02-23 平安科技（深圳）有限公司 行为检测方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨之杰: "视频监控中异常场景检测与分析研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095753A (zh) * 2021-11-17 2022-02-25 中国建设银行股份有限公司 视频流处理方法、装置、设备、介质和程序产品
CN116797429A (zh) * 2023-05-31 2023-09-22 北京瑞泰兴成工程技术有限公司 综合安防管理方法、平台、设备及计算机可读存储介质
CN117423049A (zh) * 2023-09-15 2024-01-19 如皋市公安局 一种实时视频追踪异常事件的方法及***

Similar Documents

Publication Publication Date Title
CN113065026A (zh) 基于安全微服务架构的异常事件智能检测***、方法及介质
CN101350745B (zh) 一种入侵检测方法及装置
CN102610102B (zh) 一种嫌疑车辆查控方法及***
CN112765245A (zh) 一种电子政务大数据处理平台
CN112417477A (zh) 一种数据安全监测方法、装置、设备及存储介质
CN108197565A (zh) 基于人脸识别的目标寻踪方法及***
US9178899B2 (en) Detecting automated site scans
CN110263613A (zh) 监控视频处理方法及装置
CN110796098B (zh) 内容审核模型的训练及审核方法、装置、设备和存储介质
CN102739774B (zh) 一种云计算环境下的取证方法及***
CN103294950A (zh) 一种基于反向追踪的高威窃密恶意代码检测方法及***
CN104850969A (zh) 执法仪音视频证据警情联动管理***
CN106452955B (zh) 一种异常网络连接的检测方法及***
CN110708292A (zh) Ip处理方法、装置、介质、电子设备
CN107154939A (zh) 一种数据追踪的方法及***
CN111049786A (zh) 一种网络攻击的检测方法、装置、设备及存储介质
CN105589786A (zh) 一种Windows日志的管理方法及装置
CN112560029A (zh) 基于智能分析技术的网站内容监测和自动化响应防护方法
CN108230669B (zh) 基于大数据和云分析的道路车辆违法检测方法及***
CN109815839B (zh) 微服务架构下的徘徊人员识别方法及相关产品
Khan et al. Digital forensics and cyber forensics investigation: security challenges, limitations, open issues, and future direction
CN112464030B (zh) 一种可疑人员确定方法及装置
CN106687977A (zh) 下一代安全操作服务
CN111914648A (zh) 车辆检测和识别的方法及装置、电子设备、存储介质
CN115002414A (zh) 监测方法、装置及服务器和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210702