CN110674761B - 一种区域行为预警方法及*** - Google Patents

一种区域行为预警方法及*** Download PDF

Info

Publication number
CN110674761B
CN110674761B CN201910921181.4A CN201910921181A CN110674761B CN 110674761 B CN110674761 B CN 110674761B CN 201910921181 A CN201910921181 A CN 201910921181A CN 110674761 B CN110674761 B CN 110674761B
Authority
CN
China
Prior art keywords
information
person
future
scene
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910921181.4A
Other languages
English (en)
Other versions
CN110674761A (zh
Inventor
苑杨
时进进
周鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201910921181.4A priority Critical patent/CN110674761B/zh
Publication of CN110674761A publication Critical patent/CN110674761A/zh
Application granted granted Critical
Publication of CN110674761B publication Critical patent/CN110674761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种区域行为预警方法及***，本发明实施例将在区域内采集的人物图像信息输入到设置的第一神经网络中，输出得到在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息；将得到的上述信息抽象为一个信息张量，分别输入到设置的记忆网络模型和设置的第二神经网络中，所述记忆网络模型输出得到人物的未来运动轨迹信息，所述第二神经网络输出人物的未来活动标签和未来目的位置信息；根据输出的人物的未来运动轨迹信息、人物的未来活动标签和未来目的信息，判定该人物行为是否可疑。由于本发明实施例采用了多个神经网络结合准确预测人物未来活动相关信息，以此来判定人物行为是否可疑，从而提高预警准确度，并改善预警效果。

Description

一种区域行为预警方法及***
技术领域
本发明涉及计算机技术领域，特别涉及一种区域行为预警方法及***。
背景技术
随着深度神经网络近年来算法优化和预测准确性上的长足进步，将深度学习应用到生活的各个领域几乎都能取得很好的效果，节省了大量人力成本。近年来随着城市居民的不断增加，区域的安防预警面临前所未有的挑战，依靠老式的监控和人为查验很难取得很好的安防效果。
为了提高区域行为预警的效果，可以引入深度神经网络实现，具体地说，有以下几种方式实现。
公开号为CN109064698A的专利申请公开了一种居民安防预警***，该***通过人脸识别进入小区的人员是否为非本小区居民；对非本小区居民，持续获取该非本小区居民在小区内的行径轨迹及行为模式，至少包括对非本小区居民进出单元的行为确定；累加非本小区居民在设定时间段内进出小区内的单元总数，并获取非本小区居民在小区内各单元的停留时间；当非本小区居民在设定时间段内进出小区内的单元总数不小于N时，根据非本小区居民在各单元的停留时间，判断非本小区居民是否有异常行为，并确定异常行为等级，N为整数且≥3；根据不同的异常行为等级发出警报。
公开号为CN109189078A的专利申请公开了一种基于深度增强学习的家用安全防护机器人及方法，通过深度学习分享目标人物的行为状态信息，目标人物的位置及所处环境的障碍物位置，输出目标人物的运行轨迹，从而对目标人物实现锁定追踪。
公开号为CN105975633A的专利申请公开了一种关于运动轨迹的获取方法及装置。根据当前地理位置及预设的人物信息对应的预设人物的运动状态预测预设人物的运动轨迹；开启运动轨迹上的目标拍摄设备。
公开号为CN108877121A的专利申请公开了一种基于云平台的人工智能预警***，主要通过设于小区入口处的人脸采集模块，用于对出入小区的人脸进行采集，并形成人脸识别信息发送云服务器，通过与犯罪人员的照片进行比对，形成警示信号。
可以看出，上述方案在实现区域行为预警时，此处区域以小区为例，多为在诸如小区门禁处等位置设置人脸识别单元，从而通过人脸识别确定进入小区人员的身份，或通过云平台与犯罪人员的照片进行比对，实现预警。但是相关人员一旦进入到小区内部，就只能通过设置的传统监控摄像记录其行踪，通过人为查验或简单的统计学方法判断异常行为，进行预警。人为查验视频监控要耗费大量人力成本，且在人员换岗，精神不集中时无法做到持续的监控，而采用统计学方法查验视频监控则并不准确且统计的标准数值难以确定。无论采用上述哪一种方式，都会使得预警准确率很低。
因此，如何在提高预警准确度及改善预警效果的基础上，实现区域行为预警，是一个亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供一种区域行为预警方法，该方法能够提高预警准确度，改善预警效果。
本发明实施例还提供一种区域行为预警***，该***能够提高预警准确度，改善预警效果。
本发明实施例是这样实现的：
一种区域行为预警方法，包括：
将在区域内采集的人物图像信息输入到设置的第一神经网络中，输出得到在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息；
将在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息抽象为一个信息张量；
将所述抽象的信息张量输入到设置的记忆网络模型和设置的第二神经网络中，以使所述记忆网络模型输出得到人物的未来运动轨迹信息，所述第二神经网络输出人物的未来活动标签和未来目的位置信息；
根据输出的人物的未来运动轨迹信息、人物的未来活动标签和未来目的信息，判定该人物行为是否可疑。
所述在区域内采集人物图像信息之前，该方法还包括：
采用人脸及身份识别方式对出现在所设置的监控摄像中的人物进行识别，判定该人物的身份信息，所述身份信息包括内部人员或外部人员。
所述判定该人物行为是否可疑还包括：
根据输出的人物的未来运动轨迹信息、人物的未来活动标签、未来目的信息及该人物的身份信息判定该人物行为是否可疑。
所述将抽象的信息张量输入到设置的记忆网络模型中，输出得到人物的未来运动轨迹信息为：
将所述抽象的信息张量进行记忆网络模型的压缩编码，得到视觉特征张量后，采用记忆网络模型进行解码，在实际坐标平面上输出人物的未来运动轨迹特征坐标信息。
所述第一神经网络实时更新；所述记忆网络模型实时更新；所述第二神经网络实时更新。
所述方法还包括：
如果判定该人物行为可疑，进行预警。
一种区域行为预警***，包括：人物行为模块、人物交互模块、轨迹生成模块及活动预测模块，其中，
人物行为模块，用于设置第一神经网络、设置记忆网络模型及第二神经网络；
人物交互模块，用于将在区域内采集的人物图像信息输入到设置的第一神经网络中，输出得到在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息，将在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息抽象为一个信息张量；
轨迹生成模块，用于将所述抽象的信息张量输入到设置的记忆网络模型，以使所述记忆网络模型输出得到人物的未来运动轨迹信息；
活动预测模块，用于将所述抽象的信息张量输入到设置的第二神经网络中，所述第二神经网络输出人物的未来活动标签和未来目的位置信息；
异常报警模块，用于根据输出的人物的未来运动轨迹信息、人物的未来活动标签和未来目的信息，判定该人物行为是否可疑。
所述***还包括：
人脸及身份识别模块，用于对出现在所设置的监控摄像中的人物进行识别，判定该人物的身份信息，所述身份信息包括内部人员或外部人员。
所述轨迹生成模块，还用于将所述抽象的信息张量进行记忆网络模型的压缩编码，得到视觉特征张量后，采用记忆网络模型进行解码，在实际坐标平面上输出人物的未来运动轨迹特征坐标信息。
所述异常报警模块，用于判定该人物行为可疑时，进行预警。
如上所见，本发明实施例将在区域内采集的人物图像信息输入到设置的第一神经网络中，输出得到在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息；将得到的上述信息抽象为一个信息张量，分别输入到设置的记忆网络模型和设置的第二神经网络中，所述记忆网络模型输出得到人物的未来运动轨迹信息，所述第二神经网络输出人物的未来活动标签和未来目的位置信息；根据输出的人物的未来运动轨迹信息、人物的未来活动标签和未来目的信息，判定该人物行为是否可疑。由于本发明实施例采用了多个神经网络结合准确预测人物未来活动相关信息，以此来判定人物行为是否可疑，从而提高预警准确度，并改善预警效果。
附图说明
图1为本发明实施例提供的区域行为预警方法流程图；
图2为本发明实施例提供的区域行为预警***结构示意图；
图3为本发明实施例提供的人脸及身份识别模块的执行过程示意图；
图4为本发明实施例提供的人物行为模块的处理过程示意图；
图5为本发明实施例提供的人物交互模块的处理流程示意图；
图6为本发明实施例提供的活动预测模块的结构示意图；
图7为本发明实施例提供的异常报警模块的处理流程示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
从背景技术可以看出，在区域行为预警时造成预警准确度低及预警效果不好的主要原因是，只是采用人脸识别单元进行可疑人员的确定实现预警，或者采用监控摄像技术跟踪人物行踪，人为或采用统计学方法确定是否人物的行为是否可疑。更进一步地，背景技术中叙述的关于人物的行为预测多为轨迹预测，主要目的是预测出可疑人物的下一步的行进方向，从而进行实时追踪，没有涉及到人物未来的行为轨迹预测，预警准确度很低。
随着人工智能(AI)技术的发展，AI技术得到广泛应用。随着更先进的网络模型和算法不断被提出，AI应用的准确率也随之提高，未来必然能在诸多领域代替人工查验。因此，本发明实施例为了克服背景技术在区域行为预警时产生的问题，将当今最先进的视频人物行动轨迹和行为预测应用到区域行为预警中，取代背景技术中的人工监控和统计学方法，不仅能确定人物身份，同时还可以通过大量训练数据对设置的多个深度神经网络进行训练，由多个深度神经网络实时预测人物的异常行为，做到提前预警，防患于未然。具体地说，本发明实施例将在区域内采集的人物图像信息输入到设置的第一神经网络中，输出得到在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息；将得到的上述信息抽象为一个信息张量，分别输入到设置的记忆网络模型和设置的第二神经网络中，所述记忆网络模型输出得到人物的未来运动轨迹信息，所述第二神经网络输出人物的未来活动标签和未来目的位置信息；根据输出的人物的未来运动轨迹信息、人物的未来活动标签和未来目的信息，判定该人物行为是否可疑。
在这里，所述记忆网络模型为长短期记忆(LSTM)网络，神经网络采用CNN，以下以此为例进行详细说明。
这样，由于本发明实施例采用了多个神经网络结合准确预测人物未来活动相关信息，以此来判定人物行为是否可疑，从而提高预警准确度，并改善预警效果。
图1为本发明实施例提供的区域行为预警方法流程图，其具体步骤为：
步骤101、将在区域内采集的人物图像信息输入到设置的第一CNN中，输出得到在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息；
步骤102、将在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息抽象为一个信息张量；
步骤103、将所述抽象的信息张量输入到设置的LSTM网络和设置的第二CNN中，以使所述LSTM网络输出得到人物的未来运动轨迹信息，所述第二CNN输出人物的未来活动标签和未来目的位置信息；
步骤104、根据输出的人物的未来运动轨迹信息、人物的未来活动标签和未来目的信息，判定该人物行为是否可疑。
在该方法中，所述在区域内采集人物图像信息之前，该方法还包括：
采用人脸及身份识别方式对出现在所设置的监控摄像中的人物进行识别，判定该人物的身份信息，所述身份信息包括内部人员或外部人员。
在这种情况下，所述判定该人物行为是否可疑还包括：
根据输出的人物的未来运动轨迹信息、人物的未来活动标签、未来目的信息及该人物的身份信息判定该人物行为是否可疑。
在该方法中，所述将抽象的信息张量输入到设置的LSTM网络中，输出得到人物的未来运动轨迹信息为：
将所述抽象的信息张量进行LSTM网络的压缩编码，得到视觉特征张量后，采用LSTM网络进行解码，在实际坐标平面上输出人物的未来运动轨迹特征坐标信息。
在该方法中，所述第一CNN实时更新；所述LSTM实时更新；所述第二CNN实时更新。这样，本发明实施例的多个深度神经网络实际上是一个可以不断学习优化的网络，对于已经记录的信息都可以用于这多个神经网络的训练过程，从而提高网络判断的准确性。
在该方法中，所述方法还包括：
如果判定该人物行为可疑，进行预警
图2为本发明实施例提供的区域行为预警***结构示意图，包括：人物行为模块、人物交互模块、轨迹生成模块及活动预测模块，其中，
人物行为模块，用于设置第一CNN、设置LSTM及第二CNN；
人物交互模块，用于将在区域内采集的人物图像信息输入到设置的第一神经网络CNN中，输出得到在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息，将在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息抽象为一个信息张量；
轨迹生成模块，用于将所述抽象的信息张量输入到设置的LSTM网络，以使所述LSTM网络输出得到人物的未来运动轨迹信息；
活动预测模块，用于将所述抽象的信息张量输入到设置的第二CNN中，所述第二CNN输出人物的未来活动标签和未来目的位置信息；
异常报警模块，用于根据输出的人物的未来运动轨迹信息、人物的未来活动标签和未来目的信息，判定该人物行为是否可疑。
在该***中还包括：人脸及身份识别模块，用于对出现在所设置的监控摄像中的人物进行识别，判定该人物的身份信息，所述身份信息包括内部人员或外部人员。
在该***中，所述轨迹生成模块，还用于将所述抽象的信息张量进行LSTM网络的压缩编码，得到视觉特征张量后，采用LSTM网络进行解码，在实际坐标平面上输出人物的未来运动轨迹特征坐标信息。
在该***中，所述第一CNN实时更新；所述LSTM实时更新；所述第二CNN实时更新。
在该***中，所述异常报警模块，用于判定该人物行为可疑时，进行预警。
图3为本发明实施例提供的人脸及身份识别模块的执行过程示意图。人脸及身份识别模块一般设置在区域内，比如大型活动场所的主要通道和进出口，其主要的组成部分包括摄像单元、人脸采集单元、面部特征提取单元、人脸匹配单元及身份确认单元。具体地，如图3所示，其中：
步骤301、诸如高清摄像头的摄像单元采集区域内的主要通道和进出口的视频数据，发送给人脸采集单元；
步骤302、人脸采集单元采集视频数据中的人脸图片，将采集到的人脸图片发送给面部特征提取单元；
步骤303、面部特征提取单元对每一张人脸图片提取面部特征，将人脸图片的面部特征发送给人脸匹配单元；
步骤304、人脸匹配单元根据人脸图片的面部特征进行预设的区域内部人员的面部特征比对，确认是否相同，并将匹配结果发送给身份确认单元；
步骤305、身份确认单元根据匹配结果，确认是区域内部人员还是区域外部人员。
在本发明实施例中，人物行为模块用于设置第一CNN、设置LSTM及第二CNN，在设置第一CNN、设置LSTM及第二CNN时，对于出现在监控摄像场景内的每个人的视觉信息进行编码，在这个过程中，针对的是人物外形和身体动作进行建模，而不是将人物抽象为一个点，如图4所示，图4为本发明实施例提供的人物行为模块的处理过程示意图。其中，为了对人物在区域场景中的外形进行建模，采用带有“RolAlign”的物体检测模型，来提取每个人物边界框的设定尺寸的CNN特征；为了获得人物的身体动作模型，使用了一个微软公司的图像识别(MSCOCO)数据集上训练LSTM网络，来提取人物动作关键点信息。
在本发明实施例中，人物交互模块负责查看人物与周围环境的交互，包括人物与场景及人物与场景中的对象之间的交互。其中，人物与场景的交互是为了对人物附近场景进行识别。如图5所示，图5为本发明实施例提供的人物交互模块的处理流程示意图。首先使用训练的场景分割模型导出每一帧的像素级别场景语义分类，划分出场景中的道路及人行道等部分；然后选取设定的尺寸大小确定模型需要识别的环境区域。例如设定的尺寸大小为3，表示选取人物周围3*3大小的范围作为观察区域将以上不同时刻获取的信息输入到LSTM中，最终得到人物与场景之间的关系信息，然后将在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息抽象为一个信息张量。
在本发明实施例中，轨迹生成模块将所述抽象的信息张量输入到设置的LSTM网络，以使所述LSTM网络输出得到人物的未来运动轨迹信息，将这些信息由LSTM网络编码器压缩成视觉特征张量Q，然后使用LSTM网络的解密器解密，得到人物的未来运动轨迹信息，在LSTM网络中采用了注意力机制，其关键点就是将多个特征投射到相关空间中，在这个空间中，辨别特征更容易被这种注意力机制捕获，焦点注意力对不同特征的关系进行建模，并将它们汇总到一个低维度向量中。
在本发明实施例中，活动预测模块有两个任务，确定人物未来活动的类型和发生地点。相应地，它包括两个部分，曼哈顿网格的活动位置预测和活动标签预测。活动标签预测的作用是猜出画面中的人物最后的目的是什么，预测未来某个瞬间的活动。活动标签在某一时刻并不限于一种，比如一个人物可以同时走路和携带物品。而活动位置预测的功能，是为轨迹生成模块进行纠错，它确定人物的最终目的地，以弥补轨迹生成模块和活动标签预测之间的偏差。包括位置分类和位置回归两个任务。位置分类的目的是预测最终位置坐标所在的网格块，如图6所示，图6为本发明实施例提供的活动预测模块的结构示意图。位置回归的目标是预测网格块中心(图中的圆点)与最终位置坐标(箭头的末端)的偏差。
本发明实施例中的异常报警模块可以根据人脸及身份识别模块和活动预测模块的结果，分析出此人行为是否可疑，从而对可疑人员的可疑行为进行提前预警，如图7所示，图7为本发明实施例提供的异常报警模块的处理流程示意图，其具体步骤为：
步骤701、从人脸及身份识别模块得到人员身份信息；
步骤702、从活动预测模块得到人物未来活动的类型和发生地点；
步骤703、将步骤701和步骤702得到的信息进行收集；
步骤704、确定人物的行为是否异常，如果是，执行步骤705；否则，返回步骤703继续执行；
步骤705、确定人物是否为区域外部人员，如果是，在执行步骤706；如果否，执行步骤707；
步骤706、进行预警，提醒安保人员进行密切观察；
步骤707、记录视频片段，用于后续分析。
采用本发明实施例，被监控人员包括区域内部人员和外来人员。对于小区环境包括业主、物业人员和外部人员等；对于别墅环境包括主人、访客、维修工人、保安、未知人员等；对于库房环境包括保管员、取件员、送件员、外来人员等；对于银行环境包括工作人员、办理业务人员、保安、可疑人员等；对于商场环境包括客人、店员、保洁人员、保安等。
采用本发明实施例，预测得到的人物未来活动信息可以包括：外部人员尾随业主进入楼道，驻足观察小区住户作息规律，查看楼房结构、监控摄像位置及小区出入通道；翻入院墙，撬开门锁等盗窃破坏行为；非法进入，盗窃机密材料、技术、文件等行为；在银行、商场实施盗窃抢劫的行为且不限于以上可疑行为。
采用本发明实施例对犯罪行为预警的通知对象包含安保人员、民警、业主且不限于上述人员。实时监控预警方法包含短信预警、电话预警、警铃预警、物联网(IOT)设备预警、视频预警等常见预警方法，但并不局限于上述预警方法。
采用本发明实施例，区域包含且不限于小区环境，别墅环境，库房环境，银行环境以及商场环境。对于其他人员繁杂，容易出现盗窃抢劫的环境同样适用于区域的概念。
以下举几个具体例子进行说明
实施例一：将区域定为小区。采用本发明实施例，在小区环境中，提前预警外部人员尾随业主进入楼道，驻足观察小区住户作息规律，查看楼房结构、监控摄像位置及小区出入通道等异常行为。
具体过程为：
第一个步骤，在小区的入口或主要干道通过人脸及身份识别模块检测到外部人员进入小区。
第二个步骤，根据视频监控，通过人物行为模块，人物交互模块，轨迹生成模块和活动预测模块预测外部人员的未来行动路径和行为。
第三个步骤，异常报警模块根据以上信息，发现其出现尾随业主走向楼道，驻足观察小区住户作息规律，或是查看楼房结构、监控摄像位置及小区出入通道等异常行为。提前报警，提醒安保人员密切观察外部人员后续动作。必要时出动人员进行抓捕盘问。
实施例二：将区域定为别墅，采用本发明实施例，在独栋别墅外，对于翻入院墙，撬开门锁等盗窃破坏行为，进行预警。
具体过程为：
第一个步骤，在独栋别墅的高处墙壁上设置摄像头，通过人脸识别判断在别墅院墙外的人员是否为主人。
第二个步骤，根据视频的监控，通过人物行为模块，人物交互模块，轨迹生成模块和活动预测模块预测该人员的未来行动路径和行为。
第三个步骤，异常报警模块根据以上信息，如发现有异常行为，可通过手机端的APP提前向主人和安保人员报警，并开启自动播放录像功能。也可同时启动别墅内的IOT音响，播放警告语音。
实施例三：将区域设定为工厂库房内，采用本发明实施例对于非法进入，盗窃机密材料、技术、文件等行为，进行预警。
具体过程为：
第一个步骤，在库房的入口或主要干道通过人脸识别检测到可疑人员进入，首先判断该人身份。
第二个步骤，根据视频的监控，通过人物行为模块，人物交互模块，轨迹生成模块和活动预测模块预测该人员的未来行动路径和行为。
第三个步骤，异常报警模块根据以上信息，如发现其有盗窃机密材料、技术、文件的嫌疑，提前报警，提醒安保人员密切观察该处摄像头情况，并封堵库房出入口，实施抓捕。
实施例四：将区域设定为在银行内，采用本发明实施例对于将要实施抢劫和偷窃的行为，进行提前预警，提醒保安注意，必要时向公安报警。
具体过程为：
第一个步骤，在银行的出入口和主要角落通过人脸识别检测进入银行的每个人，首先判断该人身份，如果是记录在案的在逃人员，立即触发报警。
第二个步骤，根据视频的监控，通过人物行为模块，人物交互模块，轨迹生成模块和活动预测模块预测该人员的未来行动路径和行为。
第三个步骤，异常报警模块根据以上信息，如发现其有实施抢劫和偷窃的嫌疑，提前连通安保人员身上的无线设备，提醒安保人员密切观察该人动向。并根据不同的安全等级，必要时直接通知警方出警。
实施例五：将区域设定大型商场内，采用本发明实施例对于将要实施抢劫和偷窃的行为，进行提前预警，提醒保安注意，必要时向公安报警。
具体过程为：
第一个步骤，在大型商场的出入口和主要角落通过人脸识别检测进入商场的每个人，首先判断该人身份，如果是记录在案的在逃人员，立即触发报警。
第二个步骤，根据视频的监控，通过人物行为模块，人物交互模块，轨迹生成模块和活动预测模块预测该人员的未来行动路径和行为。
第三步骤，异常报警模块根据以上信息，如发现其有实施抢劫和偷窃的嫌疑，提前连通安保人员身上的无线设备，提醒安保人员对该人员进行跟踪观察。
第四个步骤，如预警过程中，该人员已经实施了犯罪行为，可通过联网的商场大屏幕实时播放该人的行踪，提醒商场各处保安进行围堵。
可以看出，本发明实施例了区域内的智能监控，不仅提供了更先进有效的可疑人员未来行为预测及提前预警，而且也减轻了区域内安保人员查看多个监控录像的繁重工作量。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种区域行为预警方法，其特征在于，包括：
将在区域内采集的人物图像信息输入到设置的第一神经网络中，输出得到在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息；
将在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息抽象为一个信息张量；
将所述抽象的信息张量输入到设置的记忆网络模型和设置的第二神经网络中，以使所述记忆网络模型输出得到人物的未来运动轨迹信息，所述第二神经网络输出人物的未来活动标签和未来目的位置信息；
根据输出的人物的未来运动轨迹信息、人物的未来活动标签和未来目的信息，判定该人物行为是否可疑。
2.如权利要求1所述的方法，其特征在于，所述在区域内采集人物图像信息之前，该方法还包括：
采用人脸及身份识别方式对出现在所设置的监控摄像中的人物进行识别，判定该人物的身份信息，所述身份信息包括内部人员或外部人员。
3.如权利要求2所述的方法，其特征在于，所述判定该人物行为是否可疑还包括：
根据输出的人物的未来运动轨迹信息、人物的未来活动标签、未来目的信息及该人物的身份信息判定该人物行为是否可疑。
4.如权利要求1所述的方法，其特征在于，所述将所述抽象的信息张量输入到设置的记忆网络模型中，输出得到人物的未来运动轨迹信息为：
将所述抽象的信息张量进行记忆网络模型的压缩编码，得到视觉特征张量后，采用记忆网络模型进行解码，在实际坐标平面上输出人物的未来运动轨迹特征坐标信息。
5.如权利要求1所述的方法，其特征在于，所述第一神经网络实时更新；所述记忆网络模型实时更新；所述第二神经网络实时更新。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
如果判定该人物行为可疑，进行预警。
7.一种区域行为预警***，其特征在于，包括：人物行为模块、人物交互模块、轨迹生成模块及活动预测模块，其中，
人物行为模块，用于设置第一神经网络、设置记忆网络模型及第二神经网络；
人物交互模块，用于将在区域内采集的人物图像信息输入到设置的第一神经网络中，输出得到在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息，将在区域内的场景信息、人物肢体信息、人物与场景之间的关系信息、及人物与场景中的对象之间的关系信息抽象为一个信息张量；
轨迹生成模块，用于将所述抽象的信息张量输入到设置的记忆网络模型，以使所述记忆网络模型输出得到人物的未来运动轨迹信息；
活动预测模块，用于将所述抽象的信息张量输入到设置的第二神经网络中，所述第二神经网络输出人物的未来活动标签和未来目的位置信息；
异常报警模块，用于根据输出的人物的未来运动轨迹信息、人物的未来活动标签和未来目的信息，判定该人物行为是否可疑。
8.如权利要求7所述的***，其特征在于，所述***还包括：
人脸及身份识别模块，用于对出现在所设置的监控摄像中的人物进行识别，判定该人物的身份信息，所述身份信息包括内部人员或外部人员。
9.如权利要求7所述的***，其特征在于，所述轨迹生成模块，还用于将所述抽象的信息张量进行记忆网络模型的压缩编码，得到视觉特征张量后，采用记忆网络模型进行解码，在实际坐标平面上输出人物的未来运动轨迹特征坐标信息。
10.如权利要求7所述的***，其特征在于，所述异常报警模块，用于判定该人物行为可疑时，进行预警。
CN201910921181.4A 2019-09-27 2019-09-27 一种区域行为预警方法及*** Active CN110674761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910921181.4A CN110674761B (zh) 2019-09-27 2019-09-27 一种区域行为预警方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910921181.4A CN110674761B (zh) 2019-09-27 2019-09-27 一种区域行为预警方法及***

Publications (2)

Publication Number Publication Date
CN110674761A CN110674761A (zh) 2020-01-10
CN110674761B true CN110674761B (zh) 2022-07-15

Family

ID=69079531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910921181.4A Active CN110674761B (zh) 2019-09-27 2019-09-27 一种区域行为预警方法及***

Country Status (1)

Country Link
CN (1) CN110674761B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449558A (zh) * 2020-03-26 2021-09-28 上海依图网络科技有限公司 一种人员异常行为监测方法及装置
CN111935461A (zh) * 2020-09-11 2020-11-13 合肥创兆电子科技有限公司 一种基于智能安防控制***
CN113376656A (zh) * 2021-06-07 2021-09-10 重庆大学 一种基于lstm预测的多机器人围捕***
CN115294515B (zh) * 2022-07-05 2023-06-13 南京邮电大学 一种基于人工智能的综合防盗管理方法及***
CN115273370B (zh) * 2022-09-28 2023-01-03 苏州美集供应链管理股份有限公司 一种基于视觉扫描与轨迹识别的人员实时监测***与方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509880A (zh) * 2018-03-21 2018-09-07 南京邮电大学 一种视频人物行为语义识别方法
CN109410496B (zh) * 2018-10-25 2022-04-01 北京交通大学 入侵预警方法、装置及电子设备

Also Published As

Publication number Publication date
CN110674761A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110674761B (zh) 一种区域行为预警方法及***
WO2020168960A1 (zh) 一种视频分析方法及装置
JP6905850B2 (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
US9911294B2 (en) Warning system and method using spatio-temporal situation data
US9646228B2 (en) Role-based tracking and surveillance
Candamo et al. Understanding transit scenes: A survey on human behavior-recognition algorithms
JP4924607B2 (ja) 不審行動検知装置および方法、プログラムおよび記録媒体
CN109740411A (zh) 基于人脸识别的智能监控***、监控方法及快速出警方法
Zin et al. A Markov random walk model for loitering people detection
CN110490126B (zh) 一种基于人工智能的保险柜安全管控***
Patil et al. Suspicious movement detection and tracking based on color histogram
CN116798176A (zh) 基于大数据和智慧安防的数据管理***
Van Den Hengel et al. Activity topology estimation for large networks of cameras
Shivthare et al. Suspicious activity detection network for video surveillance using machine learning
CN112330742A (zh) 公共区域重点人员活动路线记录方法及装置
KR20180137155A (ko) 스마트 셉테드 기반의 접근 제어 강화 시스템 및 그 방법
CN116778657A (zh) 一种智能识别入侵行为的方法及***
Blauensteiner et al. A socio-technical approach for event detection in security critical infrastructure
Kapoor et al. A study on various methods used in automatic video surveillance
CN117746218B (zh) 一种智慧校园的安全管理方法及装置
CN115294515B (zh) 一种基于人工智能的综合防盗管理方法及***
Prezioso et al. Integrating Object Detection and Advanced Analytics for Smart City Crowd Management
CN118334559A (zh) 基于人脸识别的智慧校园安全管理方法及***
Sharma et al. Automated human detection and tracking for surveillance applications
Goldgof et al. Evaluation of smart video for transit event detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant