CN112818854A - 一种应用于校园安防的全天候视频寻人方法 - Google Patents

一种应用于校园安防的全天候视频寻人方法 Download PDF

Info

Publication number
CN112818854A
CN112818854A CN202110138143.9A CN202110138143A CN112818854A CN 112818854 A CN112818854 A CN 112818854A CN 202110138143 A CN202110138143 A CN 202110138143A CN 112818854 A CN112818854 A CN 112818854A
Authority
CN
China
Prior art keywords
pedestrian
image
time
camera
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110138143.9A
Other languages
English (en)
Other versions
CN112818854B (zh
Inventor
张天奇
王进
张�荣
顾翔
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202110138143.9A priority Critical patent/CN112818854B/zh
Publication of CN112818854A publication Critical patent/CN112818854A/zh
Application granted granted Critical
Publication of CN112818854B publication Critical patent/CN112818854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Security & Cryptography (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供了一种应用于校园安防的全天候视频寻人方法，根据摄像头当前所捕获行人图像的模态，使用与其相同模态的行人图像进行匹配，采用跨模态行人再识别技术匹配行人，检索指定的行人，在不同的摄像头中，能够识别出特定的行人。本发明的有益效果为：本发明的将待查询的行人图像转换为彩色和红外两种模态，用于自适应地匹配摄像头在白天和夜间捕获的行人图像，使得视频寻人***能够在日间环境和夜间环境下寻人，实现全天运转。

Description

一种应用于校园安防的全天候视频寻人方法
技术领域
本发明涉及人工智能和计算机视觉技术领域，尤其涉及一种应用于校园安防的全天候视频寻人方法。
背景技术
由于一连串的校园暴力事件和学生失踪事件的发生，校园安防成为社会各界关注的热点，未来的校园安防需要实现事前预警、事中控制、事后可追溯的技术效果。校园安防主要利用视频监控***、报警***、门禁***等各种设施，保障校园安全。其中，视频监控***记录了各个监控现场的视频资料，在校园安防中起着重要的作用。现有的用于校园安防的视频监控***仍是以实时视频监控、事后调阅取证为主，在监控视频里追踪和事件有关的人员时，需要根据事件发生时间确定视频区间，在该视频区间内，以查阅监控的方式寻找有关人员，确定行动轨迹，并在监控视频前实时寻找有关人员，含有大量的人工方式，智能化水平较低，使得校园安防***在事前以及事中的处理能力普遍偏弱。由此可见，单一的视频监控***已经不能够满足现阶段多元化的安防业务需求。
发明内容
本发明的目的在于提供一种应用于校园安防的全天候视频寻人方法，根据摄像头当前所捕获行人图像的模态，使用与其相同模态的行人图像进行匹配，采用跨模态行人再识别技术匹配行人，检索指定的行人，旨在不同的摄像头中，能够识别出特定的行人。
本发明是通过如下措施实现的：一种应用于校园安防的全天候视频寻人方法，其中，包括以下步骤：
S1、根据摄像头当前所捕获行人图像全身照的模态，使用与其相同模态的行人图像进行匹配；
S2、采用跨模态行人再识别技术匹配行人，行人再识别技术是在非重叠的摄像头视域中，检索指定的行人，在不同的摄像头中，能够识别出特定的行人；
S3、跨模态行人再识别将采用模态互转的方式，彩色图像和红外图像间能够互相转换，使得输入的待查询行人图像能够转换成与摄像头捕获的行人图像一致模态的图像，使得跨模态匹配问题转换为相同模态的匹配问题，从像素级别缓解跨模态差异；
S4、加入报警接收机制，以联动门禁***，接收门禁***的报警信息，并令报警门禁锁附近的摄像头捕获行人图像，从中找出嫌疑人的行人图像；门禁***发现有警情后，门禁***中的门禁锁捕获门前的图像，将图像和门禁锁的位置信息组合成报警信息，发送至视频监控***，视频监控***接收到门禁***的报警信息，令该门禁***周边的摄像头捕获行人图像，将门禁***中的门禁锁捕获的图像作为辅助，匹配出嫌疑人的行人图像，并提取出匹配结果对应的视频帧，将匹配出的行人区域标注，将视频帧连同标注发送至安防人员处确认，将确认无误的视频帧中的行人图像作为待查询的行人图像，完成接下来的寻找嫌疑人任务；
S5、利用待查询行人图像对嫌疑人实时监控，并构建实时逃逸轨迹，嫌疑人实时监控指根据嫌疑人的行人图像，与所有摄像头捕获的视频图像中提取出的行人图像匹配。
进一步地，所述嫌疑人实时监控具体步骤如下：
步骤1-1：获取摄像头当前监控视频的一帧图像，并执行步骤1-2；
步骤1-2：将该帧图像进行行人检测，提取行人图像，确保每个范围都包含了行人全身，而且每个范围内的大部分内容为行人，每个行人的行人图像以摄像头编号、图像模态、时间、行人编号命名，这些行人图像存入实时行人图像集，执行步骤1-3；
步骤S1-3：将嫌疑人的行人图像作为待查询行人图像，与步骤S1-2中生成的实时行人图像集进行匹配，若匹配出相似度最高且达到指定阈值的行人图像，则将其作为疑似嫌疑人处理，根据该行人图像捕获的时间与摄像头位置信息，向该位置就近的工作人员发送嫌疑人的信息，并根据行人编号、时间、位置信息，构建该嫌疑人的实时逃逸轨迹，完成一轮实时监控；否则清空实时行人图像集，完成一轮实时监控。
进一步地，构建基于失踪时间区间内的行人图像数据库，行人图像数据库是行人图像的集合，行人图像数据库的构建由视频监控***的所有摄像头完成，摄像头用来获取行人图像，行人图像数据库的构建方法包括如下步骤：
步骤2-1：摄像头每秒获取一帧图像；
步骤2-2：在步骤2-1获取的一帧图像中，利用行人检测技术选定每位行人所在的范围，确保每个范围都包含行人全身，而且每个范围内的大部分内容为行人；
步骤2-3：根据步骤2-2所选定的范围，截取行人图像，每个行人的行人图像以摄像头编号、图像模态、时间、行人编号命名；
步骤2-4：将步骤2-3生成的行人图像存储在行人图像数据库中；根据提供的失踪人员行人图像，生成该行人图像的两种模态，自适应地在行人图像数据库中检索失踪人员，若提供的失踪人员信息不是完整的全身照，甚至无法提供失踪人员的任何图像，可根据自然语言处理与生成对抗网络的方式，根据报案人员的描述，生成失踪人员的全身照，用该全身照作为失踪人员的行人图像完成检索；
根据图像所摄的摄像头所在位置、行人出现的时间，构建行程轨迹，行人出现在摄像头视野的时间内，摄像头会连续捕获该行人的行人图像，在摄像头捕获该行人图像的时间段内拥有起止时间，获取该行人于何时至何时在该摄像头处出现的轨迹信息，最终可以获取该行人在所有摄像头下出现的轨迹信息，形成完整的行程轨迹。
进一步地，所述失踪人员实时监控指根据失踪人员的行人图像，与所有摄像头捕获的视频图像中提取出的行人图像匹配，具体的一轮失踪人员实时监控包括如下步骤：
步骤3-1：获取摄像头监控视频的一帧图像；
步骤3-2：将该帧图像进行行人检测，提取行人图像，每个行人的行人图像以摄像头编号、图像模态、时间、行人编号命名，行人图像存入实时行人图像集；
步骤3-3：将失踪人员的行人图像作为待查询行人图像，与步骤2-2中生成的实时行人图像集进行匹配，若匹配出相似度最高且达到指定阈值的行人图像，则将其作为疑似失踪人员处理，根据该行人图像捕获的时间与摄像头位置信息，向该位置就近的保安人员发送失踪人员的信息；否则清空实时行人图像集，完成一轮失踪人员实时监控。
与现有技术相比，本发明的有益效果为：
(1)本发明的将待查询的行人图像转换为彩色和红外两种模态，用于自适应地匹配摄像头在白天和夜间捕获的行人图像，使得视频寻人***能够在日间环境和夜间环境下寻人，实现全天运转。
(2)利用门禁***内的门禁锁获取的图像，及其附近的摄像头所摄行人图像，无需所有摄像头参与即可快速地确认嫌疑人的行人图像，有效缓解安防***各组成成分间的独立性，提高了寻找嫌疑人的工作效率。
(3)利用门禁***确认的嫌疑人行人图像，完成嫌疑人实时监控，并构建嫌疑人的实时逃逸轨迹，无需通过人工的方式即可为安防人员提供嫌疑人的实时位置信息，有助于安防人员的抓捕工作。
(4)通过构建行人图像数据集，根据提供的失踪人员图像，在行人图像数据集内自适应地检索失踪人员，根据检索结果生成行程轨迹，并进行失踪人员实时监控，帮助安防人员寻找失踪人员，缓解了传统视频监控***的寻人压力。
(5)本发明将待寻找人员的行人图像转换为两种模态(彩色和红外)的行人图像，用于匹配摄像头在白天和夜间捕获的行人图像，使得该方法能够在日间环境和夜间环境下寻人，使得视频监控***能够全天运转，同时，本发明联动门禁***，利用门禁***内的门禁锁获取的图像，及其附近的摄像头所摄行人图像，确认嫌疑人的行人图像，完成嫌疑人实时监控，并构建嫌疑人的实时逃逸轨迹，无需通过人工的方式即可为安防人员提供嫌疑人的实时位置信息，有效缓解安防***各组成成分间的独立性；另外，在未知失踪人员失踪的地点时，也能够通过跨模态行人再识别的方式构建行人图像数据集，根据提供的失踪人员图像，在行人图像数据集内自适应地检索失踪人员，根据检索结果生成行程轨迹，并进行失踪人员实时监控，帮助安防人员寻找失踪人员，缓解了传统视频监控***的寻人压力，为校园安防的事前预警、事中控制、事后可追溯提供了积极效果。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明的整体架构图。
图2为本发明中待查询的行人图像转换为彩色和红外两种模态，用于自适应地匹配摄像头在白天和夜间捕获的行人图像的流程示意图。
图3为本发明中联动门禁***确定嫌疑人行人图像流程图。
图4为本发明中嫌疑人一轮实时监控与构建实时逃逸轨迹流程图。
图5为本发明中寻找未知失踪地点的一轮失踪人员的实时监控流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
参见图1至图5，本发明提供其技术方案为，一种应用于校园安防的全天候视频寻人方法，以解决目前视频监控***单一化、仅凭人工方式寻找有关人员的技术问题。
本发明的失踪人员指的是在校园内失踪的人员，本发明的自适应方法表示根据摄像头当前所捕获行人图像的模态，使用与其相同模态的行人图像进行匹配，本发明的行人图像指的是全身照。
本发明采用跨模态行人再识别技术匹配行人，其中，行人再识别技术是在非重叠的摄像头视域中，检索指定的行人，旨在不同的摄像头中，能够识别出特定的行人，例如，某高校拥有50个摄像头，其中校园道路、操场、花园等室外场景含有20个，食堂、教室、办公区域含有30个，这些摄像头由于安装的位置不同、视点不同、光照环境不同、分辨率不同，它们同一时刻所拍摄的图像也会有所不同，所捕获的行人图像也不尽相同，如今需要寻找一位同学，则需要根据该同学的行人图像，在所有的摄像头捕获的行人图像中，找出该同学的行人图像，而跨模态行人再识别指提供特定模态的行人图像，在与所提供图像有着不同模态的摄像头捕获的图像中，匹配出该行人，和刚才的例子类似，如今需要寻找一位同学的行人图像，而在所有的摄像头捕获的行人图像中包含了彩色图像和红外图像，拥有两种不同的模态，跨模态行人再识别需要在这两种模态的行人图像中，找出该同学的行人图像，在本发明的应用场景中，校园所摄图像含有白天所摄的彩色图像和夜间所摄的红外图像，共含有两个模态，由于彩色摄像机和红外摄像机的波长、频段不同，使得彩色图像和红外图像之间具有巨大的跨模态差异，在本发明中，跨模态行人再识别将采用模态互转的方式，即彩色图像和红外图像间能够互相转换，使得输入的待查询行人图像能够转换成与摄像头捕获的行人图像一致模态的图像，使得跨模态匹配问题转换为相同模态的匹配问题，从像素级别缓解跨模态差异，实现自适应方法。
本发明欲加入报警接收机制，以联动门禁***，接收门禁***的报警信息，并令报警门禁锁附近的摄像头捕获行人图像，从中找出嫌疑人的行人图像。首先，门禁***发现有警情后，门禁***中的门禁锁捕获门前的图像，将图像和门禁锁的位置信息组合成报警信息，发送至视频监控***。接着，视频监控***接收到门禁***的报警信息，令该门禁***周边的摄像头捕获行人图像，将门禁***中的门禁锁捕获的图像作为辅助，匹配出嫌疑人的行人图像，并提取出匹配结果对应的视频帧，将匹配出的行人区域标注，将视频帧连同标注发送至安防人员处确认，将确认无误的视频帧中的行人图像作为待查询的行人图像，完成接下来的寻找嫌疑人任务。
利用待查询行人图像实现对嫌疑人实时监控，并构建实时逃逸轨迹。嫌疑人实时监控指根据嫌疑人的行人图像，与所有摄像头捕获的视频图像中提取出的行人图像匹配。具体的一轮嫌疑人实时监控方式如下：
步骤1-1：获取摄像头当前监控视频的一帧图像，并执行步骤1-2；
步骤1-2：将该帧图像进行行人检测，提取行人图像，确保每个范围都包含了行人全身，而且每个范围内的大部分内容为行人，每个行人的行人图像以摄像头编号、图像模态、时间(如年、月、日、时、分、秒)、行人编号命名，这些行人图像存入实时行人图像集，执行步骤1-3；
步骤1-3：将嫌疑人的行人图像作为待查询行人图像，与步骤1-2中生成的实时行人图像集进行匹配，若匹配出相似度最高且达到指定阈值的行人图像，则将其作为疑似嫌疑人处理，根据该行人图像捕获的时间与摄像头位置信息，向该位置就近的工作人员发送嫌疑人的信息，并根据行人编号、时间、位置等信息，构建该嫌疑人的实时逃逸轨迹，完成一轮实时监控；否则清空实时行人图像集，完成一轮实时监控。
上述为得知待寻找人员具***置后的寻人方法，然而在校园中，也会出现不知道失踪人员具体失踪地点的情况。当有此类人员失踪时，本发明将根据失踪人员大体的失踪时间区间，确认失踪人员在失踪时间区间内的行程轨迹，并进行失踪人员实时监控，首先，需要构建基于失踪时间区间内的行人图像数据库。行人图像数据库是行人图像的集合，行人图像数据库的构建由视频监控***的所有摄像头完成，这些摄像头用来获取行人图像。行人图像数据库的构建方法如下：
步骤2-1：摄像头每秒获取一帧图像；
步骤2-2：在步骤2-1获取的一帧图像中，利用行人检测技术选定每位行人所在的范围，确保每个范围都包含了行人全身，而且每个范围内的大部分内容为行人；
步骤2-3：根据步骤2-2所选定的范围，截取行人图像，每个行人的行人图像以摄像头编号、图像模态、时间(如年、月、日、时、分、秒)、行人编号命名；
步骤2-4：将步骤2-3生成的行人图像存储在行人图像数据库中。
接着，根据提供的失踪人员行人图像，生成该行人图像的两种模态，自适应地在行人图像数据库中检索失踪人员。
特别地，若提供的失踪人员信息不是完整的全身照，甚至无法提供失踪人员的任何图像，可根据自然语言处理与生成对抗网络的方式，根据报案人员的描述，生成失踪人员的全身照，用该全身照作为失踪人员的行人图像完成检索。
在检索结果中，根据图像所摄的摄像头所在位置、行人出现的时间，构建行程轨迹。行人出现在摄像头视野的时间内，摄像头会连续地捕获该行人的行人图像，于是在摄像头捕获该行人图像的时间段内拥有起止时间，从而获取该行人于何时至何时在该摄像头处出现的轨迹信息。最终可以获取该行人在所有摄像头下出现的轨迹信息，从而形成完整的行程轨迹。
失踪人员实时监控指根据失踪人员的行人图像，与所有摄像头捕获的视频图像中提取出的行人图像匹配，具体的一轮失踪人员实时监控的方式如下：
步骤3-1：获取摄像头监控视频的一帧图像；
步骤3-2：将该帧图像进行行人检测，提取行人图像，每个行人的行人图像以摄像头编号、图像模态、时间(如年、月、日、时、分、秒)、行人编号命名，这些行人图像存入实时行人图像集；
步骤3-3：将失踪人员的行人图像作为待查询行人图像，与步骤2-2中生成的实时行人图像集进行匹配，若匹配出相似度最高且达到指定阈值的行人图像，则将其作为疑似失踪人员处理，根据该行人图像捕获的时间与摄像头位置信息，向该位置就近的保安人员发送失踪人员的信息；否则清空实时行人图像集，完成一轮失踪人员实时监控。
将待查询的行人图像转换为彩色和红外两种模态，用于自适应地匹配摄像头在白天和夜间捕获的行人图像，使得视频寻人***能够在日间环境和夜间环境下寻人，实现全天运转。
本发明利用门禁***内的门禁锁获取的图像，及其附近的摄像头所摄行人图像，无需所有摄像头参与即可快速地确认嫌疑人的行人图像，有效缓解安防***各组成成分间的独立性，提高了寻找嫌疑人的工作效率。
本发明确认的嫌疑人行人图像，完成嫌疑人实时监控，并构建嫌疑人的实时逃逸轨迹，无需通过人工的方式即可为安防人员提供嫌疑人的实时位置信息，有助于安防人员的抓捕工作。
本发明通过构建行人图像数据集，根据提供的失踪人员图像，在行人图像数据集内自适应地检索失踪人员，根据检索结果生成行程轨迹，并进行失踪人员实时监控，帮助安防人员寻找失踪人员，缓解了传统视频监控***的寻人压力。
本发明以自适应方法，将待寻找人员的行人图像转换为两种模态(彩色和红外)的行人图像，用于匹配摄像头在白天和夜间捕获的行人图像，使得该方法能够在日间环境和夜间环境下寻人，使得视频监控***能够全天运转。同时，本发明联动门禁***，利用门禁***内的门禁锁获取的图像，及其附近的摄像头所摄行人图像，确认嫌疑人的行人图像，完成嫌疑人实时监控，并构建嫌疑人的实时逃逸轨迹，无需通过人工的方式即可为安防人员提供嫌疑人的实时位置信息，有效缓解安防***各组成成分间的独立性。另外，在未知失踪人员失踪的地点时，也能够通过跨模态行人再识别的方式构建行人图像数据集，根据提供的失踪人员图像，在行人图像数据集内自适应地检索失踪人员，根据检索结果生成行程轨迹，并进行失踪人员实时监控，帮助安防人员寻找失踪人员，缓解了传统视频监控***的寻人压力。这些为校园安防的事前预警、事中控制、事后可追溯提供了积极效果。
为了更好地实现本发明的目的，本发明通过以下三个事例验证本发明的一种应用于校园安防的全天候视频寻人方法：
实施例1：某日晚，有不法分子前往办公区域的某个房间处，欲采取非正常方式打开房门进入其中。首先，该房间的门禁锁发出警报，捕获了门前图像，并发送给门禁***。接着，门禁***将该门禁锁的位置信息与门禁锁捕获的图像发送给视频监控***。视频监控***根据门禁***发送的门禁锁位置，令该门禁锁周边的摄像头捕获行人图像，并根据门禁锁捕获的门前图像作为辅助，匹配出嫌疑人的行人图像，提取出匹配结果对应的视频帧，并在这些视频帧中标注出匹配结果的区域，将视频帧连同标注发送至安防人员处确认。安防人员确认完毕后，将确认无误的视频帧中的行人图像作为待查询行人图像。视频监控***将待查询图像生成两种模态(彩色和红外)，自适应地完成嫌疑人实时监控，并构建嫌疑人的实时逃逸轨迹。安防人员根据嫌疑人的实时逃逸轨迹，安排校园保安前往追踪，最终，嫌疑人被校园保安控制。
实施例2：
某日，校园安防人员接到某辅导员的一则寻人求助，称有一位同学不知何故，昨天晚上没有回宿舍，目前无法联系到该同学。据悉，在昨天下午的时候，该同学还出现在课堂内。
首先，安防人员获取该同学的图像，生成该同学完整的两种模态(彩色和红外)的行人图像，并将该同学大体的失踪时间区间选定，开始时间为该同学昨天下午的课堂开始时间，结束时间为现在。接着，视频监控***构建该段时间内的行人图像数据库。视频监控***根据该同学含有两种模态的行人图像，自适应地在行人图像数据库中检索该同学，并根据图像所摄的时间、地点，按照时间先后排序，生成该同学的行程轨迹，确定该同学最后在摄像头中出现的位置，将该同学的照片、行人图像等信息发送给该同学最后出现摄像头的就近保安人员，并根据该同学的行人图像进行失踪人员实时监控。此时，安防人员发现接收到消息的报案找到疑似失踪人员，视频监控***接收到了保安人员发送的该疑似失踪人员图像，但是经辅导员确认，此人并不是需要找的同学，视频监控***继续进行失踪人员实时监控。经过一段时间，摄像头捕获到疑似失踪人员，视频监控***将对应摄像头位置信息和该同学的图像信息发送给该摄像头就近的保安人员，保安人员获取并发送***判定的疑似失踪人员的图像至视频监控***，经辅导员确认，发现的疑似失踪人员是该寻人任务要找的人员，完成寻人任务，该失踪人员的寻找任务结束。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种应用于校园安防的全天候视频寻人方法，其特征在于，包括以下步骤：
S1、根据摄像头当前所捕获行人图像全身照的模态，使用与其相同模态的行人图像进行匹配；
S2、采用跨模态行人再识别技术匹配行人，行人再识别技术是在非重叠的摄像头视域中，检索指定的行人，在不同的摄像头中，能够识别出特定的行人；
S3、跨模态行人再识别将采用模态互转的方式，彩色图像和红外图像间能够互相转换，使得输入的待查询行人图像能够转换成与摄像头捕获的行人图像一致模态的图像，使得跨模态匹配问题转换为相同模态的匹配问题，从像素级别缓解跨模态差异；
S4、加入报警接收机制，以联动门禁***，接收门禁***的报警信息，并令报警门禁锁附近的摄像头捕获行人图像，从中找出嫌疑人的行人图像；门禁***发现有警情后，门禁***中的门禁锁捕获门前的图像，将图像和门禁锁的位置信息组合成报警信息，发送至视频监控***，视频监控***接收到门禁***的报警信息，令该门禁***周边的摄像头捕获行人图像，将门禁***中的门禁锁捕获的图像作为辅助，匹配出嫌疑人的行人图像，并提取出匹配结果对应的视频帧，将匹配出的行人区域标注，将视频帧连同标注发送至安防人员处确认，将确认无误的视频帧中的行人图像作为待查询的行人图像，完成接下来的寻找嫌疑人任务；
S5、利用待查询行人图像对嫌疑人实时监控，并构建实时逃逸轨迹，嫌疑人实时监控指根据嫌疑人的行人图像，与所有摄像头捕获的视频图像中提取出的行人图像匹配。
2.根据权利要求1所述的应用于校园安防的全天候视频寻人方法，其特征在于，所述嫌疑人实时监控具体步骤如下：
步骤1-1：获取摄像头当前监控视频的一帧图像，并执行步骤1-2；
步骤1-2：将该帧图像进行行人检测，提取行人图像，确保每个范围都包含了行人全身，而且每个范围内的大部分内容为行人，每个行人的行人图像以摄像头编号、图像模态、时间、行人编号命名，这些行人图像存入实时行人图像集，执行步骤1-3；
步骤S1-3：将嫌疑人的行人图像作为待查询行人图像，与步骤S1-2中生成的实时行人图像集进行匹配，若匹配出相似度最高且达到指定阈值的行人图像，则将其作为疑似嫌疑人处理，根据该行人图像捕获的时间与摄像头位置信息，向该位置就近的工作人员发送嫌疑人的信息，并根据行人编号、时间、位置信息，构建该嫌疑人的实时逃逸轨迹，完成一轮实时监控；否则清空实时行人图像集，完成一轮实时监控。
3.根据权利要求1或2所述的应用于校园安防的全天候视频寻人方法，其特征在于，构建基于失踪时间区间内的行人图像数据库，行人图像数据库是行人图像的集合，行人图像数据库的构建由视频监控***的所有摄像头完成，摄像头用来获取行人图像，行人图像数据库的构建方法包括如下步骤：
步骤2-1：摄像头每秒获取一帧图像；
步骤2-2：在步骤2-1获取的一帧图像中，利用行人检测技术选定每位行人所在的范围，确保每个范围都包含行人全身，而且每个范围内的大部分内容为行人；
步骤2-3：根据步骤2-2所选定的范围，截取行人图像，每个行人的行人图像以摄像头编号、图像模态、时间、行人编号命名；
步骤2-4：将步骤2-3生成的行人图像存储在行人图像数据库中；根据提供的失踪人员行人图像，生成该行人图像的两种模态，自适应地在行人图像数据库中检索失踪人员，若提供的失踪人员信息不是完整的全身照，甚至无法提供失踪人员的任何图像，可根据自然语言处理与生成对抗网络的方式，根据报案人员的描述，生成失踪人员的全身照，用该全身照作为失踪人员的行人图像完成检索；
根据图像所摄的摄像头所在位置、行人出现的时间，构建行程轨迹，行人出现在摄像头视野的时间内，摄像头会连续捕获该行人的行人图像，在摄像头捕获该行人图像的时间段内拥有起止时间，获取该行人于何时至何时在该摄像头处出现的轨迹信息，最终可以获取该行人在所有摄像头下出现的轨迹信息，形成完整的行程轨迹。
4.根据权利要求1-3任一项所述的应用于校园安防的全天候视频寻人方法，其特征在于，所述失踪人员实时监控指根据失踪人员的行人图像，与所有摄像头捕获的视频图像中提取出的行人图像匹配，具体的一轮失踪人员实时监控包括如下步骤：
步骤3-1：获取摄像头监控视频的一帧图像；
步骤3-2：将该帧图像进行行人检测，提取行人图像，每个行人的行人图像以摄像头编号、图像模态、时间、行人编号命名，行人图像存入实时行人图像集；
步骤3-3：将失踪人员的行人图像作为待查询行人图像，与步骤2-2中生成的实时行人图像集进行匹配，若匹配出相似度最高且达到指定阈值的行人图像，则将其作为疑似失踪人员处理，根据该行人图像捕获的时间与摄像头位置信息，向该位置就近的保安人员发送失踪人员的信息；否则清空实时行人图像集，完成一轮失踪人员实时监控。
CN202110138143.9A 2021-02-01 2021-02-01 一种应用于校园安防的全天候视频寻人方法 Active CN112818854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110138143.9A CN112818854B (zh) 2021-02-01 2021-02-01 一种应用于校园安防的全天候视频寻人方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110138143.9A CN112818854B (zh) 2021-02-01 2021-02-01 一种应用于校园安防的全天候视频寻人方法

Publications (2)

Publication Number Publication Date
CN112818854A true CN112818854A (zh) 2021-05-18
CN112818854B CN112818854B (zh) 2023-12-05

Family

ID=75861298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110138143.9A Active CN112818854B (zh) 2021-02-01 2021-02-01 一种应用于校园安防的全天候视频寻人方法

Country Status (1)

Country Link
CN (1) CN112818854B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120506A (zh) * 2021-09-30 2022-03-01 国网浙江省电力有限公司 一种基于5g网络架构的基建现场人员管控***及方法
CN116095269A (zh) * 2022-11-03 2023-05-09 南京戴尔塔智能制造研究院有限公司 一种智能化视频安防***及其方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2520350A1 (en) * 2005-09-21 2007-03-21 International Business Machines Corporation System and method for surveillance of suspects of automated banking machine fraud
CN106709436A (zh) * 2016-12-08 2017-05-24 华中师范大学 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪***
CN107315984A (zh) * 2016-04-26 2017-11-03 杭州华为企业通信技术有限公司 一种行人检索的方法及装置
CN107909033A (zh) * 2017-11-15 2018-04-13 西安交通大学 基于监控视频的嫌疑人快速追踪方法
CN108563651A (zh) * 2017-12-19 2018-09-21 深圳云天励飞技术有限公司 一种多视频的目标搜索方法、装置及设备
CN109872482A (zh) * 2019-01-21 2019-06-11 广东鑫诺安保安服务有限公司 智慧安防监管方法、***以及存储介质
CN110428522A (zh) * 2019-07-24 2019-11-08 青岛联合创智科技有限公司 一种智慧新城的智能安防***
CN111343417A (zh) * 2019-10-27 2020-06-26 徐州锋通信息科技有限公司 一种幼儿园学生看管用监控***
US20200210684A1 (en) * 2018-12-28 2020-07-02 Joshua A. Stivers System and method of biometric identification and storing and retrieving suspect information

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2520350A1 (en) * 2005-09-21 2007-03-21 International Business Machines Corporation System and method for surveillance of suspects of automated banking machine fraud
CN107315984A (zh) * 2016-04-26 2017-11-03 杭州华为企业通信技术有限公司 一种行人检索的方法及装置
CN106709436A (zh) * 2016-12-08 2017-05-24 华中师范大学 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪***
CN107909033A (zh) * 2017-11-15 2018-04-13 西安交通大学 基于监控视频的嫌疑人快速追踪方法
CN108563651A (zh) * 2017-12-19 2018-09-21 深圳云天励飞技术有限公司 一种多视频的目标搜索方法、装置及设备
US20200210684A1 (en) * 2018-12-28 2020-07-02 Joshua A. Stivers System and method of biometric identification and storing and retrieving suspect information
CN109872482A (zh) * 2019-01-21 2019-06-11 广东鑫诺安保安服务有限公司 智慧安防监管方法、***以及存储介质
CN110428522A (zh) * 2019-07-24 2019-11-08 青岛联合创智科技有限公司 一种智慧新城的智能安防***
CN111343417A (zh) * 2019-10-27 2020-06-26 徐州锋通信息科技有限公司 一种幼儿园学生看管用监控***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕云翔等: "基于机器学习的监控视频行人检测与追踪***的设计与实现", 《工业和信息化教育》, pages 66 - 72 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120506A (zh) * 2021-09-30 2022-03-01 国网浙江省电力有限公司 一种基于5g网络架构的基建现场人员管控***及方法
CN116095269A (zh) * 2022-11-03 2023-05-09 南京戴尔塔智能制造研究院有限公司 一种智能化视频安防***及其方法
CN116095269B (zh) * 2022-11-03 2023-10-20 南京戴尔塔智能制造研究院有限公司 一种智能化视频安防***及其方法

Also Published As

Publication number Publication date
CN112818854B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
US10812761B2 (en) Complex hardware-based system for video surveillance tracking
CN110008298B (zh) 驻车多维信息感知应用***及方法
CN103268680B (zh) 一种家庭智能监控防盗***
Wheeler et al. Face recognition at a distance system for surveillance applications
CN111612113A (zh) 防疫管控方法、装置、***、存储介质以及处理器
CN206272770U (zh) 一种车辆和人脸卡口***
CN109214276A (zh) 一种基于人脸识别技术的目标人员轨迹跟踪的***及方法
CN105913037A (zh) 基于人脸识别与射频识别的监控跟踪***
US8130774B2 (en) Object tracking method and system
CN108875466A (zh) 基于人脸识别的监控方法、监控***与存储介质
CN103258191A (zh) 基于人脸识别的小区门禁***
CN112818854A (zh) 一种应用于校园安防的全天候视频寻人方法
CN108540751A (zh) 基于视频与电子设备标识的监控方法、装置及***
CN110348348A (zh) 一种参建人员进场身份快速识别方法及预警***
CN108540756A (zh) 基于视频与电子设备标识的识别方法、装置及***
CN112949396A (zh) 一种景区寻找同游人员的自适应方法
TW202117587A (zh) 人物追蹤系統及人物追蹤方法
CN102244769B (zh) 物件及其关键人监控***与方法
CN110324589A (zh) 一种旅游景区的监控***与方法
CN114419092A (zh) 一种基于国产cpu环境的人员运动轨迹追踪回溯方法及***
CN107945323B (zh) 一种基于智慧校园的安防方法
CN111553264B (zh) 一种适用于中小学生的校园非安全行为检测及预警方法
CN112132057A (zh) 一种多维身份识别方法及***
CN112601054B (zh) 摄像画面的采集方法及装置、存储介质、电子设备
US11869245B2 (en) Monitoring device, monitoring system, method, computer program and machine-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant