CN111556294B - 安全监测方法、装置、服务器、终端及可读存储介质 - Google Patents

安全监测方法、装置、服务器、终端及可读存储介质 Download PDF

Info

Publication number
CN111556294B
CN111556294B CN202010394039.1A CN202010394039A CN111556294B CN 111556294 B CN111556294 B CN 111556294B CN 202010394039 A CN202010394039 A CN 202010394039A CN 111556294 B CN111556294 B CN 111556294B
Authority
CN
China
Prior art keywords
video image
image
information
crowd density
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010394039.1A
Other languages
English (en)
Other versions
CN111556294A (zh
Inventor
唐梦云
罗剑
涂思嘉
唐艳平
孙利
颜小云
冷鹏宇
黄湘琦
陈泳君
刘水生
甘祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010394039.1A priority Critical patent/CN111556294B/zh
Publication of CN111556294A publication Critical patent/CN111556294A/zh
Application granted granted Critical
Publication of CN111556294B publication Critical patent/CN111556294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种安全监测方法、装置、服务器、终端及可读存储介质,属于计算机技术领域。该方法包括:将第一目标场所的多个第一视频图像,分别输入至少两种第一图像识别模型,基于输出的至少两个人群密度信息确定目标图像识别模型,将多个第二视频图像输入目标图像识别模型,根据该至少一个第二视频图像的人群密度信息,确定第一安全监测信息。本申请通过根据至少两种第一图像识别模型对监测初期所获取到的视频图像进行处理,以得到多个模型确定的人群密度信息,并基于上述确定的人群密度信息来进行目标图像识别模型的选择,可以为后续监测过程选择更适合第一目标场所的模型,进而可以自适应的提高人群密度信息的准确性,提高安全性。

Description

安全监测方法、装置、服务器、终端及可读存储介质
技术领域
本申请涉及计算机技术领域,特别涉及一种安全监测方法、装置、服务器、终端及可读存储介质。
背景技术
现如今,病毒的种类越来越多,变异能力也越来越强。大多数病毒均可以通过呼吸道、飞沫、唾液等进行传播,传染性极高,给人们的健康造成了极大的威胁。在公共环境中,人们可以通过佩戴口罩、保证一定的间隔距离等方式来进行防护,进而有效抑制病毒的传播,保证自身及他人的安全。然而,仍有很多人不注意防护,因此需要安全管理人员对公共环境中人群的防护情况,如人群聚集情况进行监督,以便及时对异常情况进行管理。
目前在对人群聚集情况进行检测时,主要是通过神经网络模型,对监控***所采集的监控图像进行识别,识别出监控图像中的人头,进而根据识别出的结果确定该监控图像中的人群密度,并根据人群密度的大小将聚集的人头显示为不同的颜色,以便安全管理人员确定人群聚集情况,在人群聚集较多时及时进行疏导。
在上述实现过程中,通过对人头进行检测来确定人群密度,很可能出现遮挡问题,被遮挡的人头无法被识别到,进而导致确定出的人群密度不准确,安全监测的准确性较低。
发明内容
本申请实施例提供了一种安全监测方法、装置、服务器、终端及可读存储介质,可以提高安全监测的准确性。该技术方案如下:
一方面,提供了一种安全监测方法,该方法包括:
获取第一目标场所的至少一个第一视频图像;
将该至少一个第一视频图像,分别输入至少两种第一图像识别模型,输出该至少一个第一视频图像的至少两个人群密度信息,该至少两种第一图像识别模型分别基于人的不同元素对视频图像中的人进行识别;
基于该至少两个人群密度信息,确定目标图像识别模型,该目标图像识别模型为输出人群密度信息满足目标条件的模型;
将该第一目标场所的至少一个第二视频图像输入该目标图像识别模型,输出该至少一个第二视频图像的人群密度信息,该至少一个第二视频图像的拍摄时间位于该至少一个第一视频图像的拍摄时间之后;
根据该至少一个第二视频图像的人群密度信息,确定第一安全监测信息,该第一安全监测信息用于指示该第一目标场所的人群聚集情况。
一方面,提供了一种安全监测方法,该方法包括:
显示安全监测界面,该安全监测界面包括人群聚集展示选项,该人群聚集展示选项用于提供至少一个场所的人群聚集展示功能;
响应于对该人群聚集展示选项的触发操作,获取该至少一个场所的第一图像,该第一图像通过不同标注方式区分显示该场所的人群密度信息;
显示该至少一个场所的第一图像。
一方面,提供了一种安全监测装置,该装置包括:
第一获取模块,用于获取第一目标场所的至少一个第一视频图像;
模型处理模块,用于将该至少一个第一视频图像,分别输入至少两种第一图像识别模型,输出该至少一个第一视频图像的至少两个人群密度信息,该至少两种第一图像识别模型分别基于人的不同元素对视频图像中的人进行识别;
模型确定模块,用于基于该至少两个人群密度信息,确定目标图像识别模型,该目标图像识别模型为输出人群密度信息满足目标条件的模型;
该模型处理模块,还用于将该第一目标场所的至少一个第二视频图像输入该目标图像识别模型,输出该至少一个第二视频图像的人群密度信息,该至少一个第二视频图像的拍摄时间位于该至少一个第一视频图像的拍摄时间之后;
第一信息确定模块,用于根据该至少一个第二视频图像的人群密度信息,确定第一安全监测信息,该第一安全监测信息用于指示该第一目标场所的人群聚集情况。
在一种可能的实现方式中,该模型处理模块,用于将该至少一个第一视频图像,输入至人头检测模型,通过该人头检测模型确定该至少一个第一视频图像中的人头位置,根据该人头位置,确定该至少一个第一视频图像中的人群密度信息;
该模型处理模块,用于将该至少一个第一视频图像,输入至行人检测模型,通过该行人监测模型确定该至少一个第一视频图像中的行人位置,根据该行人位置,确定该至少一个第一视频图像中的人群密度信息;
该模型处理模块,用于将该至少一个第一视频图像,输入至人群密度估计模型,通过该人群密度估计模型,确定该至少一个第一视频图像的人群密度图,根据该人群密度图,确定该至少一个第一视频图像中的人群密度信息。
在一种可能的实现方式中,该模型处理模块,用于若至少两个人头位置对应的人群密度信息满足预设条件,则输出该至少两个人头位置对应的人群密度信息,若该至少两个人头位置对应的人群密度信息不满足预设条件,则基于与该至少两个人头位置满足预设距离条件的下一个人头位置,确定该至少两个人头位置和该下一个人头位置对应的人群密度信息。
在一种可能的实现方式中,该模型处理模块,用于若至少两个行人位置对应的人群密度信息满足预设条件,则输出该至少两个行人位置对应的人群密度信息,若该至少两个行人位置对应的人群密度信息不满足预设条件,则基于与该至少两个行人位置满足预设距离条件的下一个行人位置,确定该至少两个行人位置和该下一个行人位置对应的人群密度信息。
在一种可能的实现方式中,该至少一个第一视频图像携带校验标签;
该装置还包括:
第一检测模块,用于对获取到的视频图像携带的标签进行检测;
第一图像确定模块,用于若检测到获取到的视频图像携带该校验标签,则确定获取到的视频图像为该第一视频图像,执行将该至少一个第一视频图像,分别输入至少两种第一图像识别模型,输出该至少一个第一视频图像的至少两个人群密度信息的步骤。
在一种可能的实现方式中,该装置还包括:
第二图像确定模块,用于若检测到获取到的视频图像未携带该校验标签,则确定获取到的视频图像为该第二视频图像,执行将该第一目标场所的至少一个第二视频图像输入该目标图像识别模型,输出该至少一个第二视频图像的人群密度信息的步骤。
在一种可能的实现方式中,该装置还包括:
解析模块,用于对接收到的视频图像进行解析;
添加模块,用于对解析得到的第一数量的视频图像添加校验标签,得到该至少一个第一视频图像,对时序上位于该第一数量的视频图像之后的第二数量的视频图像不添加校验标签,得到该至少一个第二视频图像。
在一种可能的实现方式中,该装置还包括:
第二检测模块,用于对该第一安全监测信息进行检测;
第一发出模块,用于若检测到该第一安全监测信息满足第一告警条件,则发出第一告警信息,该第一告警信息用于指示该第一目标场所发生人群聚集。
在一种可能的实现方式中,该装置还包括:
第二获取模块,用于获取第二目标场所的视频图像;
第一识别模块,用于若该第二目标场所为目标类型场所,通过第二图像识别模型对该视频图像进行识别,确定该视频图像中未佩戴口罩的人;
标注模块,用于对该视频图像中未佩戴口罩的人进行标注;
第二信息确定模块,用于根据该视频图像未佩戴口罩的人的数量,确定第二安全监测信息,该第二安全监测信息用于指示该第二目标场未佩戴口罩的人的数量。
在一种可能的实现方式中,该识别模块,用于通过该第二图像识别模型中的人脸检测模型,确定该视频图像中的人脸区域,截取该视频图像中的人脸区域,得到至少一个人脸图像,通过该第二图像识别模型中的分类模型对该至少一个人脸图像进行识别,确定该人脸图像对应的人是否佩戴口罩。
在一种可能的实现方式中,该装置还包括:
第三检测模块,用于对该第二安全监测信息进行检测;
第二发出模块,用于若检测到该第二安全监测信息满足第二告警条件,则发出第二告警信息,该第二告警信息用于指示该第二目标场所有人未佩戴口罩。
在一种可能的实现方式中,该装置还包括:
第三获取模块,用于获取第三目标场所的视频图像;
第二识别模块,用于对该第三目标场所的视频图像进行识别,得到该第三目标场所中不同场所单元的排队信息。
在一种可能的实现方式中,该装置还包括:
第四获取模块,用于获取第三目标场所中不同场所单元的视频图像;
第三识别模块,用于对该不同场所单元的视频图像进行识别,得到该第三目标场所中不同场所单元的已承载比例信息。
一方面,提供了一种安全监测装置,该装置包括:
界面显示模块,用于显示安全监测界面,该安全监测界面包括人群聚集展示选项,该人群聚集展示选项用于提供至少一个场所的人群聚集展示功能;
第一获取模块,用于响应于对该人群聚集展示选项的触发操作,获取该至少一个场所的第一图像,该第一图像通过不同标注方式区分显示该场所的人群密度信息;
第一图像显示模块,用于显示该至少一个场所的第一图像。
在一种可能的实现方式中,该第一获取模块,用于向服务器发送第一图像获取请求,该第一图像获取请求携带该至少一个场所的场所标识,接收该服务器发送的该第一图像。
在一种可能的实现方式中,该安全监测界面还包括口罩检测选项,该口罩检测选项用于提供至少一个场所的人员口罩佩戴情况展示功能;
该装置还包括:
第二获取模块,用于响应于对该人群聚集展示选项的触发操作,获取该至少一个场所的第二图像,该第二图像通过不同标注方式区分显示该场所中人是否佩戴口罩;
第二图像显示模块,用于显示该至少一个场所的第二图像。
在一种可能的实现方式中,该第二获取模块,用于向服务器发送第二图像获取请求,该第二图像获取请求携带该至少一个场所的场所标识,接收该服务器发送的该第二图像。
在一种可能的实现方式中,该装置还包括:
第一信息显示模块,用于响应于对第三目标场所的人群聚集展示指令,显示该第三目标场所中不同场所单元的排队信息,该排队信息用于表示该场所单元中排队人员的聚集情况。
在一种可能的实现方式中,该装置还包括:
第一发送模块,用于向服务器发送排队信息获取请求,该排队信息获取请求携带该第三目标场所的场所标识;
第一接收模块,用于接收该服务器发送的该排队信息。
在一种可能的实现方式中,该装置还包括:
第二信息显示模块,用于响应于对第三目标场所的人群聚集展示指令,显示该第三目标场所中不同场所单元内的已承载比例信息,该已承载比例信息用于表示该场所单元的已承载人数占可承载人数总数的比例。
在一种可能的实现方式中,该装置还包括:
第二发送模块,用于向服务器发送已承载比例信息获取请求,该已承载比例信息获取请求携带该第三目标场所的场所标识;
第二接收模块,用于接收该服务器发送的该已承载比例信息。
一方面,提供了一种服务器,该服务器包括一个或多个处理器和一个或多个存储器,该一个或多个存储器中存储有至少一条程序代码,该程序代码由该一个或多个处理器加载并执行以实现该安全监测方法所执行的操作。
一方面,提供了一种终端,该终端包括一个或多个处理器和一个或多个存储器,该一个或多个存储器中存储有至少一条程序代码,该程序代码由该一个或多个处理器加载并执行以实现该安全监测方法所执行的操作。
一方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该程序代码由处理器加载并执行以实现该安全监测方法所执行的操作。
本申请提供的方案将获取到的第一目标场所的多个第一视频图像,分别输入至少两种第一图像识别模型,基于输出的至少两个人群密度信息确定目标图像识别模型,将第一目标场所的多个第二视频图像输入目标图像识别模型,输出多个第二视频图像的人群密度信息,根据该至少一个第二视频图像的人群密度信息,确定第一安全监测信息。本申请通过根据至少两种第一图像识别模型对监测初期所获取到的视频图像进行处理,以得到多个模型所确定的人群密度信息,并基于上述确定的人群密度信息来进行目标图像识别模型的选择,可以为后续监测过程选择更适合第一目标场所的模型,进而可以自适应的提高人群密度信息的准确性,提高安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种安全监测方法的实施环境示意图;
图2是本申请实施例提供的一种安全监测方法的流程图;
图3是本申请实施例提供的一种安全监测方法的流程图;
图4是本申请实施例提供的一种安全监测方法的流程图;
图5是本申请实施例提供的一种视频图像的标签添加结果示意图;
图6是本申请实施例提供的一种确定人群密度信息的算法流程图;
图7是本申请实施例提供的一种安全监测方法的流程图;
图8是本申请实施例提供的一种口罩检测过程的技术流程图;
图9是本申请实施例提供的一种安全监测方法的流程图;
图10是本申请实施例提供的一种安全监测界面的示意图;
图11是本申请实施例提供的一种安全监测方法的流程图;
图12是本申请实施例提供的一种口罩佩戴情况总览界面的示意图;
图13是本申请实施例提供的一种口罩佩戴情况展示界面的示意图;
图14是本申请实施例提供的一种口罩佩戴情况展示界面的示意图;
图15是本申请实施例提供的一种安全监测方法的流程图;
图16是本申请实施例提供的一种排队情况总览界面的示意图;
图17是本申请实施例提供的一种排队情况展示界面的示意图;
图18是本申请实施例提供的一种安全监测方法的流程图;
图19是本申请实施例提供的一种电梯拥挤情况展示界面的示意图;
图20是本申请实施例提供的一种安全监测***的架构图;
图21是本申请实施例提供的一种***实现流程图;
图22是本申请实施例提供的一种安全监测装置的结构示意图;
图23是本申请实施例提供的一种安全监测装置的结构示意图;
图24是本申请实施例提供的一种终端的结构示意图;
图25是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、三维(Three-Dimensional,3D)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
智能安防:替代传统安防的被动防御,实现事前智能预警、事中及时告警、事后高效追溯,解决传统视频监控***被动人防、低效检索的现状。
损失函数:用来评价模型的预测值和真实值不一样的程度,损失函数越好,通常模型的性能越好。
神经网络:是一种模仿生物神经网络的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。
ROI区域:感兴趣区域(Region Of Interest),机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。
物联网(Internet Of Things,IoT)技术:是互联网、传统电信网等的信息承载体,让所有能行使独立功能的普通物体实现互联互通的网络。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。例如,腾讯即视是一套智能安防视频监控解决方案,也可以简称为即视,通过与物联设备平台对接,结合AI视觉分析能力,实现事前智能预警、事中及时告警、事后高效追溯,相对传统视频监控***被动人防、低效检索的现状,即视将管理过程由被动为主动,由低效往高效的趋势进行产品设计。在智慧楼宇、智慧医疗、智慧社区等众多安防场景中,即视可根据人身安全、场域安防、高效追溯等实际的场景诉求,灵活组合所需的AI算法,切实解决不同场景所面临的难题,从而实现风险预警与智能运营。
本申请提供的方案涉及人工智能云服务的图像识别等技术,具体通过如下实施例进行说明:
图1是本申请实施例提供的一种安全监测方法的实施环境示意图,参见图1,该实施环境包括:终端101和服务器102。
终端101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端101以及服务器102可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。终端101可以接收服务器102发送的告警信息,并基于接收到的告警信息对安全管理人员进行提示。终端101上可以安装并运行有相关的安全监测软件,也即是,客户端,安全管理人员在接收到告警信息后,可以打开安全监测软件,通过在终端101的可视化界面上触发告警信息对应的按钮,来对安全监测结果进行查看。可选地,安全管理人员还可以在任意时刻打开安全监测软件,通过在终端101的可视化界面上触发相应的按钮,来主动查看该按钮对应的安全监测情况。
终端101可以泛指多个终端中的一个,本实施例仅以终端101来举例说明。本领域技术人员可以知晓,上述终端的数量可以更多或更少。比如上述终端可以仅为一个,或者上述终端为几十个或几百个,或者更多数量,本申请实施例对终端的数量和设备类型不加以限定。
服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102可以实时获取不同的目标场所中的视频图像,通过不同的图像识别模型来对获取到的视频图像进行识别,根据识别出的结果,确定相应的安全监测信息。服务器102以及终端101可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。服务器102还可以对安全监测信息进行检测,在安全监测信息满足告警条件时,生成告警信息,进而将告警信息发送给终端101,来对安全管理人员进行提示。可选地,上述服务器的数量可以更多或更少,本申请实施例对此不加以限定。当然,服务器102还可以包括其他功能服务器,以便提供更全面且多样化的服务。
图2是本申请实施例提供的一种安全监测方法的流程图,参见图2,应用于服务器,该方法包括:
201、获取第一目标场所的至少一个第一视频图像。
需要说明的是,该第一目标场所可以为办公区域、商场、游乐场、居民区中的待监控区域等,本申请实施例对此不加以限定,该第一目标场所中可以设置有至少一个摄像头,用于采集第一目标场所中的视频图像。采集到的第一目标场所中的视频图像可以包括至少一个第一视频图像和至少一个第二视频图像,该第一视频图像可以携带校验标签。
其中,该至少一个第一视频图像可以是基于上述摄像头所采集到的视频数据解析得到的视频图像,在下文中出现的视频图像也可以均为基于视频数据解析得到的视频图像,本申请实施例对具体解析过程不做限定。
202、将该至少一个第一视频图像,分别输入至少两种第一图像识别模型,输出该至少一个第一视频图像的至少两个人群密度信息,该至少两种第一图像识别模型分别基于人的不同元素对视频图像中的人进行识别。
需要说明的是,该第一图像识别模型可以基于人的元素对视频图像中的人进行识别。例如,该第一图像识别模型可以基于人头、人的整个身体等来对视频图像中的人进行识别。可选地,该第一图像识别模型还可以基于其他元素来对人进行识别,本申请实施例对此不加以限定。
203、基于该至少两个人群密度信息,确定目标图像识别模型,该目标图像识别模型为输出人群密度信息满足目标条件的模型。
需要说明的是,该目标条件可以为人群密度信息最大,可选地,该目标条件还可以为其他类型,本申请实施例对此不加以限定。
204、将该第一目标场所的至少一个第二视频图像输入该目标图像识别模型,输出该至少一个第二视频图像的人群密度信息,该至少一个第二视频图像的拍摄时间位于该至少一个第一视频图像的拍摄时间之后。
205、根据该至少一个第二视频图像的人群密度信息,确定第一安全监测信息,该第一安全监测信息用于指示该第一目标场所的人群聚集情况。
本申请实施例提供的方案,通过根据至少两种第一图像识别模型对监测初期所获取到的视频图像进行处理,以得到至少一个模型所确定的人群密度信息,并基于上述确定的人群密度信息来进行目标图像识别模型的选择,可以为后续监测过程选择更适合第一目标场所的模型,进而可以自适应的提高人群密度信息的准确性,提高安全性。
图3是本申请实施例提供的一种安全监测方法的流程图,参见图3,应用于终端,该方法包括:
301、显示安全监测界面,该安全监测界面包括人群聚集展示选项,该人群聚集展示选项用于提供至少一个场所的人群聚集展示功能。
302、响应于对该人群聚集展示选项的触发操作,获取该至少一个场所的第一图像,该第一图像通过不同标注方式区分显示该场所的人群密度信息。
303、显示该至少一个场所的第一图像。
本申请实施例提供的方案,通过在终端的可视化界面上对安全监测界面进行显示,以便安全管理人员可以在该安全监测界面上触发人群聚集展示选项,来对至少一个场所的第一图像进行显示,可以帮助安全管理人员直观地看到各个场所中的人群聚集情况,以便及时对人群聚集情况进行处理,保障各个场所的安全。
图4是本申请实施例提供的一种安全监测方法的流程图,参见图4,该方法包括:
401、服务器获取第一目标场所的视频数据,对该视频数据进行解码,得到至少一个视频图像。
在一种可能的实现方式中,服务器可以获取设置于第一目标场所中的摄像头采集到的视频数据,对获取到的视频数据进行解码,得到至少一个视频图像,也即是,至少一个视频帧。
需要说明的是,服务器在对获取到的视频数据进行解码时,可以将解析得到的至少一个视频图像划分为校验区和预测区,通过由服务器自行发起对校验区和预测区中视频图像的处理,从而使得在后续过程中可以基于校验区的视频图像来找到适用于预测区的视频图像的图像识别模型。下面,对该处理过程进行介绍:在一种可能实现方式中,上述校验区和预测区的划分过程通过服务器为解码得到的至少一个视频图像选择性的添加校验标签来实现,该校验标签用于指示该视频图像为第一视频图像,也即是,校验图像,而未添加标签的视频图像即可以作为第二视频图像,也即是,预测图像。该第一视频图像可以用于选择适合当前第一目标场所的目标图像识别模型,也即是,人群密度预测算法,该第二视频图像可以应用目标图像识别模型对当前第一目标场所进行人群密度估计,并直接将目标图像识别模型确定出的人群密度信息作为预测结果,无需运行其他模型。
在一种可能实现方式中,服务器在为解码得到的至少一个视频图像添加校验标签的过程包括:服务器对解析得到的第一数量的视频图像添加校验标签,得到第一视频图像,再对时序上位于该第一数量的视频图像之后的第二数量的视频图像不添加标签,将该第二数量的视频图像作为第二视频图像。
在一种可能实现方式中,上述校验标签的添加过程可以分时段启动,例如,服务器设置多个启动时间,从而在***时间到达某一启动时间后,则开始对解析得到的视频图像进行添加校验标签的处理过程,在对第一数量的视频图像添加了校验标签后,则停止添加校验标签,从而使得服务器可以自动基于场景上可能的明暗变化、人群密度变化等来进行自动的标签添加,为后续的模型选择提供数据基础,以达到自适应调整识别准确率的目的。
在一种可能方式中,上述添加过程可以连续重复多次,也即是,标签的添加是交替性进行,在对第一数量的视频图像和第二数量的视频图像进行上述处理后,再对后续的第一数量的视频图像和第二数量的视频图像进行同理处理,依此类推,不断重复上述处理过程。例如,图5是本申请实施例提供的一种视频图像的标签添加结果示意图,参见图5,服务器对从摄像头501获取到的视频数据解码时,交替性地对解码得到的视频图像进行校验标签的添加,得到至少一个视频图像502,其中,第0个到第5个视频图像添加了校验标签,即为第一视频图像,第6个到第i-1个视频图像未添加校验标签,即为第二视频图像,第i个到第i+5个视频图像添加了校验标签,即为第一视频图像,i可以为大于7的任意整数值。
需要说明的是,上述第一数量和第二数量的具体取值可以根据具体场景人群密度变化周期来设定,若人群密度变化周期较短,则可以设置第一数量的取值大于第二数量的取值,若人群密度变化周期较长,则可以设置第一数量的取值小于第二数量的取值,本申请实施例对第一数量的取值和第二数量的取值均不加以限定,但在一般情况下,第一视频图像的数量小于第二视频图像的数量,也即是,第一数量的取值小于第二数量的取值。通过根据具体场景人群密度变化周期来设定第一视频图像和第二视频图像的数量,可以在保证确定出的模型适合当前场景的前提下,减少服务器的处理压力,提高人群密度信息的确定速度,进而可以提高安全监测效率。
在一种可能方式中,服务器可以每隔预设时长,对第一数量(也即是添加校验标签的视频图像的数量)的取值进行调整,以适应不同时间段的人群密度变化情况,进而可以保证确定出的目标图像识别模型准确性较高,从而提高安全性。
需要说明的是,服务器可以在接收到视频图像后,先对所有的视频图像进行处理,实现校验标签的选择性添加,进而基于添加完标签的视频图像,来进行第一视频图像和第二视频图像的获取。可选地,服务器还可以在接收到视频图像后,逐个对视频图像选择性的添加校验标签,每处理完一个视频图像,就根据其是否携带校验标签,来检测该视频图像是第一视频图像还是第二视频图像,进而根据检测结果将其输入对应的模型,再通过与上述过程同理的步骤继续处理下一个视频图像,本申请实施例对具体采用哪种方式不加以限定。
402、服务器对获取到的视频图像携带的标签进行检测,根据检测结果,执行对应的步骤。
需要说明的是,第一视频图像携带校验标签,而第二视频图像不携带校验标签,因此服务器可以对获取到的视频图像携带的标签进行检测,根据视频图像是否携带校验标签,来确定获取到的视频图像是第一视频图像还是第二视频图像,进而执行相应的步骤。
403、若检测到获取到的视频图像携带校验标签,则服务器确定获取到的视频图像为该第一视频图像。
404、服务器将该至少一个第一视频图像,分别输入至少两种第一图像识别模型,输出该至少一个第一视频图像的至少两个人群密度信息,该至少两种第一图像识别模型分别基于人的不同元素对视频图像中的人进行识别。
需要说明的是,该服务器中可以预先存储有多种第一图像识别模型,用于对第一视频图像进行识别。例如,该第一图像识别模型可以为人头检测模型、行人检测模型和人群密度估计模型,可选地,该第一图像识别模型还可以为其他类型,本申请实施例对此不加以限定。
其中,通过第一图像识别模型对第一视频图像进行识别可以包括下述三种实现方式:
在一种可能的实现方式中,服务器可以将该至少一个第一视频图像,输入至人头检测模型,通过该人头检测模型确定该至少一个第一视频图像中的人头位置,根据该人头位置,确定该至少一个第一视频图像中的人群密度信息。
其中,在根据人头位置确定第一视频图像中的人群密度信息时,该人头检测模型通过对第一视频图像进行处理,以识别出第一视频图像中的各个人头位置,若至少两个人头位置对应的人群密度信息满足预设条件,则输出该至少两个人头位置对应的人群密度信息;若该至少两个人头位置对应的人群密度信息不满足预设条件,则基于与该至少两个人头位置满足预设距离条件的下一个人头位置,确定该至少两个人头位置和该下一个人头位置对应的人群密度信息。该预设条件可以为人群密度信息大于预设阈值,该预设阈值可以为任意取值,可选地,该预设条件还可以为其他条件,本申请实施例对预设阈值的取值和预设条件的类型均不加以限定。
需要说明的是,上述基于人头的检测方法适用于人员密度较大、人体部分遮挡较严重的情况。在上述实现过程中,该人头检测模型可以使用单阶段目标检测算法(RetinaNet)、高精度实时人脸检测器(FaceBoxes)等人头或人脸检测算法,可选地,该人头检测模型还可以采用其他算法,本申请实施例对此不加以限定。
在另一种可能的实现方式中,服务器可以将该至少一个第一视频图像,输入至行人检测模型,通过该行人监测模型确定该至少一个第一视频图像中的行人位置,根据该行人位置,确定该至少一个第一视频图像中的人群密度信息。
其中,在根据行人位置确定第一视频图像中的人群密度信息时,该行人检测模型通过对第一视频图像进行处理,以识别出第一视频图像中的各个行人位置,若至少两个行人位置对应的人群密度信息满足预设条件,则输出该至少两个行人位置对应的人群密度信息;若该至少两个行人位置对应的人群密度信息不满足预设条件,则基于与该至少两个行人位置满足预设距离条件的下一个行人位置,确定该至少两个行人位置和该下一个行人位置对应的人群密度信息。该预设条件可以为人群密度信息大于预设阈值,该预设阈值可以为任意取值,可选地,该预设条件还可以为其他条件,本申请实施例对预设阈值的取值和预设条件的类型均不加以限定。
需要说明的是,上述基于行人的检测方法适用于人员较稀疏、没有严重身体遮挡的场景。由于利用了整个人体的特征,在人员稀疏的场景下,基于行人的检测方法得到的检测结果较基于人头的检测方法得到的检测结果更加精准,但是在人员密集的场景中,由于人体遮挡比较严重,基于行人的检测方法可能会出现漏检的情况,检测结果准确性较低。在上述实现过程中,该行人检测模型可以使用基于快速区域的卷积神经网络(Fast Region-Convolutional Neural Networks,Fast R-CNN)、基于更快区域的卷积神经网络(FasterRegion-Convolutional Neural Networks,Faster R-CNN)、基于掩膜的卷积神经网络(Mask Region-Convolutional Neural Networks,Mask R-CNN)、实时目标检测(You OnlyLook Once,YOLO)、RetinaNet等目标检测算法,可选地,该行人检测模型还可以采用其他算法,本申请实施例对此不加以限定。
在另一种可能的实现方式中,服务器可以将该至少一个第一视频图像,输入至人群密度估计模型,通过该人群密度估计模型,确定该至少一个第一视频图像的人群密度图,根据该人群密度图,确定该至少一个第一视频图像中的人群密度信息。
需要说明的是,上述基于人群密度图的检测方法通过学习图像的局部特征和其相应密度图之间的映射关系来进行人群密度信息的确定,在处理过程中加入了图像的空间信息,检测结果准确性较高,但是这种方法迁移性较差,对于一些场景检测效果较差,如室外场景等。在上述实现过程中,该人群密度估计模型可以使用多列卷积神经网络(Multi-Column Convolutional Neural Network,MCNN)、决策网络(DecideNet,DENet)等算法,可选地,该人群密度估计模型还可以采用其他算法,本申请实施例对此不加以限定。
其中,上述三种方式可以任意组合进行使用,例如,服务器可以通过其中任意两种方式来进行人群密度信息的确定,还可以通过上述三种方式来进行人群密度信息的确定,本申请实施例对此不加以限定。通过根据至少两种第一图像识别模型对监测初期所获取到的视频图像进行处理,以得到至少一个模型确定的人群密度信息,并基于上述确定的人群密度信息来进行目标图像识别模型的选择,可以为后续监测过程选择更适合第一目标场所的模型,进而可以自适应的提高人群密度信息的准确性,提高安全性。
需要说明的是,服务器可以逐个对该至少一个第一视频图像进行处理,每处理完一个第一视频图像,服务器可以对当前处理完的第一视频图像进行检测,若检测到该第一视频图像是最后一个第一视频图像,则服务器可以直接执行下述步骤405;若检测到该第一视频图像不是最后一个第一视频图像,则服务器可以继续对下一个第一视频图像进行处理,直至处理完最后一个第一视频图像,再执行下述步骤405。
405、服务器基于该至少两个人群密度信息,确定目标图像识别模型,该目标图像识别模型为输出人群密度信息满足目标条件的模型。
需要说明的是,若步骤404仅确定出了一个第一视频图像的至少两种人群密度信息,则服务器可以直接基于这个第一视频图像的至少两个人群密度信息,将输出的人群密度信息满足目标条件的第一图像识别模型确定为目标图像识别模型,该目标条件可以为目标图像识别模型输出的人群密度信息大于其他第一图像识别模型输出的人群密度信息,可选地,该目标条件还可以为其他条件,本申请实施例对此不加以限定。若步骤404确定出了至少一个第一视频图像的至少两种人群密度信息,则服务器可以统计各个第一视频图像的至少两个人群密度信息,按照各个人群密度信息对应的第一图像识别模型,计算各个第一图像识别模型确定出的至少一个人群密度的平均值,作为平均人群密度信息,将平均人群密度信息满足目标条件的第一图像识别模型确定为目标图像识别模型,该目标条件可以为目标图像识别模型的平均人群密度信息大于其他第一图像识别模型的平均人群密度信息,可选地,该目标条件还可以为其他条件,本申请实施例对此不加以限定。
通过选定输出人群密度信息满足目标条件的第一图像识别模型作为目标图像识别模型,属于一种人群致密假设策略,通过这种人群致密假设策略,可以减少漏检情况,提高确定出的人群密度信息的准确性,进而可以提高安全性。此外,通过统计每个第一图像识别模型确定出的各个第一视频图像的平均人群密度信息,进而可以基于各个第一图像识别模型的平均人群密度信息,来进行目标图像识别模型的确定,使得确定出的目标图像识别模型的准确性较高,提高安全监测效率。
406、若检测到获取到的视频图像未携带该校验标签,则服务器确定获取到的视频图像为该第二视频图像,该至少一个第二视频图像的拍摄时间位于该至少一个第一视频图像的拍摄时间之后。
需要说明的是,该至少一个第一视频图像和该至少一个第二视频图像对应于一个监测时间段的两个不同时间段,且该至少一个第二视频图像的拍摄时间位于该至少一个第一视频图像的拍摄时间之后。
407、服务器将该第一目标场所的至少一个第二视频图像输入该目标图像识别模型,输出该至少一个第二视频图像的人群密度信息。
其中,该目标图像识别模型可以为人头检测模型、行人检测模型、人群密度估计模型中任意一种,可选地,该目标图像识别模型还可以为其他类型的第一图像识别模型,本申请实施例对此不加以限定。该目标图像识别模型更适合第二视频图像所对应的场景,因而,通过目标图像识别模型确定出的人群密度信息较为准确,提高了安全性。
需要说明的是,上述步骤401至步骤407可以参见图6,图6是本申请实施例提供的一种确定人群密度信息的算法流程图,服务器可以通过步骤601获取到的视频数据进行解析,得到至少一个视频图像,通过步骤602对当前视频图像是否为第一视频图像进行判断,若当前视频图像为第一视频图像,则执行步骤603,通过多种第一图像识别模型预测人群密度信息,通过步骤604统计各个第一图像识别模型的预测结果,进而通过步骤605对当前视频图像是否为最后一个第一视频图像进行判断,若当前视频图像是最后一个第一视频图像,则直接基于当前视频图像的人群密度信息来进行目标图像识别模型的确定,若当前视频图像不是最后一个第一视频图像,则继续处理下一个第一视频图像,直至最后一个第一视频图像处理完成,根据平均人群密度信息确定目标图像识别模型,以便通过步骤608至步骤609,在当前视频图像不是第一视频图像时,运行基于第一视频图像选择的目标图像识别模型,来进行第二视频图像的人群密度信息的确定,得到人群密度信息。
408、服务器根据该至少一个第二视频图像的人群密度信息,确定第一安全监测信息,该第一安全监测信息用于指示该第一目标场所的人群聚集情况。
需要说明的是,在确定出第一安全监测信息之后,服务器还可以对该第一安全监测信息进行检测,若检测到该第一安全监测信息满足第一告警条件,则发出第一告警信息,该第一告警信息用于指示该第一目标场所发生人群聚集。具体地,服务器可以该第一安全监测信息满足第一告警条件时,生成指示该第一目标场所发生人群聚集的第一告警信息,并将该第一告警信息发送给终端,通过终端对该第一告警信息进行提示。
其中,该第一告警条件可以为人群密度信息大于预设阈值,该预设阈值可以为任意取值,本申请实施例对此不加以限定。在一些可能实现方式中,还可以设置有不同等级的第一告警条件,例如,可以将人群密度信息大于10人设置为告警即将拥挤的条件,人群密度信息大于20人设置为告警比较拥挤的条件,人群密度信息大于30人设置为告警非常拥挤的条件。可选地,该第一告警条件还可以为其他类型的条件,本申请实施例对此不加以限定。该第一告警信息中还可以包括采集第二视频图像的摄像头的位置信息以及第二视频图像的采集时间信息,以便安全管理人员可以直接根据第一告警信息确定出发生人员聚集情况的地点和时间,进而可以保证安全管理人员可以快速疏散聚集人员,降低病毒传播的可能性,提高第一目标场所的安全性。
由于人群聚集的场景复杂,包括室内、室外、白天、夜晚、S型队列、Z型队列等多种或简单或复杂的场景,同一种第一图像识别模型难以适用于所有的人群聚集场景,而且同一摄像头下不同时间段的人群密度变化可能较大(如食堂排队场景,吃饭时间段人群密度较大,其他时间段人群密度很小),或受光照、遮挡等其他环境因素影响,同一摄像头不同时间段适用的第一图像识别模型可能有所不同,因此本申请实施例提供的方案,通过根据至少两种第一图像识别模型对监测初期所获取到的视频图像进行处理,以得到至少一个模型确定的人群密度信息,并基于上述确定的人群密度信息来进行目标图像识别模型的选择,可以为后续监测过程选择更适合第一目标场所的模型,进而可以自适应的提高人群密度信息的准确性,提高安全性。此外,本申请实施例提供的方案,可以根据至少一个第二视频图像的人群密度信息,确定第一安全监测信息,进而根据第一安全监测信息来提示安全管理人员第二视频图像中的人群聚集情况,无需安全管理人员根据第二视频画面自行进行判断,实现管理过程由被动变为主动,提高安全监测效率,而且可以节约人力资源,让有限的人力资源发挥更大的功用。
图7是本申请实施例提供的一种安全监测方法的流程图,参见图7,该方法包括:
701、服务器获取第二目标场所的视频图像。
在一种可能的实现方式中,服务器可以获取设置于第二目标场所中的摄像头采集到的视频数据,并对视频数据进行解码,得到第二目标场所的视频图像。
702、若该第二目标场所为目标类型场所,则服务器通过第二图像识别模型中的人脸检测模型,确定该视频图像中的人脸区域。
需要说明的是,该目标类型场所可以为必须佩戴口罩的场所,可选地,该目标类型场所还可以为其他类型的场所,本申请实施例对此不加以限定。该视频图像可以携带第二目标场所的场所类型信息,服务器可以对第二目标场所的场所类型信息进行检测,来确定该第二目标场所是否为目标类型场所。
在一种可能的实现方式中,若该第二目标场所为目标类型场所,则服务器可以将该视频图像输入该第二图像识别模型中的人脸检测模型,通过该人脸检测模型的卷积层,提取该视频图像的特征图,通过该人脸检测模型的采样层,对该视频图像的特征图进行采样,得到该视频图像的特征图的卷积特征,通过该人脸检测模型的全连接层,根据该卷积特征确定该视频图像中的人脸区域。
其中,该人脸检测模型可以为FaceBoxes、RetinaNet、多任务卷积神经网络(Multi-Task Convolutional Neural Network,MTCNN)等,可选地,该人脸检测模型还可以为其他类型的神经网络模型,本申请实施例对此不加以限定。由于在对该初始进行训练来获取人脸检测模型时,短时间内难以获取到大量戴口罩的样本图像,导致戴口罩的样本图像较少,而不戴口罩的样本图像较多,因而可以对不同类别的样本图像设置不同的权重,并基于样本图像的情况对权重进行动态调整,使得戴口罩的样本图像的权重较大,而不戴口罩的样本图像的权重较小,使得初始模型可以快速聚焦在戴口罩的样本图像上,提高模型训练效果,进而可以提高人脸检测模型的识别准确性。
需要说明的是,图8是本申请实施例提供的一种口罩检测过程的技术流程图,参见图8,该人脸检测模型可以采用金字塔式模型801,进而可以提取出不同粒度的特征图,进而可以基于不同粒度的卷积特征,通过步骤802实现对不同大小人脸的有效检测及识别,有效解决监控摄像头角度下的画面中人脸尺度变化大的问题,提高人脸识别的准确性,进而可以提高安全性。
703、服务器截取该视频图像中的人脸区域,得到至少一个人脸图像。
需要说明的是,参见图8,服务器可以根据检测到的人脸区域,从视频图像中截取人脸区域803至807。通过将人脸区域截取出来,再对是否佩戴口罩进行识别,可以提高识别结果的准确性,进而可以提高安全监测的准确性。
704、服务器通过该第二图像识别模型中的分类模型对该至少一个人脸图像进行识别,确定该人脸图像对应的人是否佩戴口罩。
在一种可能的实现方式中,服务器可以将该至少一个人脸图像,逐个输入该第二图像识别模型中的分类模型,通过该分类模型的卷积层,提取该人脸图像的特征图,通过该分类模型的采样层,对该人脸图像的特征图进行采样,得到该人脸图像的特征图的卷积特征,通过该分类模型的全连接层,根据该卷积特征确定该人脸图像中对应的人是否佩戴口罩的标志。参见图8,服务器可以将截取到的人脸区域803至807逐个输入分类模型808,实现对是否佩戴口罩的识别。
需要说明的是,该分类模型可以为残差网络(Residual Network,ResNet)、多尺寸卷积(Inception)网络、深度可分离卷积(Xception)网络,可选地,该分类模型还可以为其他类型的神经网络模型,本申请实施例对此不加以限定。
705、服务器确定该视频图像中未佩戴口罩的人,对该视频图像中未佩戴口罩的人进行标注。
在一种可能的实现方式中,服务器可以根据该人脸图像中对应的人是否佩戴口罩的标志,来确定该视频图像中未佩戴口罩的人,进而对该视频图像中未佩戴口罩的人进行标注。例如,可以将该视频图像中未佩戴口罩的人用方框进行标注,参见图8,该图中809所示即为用方框的方式对未佩戴口罩的人进行标注的结果。可选地,还可以采用其他方式来对该视频图像中未佩戴口罩的人进行标注,本申请实施例对此不加以限定。
706、服务器根据该视频图像未佩戴口罩的人的数量,确定第二安全监测信息,该第二安全监测信息用于指示该第二目标场未佩戴口罩的人的数量。
需要说明的是,在确定出第二安全监测信息之后,服务器还可以对该第二安全监测信息进行检测,若检测到该第二安全监测信息满足第二告警条件,则发出第二告警信息,该第二告警信息用于指示该第二目标场所有人未佩戴口罩。具体地,服务器可以在该第二安全监测信息满足第二告警条件时,生成指示该第二目标场所有人未佩戴口罩的第二告警信息,并将该第二告警信息发送给终端,通过终端对该第二告警信息进行提示。
其中,该第二告警条件可以为视频图像中有被标注的人脸区域,可选地,该第二告警条件还可以为其他类型的条件,本申请实施例对此不加以限定。该第二告警信息中还可以包括采集到该视频图像的摄像头的位置信息、采集到该视频图像的时间信息以及未戴口罩的人的人脸图像,以便安全管理人员可以直接根据第二告警信息确定出发现未戴口罩的人的时间以及未戴口罩的人的地点,进而可以保证安全管理人员可以及时对未戴口罩的人进行管理,降低病毒传播的可能性,提高第二目标场所的安全性。
本申请实施例提供的方案,通过检测视频图像中的口罩佩戴情况,可以根据该视频图像未佩戴口罩的人的数量,确定第二安全监测信息,进而根据第二安全监测信息来提示安全管理人员视频图像中有人未佩戴口罩的情况,无需安全管理人员根据视频画面自行进行判断,实现管理过程由被动变为主动,提高安全监测效率,而且可以节约人力资源,让有限的人力资源发挥更大的功用。对第二目标场所中的其他人员来说,口罩检测可以减少未戴口罩造成的病毒、飞沫传染,有效增强个体之间的隔离性,保障大家的安全。
图9是本申请实施例提供的一种安全监测方法的流程图,参见图9,该方法包括:
901、终端显示安全监测界面,该安全监测界面包括人群聚集展示选项,该人群聚集展示选项用于提供至少一个场所的人群聚集展示功能。
在一种可能的实现方式中,安全管理人员可以在终端的可视化界面中对客户端进行触发,终端可以响应于该触发操作,打开客户端,并对该客户端的安全监测界面进行显示,参见图10,图10是本申请实施例提供的一种安全监测界面的示意图,该安全监测界面中提供了人群聚集展示选项和口罩检测选项两种功能入口。
902、终端响应于对该人群聚集展示选项的触发操作,获取该至少一个场所的第一图像,该第一图像通过不同标注方式区分显示该场所的人群密度信息。
在一种可能的实现方式中,安全管理人员可以在安全监测界面上触发人群聚集展示选项,以触发人群聚集展示指令,终端可以响应于该人群聚集展示指令,获取至少一个场所的第一图像。
需要说明的是,该获取可以是指向服务器发送携带场所标识的第一图像获取请求,由服务器响应于该第一图像获取请求,实时采集场所标识所指示场所的至少一个视频图像,从而通过上述步骤201至204的步骤,从而确定图像中的人群密度信息,服务器可以基于人群密度信息对视频图像进行标注,以生成第一图像,并将第一图像反馈给终端进行显示。当然,该服务器还可以将人群密度信息和视频图像发送给终端,由终端基于人群密度信息对视频图像进行标注,以生成第一图像。
其中,对于第一图像中不同人群密度信息对应的显示区域可以采用不同颜色的标注框来进行区分显示,还可以采用不同颜色的覆盖图层来进行区分显示,本申请实施例对此不作限定。例如,对于人群密度信息大于或等于预设阈值的情况下,在该第一图像中,可以采用红色色块来对相应区域进行覆盖显示,对于人群密度信息小于预设阈值的情况下,在该第一图像中,可以采用绿色色块来对相应区域进行覆盖显示,又或者,对于人群密度信息小于预设阈值的情况下,在该第一图像中,可以采用绿色色块来覆盖在对应人头位置。
903、终端显示该至少一个场所的第一图像。
需要说明的是,上述过程可以由安全管理人员在接收到第一告警信息后,在终端的可视化界面上进行操作来实现,还可以由安全管理人员根据实际情况,在终端的可视化界面上进行操作来实现,本申请实施例对此不加以限定。
本申请实施例提供的方案,通过在终端的可视化界面上对安全监测界面进行显示,以便安全管理人员可以在该安全监测界面上触发人群聚集展示选项,来对至少一个场所的第一图像进行显示,可以帮助安全管理人员直观地看到各个场所中的人群聚集情况,以便及时对人群聚集情况进行处理,保障各个场所的安全。
图11是本申请实施例提供的一种安全监测方法的流程图,参见图11,该方法包括:
1101、终端显示安全监测界面,该安全监测界面包括口罩检测选项,该口罩检测选项用于提供至少一个场所的人员口罩佩戴情况展示功能。
需要说明的是,该步骤1101与上述步骤901同理,此处不再赘述。
1102、终端响应于对该口罩检测选项的触发操作,获取该至少一个场所的第二图像,该第二图像通过不同标注方式区分显示该场所中人是否佩戴口罩。
在一种可能的实现方式中,安全管理人员可以在安全监测界面上触发口罩检测选项,以触发口罩检测指令,终端可以响应于该口罩检测指令,获取至少一个场所的第二图像。
需要说明的是,该获取可以是指向服务器发送携带场所标识的第二图像获取请求,由服务器响应于该第二图像获取请求,实时采集场所标识所指示场所的至少一个视频图像,从而通过上述步骤701至705的步骤,从而确定图像中未佩戴口罩的人,服务器可以对图像中未佩戴口罩的人进行标注,以生成第二图像,并将第二图像反馈给终端进行显示。当然,该服务器还可以将未佩戴口罩的人脸图像和视频图像发送给终端,由终端基于未佩戴口罩的人脸图像对视频图像进行标注,以生成第二图像。
其中,对于第二图像中未佩戴口罩的人可以采用标注框来进行区分显示。例如,可以在该第二图像中,采用红色方框来对未佩戴口罩的人进行标注,而采用绿色方框对佩戴有口罩的人进行标注。可选地,还可以在该第二图像中,仅采用红色方框来对未佩戴口罩的人进行标注,而对佩戴有口罩的人不进行标注,本申请实施例对此不加以限定。
在上述步骤1102中,终端响应于对该口罩检测选项的触发操作,直接获取不同场所的第二图像进行直观显示,例如,在一个显示界面中,显示至少一个场所的第二图像的缩略显示区域,若检测到用户对任一缩略显示区域的触发操作后,则显示该场所的第二图像。而在另一种可能实现方式中,终端可以响应于对该口罩检测选项的触发操作,显示口罩佩戴情况总览界面,该口罩佩戴总览展示界面中包括各个楼层中的警示等级信息,该警示等级信息可以根据各个楼层中的口罩佩戴情况确定。可选地,该口罩佩戴总览展示界面中还可以对该楼层中未佩戴口罩的人数进行显示,以便安全管理人员更加直观地看到每个楼层的口罩佩戴情况,提高安全监测效率。例如,参见图10所示的安全监测界面,安全管理人员可以通过触发该图10中的口罩检测选项1002,来触发口罩检测指令,终端可以响应于该口罩检测指令,跳转到如图12所示的口罩佩戴情况总览界面,参见图12,图12是本申请实施例提供的一种口罩佩戴情况总览界面的示意图,该图直观地展示了各个楼层的口罩佩戴情况,该口罩佩戴情况总览界面中各个楼层对应的口罩佩戴情况按钮1201至1206均可被安全管理人员触发,以跳转到对应楼层的口罩佩戴情况展示界面。例如,图12中28楼和36楼存在未佩戴口罩的告警情况,对于28楼未佩戴口罩的告警情况,安全管理人员可以触发28楼对应的口罩佩戴情况按钮1201,终端可以响应于该触发操作,跳转到如图12所示的口罩佩戴情况展示界面,参见图13,图13是本申请实施例提供的一种口罩佩戴情况展示界面的示意图。安全管理人员还可以触发其他未告警楼层对应的口罩佩戴情况按钮,来查看对应楼层的口罩佩戴情况。例如,安全管理人员可以触发30楼对应的口罩佩戴情况按钮1302,终端可以响应于该触发操作,跳转到如图14所示的口罩佩戴情况展示界面,参见图14,图14是本申请实施例提供的一种口罩佩戴情况展示界面的示意图。
其中,该警示等级信息可以根据服务器通过第二图像识别模型识别出的未佩戴口罩的人数进行设置,例如,若某个楼层中有未佩戴口罩的人,则服务器可以将该楼层的警示等级信息设置为告警等级,若某个楼层中没有未佩戴口罩的人,则服务器可以将该楼层的警示等级信息设置为正常等级,进而可以将该警示等级信息发送给终端,通过终端的可视化界面对其进行显示。通过上述直观的显示方式,可以使得用户能够对当前各个场所的情况有直观的认识,有助于迅速发现不合规的场所,从而达到提高监测准确性以及安全性的目的。
1103、终端显示该至少一个场所的第二图像。
在一种可能的实现方式中,终端可以在口罩佩戴情况展示界面中对获取到的第二图像进行显示,该口罩佩戴情况展示界面中可以包括对应楼层的口罩佩戴情况信息和该楼层的监控画面。例如,终端可以在如图13所示的口罩佩戴情况展示界面中,对获取到的28楼的监控画面1301进行展示,以直接展示出28楼当前未佩戴口罩的人的情况,在监控画面1301中,未佩戴口罩的人用方框被标注出来,可以方便安全管理人员进行查看,提高安全监测效率。而对于没有未佩戴口罩的人的第二图像,终端可以在如图14所示的口罩佩戴情况展示界面中,直接将30楼的视频监控画面1401展示在该口罩佩戴情况展示界面上。
需要说明的是,上述过程可以由安全管理人员在接收到第二告警信息后,在终端的可视化界面上进行操作来实现,还可以由安全管理人员根据实际情况,在终端的可视化界面上进行操作来实现,本申请实施例对此不加以限定。
本申请实施例提供的方案,通过在终端的可视化界面上对安全监测界面进行显示,以便安全管理人员可以在该安全监测界面上触发口罩检测选项,来对至少一个场所的第二图像进行显示,可以帮助安全管理人员直观地看到各个场所中的口罩佩戴情况,以便及时对有人未佩戴口罩的情况进行处理,保障各个场所的安全。
图15是本申请实施例提供的一种安全监测方法的流程图,参见图15,该方法包括:
1501、终端显示安全监测界面,该安全监测界面包括人群聚集展示选项,该人群聚集展示选项用于提供至少一个场所的人群聚集展示功能。
在一种可能的实现方式中,安全管理人员可以在终端的可视化界面中对客户端进行触发,终端可以响应于该触发操作,打开客户端,并对该客户端的安全监测界面进行显示,安全管理人员可以在该安全监测界面中对人群聚集展示选项进行触发,以触发对第三目标场所的人群聚集展示指令。例如,参见图10,图10是本申请实施例提供的一种安全监测界面的示意图,该安全监测界面中提供了人群聚集展示选项1001和口罩检测选项1002两种功能入口,安全管理人员可以通过触发人群聚集展示选项1001,以触发对第三目标场所的人群聚集展示指令。
1502、终端响应于对第三目标场所的人群聚集展示指令,显示该第三目标场所中不同场所单元的排队信息,该排队信息用于表示该场所单元中排队人员的聚集情况。
在一种可能的实现方式中,终端可以响应于对第三目标场所的人群聚集指令,向服务器发送排队信息获取请求,该排队信息获取请求中携带第三目标场所的场所标识,服务器接收到排队信息获取请求,可以获取该第三目标场所的视频图像,并对获取到的视频图像进行识别,得到该第三目标场所中不同场所单元的排队信息,并将该排队信息发送给终端,以便终端对该排队信息进行显示。在另一种可能的实现方式中,服务器可以实时采集第三目标场所的视频图像,并实时对采集到的视频图像进行识别,并对识别得到的不同场所单元的排队信息进行缓存,终端响应于对第三目标场所的人群聚集指令向服务器发送排队信息获取请求后,服务器可以响应于接收到的排队信息获取请求,获取缓存的排队信息,并将该排队信息发送给终端,以便终端对该排队信息进行显示。
在一种可能实现方式中,第三目标场所为电梯间,而第三目标场所中的不同场所单元为各台电梯,相应的,不同场所单元的排队信息为不同电梯对应的排队人数。对于电梯来说,各台电梯可以对应于相同的停靠楼层或不同的停靠楼层,本申请实施例对此不作限定,以各台电梯仅能停靠某一楼层为例,则终端可以响应于对第三目标场所的人群聚集展示指令,跳转到排队情况总览界面,该排队情况总览界面中可以包括各个楼层对应电梯的排队情况所属的流量等级,各个楼层对应电梯的流量等级是服务器根据该电梯的排队人数和不同的流量等级对应的人数区间确定的。例如,可以将小于10人排队的情况设置为流量正常,大于10人小于20人排队的情况设置为即将拥挤,大于20人小于30人排队的情况设置为比较拥挤,大于30人排队的情况设置为非常拥挤,并根据各个楼层的实际情况,在排队情况总览界面对各个楼层对应的流量等级进行展示。例如参见图16,图16是本申请实施例提供的一种排队情况总览界面的示意图,该排队情况总览界面可以对各个楼层对应电梯的排队情况所属的流量等级进行展示,在图16中,将小于10人排队的42楼、36楼、33楼和30楼对应电梯的等级显示为流量正常,将大于10人小于20人排队的39楼对应电梯的等级显示为即将拥挤。
其中,该排队情况总览界面可以参见图16,图16是本申请实施例提供的一种排队情况总览界面的示意图,该图直观地展示了各个楼层对应电梯的排队情况,该排队情况总览界面中各个楼层对应的电梯的排队人数按钮1601至1605均可被安全管理人员触发,以跳转到对应楼层的电梯的排队情况展示界面。例如,安全管理人员可以触发39楼的电梯对应的人群密度信息按钮1602,终端可以响应于该触发操作,跳转到如图17所示的排队情况展示界面,参见图17,图17是本申请实施例提供的一种排队情况展示界面的示意图。终端可以在排队情况展示界面中对获取到的第一图像进行显示。例如,终端可以在如图17所示的排队情况展示界面中,对获取到的39楼对应的电梯的第一图像1701进行展示,以便安全管理人员对39楼对应的电梯当前的排队情况进行查看。
本申请实施例提供的方案,通过在终端的可视化界面上对安全监测界面进行显示,以便安全管理人员可以在该安全监测界面上触发人群聚集展示选项,来对第三目标场所中各个场所单元的排队信息进行显示,可以帮助安全管理人员直观地看到各个场所单元的排队情况,以便及时对排队人数较多的场所单元进行人员疏散,保障各个场所的安全。
图18是本申请实施例提供的一种安全监测方法的流程图,参见图18,该方法包括:
1801、终端显示安全监测界面,该安全监测界面包括人群聚集展示选项,该人群聚集展示选项用于提供至少一个场所的人群聚集展示功能。
需要说明的是,该步骤1801与上述步骤1501同理,此处不再赘述。
1802、终端响应于对第三目标场所的人群聚集展示指令,显示该第三目标场所中不同场所单元内的已承载比例信息,该已承载比例信息用于表示该场所单元的已承载人数占可承载人数总数的比例。
在一种可能的实现方式中,终端可以响应于对第三目标场所的人群聚集指令,向服务器发送已承载比例信息获取请求,该已承载比例信息获取请求中携带第三目标场所的场所标识,服务器接收到已承载比例信息获取请求,可以获取该不同场所单元的视频图像,并对获取到的视频图像进行识别,得到该第三目标场所中不同场所单元的已承载比例信息,并将该已承载比例信息发送给终端,以便终端对该已承载比例信息进行显示。在另一种可能的实现方式中,服务器可以实时采集第三目标场所的不同场所单元的视频图像,并实时对采集到的视频图像进行识别,并对识别得到的不同场所单元的已承载比例信息进行缓存,终端响应于对第三目标场所的人群聚集指令向服务器发送已承载比例信息获取请求后,服务器可以响应于接收到的已承载比例信息获取请求,获取缓存的已承载比例信息,并将该已承载比例信息发送给终端,以便终端对该已承载比例信息进行显示。
在一种可能实现方式中,第三目标场所为电梯间,而第三目标场所中的不同场所单元为各台电梯,相应的,不同场所单元的已承载比例信息为不同电梯中已承载人数占可承载人数总数的比例,则针对该实现方式,终端可以响应于对第三目标场所的人群聚集展示指令,跳转到电梯拥挤情况展示界面,该电梯拥挤情况展示界面中可以包括各个电梯已承载人数占该电梯可承载人数总数的比例,各个电梯已承载人数可以由服务器对该电梯中的视频图像识别得到,服务器可以自行获取该电梯可承载人数总数,进而确定该电梯的已承载比例信息,并将该已承载比例信息发送给终端,终端可以将接收到的已承载比例信息显示在电梯拥挤情况展示界面中。
其中,该电梯拥挤情况展示界面参见图19,图19是本申请实施例提供的一种电梯拥挤情况展示界面的示意图,该电梯拥挤情况展示界面可以对1号电梯1901、2号电梯1902、3号电梯1903、4号电梯1904、5号电梯1905和6号电梯1906的拥挤情况,也即是,各个电梯中已承载的人数占电梯可承载人数总数的比例进行显示,安全管理人员可以根据该界面展示的情况,对显示的百分比较高的电梯中的人员进行疏散,降低病毒传播的可能性,提高电梯的安全性。
本申请实施例提供的方案,通过在终端的可视化界面上对安全监测界面进行显示,以便安全管理人员可以在该安全监测界面上触发人群聚集展示选项,来对第三目标场所中各个场所单元的已承载比例信息进行显示,可以帮助安全管理人员直观地看到各个场所单元中的人员承载情况,以便及时对承载人数较多的场所单元进行人员疏散,保障各个场所的安全。
需要说明的是,图9至图19对应的实施例中的各个界面的功能,可以结合到一个应用程序中实现,以便为安全管理人员提供一个功能全面的安全监测应用程序,方便安全管理人员更加有效地对各个场所中的情况进行监测,提高安全监测的效率。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
在一些实施例中,服务器对场所的视频图像进行人脸识别,得到人员身份信息,并将该人员身份信息、场所以及对应视频图像对应存储,从而可以对人员所到过的场所进行可视化记录,一旦出现需要追踪人员行动路径的需求,则可以基于人员身份信息,查询该人员所到过的场所,进而还可以查询到与该人员处于同一场所的其他人员的人员身份信息。为了提高追踪的准确性,服务器还可以调取对应视频图像,进而确定与该人员身份信息对应的人接触过的人。
上述所有可选技术方案,均可以通过一个安全监测***实现,该安全监测***的设计理念可以大致划分为前端接入设计、告警设计以及算法模块设计三部分,各部分的具体设计如下:
前端接入设计:运行于终端的客户端支持即时通讯软件账号接入和扫描二维码方式登陆超文本标记语言5(Hyper Text Markup Language5,H5)页面等多种接入方式。不同的终端能实现的功能可能有所不同,例如,安全管理人员可以通过个人计算机(PersonalComputer,PC)客户端查看各摄像头实时预览、历史回顾视频,智能布防(其中包括禁区监控、人群聚集、徘徊检测、火灾检测、跌倒检测、人脸识别、口罩检测等AI算法,PC客户端通过获取图形处理器(Graphics Processing Unit,GPU)算法服务注册的服务动态展示智能算法及支持路数),智能分析(人员轨迹回溯、视频数据压缩等功能),管理中心(摄像头设备管理、角色管理以及***管理),告警中心(处理各种智能告警信息等功能);安全管理人员还可以通过手机客户端定制化需求查看各个摄像头实时预览、历史回放,查看告警信息(本文包括算法检测到的人群聚集告警的热力图和口罩检测告警等)。
告警设计:通过IoT接入平台服务器将摄像头设备接入到IoT接入平台层,并将接入的摄像头注册成可接入设备。同样将AI算法GPU服务器接入平台并注册成GPU算法服务。运行于终端的客户端获取IoT接入平台服务器的接入设备和GPU算法服务器信息,通过创建任务AI算法任务的方式绑定摄像头设备与GPU服务器。然后IoT接入平台服务器将该摄像头的数据推送给对应的GPU服务器,接收到摄像头视频数据的GPU算法服务器通过计算将检测结果返回给IoT接入平台服务器,IoT接入平台服务器通过不同的检测策略生成告警,并将告警数据推送并展示给运行于终端的客户端。同样,IoT接入平台服务器可以将客户电话/微信设置为告警推送管理员,以电话/短信/微信消息的形式推送告警。
算法模块设计:算法服务器可以提供多种GPU算法服务,其中包括禁区监控、人群聚集、徘徊检测、火灾检测、跌倒检测、人脸识别、口罩检测等,本申请主要涉及的人脸检测算法和口罩检测算法将以模块的形式提供服务。GPU算法服务器提供算法安装包文件安装并开启算法服务,通过配置文件动态修改所需或客户定制算法服务。***提供代理(Agent)服务,多台GPU算法服务器与Agent服务器通信,Agent服务器提供IoT接入平台服务器与GPU算法服务器的数据传输转发。数据传输转发的过程可以为:(1)Agent服务器接收IoT接入平台服务器的算法服务请求;(2)Agent服务器查询所管理的全部GPU服务器是否能够提供该算法服务请求对应的算法服务,并返回查询结果;(3)Agent服务器返回查询结果,如果可以提供算法服务,则进入步骤(4),否则进入步骤(5);(4)Agent服务器从IoT接入平台服务器拉取视频数据,并将视频数据转发给对应的GPU服务器,以提供GPU算法服务并保持服务状态;(5)Agent服务器告知IoT接入平台服务器无法提供GPU算法服务,结束请求。
在具体实现过程中,可以通过图20所示的安全监测***上述三部分的设计,参见图20,图20是本申请实施例提供的一种安全监测***的架构图,该安全监测***包括:用户展示层2001、功能层2002、AI算法层2003和IoT接入平台层2004。
用户展示层2001,负责为终端用户提供客户端功能,用于进行包括人群聚集展示选项和口罩检测选项的安全监测界面的显示,还可以响应于用户对人群聚集展示选项的触发操作,获取至少一个场所的第一图像,并对第一图像进行显示,还可以响应于用户对口罩检测选项的触发操作,获取至少一个场所的第二图像,并对第二图像进行显示。该用户展示层2001还可以提供终端设备的管理功能,还可以响应于管理用户的任务创建请求,创建智能检测任务等。
功能层2002包括功能应用层、后台工程层和算法分析层。功能应用层为用户展示层2001提供多种功能,具体可以包括实时预览、历史回放、智能布防、智能分析、设备管理、告警管理等多种功能。后台工程层负责将接入IoT接入平台层2004的设备注册成本地服务,通过创建任务将注册的设备和算法分析层中的AI算法绑定,使得AI算法可以对设备数据流进行实时监测,算法分析层中包括多种AI算法,用于调用AI算法层中对应的算法模块,来对设备数据流进行处理。
AI算法层2003包括智能算法服务管理、禁区监控模块、火灾监控模块、人群聚集模块、徘徊检测模块、跌倒检测模块、口罩检测模块,可选地,该AI算法层2003中还可以包括其他模块,本申请实施例对此不加以限定。智能算法服务管理负责将AI算法服务接入IoT接入平台层2004,IoT接入平台层2004使用其算法服务并将对应设备的数据流导入给相应的算法模块,如禁区监控模块、火灾监控模块、人群聚集模块、徘徊检测模块、跌倒检测模块、口罩检测模块等,算法模块处理后会将结果返回给IoT接入平台层2004。
IoT接入平台层2004包括设备接入层、设备管理层、通知渠道层和多个智能设备。设备接入层负责将IoT设备、传感器设备等多个智能设备接入平台并对其进行管理,设备管理层负责将IoT设备/传感器的数据传输给上层服务,同时,上层对设备数据处理后的结果返回给IoT接入平台层2004,通知渠道层负责根据结果选择性的将结果以短信/即时通信等方式通知给安全管理人员。
需要说明的是,上述AI算法层2003所提供的仅是一个AI资源池,运行于终端的客户端可以修改、扩展自己的算法任务,AI算法层可以根据运行于终端的客户端的修改而动态修改AI算法服务。此外,IoT接入平台层还可以接入更多智能设备,包括烟雾传感器、深度摄像头以及光感传感器等,以此来辅助AI检测算法,实现对不同场景下检测精度的提高。
通过上述安全监测***的设计,本申请可以实现非接触式远程监测,结合AI技术对海量信息进行分析,达到精准风险预警与响应,搭建一个智能监测与告警平台,提供如上述实施例所述的多种AI安全监测模式,以便为各种场所提供高效、高准确率的安全监测措施,有效降低病毒传播几率,保证安全性。其中,密集人群监测告警的过程,通过利用机器学习,检测目标场所的人群聚众情况,判断是否存在人群异常聚集情况,一旦发现人群异常聚集情况,即触发告警推送给监控中心,方便管理人员快速疏散聚集人员,降低病毒传播可能性。而在对某些场所进行监测时,可以通过电子围栏技术实现,也即是,设定禁区,监测是否有人员的异常进入,如没有穿戴特定衣着的人员进入或者在非指定时间进入等情况。如果发现异常情况发出告警,并通知安全管理人员进行处置。当然,基于视频监测还可以实现特定场景的回溯,通过留存指定场所、人群的相关数据,可以快速回溯、查找相关人员,在疾控场景下,能够发现B类人群(无意中接触到感染者人群),采取相应处置措施,降低2B类人群(无意接触B类人群的被感染人群)产生的可能性。在出现传染源情况下,可以减少核查时所需的人工数量,降低人工接触传染源的可能性,从而有效抑制病毒传播,确保更多人的人身安全。
在实际实现过程中,该安全监测***中各部分可以通过如图21所示的方式,来实现本申请提供的方案,图21是本申请实施例提供的一种示例性的***实现流程图,参见图21,该***包括:运行于终端的客户端2101、后台服务器2102、IoT接入平台服务器2103、视频网关服务器2104、摄像头设备2105至2107、通用服务器2108、算法服务器2109至2111。通过后台服务器2102、IoT接入平台服务器2103、视频网关服务器2104、通用服务器2108、算法服务器2109至2111之间的交互,即可以实现上述步骤201至步骤205以及步骤401至步骤407所述的安全监测方法。
具体实现过程如下:(1)运行于终端的客户端2101可以连接到后台服务器2102,例如,运行于终端的客户端可以通过PC或手机连接到后台服务器2102。(2)后台服务器2102连接IoT接入平台服务器2103,获取摄像头设备信息。(3)摄像头设备2105至2107(还可以包括其他一些智能设备)通过视频网关服务器2104接入IoT接入平台服务器2103,并在IoT接入平台服务器2103中注册服务。(4)当运行于终端的客户端2101发起AI服务任务时,运行于终端的客户端2101可以通过后台服务器2102向IoT接入平台服务器2103发起设备服务请求,IoT接入平台服务器2103会通知视频网关服务器2102将视频数据推送给算法层的通用服务器2108。(5)通用服务器2108将推送来的视频数据分发给算法服务器2109至2111,进行如上述实施例所提供过程的处理,得到告警信息。该算法服务器可以为视觉处理器(GraphicsProcessing Unit,GPU)服务器等。(6)解析得到的告警信息可以通过通用服务器2108回传给IoT接入平台服务器2103。(7)IoT接入平台服务器2103可以将告警信息通过后台服务器2102回传给运行于终端的客户端2101。
图22是本申请实施例提供的一种安全监测装置的结构示意图,参见图22,该装置包括:
第一获取模块2201,用于获取第一目标场所的至少一个第一视频图像;
模型处理模块2202,用于将该至少一个第一视频图像,分别输入至少两种第一图像识别模型,输出该至少一个第一视频图像的至少两个人群密度信息,该至少两种第一图像识别模型分别基于人的不同元素对视频图像中的人进行识别;
模型确定模块2203,用于基于该至少两个人群密度信息,确定目标图像识别模型,该目标图像识别模型为输出人群密度信息满足目标条件的模型;
该模型处理模块2202,还用于将该第一目标场所的至少一个第二视频图像输入该目标图像识别模型,输出该至少一个第二视频图像的人群密度信息,该至少一个第二视频图像的拍摄时间位于该至少一个第一视频图像的拍摄时间之后;
第一信息确定模块2204,用于根据该至少一个第二视频图像的人群密度信息,确定第一安全监测信息,该第一安全监测信息用于指示该第一目标场所的人群聚集情况。
本申请实施例提供的装置,通过根据至少两种第一图像识别模型对监测初期所获取到的视频图像进行处理,以得到至少一个模型所确定的人群密度信息,并基于上述确定的人群密度信息来进行目标图像识别模型的选择,可以为后续监测过程选择更适合第一目标场所的模型,进而可以自适应的提高人群密度信息的准确性,提高安全性。
在一种可能的实现方式中,该模型处理模块2202,用于将该至少一个第一视频图像,输入至人头检测模型,通过该人头检测模型确定该至少一个第一视频图像中的人头位置,根据该人头位置,确定该至少一个第一视频图像中的人群密度信息;
该模型处理模块2202,用于将该至少一个第一视频图像,输入至行人检测模型,通过该行人监测模型确定该至少一个第一视频图像中的行人位置,根据该行人位置,确定该至少一个第一视频图像中的人群密度信息;
该模型处理模块2202,用于将该至少一个第一视频图像,输入至人群密度估计模型,通过该人群密度估计模型,确定该至少一个第一视频图像的人群密度图,根据该人群密度图,确定该至少一个第一视频图像中的人群密度信息。
在一种可能的实现方式中,该模型处理模块2202,用于若至少两个人头位置对应的人群密度信息满足预设条件,则输出该至少两个人头位置对应的人群密度信息,若该至少两个人头位置对应的人群密度信息不满足预设条件,则基于与该至少两个人头位置满足预设距离条件的下一个人头位置,确定该至少两个人头位置和该下一个人头位置对应的人群密度信息。
在一种可能的实现方式中,该模型处理模块2202,用于若至少两个行人位置对应的人群密度信息满足预设条件,则输出该至少两个行人位置对应的人群密度信息,若该至少两个行人位置对应的人群密度信息不满足预设条件,则基于与该至少两个行人位置满足预设距离条件的下一个行人位置,确定该至少两个行人位置和该下一个行人位置对应的人群密度信息。
在一种可能的实现方式中,该至少一个第一视频图像携带校验标签;
该装置还包括:
第一检测模块,用于对获取到的视频图像携带的标签进行检测;
第一图像确定模块,用于若检测到获取到的视频图像携带该校验标签,则确定获取到的视频图像为该第一视频图像,执行将该至少一个第一视频图像,分别输入至少两种第一图像识别模型,输出该至少一个第一视频图像的至少两个人群密度信息的步骤。
在一种可能的实现方式中,该装置还包括:
第二图像确定模块,用于若检测到获取到的视频图像未携带该校验标签,则确定获取到的视频图像为该第二视频图像,执行将该第一目标场所的至少一个第二视频图像输入该目标图像识别模型,输出该至少一个第二视频图像的人群密度信息的步骤。
在一种可能的实现方式中,该装置还包括:
解析模块,用于对接收到的视频图像进行解析;
添加模块,用于对解析得到的第一数量的视频图像添加校验标签,得到该至少一个第一视频图像,对时序上位于该第一数量的视频图像之后的第二数量的视频图像不添加校验标签,得到该至少一个第二视频图像。
在一种可能的实现方式中,该装置还包括:
第二检测模块,用于对该第一安全监测信息进行检测;
第一发出模块,用于若检测到该第一安全监测信息满足第一告警条件,则发出第一告警信息,该第一告警信息用于指示该第一目标场所发生人群聚集。
在一种可能的实现方式中,该装置还包括:
第二获取模块,用于获取第二目标场所的视频图像;
识别模块,用于若该第二目标场所为目标类型场所,通过第二图像识别模型对该视频图像进行识别,确定该视频图像中未佩戴口罩的人;
标注模块,用于对该视频图像中未佩戴口罩的人进行标注;
第二信息确定模块,用于根据该视频图像未佩戴口罩的人的数量,确定第二安全监测信息,该第二安全监测信息用于指示该第二目标场未佩戴口罩的人的数量。
在一种可能的实现方式中,该识别模块,用于通过该第二图像识别模型中的人脸检测模型,确定该视频图像中的人脸区域,截取该视频图像中的人脸区域,得到至少一个人脸图像,通过该第二图像识别模型中的分类模型对该至少一个人脸图像进行识别,确定该人脸图像对应的人是否佩戴口罩。
在一种可能的实现方式中,该装置还包括:
第三检测模块,用于对该第二安全监测信息进行检测;
第二发出模块,用于若检测到该第二安全监测信息满足第二告警条件,则发出第二告警信息,该第二告警信息用于指示该第二目标场所有人未佩戴口罩。
在一种可能的实现方式中,该装置还包括:
第三获取模块,用于获取第三目标场所的视频图像;
第二识别模块,用于对该第三目标场所的视频图像进行识别,得到该第三目标场所中不同场所单元的排队信息。
在一种可能的实现方式中,该装置还包括:
第四获取模块,用于获取第三目标场所中不同场所单元的视频图像;
第三识别模块,用于对该不同场所单元的视频图像进行识别,得到该第三目标场所中不同场所单元的已承载比例信息。
图23是本申请实施例提供的一种安全监测装置的结构示意图,参见图23,该装置包括:
界面显示模块2301,用于显示安全监测界面,该安全监测界面包括人群聚集展示选项,该人群聚集展示选项用于提供至少一个场所的人群聚集展示功能;
第一获取模块2302,用于响应于对该人群聚集展示选项的触发操作,获取该至少一个场所的第一图像,该第一图像通过不同标注方式区分显示该场所的人群密度信息;
第一图像显示模块2303,用于显示该至少一个场所的第一图像。
本申请实施例提供的装置,通过在终端的可视化界面上对安全监测界面进行显示,以便安全管理人员可以在该安全监测界面上触发人群聚集展示选项,来对至少一个场所的第一图像进行显示,可以帮助安全管理人员直观地看到各个场所中的人群密度信息,以便及时对人群聚集情况进行处理,保障各个场所的安全。
在一种可能的实现方式中,该第一获取模块2302,用于向服务器发送第一图像获取请求,该第一图像获取请求携带该至少一个场所的场所标识,接收该服务器发送的该第一图像。
在一种可能的实现方式中,该安全监测界面还包括口罩检测选项,该口罩检测选项用于提供至少一个场所的人员口罩佩戴情况展示功能;
该装置还包括:
第二获取模块,用于响应于对该人群聚集展示选项的触发操作,获取该至少一个场所的第二图像,该第二图像通过不同标注方式区分显示该场所中人是否佩戴口罩;
第二图像显示模块,用于显示该至少一个场所的第二图像。
在一种可能的实现方式中,该第二获取模块,用于向服务器发送第二图像获取请求,该第二图像获取请求携带该至少一个场所的场所标识,接收该服务器发送的该第二图像。
在一种可能的实现方式中,该装置还包括:
第一信息显示模块,用于响应于对第三目标场所的人群聚集展示指令,显示该第三目标场所中不同场所单元的排队信息,该排队信息用于表示该场所单元中排队人员的聚集情况。
在一种可能的实现方式中,该装置还包括:
第一发送模块,用于向服务器发送排队信息获取请求,该排队信息获取请求携带该第三目标场所的场所标识;
第一接收模块,用于接收该服务器发送的该排队信息。
在一种可能的实现方式中,该装置还包括:
第二信息显示模块,用于响应于对第三目标场所的人群聚集展示指令,显示该第三目标场所中不同场所单元内的已承载比例信息,该已承载比例信息用于表示该场所单元的已承载人数占可承载人数总数的比例。
在一种可能的实现方式中,该装置还包括:
第二发送模块,用于向服务器发送已承载比例信息获取请求,该已承载比例信息获取请求携带该第三目标场所的场所标识;
第二接收模块,用于接收该服务器发送的该已承载比例信息。
需要说明的是:上述实施例提供的安全监测装置在监测目标场所的安全性时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将服务器/终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的安全监测装置与安全监测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图24是本申请实施例提供的一种终端的结构示意图。该终端2400可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端2400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端2400包括有:一个或多个处理器2401和一个或多个存储器2402。
处理器2401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器2401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器2401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器2401可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器2401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器2402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器2402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器2402中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器2401所执行以实现本申请中方法实施例提供的安全监测方法。
在一些实施例中,终端2400还可选包括有:***设备接口2403和至少一个***设备。处理器2401、存储器2402和***设备接口2403之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口2403相连。具体地,***设备包括:射频电路2404、显示屏2405、摄像头2406、音频电路2407、定位组件2408和电源2409中的至少一种。
***设备接口2403可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器2401和存储器2402。在一些实施例中,处理器2401、存储器2402和***设备接口2403被集成在同一芯片或电路板上;在一些其他实施例中,处理器2401、存储器2402和***设备接口2403中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路2404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路2404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路2404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路2404包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路2404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路2404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏2405用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏2405是触摸显示屏时,显示屏2405还具有采集在显示屏2405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器2401进行处理。此时,显示屏2405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏2405可以为一个,设置终端2400的前面板;在另一些实施例中,显示屏2405可以为至少两个,分别设置在终端2400的不同表面或呈折叠设计;在再一些实施例中,显示屏2405可以是柔性显示屏,设置在终端2400的弯曲表面上或折叠面上。甚至,显示屏2405还可以设置成非矩形的不规则图形,也即异形屏。显示屏2405可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件2406用于采集图像或视频。可选地,摄像头组件2406包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件2406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路2407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器2401进行处理,或者输入至射频电路2404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端2400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器2401或射频电路2404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路2407还可以包括耳机插孔。
定位组件2408用于定位终端2400的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件2408可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源2409用于为终端2400中的各个组件进行供电。电源2409可以是交流电、直流电、一次性电池或可充电电池。当电源2409包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端2400还包括有一个或多个传感器2410。该一个或多个传感器2410包括但不限于:加速度传感器2411、陀螺仪传感器2412、压力传感器2413、指纹传感器2414、光学传感器2415以及接近传感器2416。
加速度传感器2411可以检测以终端2400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器2411可以用于检测重力加速度在三个坐标轴上的分量。处理器2401可以根据加速度传感器2411采集的重力加速度信号,控制显示屏2405以横向视图或纵向视图进行用户界面的显示。加速度传感器2411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器2412可以检测终端2400的机体方向及转动角度,陀螺仪传感器2412可以与加速度传感器2411协同采集用户对终端2400的3D动作。处理器2401根据陀螺仪传感器2412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器2413可以设置在终端2400的侧边框和/或显示屏2405的下层。当压力传感器2413设置在终端2400的侧边框时,可以检测用户对终端2400的握持信号,由处理器2401根据压力传感器2413采集的握持信号进行左右手识别或快捷操作。当压力传感器2413设置在显示屏2405的下层时,由处理器2401根据用户对显示屏2405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器2414用于采集用户的指纹,由处理器2401根据指纹传感器2414采集到的指纹识别用户的身份,或者,由指纹传感器2414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器2401授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器2414可以被设置终端2400的正面、背面或侧面。当终端2400上设置有物理按键或厂商Logo时,指纹传感器2414可以与物理按键或厂商Logo集成在一起。
光学传感器2415用于采集环境光强度。在一个实施例中,处理器2401可以根据光学传感器2415采集的环境光强度,控制显示屏2405的显示亮度。具体地,当环境光强度较高时,调高显示屏2405的显示亮度;当环境光强度较低时,调低显示屏2405的显示亮度。在另一个实施例中,处理器2401还可以根据光学传感器2415采集的环境光强度,动态调整摄像头组件2406的拍摄参数。
接近传感器2416,也称距离传感器,通常设置在终端2400的前面板。接近传感器2416用于采集用户与终端2400的正面之间的距离。在一个实施例中,当接近传感器2416检测到用户与终端2400的正面之间的距离逐渐变小时,由处理器2401控制显示屏2405从亮屏状态切换为息屏状态;当接近传感器2416检测到用户与终端2400的正面之间的距离逐渐变大时,由处理器2401控制显示屏2405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图24中示出的结构并不构成对终端2400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图25是本申请实施例提供的一种服务器的结构示意图,该服务器2500可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(Central Processing Units,CPU)2501和一个或多个的存储器2502,其中,该一个或多个存储器2502中存储有至少一条程序代码,该至少一条程序代码由该一个或多个处理器2501加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器2500还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器2500还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括程序代码的存储器,上述程序代码可由处理器执行以完成上述实施例中的安全监测方法。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来程序代码相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (37)

1.一种安全监测方法,其特征在于,所述方法包括:
对接收到的第一目标场所的视频图像进行解析;
对解析得到的第一数量的视频图像添加校验标签,得到至少一个第一视频图像,对时序上位于所述第一数量的视频图像之后的第二数量的视频图像不添加校验标签,得到至少一个第二视频图像,其中,当人群密度变化周期小于第一周期阈值时,所述第一数量的取值大于所述第二数量的取值,当所述人群密度变化周期大于第二周期阈值时,所述第一数量的取值小于所述第二数量的取值,所述第一周期阈值小于所述第二周期阈值;
对获取到的视频图像携带的标签进行检测;
若检测到获取到的视频图像携带所述校验标签,确定获取到的视频图像为所述第一视频图像,将所述第一视频图像,分别输入至少两种第一图像识别模型,输出所述第一视频图像的至少两个人群密度信息,所述至少两种第一图像识别模型分别基于人的不同元素对视频图像中的人进行识别;
基于所述至少两个人群密度信息,确定目标图像识别模型,所述目标图像识别模型为输出人群密度信息满足目标条件的模型;
若检测到获取到的视频图像未携带所述校验标签,则确定获取到的视频图像为所述第二视频图像,将所述第二视频图像输入所述目标图像识别模型,输出所述第二视频图像的人群密度信息;
根据所述第二视频图像的人群密度信息,确定第一安全监测信息,所述第一安全监测信息用于指示所述第一目标场所的人群聚集情况。
2.根据权利要求1所述的方法,其特征在于,所述将所述至少一个第一视频图像,分别输入至少两种第一图像识别模型,输出所述至少一个第一视频图像的至少两个人群密度信息包括下述任意至少两项:
将所述至少一个第一视频图像,输入至人头检测模型,通过所述人头检测模型确定所述至少一个第一视频图像中的人头位置,根据所述人头位置,确定所述至少一个第一视频图像中的人群密度信息;
将所述至少一个第一视频图像,输入至行人检测模型,通过所述行人监测模型确定所述至少一个第一视频图像中的行人位置,根据所述行人位置,确定所述至少一个第一视频图像中的人群密度信息;
将所述至少一个第一视频图像,输入至人群密度估计模型,通过所述人群密度估计模型,确定所述至少一个第一视频图像的人群密度图,根据所述人群密度图,确定所述至少一个第一视频图像中的人群密度信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述人头位置,确定所述至少一个第一视频图像中的人群密度信息包括:
若至少两个人头位置对应的人群密度信息满足预设条件,则输出所述至少两个人头位置对应的人群密度信息;
若所述至少两个人头位置对应的人群密度信息不满足预设条件,则基于与所述至少两个人头位置满足预设距离条件的下一个人头位置,确定所述至少两个人头位置和所述下一个人头位置对应的人群密度信息。
4.根据权利要求2所述的方法,其特征在于,所述根据所述行人位置,确定所述至少一个第一视频图像中的人群密度信息包括:
若至少两个行人位置对应的人群密度信息满足预设条件,则输出所述至少两个行人位置对应的人群密度信息;
若所述至少两个行人位置对应的人群密度信息不满足预设条件,则基于与所述至少两个行人位置满足预设距离条件的下一个行人位置,确定所述至少两个行人位置和所述下一个行人位置对应的人群密度信息。
5.根据权利要求1所述的方法,其特征在于,所述根据所述至少一个第二视频图像的人群密度信息,确定第一安全监测信息之后,所述方法还包括:
对所述第一安全监测信息进行检测;
若检测到所述第一安全监测信息满足第一告警条件,则发出第一告警信息,所述第一告警信息用于指示所述第一目标场所发生人群聚集。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第二目标场所的视频图像;
若所述第二目标场所为目标类型场所,通过第二图像识别模型对所述视频图像进行识别,确定所述视频图像中未佩戴口罩的人,对所述视频图像中未佩戴口罩的人进行标注;
根据所述视频图像未佩戴口罩的人的数量,确定第二安全监测信息,所述第二安全监测信息用于指示所述第二目标场未佩戴口罩的人员数量。
7.根据权利要求6所述的方法,其特征在于,所述通过第二图像识别模型对所述视频图像进行识别包括:
通过所述第二图像识别模型中的人脸检测模型,确定所述视频图像中的人脸区域;
截取所述视频图像中的人脸区域,得到至少一个人脸图像;
通过所述第二图像识别模型中的分类模型对所述至少一个人脸图像进行识别,确定所述人脸图像对应的人是否佩戴口罩。
8.根据权利要求6所述的方法,其特征在于,所述根据所述视频图像未佩戴口罩的人的数量,确定第二安全监测信息之后,所述方法还包括:
对所述第二安全监测信息进行检测;
若检测到所述第二安全监测信息满足第二告警条件,则发出第二告警信息,所述第二告警信息用于指示所述第二目标场所有人未佩戴口罩。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第三目标场所的视频图像;
对所述第三目标场所的视频图像进行识别,得到所述第三目标场所中不同场所单元的排队信息。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第三目标场所中不同场所单元的视频图像;
对所述不同场所单元的视频图像进行识别,得到所述第三目标场所中不同场所单元的已承载比例信息。
11.一种安全监测方法,其特征在于,所述方法包括:
显示安全监测界面,所述安全监测界面包括人群聚集展示选项,所述人群聚集展示选项用于提供至少一个场所的人群聚集展示功能;
响应于对所述人群聚集展示选项的触发操作,对接收到的所述至少一个场所的视频图像进行解析;
对解析得到的第一数量的视频图像添加校验标签,得到至少一个第一视频图像,对时序上位于所述第一数量的视频图像之后的第二数量的视频图像不添加校验标签,得到至少一个第二视频图像,当人群密度变化周期小于第一周期阈值时,所述第一数量的取值大于所述第二数量的取值,当所述人群密度变化周期大于第二周期阈值时,所述第一数量的取值小于所述第二数量的取值,所述第一周期阈值小于所述第二周期阈值;
对获取到的视频图像携带的标签进行检测;
若检测到获取到的视频图像携带所述校验标签,确定获取到的视频图像为所述第一视频图像,将所述第一视频图像,分别输入至少两种第一图像识别模型,输出所述第一视频图像的至少两个人群密度信息,所述至少两种第一图像识别模型分别基于人的不同元素对视频图像中的人进行识别;
基于所述至少两个人群密度信息,确定目标图像识别模型,所述目标图像识别模型为输出人群密度信息满足目标条件的模型;
若检测到获取到的视频图像未携带所述校验标签,则确定获取到的视频图像为所述第二视频图像,将所述第二视频图像输入所述目标图像识别模型,输出所述第二视频图像的人群密度信息;
基于所述第二视频图像的人群密度信息对所述第二视频图像进行标注,得到第一图像,所述第一图像通过不同标注方式区分显示所述场所的人群密度信息;
显示所述至少一个场所的第一图像。
12.根据权利要求11所述的方法,其特征在于,所述安全监测界面还包括口罩检测选项,所述口罩检测选项用于提供所述至少一个场所对应楼层的人员口罩佩戴情况展示功能;
响应于对所述口罩检测选项的触发操作,获取所述至少一个场所对应楼层的第二图像,所述第二图像通过不同标注方式区分显示所述场所对应楼层中人是否佩戴口罩;
显示所述至少一个场所对应楼层的第二图像。
13.根据权利要求12所述的方法,其特征在于,所述获取所述至少一个场所对应楼层的第二图像包括:
向服务器发送第二图像获取请求,所述第二图像获取请求携带所述至少一个场所对应楼层的场所标识;
接收所述服务器发送的所述第二图像。
14.根据权利要求11所述的方法,其特征在于,所述方法还包括:
响应于对第三目标场所的人群聚集展示指令,显示所述第三目标场所中不同场所单元的排队信息,所述排队信息用于表示所述场所单元中排队人员的聚集情况。
15.根据权利要求14所述的方法,其特征在于,所述显示所述第三目标场所中不同场所单元的排队信息之前,所述方法还包括:
向服务器发送排队信息获取请求,所述排队信息获取请求携带所述第三目标场所的场所标识;
接收所述服务器发送的所述排队信息。
16.根据权利要求11所述的方法,其特征在于,所述方法还包括:
响应于对第三目标场所的人群聚集展示指令,显示所述第三目标场所中不同场所单元内的已承载比例信息,所述已承载比例信息用于表示所述场所单元的已承载人数占可承载人数总数的比例。
17.根据权利要求16所述的方法,其特征在于,所述显示所述第三目标场所中不同场所单元内的已承载比例信息之前,所述方法还包括:
向服务器发送已承载比例信息获取请求,所述已承载比例信息获取请求携带所述第三目标场所的场所标识;
接收所述服务器发送的所述已承载比例信息。
18.一种安全监测装置,其特征在于,所述装置包括:
解析模块,用于对接收到的第一目标场所的视频图像进行解析;
添加模块,用于对解析得到的第一数量的视频图像添加校验标签,得到至少一个第一视频图像,对时序上位于所述第一数量的视频图像之后的第二数量的视频图像不添加校验标签,得到至少一个第二视频图像,当人群密度变化周期小于第一周期阈值时,所述第一数量的取值大于所述第二数量的取值,当所述人群密度变化周期大于第二周期阈值时,所述第一数量的取值小于所述第二数量的取值,所述第一周期阈值小于所述第二周期阈值;
第一检测模块,用于对获取到的视频图像携带的标签进行检测;
第一图像确定模块,用于若检测到获取到的视频图像携带所述校验标签,则确定获取到的视频图像为所述第一视频图像,将所述第一视频图像,分别输入至少两种第一图像识别模型,输出所述第一视频图像的至少两个人群密度信息,所述至少两种第一图像识别模型分别基于人的不同元素对视频图像中的人进行识别;
模型确定模块,用于基于所述至少两个人群密度信息,确定目标图像识别模型,所述目标图像识别模型为输出人群密度信息满足目标条件的模型;
第二图像确定模块,用于若检测到获取到的视频图像未携带所述校验标签,则确定获取到的视频图像为所述第二视频图像,将所述第二视频图像输入所述目标图像识别模型,输出所述第二视频图像的人群密度信息;
信息确定模块,用于根据所述至少一个第二视频图像的人群密度信息,确定第一安全监测信息,所述第一安全监测信息用于指示所述第一目标场所的人群聚集情况。
19.根据权利要求18所述的装置,其特征在于,所述将所述至少一个第一视频图像,分别输入至少两种第一图像识别模型,输出所述至少一个第一视频图像的至少两个人群密度信息包括下述任意至少两项:
将所述至少一个第一视频图像,输入至人头检测模型,通过所述人头检测模型确定所述至少一个第一视频图像中的人头位置,根据所述人头位置,确定所述至少一个第一视频图像中的人群密度信息;
将所述至少一个第一视频图像,输入至行人检测模型,通过所述行人监测模型确定所述至少一个第一视频图像中的行人位置,根据所述行人位置,确定所述至少一个第一视频图像中的人群密度信息;
将所述至少一个第一视频图像,输入至人群密度估计模型,通过所述人群密度估计模型,确定所述至少一个第一视频图像的人群密度图,根据所述人群密度图,确定所述至少一个第一视频图像中的人群密度信息。
20.根据权利要求19所述的装置,其特征在于,所述根据所述人头位置,确定所述至少一个第一视频图像中的人群密度信息包括:
若至少两个人头位置对应的人群密度信息满足预设条件,则输出所述至少两个人头位置对应的人群密度信息;
若所述至少两个人头位置对应的人群密度信息不满足预设条件,则基于与所述至少两个人头位置满足预设距离条件的下一个人头位置,确定所述至少两个人头位置和所述下一个人头位置对应的人群密度信息。
21.根据权利要求19所述的装置,其特征在于,所述根据所述行人位置,确定所述至少一个第一视频图像中的人群密度信息包括:
若至少两个行人位置对应的人群密度信息满足预设条件,则输出所述至少两个行人位置对应的人群密度信息;
若所述至少两个行人位置对应的人群密度信息不满足预设条件,则基于与所述至少两个行人位置满足预设距离条件的下一个行人位置,确定所述至少两个行人位置和所述下一个行人位置对应的人群密度信息。
22.根据权利要求18所述的装置,其特征在于,所述装置还包括:
第二检测模块,用于对所述第一安全监测信息进行检测;
第一发出模块,用于若检测到所述第一安全监测信息满足第一告警条件,则发出第一告警信息,所述第一告警信息用于指示所述第一目标场所发生人群聚集。
23.根据权利要求18所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取第二目标场所的视频图像;
识别模块,用于若所述第二目标场所为目标类型场所,通过第二图像识别模型对所述视频图像进行识别,确定所述视频图像中未佩戴口罩的人;
标注模块,用于对所述视频图像中未佩戴口罩的人进行标注;
第二信息确定模块,用于根据所述视频图像未佩戴口罩的人的数量,确定第二安全监测信息,所述第二安全监测信息用于指示所述第二目标场未佩戴口罩的人员数量。
24.根据权利要求23所述的装置,其特征在于,所述通过第二图像识别模型对所述视频图像进行识别包括:
通过所述第二图像识别模型中的人脸检测模型,确定所述视频图像中的人脸区域;
截取所述视频图像中的人脸区域,得到至少一个人脸图像;
通过所述第二图像识别模型中的分类模型对所述至少一个人脸图像进行识别,确定所述人脸图像对应的人是否佩戴口罩。
25.根据权利要求23所述的装置,其特征在于,所述装置还包括:
第三检测模块,用于对所述第二安全监测信息进行检测;
第二发出模块,用于若检测到所述第二安全监测信息满足第二告警条件,则发出第二告警信息,所述第二告警信息用于指示所述第二目标场所有人未佩戴口罩。
26.根据权利要求18所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于获取第三目标场所的视频图像;
第二识别模块,用于对所述第三目标场所的视频图像进行识别,得到所述第三目标场所中不同场所单元的排队信息。
27.根据权利要求18所述的装置,其特征在于,所述装置还包括:
第四获取模块,用于获取第三目标场所中不同场所单元的视频图像;
第三识别模块,用于对所述不同场所单元的视频图像进行识别,得到所述第三目标场所中不同场所单元的已承载比例信息。
28.一种安全监测装置,其特征在于,所述装置包括:
界面显示模块,用于显示安全监测界面,所述安全监测界面包括人群聚集展示选项,所述人群聚集展示选项用于提供至少一个场所的人群聚集展示功能;
第一获取模块,用于响应于对所述人群聚集展示选项的触发操作,对接收到的所述至少一个场所的视频图像进行解析;
对解析得到的第一数量的视频图像添加校验标签,得到至少一个第一视频图像,对时序上位于所述第一数量的视频图像之后的第二数量的视频图像不添加校验标签,得到至少一个第二视频图像,其中,当人群密度变化周期小于第一周期阈值时,所述第一数量的取值大于所述第二数量的取值,当所述人群密度变化周期大于第二周期阈值时,所述第一数量的取值小于所述第二数量的取值,所述第一周期阈值小于所述第二周期阈值;
对获取到的视频图像携带的标签进行检测;
若检测到获取到的视频图像携带所述校验标签,确定获取到的视频图像为所述第一视频图像,将所述第一视频图像,分别输入至少两种第一图像识别模型,输出所述第一视频图像的至少两个人群密度信息,所述至少两种第一图像识别模型分别基于人的不同元素对视频图像中的人进行识别;
基于所述至少两个人群密度信息,确定目标图像识别模型,所述目标图像识别模型为输出人群密度信息满足目标条件的模型;
若检测到获取到的视频图像未携带所述校验标签,则确定获取到的视频图像为所述第二视频图像,将所述第二视频图像输入所述目标图像识别模型,输出所述第二视频图像的人群密度信息;
基于所述第二视频图像的人群密度信息对所述第二视频图像进行标注,得到第一图像,所述第一图像通过不同标注方式区分显示所述场所的人群密度信息;
第一图像显示模块,用于显示所述至少一个场所的第一图像。
29.根据权利要求28所述的装置,其特征在于,所述安全监测界面还包括口罩检测选项,所述口罩检测选项用于提供所述至少一个场所对应楼层的人员口罩佩戴情况展示功能;
所述装置还包括:
第二获取模块,用于响应于对所述口罩检测选项的触发操作,获取所述至少一个场所对应楼层的第二图像,所述第二图像通过不同标注方式区分显示所述场所对应楼层中人是否佩戴口罩;
第二图像显示模块,用于显示所述至少一个场所对应楼层的第二图像。
30.根据权利要求29所述的装置,其特征在于,所述获取所述至少一个场所对应楼层的第二图像包括:
向服务器发送第二图像获取请求,所述第二图像获取请求携带所述至少一个场所对应楼层的场所标识;
接收所述服务器发送的所述第二图像。
31.根据权利要求28所述的装置,其特征在于,所述装置还包括:
第一信息显示模块,用于响应于对第三目标场所的人群聚集展示指令,显示所述第三目标场所中不同场所单元的排队信息,所述排队信息用于表示所述场所单元中排队人员的聚集情况。
32.根据权利要求31所述的装置,其特征在于,所述装置还包括:
第一发送模块,用于显示所述第三目标场所中不同场所单元的排队信息之前,向服务器发送排队信息获取请求,所述排队信息获取请求携带所述第三目标场所的场所标识;
第一接收模块,用于接收所述服务器发送的所述排队信息。
33.根据权利要求28所述的装置,其特征在于,所述装置还包括:
第二信息显示模块,用于响应于对第三目标场所的人群聚集展示指令,显示所述第三目标场所中不同场所单元内的已承载比例信息,所述已承载比例信息用于表示所述场所单元的已承载人数占可承载人数总数的比例。
34.根据权利要求33所述的装置,其特征在于,所述装置还包括:
第二发送模块,用于显示所述第三目标场所中不同场所单元内的已承载比例信息之前,向服务器发送已承载比例信息获取请求,所述已承载比例信息获取请求携带所述第三目标场所的场所标识;
第二接收模块,用于接收所述服务器发送的所述已承载比例信息。
35.一种服务器,其特征在于,所述服务器包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求10任一项所述的安全监测方法所执行的操作。
36.一种终端,其特征在于,所述终端包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求11至权利要求17任一项所述的安全监测方法所执行的操作。
37.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如权利要求1至权利要求17任一项所述的安全监测方法所执行的操作。
CN202010394039.1A 2020-05-11 2020-05-11 安全监测方法、装置、服务器、终端及可读存储介质 Active CN111556294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010394039.1A CN111556294B (zh) 2020-05-11 2020-05-11 安全监测方法、装置、服务器、终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010394039.1A CN111556294B (zh) 2020-05-11 2020-05-11 安全监测方法、装置、服务器、终端及可读存储介质

Publications (2)

Publication Number Publication Date
CN111556294A CN111556294A (zh) 2020-08-18
CN111556294B true CN111556294B (zh) 2022-03-08

Family

ID=72008079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010394039.1A Active CN111556294B (zh) 2020-05-11 2020-05-11 安全监测方法、装置、服务器、终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN111556294B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950491B (zh) * 2020-08-19 2024-04-02 成都飞英思特科技有限公司 一种人员密度的监控方法、装置及计算机可读存储介质
CN112199987A (zh) * 2020-08-26 2021-01-08 北京贝思科技术有限公司 单一区域内多算法组合配置策略方法、图像处理装置及电子设备
CN112183207A (zh) * 2020-08-27 2021-01-05 浙江新再灵科技股份有限公司 一种用于直梯内乘员佩戴口罩的检测方法及检测***
CN112153352A (zh) * 2020-10-20 2020-12-29 上海理工大学 一种基于深度学习的无人机疫情监测辅助方法及其装置
CN112269769B (zh) * 2020-11-18 2023-12-05 远景智能国际私人投资有限公司 数据压缩方法、装置、计算机设备及存储介质
CN112437279B (zh) * 2020-11-23 2023-06-09 方战领 视频分析方法及装置
CN112882395A (zh) * 2021-01-13 2021-06-01 卓源信息科技股份有限公司 基于5g网络的智慧建筑集成运维管理***
CN113034865A (zh) * 2021-01-21 2021-06-25 深圳壹智云科技有限公司 基于激光测距的社交报警***
CN112861687B (zh) * 2021-02-01 2023-08-08 郑州大学 用于门禁***的口罩佩戴检测方法、装置、设备和介质
CN113012335A (zh) * 2021-03-22 2021-06-22 上海工程技术大学 一种基于YOLOv3人脸检测的地铁站台引导排队***
CN113239743A (zh) * 2021-04-23 2021-08-10 普联国际有限公司 一种人群密度检测方法、装置、设备及存储介质
CN113283312B (zh) * 2021-05-08 2023-10-17 江苏商贸职业学院 一种改进的LeNet-5嵌入式人脸识别方法及***
CN113993134B (zh) * 2021-12-27 2022-03-22 广州优刻谷科技有限公司 一种基于RFID信号的IoT设备安全接入方法及***
CN114513681A (zh) * 2022-01-25 2022-05-17 武汉工程大学 一种视频处理***、方法、装置、电子设备和存储介质
CN115016515A (zh) * 2022-06-06 2022-09-06 重庆交通职业学院 无人机用障碍物探测预警***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826496A (zh) * 2019-11-07 2020-02-21 腾讯科技(深圳)有限公司 一种人群密度估计方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060095331A1 (en) * 2002-12-10 2006-05-04 O'malley Matt Content creation, distribution, interaction, and monitoring system
CN110807361B (zh) * 2019-09-19 2023-08-08 腾讯科技(深圳)有限公司 人体识别方法、装置、计算机设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826496A (zh) * 2019-11-07 2020-02-21 腾讯科技(深圳)有限公司 一种人群密度估计方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111556294A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111556294B (zh) 安全监测方法、装置、服务器、终端及可读存储介质
CN110209952B (zh) 信息推荐方法、装置、设备及存储介质
CN108960209B (zh) 身份识别方法、装置及计算机可读存储介质
CN111614634B (zh) 流量检测方法、装置、设备及存储介质
CN111338910B (zh) 日志数据处理、显示方法、装置、设备及存储介质
CN110895861A (zh) 异常行为预警方法、装置、监控设备和存储介质
CN111508609A (zh) 健康状况的风险预测方法、装置、计算机设备及存储介质
CN112420217B (zh) 消息推送方法、装置、设备及存储介质
CN111104980A (zh) 确定分类结果的方法、装置、设备及存储介质
CN110874905A (zh) 监控方法及装置
CN110839128A (zh) 拍照行为检测方法、装置及存储介质
CN112616122A (zh) 一种集成多消息发送的方法及***
CN108712555A (zh) 一种发送报警信息的方法及装置
CN113160427A (zh) 虚拟场景的创建方法、装置、设备及存储介质
CN110768843B (zh) 网络问题分析方法、装置、终端及存储介质
CN110909264A (zh) 信息处理方法、装置、设备及存储介质
CN112423011B (zh) 消息回复方法、装置、设备及存储介质
CN112231666A (zh) 违规帐号的处理方法、装置、终端、服务器及存储介质
CN110969072B (zh) 模型优化方法、设备及图像分析***
CN111753813A (zh) 图像处理方法、装置、设备及存储介质
CN111147738A (zh) 警用车载全景慧眼***、装置、电子设备及介质
KR20150045465A (ko) 이벤트와 연관된 정보를 사람에게 제공하기 위한 방법
CN116418771A (zh) 消息显示方法、消息处理方法、装置及电子设备
CN112235609A (zh) 内容项数据播放方法、装置、计算机设备及存储介质
CN112529547A (zh) 信息通知方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40027858

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant