CN108345854A - 基于图像分析的信息处理方法、装置、***及存储介质 - Google Patents

基于图像分析的信息处理方法、装置、***及存储介质 Download PDF

Info

Publication number
CN108345854A
CN108345854A CN201810128166.XA CN201810128166A CN108345854A CN 108345854 A CN108345854 A CN 108345854A CN 201810128166 A CN201810128166 A CN 201810128166A CN 108345854 A CN108345854 A CN 108345854A
Authority
CN
China
Prior art keywords
information
people
region
stream
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810128166.XA
Other languages
English (en)
Inventor
孟宾宾
陈志博
韦跃明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810128166.XA priority Critical patent/CN108345854A/zh
Publication of CN108345854A publication Critical patent/CN108345854A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于图像分析的信息处理方法,应用于云平台,所述云平台连接网络中部署的各个监控节点,所述方法包括:从所述监控节点接收该监控节点对应区域的图像;所述图像由所述监控节点中的图像采集设备实时采集;对所述图像进行个体识别处理,根据所述个体识别处理的结果确定所述区域关联的人流信息;根据所述人流信息生成与所述区域关联的管理信息;发送所述区域关联的管理信息至所述区域对应的管理节点。相应的,本申请还提供了相应的***、装置和存储介质。

Description

基于图像分析的信息处理方法、装置、***及存储介质
技术领域
本申请涉及信息技术领域,尤其涉及一种基于图像分析的信息处理方法、装置、***及存储介质。
背景技术
目前,随着互联网的发展,物联网也快速发展并广泛应用,这是计算机科技发展的必然结果,物联网是指通过各种信息传感设备,实时采集任何需要监控、连接、互动的物体或过程等各种需要的信息,与互联网结合形成的一个巨大网络,其目的是实现物与物、物与人,所有的物品与网络的连接,方便识别、管理和控制。
发明内容
本申请实施例提出了一种基于图像分析的信息处理方法,应用于云平台,所述云平台连接网络中部署的各个监控节点,所述方法包括:从所述监控节点接收该监控节点对应区域的图像;所述图像由所述监控节点中的图像采集设备实时采集;对所述图像进行个体识别处理,根据所述个体识别处理的结果确定所述区域关联的人流信息;根据所述人流信息生成与所述区域关联的管理信息;发送所述区域关联的管理信息至所述区域对应的管理节点。
本申请实施例提出了一种基于图像分析的信息处理装置,应用于云平台,所述云平台连接网络中部署的各个监控节点,所述装置包括:接收模块,从所述监控节点接收该监控节点对应区域的图像;所述图像由所述监控节点中的图像采集设备实时采集;识别模块,对所述图像进行个体识别处理,根据所述个体识别处理的结果确定所述区域关联的人流信息;分析模块,根据所述人流信息生成与所述区域关联的管理信息;发送模块,发送所述区域关联的管理信息至所述区域对应的管理节点。
本申请实施例提出了一种基于图像分析的信息处理***,包括:部署于网络中的多个监控节点、连接所述多个监控节点的云平台和管理节点;其中,所述监控节点,包括图像采集设备,通过所述图像采集设备实时采集所述监控节点对应区域的图像,并将所述图像发送至所述云平台;所述云平台,从所述监控节点接收该监控节点对应区域的图像,对所述图像进行个体识别处理,根据所述个体识别处理的结果确定所述区域关联的人流信息,根据所述人流信息生成与所述区域关联的管理信息,发送所述区域关联的管理信息至所述区域对应的管理节点
在一些实例中,所述云平台包括个体识别服务器和分析告警服务器;其中,所述个体识别服务器从所述监控节点接收该监控节点对应区域的图像,对所述图像进行个体识别处理;将个体识别处理的结果发送至所述分析告警服务器;其中,所述分析告警服务器,接收所述个体识别服务器发送的所述个体识别处理的结果;根据所述个体识别处理的结果确定所述区域关联的人流信息,根据所述人流信息生成与所述区域关联的管理信息,发送所述区域关联的管理信息至所述区域对应的管理节点。
在一些实例中,所述个体识别服务器对所述图像进行个体识别处理,包括:对所述图像进行人体特征识别和/或个体行为分析。
在一些实例中,所述管理节点包括:管理平台和/或管理者客户端。
本申请还提出了一种非易失性计算机可读存储介质,存储有计算机可读指令,可以使至少一个处理器执行以上所述的方法。
通过以上技术方案可以看出,通过以上基于图像分析的信息处理方法和***可以看出,本申请提供的方法和***可以基于海量的图像数据快速智能提取出各个区域的人流信息,并根据人流信息智能的生成管理信息,避免了人工的操作,提高了对于各个区域(比如商场、旅游景区等)的管理操作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例的基于图像分析的信息处理***所适用的网络结构示意图;
图2a是本申请一个实施例基于图像分析的信息处理***的功能模块结构示意图;
图2b为本申请一个实施例的基于图像分析的信息处理***的个体识别模块的功能模块结构示意图;
图2c为本申请一个实施例所述的人流密度分布平面图;
图2d为本申请一个实施例所述的安装有远程监控模块的终端设备展示人流密度分布平面图的示例;
图3为本申请一个实施例的基于图像分析的信息处理方法的具体实现流程图;
图4为本申请一个实施例的基于图像分析的信息处理方法的具体实现流程图;
图5为本申请一个实施例的基于图像分析的信息处理装置的结构示意图;以及
图6为本申请一个实施例所述的计算设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了描述上的简洁和直观,下文通过描述若干代表性的实施例来对本发明的方案进行阐述。实施例中大量的细节仅用于帮助理解本发明的方案。但是很明显,本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案,一些实施方式没有进行细致地描述,而是仅给出了框架。下文中,“包括”是指“包括但不限于”,“根据……”是指“至少根据……,但不限于仅根据……”。下文中没有特别指出一个成分的数量时,意味着该成分可以是一个也可以是多个,或可理解为至少一个。
当前,用户面对海量的图像数据,已无法简单利用人海战术进行检索和分析,因此需要利用物联网技术实现对人流的监控,进而方便管理人员的识别、管理和控制。本申请的实施例提出了一种基于图像分析的信息处理方法、装置以及***。
图1显示了本申请一些实施例提供的基于图像分析的信息处理***所适用的网络结构示意图。如图1所示,此网络100至少包括:图像采集设备11、网络12、计算设备13和服务器14。
在本申请的一些实施例中,上述图像采集设备11可以是安装在各处的摄像头,比如安装在商场、车站等公共场所处的摄像头,用于采集对应区域的图像信息,上述一个或多个图像采集设备11和物联网通信模块一起构成了信息处理***的一个监控节点。
网络12可以包括有线网络和无线网络。如图1所示,在接入网一侧,图像采集设备11和终端设备13可以通过无线的方式或者有线的方式接入到网络12;而在核心网一侧,服务器14一般是通过有线方式连接到网络12的。当然,服务器14也可以通过无线方式连接到网络12。
计算设备13可以是智能手机、PAD和平板电脑、个人电脑等智能终端设备,也可以是另一个管理平台的服务器,比如公安局的公安信息管理平台。至少一个计算设备13可以构成本申请中信息处理***的管理节点,其上安装有远程监控模块,用来接收并展示服务器14从图像采集设备11获取的图像以及服务器14发送的该区域的管理信息,例如告警信息等。
服务器14为连接网络中部署的各个监控节点的云平台,其上包括此信息处理***中的个体识别模块和分析告警模块,与计算设备13一起提供监控、安防服务,例如,计算设备13可展示图像采集设备11采集的图像信息,当有异常时服务器14上的分析告警模块会向计算设备13上的远程监控模块发送告警信息,以使其展示来提醒用户等。上述服务器14可以是单独的服务器也可以是多个服务器组成的集群服务器。
在上述图1所示的网络结构的基础上,本申请的实施例提供了一种基于图像分析的信息处理***。图2a示出了本申请实施例提供的基于图像分析的信息处理***200的组成结构示意图。如图2a所示,该***200可以包括:一个或多个监控节点21包括物联网通信模块201和图像采集设备11,云平台22包括个体识别模块202和分析告警模块203以及一个或多个管理节点23包括远程监控模块204。
其中,上述监控节点21,实时采集所述监控节点对应区域的图像,并将所述图像发送至连接网络中部署的各个监控节点的云平台22。其中,所述监控节点包括一个或多个图像采集设备和物联网通信模块201,上述监控节点中的图像采集设备用于采集所述监控节点对应区域的图像信息,可以是位于楼层、车库以及道路等处的各个摄像头;而上述监控节点中的物联网通信模块201包括GPRS通信卡、3G/4G/5G模块等通信模块,用于与云平台22和管理节点23通信,比如将上述图像采集设备采集的所述图像信息发送至上述云平台22。
在一些实例中,监控节点21还可以响应于云平台22的分析告警服务器的采集指令,采集所述人脸特征信息对应的目标个体的图像以进行取证。
云平台22,用于从所述监控节点接收该监控节点对应区域的图像,对所述图像进行个体识别处理,根据所述个体识别处理的结果确定所述区域关联的人流信息,根据所述人流信息生成与所述区域关联的管理信息,发送所述区域关联的管理信息至所述区域对应的管理节点。
管理节点23,接收云平台22发送的上述管理信息。
在一些实例中,云平台22包括个体识别服务器221和分析告警服务器222;其中,所述个体识别服务器221从所述监控节点接收该监控节点对应区域的图像,对所述图像进行个体识别处理;将个体识别处理的结果发送至所述分析告警服务器222;其中,所述分析告警服务器222,接收所述个体识别服务器发送的个体识别处理的结果;根据所述个体识别处理的结果确定所述区域关联的人流信息,根据所述人流信息生成与所述区域关联的管理信息,发送所述区域关联的管理信息至所述区域对应的管理节点。
这里,上述个体识别服务器221上安装有个体识别模块202,上述分析告警服务器222上安装有分析告警模块203。需要说明的是,上述个体识别服务器221和上述分析告警服务器222为同一个服务器或不同的服务器,也即,个体识别模块202和分析告警模块203可以在同一个服务器上也可以在不同服务器上。
具体的,云平台22中的个体识别服务器221接收监控节点21中的物联网通信模块201发送的图像采集设备实时采集的该监控节点对应的区域的图像;对上述图像采集设备采集到的图像中的人和/或物进行个体识别处理,并将个体识别处理的结果发送给云平台22的分析告警服务器222以使其进行后续分析处理。其中,所述个体识别处理包括:对所述图像进行人体特征识别和/或个体行为分析。这里,上述图像中的人可以为单个或多个;上述图像包括照片和视频等;上述用户为使用基于图像分析的信息处理***的管理节点的用户,例如管理员、监控人员等,其中,上述管理节点包括:管理平台和/或管理者客户端,例如上述管理平台可以为公安局的公安信息管理平台、商场的信息管理平台、景区的信息管理平台或者其它需要基于人流信息来完成监控和管理的机构的平台,上述管理者客户端可以是商场、景区、公安局等机构的管理人员使用的管理客户端。
更进一步的,图2b示出了本申请实施例提供的基于图像分析的信息处理***200的云平台22中个体识别服务器221上的个体识别模块202的功能模块结构示意图。如图2b所示,个体识别模块202可以包括人体特征识别单元2021和个体行为分析单元2022。
在一些实例中,上述个体识别服务器221通过多个样本图像对第一神经网络进行训练,得到用于人体特征识别的第一神经网络模型;其中,当所述对所述图像进行个体识别处理包括对所述图像进行人体特征识别时,上述个体识别服务器221,进一步将所述图像输入所述第一神经网络模型;根据所述第一神经网络模型的输出,确定所述图像中的人体特征信息;将确定的所述图像中的所述人体特征信息发送至所述分析告警服务器222。其中,上述多个样本图像可以为预置的或者是从实际场景中采集的,也可能是动态输入的。
具体的,上述个体识别服务器221的个体识别模块202中的人体特征识别单元2021通过多个样本图像对第一神经网络进行训练,得到用于人体特征识别的第一神经网络模型;进一步将所述图像输入所述第一神经网络模型;根据所述第一神经网络模型的输出,确定所述图像中的人体特征信息;并将确定的所述图像中的所述人体特征信息发送至所述分析告警服务器222。
更进一步的,对所述图像进行人体特征识别包括对所述图像进行人头识别和人脸识别,人体特征识别单元2021进一步对所述图像进行人头识别和人脸识别,上述图像中的人体特征信息包括人头信息和人脸信息。
在一些实例中,所述分析告警服务器222,接收所述个体识别服务器发送的所述图像中的人体特征信息;进一步根据所述图像中的人体特征信息中的人头信息,确定所述区域内的人数和/或人流密度数据;根据所述区域内的人数和/或人流密度数据,得到确定与所述区域关联的人流信息,所述人流信息包括:人流密度分布、人流运动轨迹、人数分布中的至少一者。
具体的,上述分析告警服务器222的分析告警模块203可以根据上述图像确定上述图像中的人头信息,即确定图像中具有人头特征的图像部分,进而根据上述人头信息确定所对应的区域内的人数并计算上述区域内的人流密度数据;并进一步确定与所述区域关联的人流信息,例如该区域的人流密度分布、人流运动轨迹以及人数分布等。
例如,上述个体识别服务器221将某一商场内的图像采集设备采集的图像输入第一神经网络模型,可以得到该商场内的上述图像中的人头信息,并将该人头信息发送给上述分析告警服务器222;上述分析告警服务器222根据上述人头信息确定该商场内的人数和/或人流密度数据,进而确定该商场内的人流密度分布、人流运动轨迹、人数分布等人流信息。
在一些实例中,所述分析告警服务器222,接收所述个体识别服务器221发送的所述图像中的人体特征信息;根据所述图像中的人体特征信息中的人脸特征信息,确定所述区域中目标个体的标识信息,所述目标个体的标识信息用于指示是否存在所述目标个体;根据所述区域中目标个体的标识信息,确定与所述区域关联的人流信息,所述人流信息包括:目标个体的位置和/或目标个体的运动轨迹。
例如,上述个体识别服务器221可以对某一车站的一图像采集设备采集的对应区域的图像中的个体进行人脸识别得到人脸特征信息,并将上述人脸特征信息发送至上述分析告警服务器222;上述分析告警服务器222根据上述区域中人脸特征信息确定目标个体的人流信息,这里的,上述目标个体的人流信息可以是目标个体的位置以及目标个体的运动轨迹等,比如,个体识别服务器221对某一车站的一图像采集设备采集的对应区域的图像中的个体进行人脸识别得到人脸特征信息,将上述人脸特征信息发送至分析告警服务器222,分析告警服务器222经过匹配,确定目标个体是公安***通缉的在逃犯,则分析告警服务器222生成匹配告警信息,将该匹配告警信息发送至车站的管理节点以及公安***的管理平台以使车站的管理人员和公安人员采取相应措施,并向上述车站的对应的监控节点发送采集指令以使其采集上述目标个体的图像进行取证。
更进一步的,人体特征识别单元2021用于识别所述图像中的人脸特征信息的第一网络模型可以包括深度卷积神经网络和递归神经网络。
其中,深度卷积神经网络,接收物联网通信模块201的图像采集设备采集的图像,提取上述图像的一个或多个卷积神经网络特征,并将提取的上述一个或多个卷积神经网络特征(CNN特征:Convolutional Neural Network特征)输入递归神经网络。
这里,卷积神经网络与普通神经网络的区别在于,卷积神经网络包含了输入层、卷积层、池化层和全连接层。其中,上述输入层负责输入图像,比如一个32*32*3的图像;卷积层负责通过卷积计算提取上述输入图像特征;上述池化层对输入的特征图进行压缩,一方面可以使特征图变小,简化网络计算复杂度;另一方面进行特征压缩,提取主要特征;上述全连接层连接上述卷积神经网络所有的特征,并将其输出送给分类器对上述特征进行分类。具体的,在卷积神经网络可以有多个卷积层,因此可以将卷积层数比较多的卷积神经网络称为深度卷积神经网络。在卷积神经网络的一个卷积层中,通常包含若干个特征平面,其中每个特征平面由一些矩形排列的神经元组成,每一个神经元只与部分邻层神经元连接,且同一特征平面的神经元共享权值,这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化,在网络的训练过程中通过学习得到的合理的权值。利用一个卷积层的卷积核与该卷积层的输入进行卷积,可以得到该卷积层的卷积神经网络特征(CNN特征)。上述共享权值(卷积核)带来的直接好处是减少网络各层之间的连接,同时又降低了过拟合的风险。而CNN特征为卷积神经网络的不同深度的卷积层对应的特征,不同深度的CNN特征代表不同层次的抽象特征,CNN特征深度越深,CNN特征越抽象,反之,CNN深度越浅,CNN特征越具体。这样,利用不同深度的CNN特征可以更加全面的描述人脸,使得人脸识别的结果更逼真,效果更好。
不失一般性的假设,某一区域的人数为4人,如果该区域内人流密度比较大,可以设置更大值。利用52层卷积神经网络提取全连接层1、全连接层2、全连接层3和全连接层4一共四层的CNN特征,则可以得到4个不同深度的CNN特征。
递归神经网络依次学习上述一个或多个卷积神经网络特征,并使每个递归神经单元都输出每个卷积神经网络特征的人头矩形框信息,其中,上述人头矩形框信息为该区域内的对应不同CNN特征的人头及其对应的位置信息,不同CNN特征的人头对应不同的概率,也即不同的具体程度。例如,一区域内有4个人,则每个递归神经单元可以识别出对应不同CNN特征的人头矩形框信息且每个人头矩形框信息中包括分布不同位置的4个人头。这里,递归神经网络可以是长短时记忆神经网络(LSTM:Long short-term Memory)。
由于各个递归神经单元输出的人头矩形框信息,有很多部分是重叠的,比如某一区域有4个人,则同一个递归神经单元输出的对应一个CNN特征的人头矩形框信息中有4个人头矩形框,并且该4个人头矩形框很有可能相互重叠,因此,递归神经网络,进一步将上述人头矩形框信息进行非最大抑制处理,将重叠度较大的人头矩形框删除,得到最终的人脸识别结果。其中,非最大抑制处理利用搜索局部极大值,抑制非极大值元素的原理,将重合度较大的人头矩形框删除,得到最终的人脸识别结果,也即人脸特征信息。基于深度卷积神经网络的人脸识别使得对人脸的识别更加有效、识别的精确度大大提高。
在一些实例中,所述个体识别服务器221,通过多个样本图像对第二神经网络进行训练,得到用于个体行为分析的第二神经网络模型;其中,当所述对所述图像进行个体识别处理包括对所述图像进行个体行为分析时,所述个体识别服务器221,进一步将所述图像输入所述第二神经网络模型;根据所述第二神经网络模型的输出,确定所述图像中个体的行为特征;将确定的所述图像中的个体的行为特征发送至所述分析告警服务器222。
具体的,上述个体识别服务器221的个体识别模块202中的个体行为分析单元2022,通过多个样本图像对第二神经网络进行训练,得到用于个体行为分析的第二神经网络模型;将所述图像输入所述第二神经网络模型;根据所述第二神经网络模型的输出,确定所述图像中个体的行为特征;将确定的所述图像中的个体的行为特征发送至所述分析告警服务器222。这里,上述第一神经网络模型和上述第二神经网络模型可以是一个神经网络模型,也可以是两个不同的神经网络模型,本申请对此不进行限定。另外,如前所述,上述多个样本图像可以是预置的或者从实际场景中采集的,也可能是动态输入的。
例如,个体行为分析单元2022可以将一商场内的图像采集设备采集的图像输入到上述第二神经网络模型,对上述图像中的个体进行个体行为分析比如上述个体的衣着、随身物品,进入该区域的时间等,确定上述图像中个体的行为特征,也可以说确定出上述个体的属性标签,比如“女性”、“年轻”、“女装”、“母婴用品”以及“童装”等。
在一些实例中,所述分析告警服务器222,接收所述个体识别服务器221发送的所述图像中的个体的行为特征;根据所述图像中个体的行为特征,确定所述区域中各个个体的行为特征;根据所述区域中各个个体的行为特征,确定与所述区域关联的人流信息,所述人流信息包括:行为特征对应的人流密度分布、行为特征对应的人流运动轨迹、行为特征对应的人数中的至少一者。
例如,一商场的图像采集设备采集的图像为一年轻女性在该商场内的某一童装店购买童装,个体识别服务器的221个体识别模块202中的个体行为分析单元2022将该图像输入上述第二神经网络模型,根据上述第二神经网络模型的输出确定出该人员的个体的行为特征为“年轻女性”、“童装”,并将该人员的个体的行为特征发送至分析告警服务器222;分析告警服务器222根据该图像中每个个体的行为特征可以确定该商场内各个个体的行为特征,进而确定该商场关联的人流信息,比如行为特征“年轻女性”对应的人流密度分布或人流运动轨迹,即年轻女性个体的人流密度分布或人流运动轨迹、行为特征“童装”对应的人流密度分布或人流运动轨迹,即购买童装的个体的人流密度分布或人流运动轨迹等等。
更近一步的,还可以根据需求在上述第二神经网络模型预先配置目标个体的行为特征,比如针对年轻人偏爱购买运动装这样一种行为,在上述第二神经网络模型预先配置“年轻人”和“运动装”的行为特征。当个体识别服务器221从采集到的图像中识别具有上述行为特征“年轻人”和“运动装”的目标个体,分析告警服务器222根据个体识别服务器221的识别结果,分析得到该行为特征对应的人流信息,比如该行为特征对应的人流密度分布和运动轨迹以及相应的时间信息,并根据上述人流信息确定运动品牌以制定确定营销策略,比如确定年轻人喜欢的运动品牌,在对应的时间进行打折活动等。
在本申请的另外一些实例中,根据所述区域中各个个体的行为特征,还可以确定所述区域中与所述行为特征对应的目标群体,以使管理人员根据所述目标群体及其行为特征制定相应的运营和管理策略。例如,根据“化妆品”、“女装”、“童装”、“周末”三个行为特征可以确定出“年轻女性”的目标群体,并根据其行为特征确定这些“年轻女性”群体在周末的人流分布密度较高,也可获知“年轻女性”群体的人脸运动轨迹主要分布的区域,还可以获知“年轻女性”群体主要关注的商家品牌,进而管理人员可以确定出一种运营和管理策略:周末在这些区域安排女装、童装和化妆品的促销活动,并可以确定邀请参加促销活动商家品牌。
例如,假设管理人员为商场的管理人员,上述商场的管理人员可以根据目标群体的行为特征进行调整运营方式,比如将与目标群体的行为特征匹配的商铺调整至人流量大的区域或者策划一些与目标群体的行为特征相匹配的店铺搞促销活动等等。
这样,基于各个区域中个体行为特征的分析,管理节点可以方便、快捷的指定运营和管理策略,不仅能够带来可观的商业收益,还能帮助管理节点对辖区内的人流分布、商户分布等进行高效的调控。
可以看出,个体识别服务器221的个体行为分析单元2022可以动态跟踪区域内人群流动,使用户对该区域内的人流趋势了然于胸,并且精准获取所述区域内的行为特征,以及与行为特征对应的人流信息甚至目标群体,可以帮助用户做出更加有效的管理和商业决策。
不失一般性的假设,确定的所述区域的一个或多个目标群体及其行为特征可以采用如下格式存储:
目标群体1:行为特征1、行为特征2、行为特征3、…
目标群体2:行为特征1、行为特征2、行为特征3、…
目标群体3:行为特征1、行为特征2、行为特征签3、…
在一些实例中,上述管理信息包括:人流统计信息、告警信息、管理策略中的至少一者。
在一些实例中,当所述管理信息至少包括所述人流统计信息时,所述分析告警服务器222,根据所述人流信息中的人流密度分布数据和/或人数分布数据绘制所述区域内人流密度分布平面图和/或人数分布平面图;响应于所述管理节点23的展示请求,发送所述人流密度分布平面图和/或人数分布平面图至所述管理节点。
在一些实例中,当所述管理信息至少包括告警信息时,当确定所述区域内的人数大于第一阈值和/或所述区域内的人流密度分布数据大于第二阈值时,所述分析告警服务器222,生成拥挤告警信息,并将所述拥挤告警信息发送至所述管理节点23。
图2c示出了某一区域人流密度分布平面图,该图可以由管理节点进行展示,展示的形式可以为浮窗式、全屏式等。如图2c所示,该区域201c内在不同区域的人流密度不同,该区域内白色202c填充的区域内的人流密度为0人/平方米,竖条阴影203c填充的区域内的人流密度为2人/平方米,方格阴影204c填充的区域内的人流密度为4人/平方米,圆点阴影205c填充的区域内的人流密度为6人/平方米,斜线阴影206c填充的区域内的人流密度为8人/平方米,横线阴影207c填充的区域内的人流密度为10人以上人/平方米。
例如,响应于商场的管理人员客户端的展示请求,将该商场内的人流密度分布平面图和/或人数分布平面图发生上述管理人员客户端以使其进行显示来供该商场的管理人员实时监控。
在一些实例中,当所述管理信息至少包括所述人流统计信息时,所述分析告警服务器222,根据所述人流信息中的人流运动轨迹数据绘制所述区域内的人流运动轨迹图;响应于所述管理节点23的展示请求,发送所述人流运动轨迹图至所述管理节点23。
在一些实例中,当所述管理信息至少包括告警信息时,当确定所述区域内的人数大于第一阈值和/或所述区域内的人流密度分布数据大于第二阈值时,所述分析告警服务器222,生成拥挤告警信息,并将所述拥挤告警信息发送至所述管理节点23。其中,上述拥挤告警信息包括拥挤位置和拥挤指数;上述第一阈值与上述第二阈值为预先设定的值。可以看出该***可以精准评估区域内人流拥挤等级,并及时发送拥挤告警,赢得处理突发事件时间。
仍以上述区域为商场为例,当该商场内的人数大于上述第一阈值时和/或当该商场内某一处人流密度大于上述第二阈值时生成拥挤告警信息,并向远程监控模块204发送该拥挤告警信息,以使商场管理人员采取相应措施,比如限流、人流疏导等措施。具体的,假设图2c中的区域201c为上述区域,不失一般性的假设上述第二阈值为10,因此当该区域内横线阴影207c填充的区域内人流密度大于第二阈值10时生成拥挤告警信息,并向商场的管理人员客户端发送拥挤告警信息以使其展示并播放上述拥挤告警信息,进而通知该商场的管理人员采取相应措施。
在一些实例中,当所述管理信息至少包括人流统计信息时,所述分析告警服务器222将所述人流信息中的目标个体的位置和/或目标个体的运动轨迹发送至所述管理节点23。
例如,当分析告警服务器222根据接收的一车站内一图像采集设备采集的图像中的人体特征信息确定该车站存在目标个体,确定该目标个体的位置和/或运动轨迹,并将该目标个体的位置和/或运动轨迹发送至该车站的管理人员的客户端,以使其采取相应措施。
在一些实例中,当所述管理信息至少包括人流统计信息时,响应于所述管理节点23的展示请求,所述分析告警服务器222将所述区域的行为特征对应的人流密度分布、行为特征对应的人流运动轨迹、行为特征对应的人数中的至少一者发送至所述管理节点23。
在一些实例中,响应于所述管理节点23的展示请求,所述分析告警服务器222进一步将确定的所述区域的目标群体及其行为特征发送至管理节点23,供其参考以制定运营和管理策略。
例如,商场的管理人员可以根据该商场内的行为特征及与该行为特征对应的人流密度分布、人流运动轨迹以及人数等人流信息制定相应的运营和管理策略,比如根据“女装”、“晚上7点-8点”等行为特征制定晚上7点-8点对女装进行打折促销等活动。
在一些实例中,上述分析告警服务器222在接收到所述个体识别服务器221发送的所述图像中的人体特征信息之后,所述分析告警服务器222将所述人流信息中的目标个体的位置和/或目标个体的运动轨迹发送至所述管理节点23。
在一些实例中,所述分析告警服务器222,进一步将所述图像中的人脸特征信息与人脸库中的各条人脸信息记录中的人脸特征信息进行匹配,其中,一条所述人脸信息记录包括目标个体的标识和人脸特征信息;如果所述图像中的人脸特征信息和所述人脸库中的一条人脸信息记录中的人脸特征信息相匹配,则生成指示所述区域中存在该条人脸信息记录对应的所述目标个体的标识信息。
更进一步的,当所述人脸信息记录进一步包括所属库类别时,如果所述图像中的人脸特征信息和所述人脸库中的一条人脸信息记录中的人脸特征信息相匹配,所述分析告警服务器,进一步根据所述人脸信息记录中的所属库类别确定所述图像中的人脸特征信息的所属库类别;进一步根据确定的所述所属库类别生成匹配告警信息,并将所述匹配告警信息发送至所述管理节点。其中,如果所述图像中的人脸特征信息与所述人脸信息记录中的人脸特征信息的相似度大于第一阈值,所述分析告警服务器222,则确定所述图像中的人脸特征信息和所述人脸信息记录中的人脸特征信息相匹配。
这里,上述人脸库可以包括逃犯库、失踪人口库等公安***名单库,还可以包括VIP客户名单库,该人脸库里包括一条或多条人脸信息记录;上述匹配告警信息根据所属库的类别不同,内容也不同。例如当图像中某个体的人脸特征信息与人脸库中的一条人脸信息记录相匹配,且该条人脸信息记录包括的所属库类别为走失儿童库,则分析告警服务器222确定该个体为目标个体并且其所属库类别为走失儿童库,进而生成提示为走失儿童的匹配告警信息,并发送至管理节点23。又例如,当图像中某个体的人脸特征信息与人脸库中的一条人脸信息记录相匹配,且该条人脸信息记录包括的所属库类别为逃犯库,则分析告警服务器222确定该个体为目标个体并且其所属库类别为逃犯库,进而生成提示为逃犯的匹配告警信息,并将该提示为逃犯的匹配告警信息发送至管理节点,比如公安***的信息管理平台以及该目标个体所处的区域的管理节点,同时向该目标个体所处的监控节点21发送采集指令,以使其采集所属目标个体的图像进行取证
在一些实例中,当确定所述图像中的人脸特征信息和所述人脸信息记录中的人脸特征信息相匹配时,所述分析告警服务器222,进一步发送采集指令至所述监控节点,以使其采集所述图像中的人脸特征信息对应的目标个体的图像。
由此可以看出,本申请提供的***支持海量人脸库的检索匹配操作,迅速完成目标人脸的搜索匹配,并及时返回可疑人脸数据,实现自动告警通知,极大的助力公安***建立智能追捕逃犯或寻找走失人口的体系。
在一些实例中,管理节点23,接收并展示监控节点21发送的图像采集设备实时采集的对应区域的图像。
在一些实例中,管理节点23响应于用户的展示请求,向云平台22发送上述展示请求;接收云平台22发送的所述区域内的人流密度分布平面图和/或人数分布平面图;并展示所述区域内的人流密度分布平面图和/或人数分布平面图以供管理人员进行实时监控。
更进一步的,云平台22还可以每隔预定时间比如5分钟,发送的所述区域内的人流密度分布平面图和/或人数分布平面图至管理节点23;管理节点23接收并更新显示所述区域内的人流密度分布平面图和/或人数分布平面图。
图2d示出了一个管理节点展示人流密度分布平面图的示例,该管理节点为一个管理人员的客户端,该客户端在图2d所示的终端设备上。该终端设备在屏幕201d上展示实时图像,上述管理人员点击人流密度分布图按钮202d,继续在屏幕展示上述实时图像的同时,打开一个新的界面,在屏幕201d的右下角以小窗的形式展示人流密度分布平面图203d,同时提供给上述管理人员关闭按钮204d,以供上述管理人员随时关闭该界面。更进一步的,响应于上述管理人员点击人数按钮205d,在屏幕201d的下方展示当前人数206d。
在一些实例中,管理节点23,进一步接收云平台22的分析告警服务器发送的上述拥挤告警信息和上述匹配告警信息,并进行展示和播放,以提醒上述管理人员。
在一些实例中,管理节点23,进一步接收云平台22的分析告警服务器发送的所述区域的行为特征对应的人流密度分布、行为特征对应的人流运动轨迹、行为特征对应的人数中的至少一者并进行展示。
通过以上基于图像分析的信息处理***可以看出,本申请提供的***可以基于海量的图像数据快速智能提取出各个区域的人流信息,并根据人流信息智能的生成管理信息,避免了人工的操作,提高了对于各个区域(比如商场、旅游景区等)的管理操作效率。
对应上述基于图像分析的信息处理***,本申请还提供了一种基于图像分析的信息处理方法,应用于连接多个监控节点的云平台。图3示出了本申请实施例提供的基于图像分析的信息处理方法的流程图。如图3所示,该方法包括以下步骤:
步骤301:从监控节点接收该监控节点对应区域的图像;所述图像由所述监控节点中的图像采集设备实时采集。
这里,所述监控节点包括一个或者多个图像采集设备,以实时采集上述监控节点所在的区域的图像,其中,所述区域可以是公共场所,比如火车站、机场、景区、商场、地铁等,所述图像包括图片和/或视频等。
步骤302:对所述图像进行个体识别处理,根据所述个体识别处理的结果确定所述区域关联的人流信息。
在一些实例中,对所述图像进行个体识别处理包括:对所述图像进行人体特征识别和/或个体行为分析。
在一些实例中,通过多个样本图像对第一神经网络进行训练,得到用于人体特征识别的第一神经网络模型;其中,当所述对所述图像进行个体识别处理包括对所述图像进行人体特征识别时,所述对所述图像进行人体特征识别包括:将所述图像输入所述第一神经网络模型;根据所述第一神经网络模型的输出,确定所述图像中的人体特征信息。
在一些实例中,所述人体特征识别包括人头识别,所述图像中的人体特征信息包括人头信息;其中,根据所述个体识别处理的结果确定所述区域关联的人流信息,包括:根据所述图像中的人头信息,确定所述区域内的人数和/或人流密度数据;根据所述区域内的人数和/或人流密度数据,确定与所述区域关联的人流信息,所述人流信息包括:人流密度分布、人流运动轨迹、人数分布中的至少一者。
在一些实例中,所述人体特征识别包括人脸识别,所述图像中的人体特征信息包括人脸特征信息;其中,根据所述个体识别处理的结果确定所述区域关联的人流信息,包括:根据所述图像中的人脸特征信息,确定所述区域中目标个体的标识信息,所述目标个体的标识信息用于指示是否存在所述目标个体;根据所述区域中目标个体的标识信息,确定与所述区域关联的人流信息,所述人流信息包括:目标个体的位置和/或目标个体的运动轨迹。
在一些实例中,通过多个样本图像对第二神经网络进行训练,得到用于个体行为分析的第二神经网络模型;其中,当所述对所述图像进行个体识别处理包括对所述图像进行个体行为分析时,所述对所述图像进行个体行为分析包括:将所述图像输入所述第二神经网络模型;根据所述第二神经网络模型的输出,确定所述图像中个体的行为特征。
在一些实例中,根据所述个体识别处理的结果确定所述区域关联的人流信息,包括:根据所述图像中个体的行为特征,确定所述区域中各个个体的行为特征;根据所述区域中各个个体的行为特征,确定与所述区域关联的人流信息,所述人流信息包括:行为特征对应的人流密度分布、行为特征对应的人流运动轨迹、行为特征对应的人数中的至少一者。
步骤303:根据所述人流信息生成与所述区域关联的管理信息。
在一些实例中,所述管理信息包括:人流统计信息、告警信息、管理策略中的至少一者。
在一些实例中,当所述管理信息至少包括所述人流统计信息时,所述方法进一步包括:根据所述人流信息中的人流密度分布数据和/或人数分布数据绘制所述区域内人流密度分布平面图和/或人数分布平面图;响应于所述管理节点的展示请求,发送所述人流密度分布平面图和/或人数分布平面图至所述管理节点。
在一些实例中,当所述管理信息至少包括所述人流统计信息时,所述方法进一步包括:根据所述人流信息中的人流运动轨迹数据绘制所述区域内的人流运动轨迹图;响应于所述管理节点的展示请求,发送所述人流运动轨迹图至所述管理节点。
在一些实例中,当所述管理信息至少包括告警信息时,所述方法进一步包括:如果所述区域内的人数大于第一阈值和/或所述区域内的人流密度分布数据大于第二阈值,生成拥挤告警信息,以将所述拥挤告警信息发送至所述管理节点。
在一些实例中,当所述管理信息至少包括告警信息时,将所述人流信息中的目标个体的位置和/或目标个体的运动轨迹发送至所述管理节点。
在一些实例中,当所述管理信息至少包括人流统计信息时,响应于所述管理节点的展示请求,将所述区域的行为特征对应的人流密度分布、行为特征对应的人流运动轨迹、行为特征对应的人数中的至少一者发送至所述管理节点。
在一些实例中,所述根据所述图像中的人脸特征信息,确定所述区域中目标个体的标识信息,包括:将所述图像中的人脸特征信息与人脸库中的各条人脸信息记录中的人脸特征信息进行匹配,其中,所述人脸信息记录包括所述人脸特征信息对应的人的姓名、人脸特征信息;如果所述图像中的人脸特征信息和所述人脸库中的一条人脸信息记录中的人脸特征信息相匹配,确定所述区域中目标个体的标识信息。
在一些实例中,所述人脸信息记录进一步包括所属库类别;当所述图像中的人脸特征信息和所述人脸库中的一条人脸信息记录中的人脸特征信息相匹配时,根据所述人脸信息记录中的所属库类别确定所述图像中的人脸特征信息的所属库类别;根据确定的所述所属库类别生成匹配告警信息,并将所述匹配告警信息发送至所述管理节点。
在一些实例中,所述将所述图像中的人脸特征信息与人脸库中的各条人脸信息记录中的人脸特征信息进行匹配,包括:如果所述图像中的人脸特征信息与所述人脸信息记录中的人脸特征信息的相似度大于第一阈值,确定所述图像中的人脸特征信息和所述人脸信息记录中的人脸特征信息相匹配。
更进一步的,当确定所述图像中的人脸特征信息和所述人脸信息记录中的人脸特征信息相匹配时,发送采集指令至所述监控节点,以使其采集所述图像中的人脸特征信息对应的目标个体的图像。
步骤304:发送所述区域关联的管理信息至所述区域对应的管理节点。
这里,所述管理节点可以是一个管理平台,比如公安***的治安管理平台,也可以是一个设备终端,比如商场管理员的客户端。
通过以上基于图像分析的信息处理方法可以看出,本申请提供的方法可以基于海量的图像数据快速智能提取出各个区域的人流信息,并根据人流信息智能的生成管理信息,避免了人工的操作,提高了对于各个区域(比如商场、旅游景区等)的管理操作效率。
下面以所述监控节点对应的区域是一个商场为例,对上述基于图像分析的信息处理方法进行详细说明。该方法应用于如图1所示的实施环境。图4示出了上述基于图像分析的信息处理方法的流程,如图4所示,该方法主要包括以下步骤:
步骤401:监控节点实时采集所述监控节点对应区域的图像,并将所采集的所述区域的图像发送给云平台和管理节点。
如前所述,以所述监控节点对应的区域是一个商场为例,因此本实施例中,所述区域为商场,而所述管理节点为商场管理员的客户端。并且所述云平台连接了商场的网络中部署的各个监控节点,所述监控节点包括一个或多个图像采集设备和物联网通信模块201,可通过图像采集设备采集图像,通过物联网通信模块201发送图像。
步骤402:所述云平台的个体识别服务器接收所述监控节点对应区域的图像。
步骤403a:所述云平台的个体识别服务器对所述图像进行个体特征识别,以确定所述图像中的人体特征信息。
在一些实例中,上述个体识别服务器通过多个样本图像对第一神经网络进行训练,得到用于个体特征识别的第一神经网络模型;其中,当所述对所述图像进行个体识别处理包括对所述图像进行个体特征识别时,所述对所述图像进行个体特征识别包括:将所述图像输入所述第一神经网络模型;根据所述第一神经网络模型的输出,确定所述图像中的个体特征信息,并将所述图像中的个体特征信息发送至所述云平台的分析告警服务器。对所述图像进行个体特征识别包括人头识别和人脸识别,因此,本步骤包括两个子步骤4031和子步骤4032:
步骤4031:上述个体识别服务器确定所述图像中的人头信息,并将所述图像中的人头信息发送至所述分析告警服务器。
步骤4032:上述个体识别服务器可以识别所述图像中的人脸特征信息,并将所述图像中的人脸特征信息发送至所述分析告警服务器。
步骤403b:所述云平台的个体识别服务器对所述图像进行个体行为分析,确定所述图像中个体的行为特征。
在一些实例中,上述个体识别服务器通过多个样本图像对第二神经网络进行训练,得到用于个体行为分析的第二神经网络模型;将所述图像输入所述第二神经网络模型;根据所述第二神经网络模型的输出,确定所述图像中个体的行为特征,并将所述图像中的个体的行为特征发送至所述分析告警服务器。
在一些实例中,所述分析告警服务器进一步根据所述图像中个体的行为特征,确定所述区域中各个个体的行为特征;根据所述区域中各个个体的行为特征,确定与所述区域关联的人流信息,所述人流信息包括:行为特征对应的人流密度分布、行为特征对应的人流运动轨迹、行为特征对应的人数中的至少一者。
需要说明的是,步骤403a~步骤403b可以同步执行,也可以不分先后顺序地分别执行。
步骤404a:所述云平台的分析告警服务器根据所述图像中的人体特征信息确定所述区域关联的人流信息。
本步骤中,由于人体特征信息包括人头信息和人脸特征信息,因此本步骤包括两个子步骤4041和子步骤4042:
步骤4041:所述分析告警服务器进一步根据所述图像中的人头信息,确定所述区域内的人数和/或人流密度数据;并进一步根据所述区域内的人数和/或人流密度数据,确定与所述区域关联的人流信息。
步骤4042:所述分析告警服务器进一步根据所述图像中的人脸特征信息,确定所述区域中目标个体的标识信息,所述目标个体的标识信息用于指示是否存在所述目标个体;根据所述区域中目标个体的标识信息,确定与所述区域关联的人流信息,所述人流信息包括:目标个体的位置和/或目标个体的运动轨迹。
步骤404b:所述云平台的分析告警服务器根据所述图像中的个体的行为特征确定所述区域关联的人流信息。
步骤405a:所述云平台的分析告警服务器根据所述人流信息中的人流密度分布数据和/或人数分布数据绘制所述区域内人流密度分布平面图和/或人数分布平面图;响应于所述管理节点的展示请求,上述分析告警服务器发送所述人流密度分布平面图和/或人数分布平面图至所述管理节点。
本步骤中,所述云平台发送绘制的所述区域内人流密度分布平面图和/或人数分布平面图至商场管理人员的客户端。
步骤405b:所述云平台的分析告警服务器根据所述人流信息中的人流运动轨迹数据绘制所述区域内的人流运动轨迹图;响应于所述管理节点的展示请求,发送所述人流运动轨迹图至所述管理节点。
步骤405c:当该区域内的人数大于第一阈值时和/或当该区域内某一处人流密度大于第二阈值时,所述云平台的分析告警服务器生成拥挤告警信息,并将所述拥挤告警信息发送至所述管理节点,以使相关人员及时采取相应措施。
本步骤中,所述云平台发送生成的所述拥挤告警信息至商场管理人员的客户端,以使其进行展示
在另一些实例中,当所述人脸识别结果和人脸库中的某一条人脸信息记录相匹配时,向所述监控节点发送采集指令,以使其采集所述人脸识别结果对应的目标个体的图像以进行取证。
步骤405d:当所述管理信息至少包括人流统计信息时,将所述人流信息中的目标个体的位置和/或目标个体的运动轨迹发送至所述管理节点。
本步骤中,将所述图像中的人脸特征信息与人脸库中的各条人脸信息记录中的人脸特征信息进行匹配,其中,所述人脸信息记录包括所述人脸特征信息对应的人的姓名、人脸特征信息;如果所述图像中的人脸特征信息和所述人脸库中的一条人脸信息记录中的人脸特征信息相匹配,确定所述区域中目标个体的标识信息。
更进一步的,当所述人脸信息记录进一步包括所属库类别时,如果所述图像中的人脸特征信息和所述人脸库中的一条人脸信息记录中的人脸特征信息相匹配,根据所述人脸信息记录中的所属库类别确定所述图像中的人脸特征信息的所属库类别;根据确定的所述所属库类别生成匹配告警信息,并将所述匹配告警信息发送至所述管理节点。
本步骤中,所述云平台的分析告警服务器发送生成的所述匹配告警信息至商场管理人员的客户端。
在一些实例中,如果上述人脸特征信息和人脸库中的某一条人脸信息记录相匹配时,上述分析告警服务器向监控节点发送采集指令,以使其采集所述人脸特征信息对应的目标个体的图像以进行取证。
步骤405e:所述云平台的分析告警服务器响应于所述管理节点的展示请求,将所述区域的行为特征对应的人流密度分布、行为特征对应的人流运动轨迹、行为特征对应的人数中的至少一者发送至所述管理节点以使商场管理人员制定相应的运营和管理策略。
所述云平台的分析告警服务器响应于管理节点查看请求,发送确定的所述区域的行为特征及与该行为特征对应的人流信息,比如人流密度分布、人流运动轨迹以及人数至商场管理人员的客户端。
在一些实例中,所述云平台的分析告警服务器响应于管理节点的展示请求,将确定的目标群体及其行为特征发送至商场管理人员的客户端,供其参考以制定运营和管理策略。
需要说明的是,步骤405a~步骤405e可以同步执行,也可以不分先后顺序地分别执行。
步骤406a:所述管理节点展示所述区域内人流密度分布平面图和/或人数分布平面图。
步骤406b:所述管理节点展示所述区域内的人流运动轨迹图。
步骤406c:所述管理节点展示并播放所述拥挤告警信息。
步骤406d:所述管理节点展示并播放所述匹配告警信息。
步骤406e:所述管理节点展示所述区域内的行为特征及与该行为特征对应的人流信息。
需要说明的是,步骤406a~步骤406e可以同步执行,也可以不分先后顺序地分别执行。
在一些实例中,所述监控节点响应于所述云平台的采集指令,采集所述目标个体的图像以进行取证。
本申请还提供了一种基于图像分析的信息处理装置,应用于连接多个监控节点的云平台,可以实现本申请提出的基于图像分析的信息处理方法。图5示出了本申请实施例提供的基于图像分析的信息处理装置的结构示意图。如图5所示,该装置包括接收模块501、识别模块502、分析模块503以及发送模块504,其中,各模块的功能如下:
接收模块501,从所述监控节点接收该监控节点对应区域的图像;所述图像由所述监控节点中的图像采集设备实时采集;
识别模块502,对所述图像进行个体识别处理,根据所述个体识别处理的结果确定所述区域关联的人流信息;
分析模块503,根据所述人流信息生成与所述区域关联的管理信息;
发送模块504,发送所述区域关联的管理信息至所述区域对应的管理节点。
图6示出了一种计算设备600的组成结构图。该计算设备600上可以安装个体识别模块202与分析告警模块203以作为基于图像分析的信息处理***的云平台,也可以安装有远程监控模块204以作为基于图像分析的信息处理***的管理节点,还可以安装有基于图像分析的信息处理装置的功能模块。如图6所示,该计算设备包括一个或者多个处理器(CPU)602、通信模块604、存储器606、用户接口610,以及用于互联这些组件的通信总线608。
处理器602可通过通信模块604接收和发送数据以实现网络通信和/或本地通信。
用户接口610包括一个或多个输出设备612,其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口610也包括一个或多个输入设备614,其包括诸如,键盘,鼠标,声音命令输入单元或扩音器,触屏显示器,触敏输入板,姿势捕获摄像机或其他输入按钮或控件等。
存储器606可以是高速随机存取存储器,诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备;或者非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备,或其他非易失性固态存储设备。
存储器606存储处理器602可执行的指令集,包括:
操作***616,包括用于处理各种基本***服务和用于执行硬件相关任务的程序;
应用618,包括用于基于图像分析的信息处理的各种应用程序,这种应用程序能够实现上述各实例中的处理流程,比如可以包括图2a所示的基于图像分析的信息处理***200中的部分或全部单元或者图5所示基于图像分析的信息处理装置的全部或部分模块。各单元或模块202-203或204中的至少一个模块可以存储有机器可执行指令,各模块501-504中的至少一个模块可以存储有机器可执行指令。处理器602通过执行存储器606中各模块202-203或204或501-504中至少一个模块中的机器可执行指令,进而能够实现上述各模块202-203或204或501-504中的至少一个模块的功能。
需要说明的是,上述各流程和各结构图中不是所有的步骤和模块都是必须的,可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的,可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分,实际实现时,一个模块可以分由多个模块实现,多个模块的功能也可以由同一个模块实现,这些模块可以位于同一个设备中,也可以位于不同的设备中。
各实施例中的硬件模块可以以硬件方式或硬件平台加软件的方式实现。上述软件包括机器可读指令,存储在非易失性存储介质中。因此,各实施例也可以体现为软件产品。
因此,本申请的一些实施例还提供了一种计算机可读存储介质,其上存储有计算机指令,其中,所述计算机指令被处理器执行时实现上述图3-4中任一图所述方法的步骤。
各例中,硬件可以由专门的硬件或执行机器可读指令的硬件实现。例如,硬件可以为专门设计的永久性电路或逻辑器件(如专用处理器,如FPGA或ASIC)用于完成特定的操作。硬件也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。
另外,本申请的每个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然,数据处理程序构成了本申请。此外,通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此,这样的存储介质也构成了本申请,本申请还提供了一种非易失性存储介质,其中存储有数据处理程序,这种数据处理程序可用于执行本申请上述方法实施例中的任何一种实施例。
图2a、2b以及图5中的模块对应的机器可读指令可以使计算机上操作的操作***等来完成这里描述的部分或者全部操作。非易失性计算机可读存储介质可以是***计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器。安装在扩展板或者扩展单元上的CPU等可以根据指令执行部分和全部实际操作。
另外,在本申请各个实施例中的装置及各模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上装置或模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (19)

1.一种基于图像分析的信息处理方法,其特征在于,应用于云平台,所述云平台连接网络中部署的各个监控节点,所述方法包括:
从所述监控节点接收该监控节点对应区域的图像;所述图像由所述监控节点中的图像采集设备实时采集;
对所述图像进行个体识别处理,根据所述个体识别处理的结果确定所述区域关联的人流信息;
根据所述人流信息生成与所述区域关联的管理信息;
发送所述区域关联的管理信息至所述区域对应的管理节点。
2.根据权利要求1所述的方法,其中,所述对所述图像进行个体识别处理包括:对所述图像进行人体特征识别和/或个体行为分析。
3.根据权利要求1所述的方法,其中,所述与所述区域关联的人流信息包括:所述区域内的人流信息、包含所述区域的任一区域集合的人流信息、所述区域中任一子区域的人流信息中的至少一者;
所述与所述区域关联的管理信息包括:所述区域内的管理信息、包含所述区域的任一区域集合的管理信息、所述区域中任一子区域的管理信息中的至少一者。
4.根据权利要求2所述的方法,进一步包括:通过多个样本图像对第一神经网络进行训练,得到用于人体特征识别的第一神经网络模型;
其中,当所述对所述图像进行个体识别处理包括对所述图像进行人体特征识别时,所述对所述图像进行人体特征识别包括:
将所述图像输入所述第一神经网络模型;
根据所述第一神经网络模型的输出,确定所述图像中的人体特征信息。
5.根据权利要求2所述的方法,其中,所述人体特征识别包括人头识别,所述图像中的人体特征信息包括人头信息;
其中,根据所述个体识别处理的结果确定所述区域关联的人流信息,包括:
根据所述图像中的人头信息,确定所述区域内的人数和/或人流密度数据;
根据所述区域内的人数和/或人流密度数据,确定与所述区域关联的人流信息,所述人流信息包括:人流密度分布、人流运动轨迹、人数分布中的至少一者。
6.根据权利要求2所述的方法,其中,所述人体特征识别包括人脸识别,所述图像中的人体特征信息包括人脸特征信息;
其中,根据所述个体识别处理的结果确定所述区域关联的人流信息,包括:
根据所述图像中的人脸特征信息,确定所述区域中目标个体的标识信息,所述目标个体的标识信息用于指示是否存在所述目标个体;
根据所述区域中目标个体的标识信息,确定与所述区域关联的人流信息,所述人流信息包括:目标个体的位置和/或目标个体的运动轨迹。
7.根据权利要求2所述的方法,进一步包括:通过多个样本图像对第二神经网络进行训练,得到用于个体行为分析的第二神经网络模型;
其中,当所述对所述图像进行个体识别处理包括对所述图像进行个体行为分析时,所述对所述图像进行个体行为分析包括:
将所述图像输入所述第二神经网络模型;
根据所述第二神经网络模型的输出,确定所述图像中个体的行为特征。
8.根据权利要求2所述的方法,其中,根据所述个体识别处理的结果确定所述区域关联的人流信息,包括:
根据所述图像中个体的行为特征,确定所述区域中各个个体的行为特征;
根据所述区域中各个个体的行为特征,确定与所述区域关联的人流信息,所述人流信息包括:行为特征对应的人流密度分布、行为特征对应的人流运动轨迹、行为特征对应的人数中的至少一者。
9.根据权利要求1所述的方法,其中,所述管理信息包括:人流统计信息、告警信息、管理策略中的至少一者。
10.根据权利要求9所述的方法,其中,当所述管理信息至少包括所述人流统计信息时,所述方法进一步包括:
根据所述人流信息中的人流密度分布数据和/或人数分布数据绘制所述区域内人流密度分布平面图和/或人数分布平面图;
响应于所述管理节点的展示请求,发送所述人流密度分布平面图和/或人数分布平面图至所述管理节点。
11.根据权利要求9所述的方法,其中,当所述管理信息至少包括所述人流统计信息时,所述方法进一步包括:
根据所述人流信息中的人流运动轨迹数据绘制所述区域内的人流运动轨迹图;
响应于所述管理节点的展示请求,发送所述人流运动轨迹图至所述管理节点。
12.根据权利要求9所述的方法,其中,当所述管理信息至少包括告警信息时,所述方法进一步包括:
如果所述区域内的人数大于第一阈值和/或所述区域内的人流密度分布数据大于第二阈值,生成拥挤告警信息,并将所述拥挤告警信息发送至所述管理节点。
13.根据权利要求6所述的方法,其中,所述根据所述图像中的人脸特征信息,确定所述区域中目标个体的标识信息,包括:
将所述图像中的人脸特征信息与人脸库中的各条人脸信息记录中的人脸特征信息进行匹配,其中,一条所述人脸信息记录包括目标个体的标识和人脸特征信息;
如果所述图像中的人脸特征信息和所述人脸库中的一条人脸信息记录中的人脸特征信息相匹配,则生成指示所述区域中存在该条人脸信息记录对应的所述目标个体的标识信息。
14.根据权利要求13所述的方法,其中,所述人脸信息记录进一步包括所属库类别;
其中,所述如果所述图像中的人脸特征信息和所述人脸库中的一条人脸信息记录中的人脸特征信息相匹配,则生成指示所述区域中存在该条人脸信息记录对应的所述目标个体的标识信息,包括:
当所述图像中的人脸特征信息和所述人脸库中的一条人脸信息记录中的人脸特征信息相匹配时,根据所述人脸信息记录中的所属库类别确定所述图像中的人脸特征信息的所属库类别;
根据确定的所述所属库类别生成匹配告警信息,并将所述匹配告警信息发送至所述管理节点。
15.根据权利要求9所述的方法,其中,当所述管理信息至少包括告警信息时,将所述人流信息中的目标个体的位置和/或目标个体的运动轨迹发送至所述管理节点。
16.根据权利要求9所述的方法,其中,当所述管理信息至少包括人流统计信息时,响应于所述管理节点的展示请求,将所述区域的行为特征对应的人流密度分布、行为特征对应的人流运动轨迹、行为特征对应的人数中的至少一者发送至所述管理节点。
17.根据权利要求13所述的方法,其中,所述方法进一步包括:
当确定所述图像中的人脸特征信息和所述人脸信息记录中的人脸特征信息相匹配时,发送采集指令至所述监控节点,以使其采集所述图像中的人脸特征信息对应的目标个体的图像。
18.一种基于图像分析的信息处理装置,其特征在于,应用于云平台,所述云平台连接网络中部署的各个监控节点,所述装置包括:
接收模块,从所述监控节点接收该监控节点对应区域的图像;所述图像由所述监控节点中的图像采集设备实时采集;
识别模块,对所述图像进行个体识别处理,根据所述个体识别处理的结果确定所述区域关联的人流信息;
分析模块,根据所述人流信息生成与所述区域关联的管理信息;
发送模块,发送所述区域关联的管理信息至所述区域对应的管理节点。
19.一种存储介质,其特征在于,存储有机器可读指令,可以使至少一个处理器执行如权利要求1-17任一项所述的方法。
CN201810128166.XA 2018-02-08 2018-02-08 基于图像分析的信息处理方法、装置、***及存储介质 Pending CN108345854A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810128166.XA CN108345854A (zh) 2018-02-08 2018-02-08 基于图像分析的信息处理方法、装置、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810128166.XA CN108345854A (zh) 2018-02-08 2018-02-08 基于图像分析的信息处理方法、装置、***及存储介质

Publications (1)

Publication Number Publication Date
CN108345854A true CN108345854A (zh) 2018-07-31

Family

ID=62958651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810128166.XA Pending CN108345854A (zh) 2018-02-08 2018-02-08 基于图像分析的信息处理方法、装置、***及存储介质

Country Status (1)

Country Link
CN (1) CN108345854A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117788A (zh) * 2018-08-10 2019-01-01 重庆大学 一种融合ResNet和LSTM的公交车厢拥挤度检测方法
CN110188644A (zh) * 2019-05-22 2019-08-30 广东寰球智能科技有限公司 一种基于视觉分析的扶梯乘客危险行为监控***及方法
CN110310164A (zh) * 2019-07-30 2019-10-08 广州云从信息科技有限公司 图像处理***、方法、平台、机器可读介质及设备
CN110837829A (zh) * 2018-08-17 2020-02-25 珠海格力电器股份有限公司 扫地机器人的控制方法和***
CN110968020A (zh) * 2019-12-13 2020-04-07 微创(上海)网络技术股份有限公司 一种***运行监控可视化平台
CN111292502A (zh) * 2020-02-17 2020-06-16 浙江大华技术股份有限公司 一种防走失预警的方法、装置及存储介质
CN111310564A (zh) * 2020-01-13 2020-06-19 陈丙涛 用于孕妇保护的信号触发***及方法
CN111338275A (zh) * 2020-02-21 2020-06-26 江苏大量度电气科技有限公司 一种电气设备运行状态监控方法及***
CN111523624A (zh) * 2020-04-26 2020-08-11 京东方科技集团股份有限公司 一种人群分流引导***
CN112418063A (zh) * 2020-11-19 2021-02-26 北京软通智慧城市科技有限公司 人脸识别方法、装置、电子设备及存储介质
CN113051975A (zh) * 2019-12-27 2021-06-29 深圳云天励飞技术有限公司 人流量统计方法及相关产品
CN113869779A (zh) * 2021-10-13 2021-12-31 深圳联和智慧科技有限公司 基于城市管理的人流监控方法、***及云平台

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335864A (zh) * 2007-06-28 2008-12-31 当代天启技术(北京)有限公司 统计户外视频收视人数的方法和***
CN101445122A (zh) * 2008-12-25 2009-06-03 北京交通大学 一种城市轨道交通客流监控与紧急疏散***
CN101741658A (zh) * 2008-11-25 2010-06-16 北京中星微电子有限公司 视频监控***以及视频监控***中的交互方法
CN101753985A (zh) * 2008-11-27 2010-06-23 北京中星微电子有限公司 视频监控***及该***中的媒体流传输控制装置和方法
EP2362636A1 (en) * 2010-02-26 2011-08-31 Research In Motion Limited Object detection and selection using gesture recognition
CN105404860A (zh) * 2015-11-13 2016-03-16 北京旷视科技有限公司 用于管理走失人员信息的方法和设备
CN106650581A (zh) * 2016-09-27 2017-05-10 腾讯科技(深圳)有限公司 一种人流量统计方法及装置
CN106778637A (zh) * 2016-12-19 2017-05-31 江苏慧眼数据科技股份有限公司 一种对男女客流的统计方法
CN107067159A (zh) * 2017-03-09 2017-08-18 深圳华博高科光电技术有限公司 智慧城市管理调度平台***
US20180115751A1 (en) * 2015-03-31 2018-04-26 Westire Technology Limited Smart city closed camera photocell and street lamp device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335864A (zh) * 2007-06-28 2008-12-31 当代天启技术(北京)有限公司 统计户外视频收视人数的方法和***
CN101741658A (zh) * 2008-11-25 2010-06-16 北京中星微电子有限公司 视频监控***以及视频监控***中的交互方法
CN101753985A (zh) * 2008-11-27 2010-06-23 北京中星微电子有限公司 视频监控***及该***中的媒体流传输控制装置和方法
CN101445122A (zh) * 2008-12-25 2009-06-03 北京交通大学 一种城市轨道交通客流监控与紧急疏散***
EP2362636A1 (en) * 2010-02-26 2011-08-31 Research In Motion Limited Object detection and selection using gesture recognition
US20180115751A1 (en) * 2015-03-31 2018-04-26 Westire Technology Limited Smart city closed camera photocell and street lamp device
CN105404860A (zh) * 2015-11-13 2016-03-16 北京旷视科技有限公司 用于管理走失人员信息的方法和设备
CN106650581A (zh) * 2016-09-27 2017-05-10 腾讯科技(深圳)有限公司 一种人流量统计方法及装置
CN106778637A (zh) * 2016-12-19 2017-05-31 江苏慧眼数据科技股份有限公司 一种对男女客流的统计方法
CN107067159A (zh) * 2017-03-09 2017-08-18 深圳华博高科光电技术有限公司 智慧城市管理调度平台***

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117788A (zh) * 2018-08-10 2019-01-01 重庆大学 一种融合ResNet和LSTM的公交车厢拥挤度检测方法
CN110837829A (zh) * 2018-08-17 2020-02-25 珠海格力电器股份有限公司 扫地机器人的控制方法和***
CN110188644A (zh) * 2019-05-22 2019-08-30 广东寰球智能科技有限公司 一种基于视觉分析的扶梯乘客危险行为监控***及方法
CN110310164A (zh) * 2019-07-30 2019-10-08 广州云从信息科技有限公司 图像处理***、方法、平台、机器可读介质及设备
CN110968020A (zh) * 2019-12-13 2020-04-07 微创(上海)网络技术股份有限公司 一种***运行监控可视化平台
CN113051975A (zh) * 2019-12-27 2021-06-29 深圳云天励飞技术有限公司 人流量统计方法及相关产品
CN113051975B (zh) * 2019-12-27 2024-04-02 深圳云天励飞技术有限公司 人流量统计方法及相关产品
CN111310564A (zh) * 2020-01-13 2020-06-19 陈丙涛 用于孕妇保护的信号触发***及方法
CN111310564B (zh) * 2020-01-13 2021-03-30 青岛大学附属医院 用于孕妇保护的信号触发***及方法
CN111292502A (zh) * 2020-02-17 2020-06-16 浙江大华技术股份有限公司 一种防走失预警的方法、装置及存储介质
CN111338275A (zh) * 2020-02-21 2020-06-26 江苏大量度电气科技有限公司 一种电气设备运行状态监控方法及***
CN111523624A (zh) * 2020-04-26 2020-08-11 京东方科技集团股份有限公司 一种人群分流引导***
CN112418063A (zh) * 2020-11-19 2021-02-26 北京软通智慧城市科技有限公司 人脸识别方法、装置、电子设备及存储介质
CN113869779A (zh) * 2021-10-13 2021-12-31 深圳联和智慧科技有限公司 基于城市管理的人流监控方法、***及云平台
CN113869779B (zh) * 2021-10-13 2023-06-13 深圳联和智慧科技有限公司 基于城市管理的人流监控方法、***及云平台

Similar Documents

Publication Publication Date Title
CN108345854A (zh) 基于图像分析的信息处理方法、装置、***及存储介质
Gao et al. Human action monitoring for healthcare based on deep learning
CN109922310B (zh) 目标对象的监控方法、装置及***
Kalra et al. Dronesurf: Benchmark dataset for drone-based face recognition
CN105531995B (zh) 用于使用多个摄像机进行对象和事件识别的***和方法
CN109299683B (zh) 一种基于人脸识别和行为大数据的安防评估***
CN107370983A (zh) 用于视频监控***的行踪轨迹的获取方法和装置
JP6267861B2 (ja) 対話型広告のための使用測定技法およびシステム
CN110363131B (zh) 基于人体骨架的异常行为检测方法、***及介质
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN110263613A (zh) 监控视频处理方法及装置
JP6397581B2 (ja) 混雑状況可視化装置、混雑状況可視化システム、混雑状況可視化方法、および混雑状況可視化プログラム
WO2018035667A1 (zh) 显示方法、装置、电子设备、计算机程序产品和非暂态计算机可读存储介质
CN112991656A (zh) 基于姿态估计的全景监控下人体异常行为识别报警***及方法
CN111312367A (zh) 一种基于自适应云管理平台的校园人员异常心理预测方法
Gupta et al. CrowdVAS-Net: A deep-CNN based framework to detect abnormal crowd-motion behavior in videos for predicting crowd disaster
US20100153597A1 (en) Generating Furtive Glance Cohorts from Video Data
CN106296017A (zh) 一种客房入住的管理方法及装置
JP6744652B1 (ja) 混雑情報報知システム
JP6764214B1 (ja) 混雑情報報知システム
CN113411542A (zh) 一种智能化的工作状况监测设备
CN110163154A (zh) 基于人工智能的视频监控***
Ancheta et al. FEDSecurity: implementation of computer vision thru face and eye detection
Atrey et al. Effective multimedia surveillance using a human-centric approach
CN109584992A (zh) 交互方法、装置、服务器、存储介质及沙盘治疗***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180731