CN107330372A - 一种基于视频的人群密度与异常行为检测***的分析方法 - Google Patents

一种基于视频的人群密度与异常行为检测***的分析方法 Download PDF

Info

Publication number
CN107330372A
CN107330372A CN201710411185.9A CN201710411185A CN107330372A CN 107330372 A CN107330372 A CN 107330372A CN 201710411185 A CN201710411185 A CN 201710411185A CN 107330372 A CN107330372 A CN 107330372A
Authority
CN
China
Prior art keywords
mrow
msub
crowd
light stream
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710411185.9A
Other languages
English (en)
Other versions
CN107330372B (zh
Inventor
何小海
韦招静
吴晓红
卿粼波
熊杰
滕奇志
王正勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201710411185.9A priority Critical patent/CN107330372B/zh
Publication of CN107330372A publication Critical patent/CN107330372A/zh
Application granted granted Critical
Publication of CN107330372B publication Critical patent/CN107330372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频的人群密度与异常行为检测***的分析方法,涉及智能视频监控、目标检测等领域。方法包括:利用改进的基于像素点统计和纹理统计的方法进行密度分级;利用基于像素点统计和前景角点检测相结合的方法进行人数估计;引入局部光流,提出并实现了一种基于平均动能变化倍率的人群异常行为检测算法。该方法不仅能适用于一般的监控视频,更能适用于较为突出的大型公共场所中人群聚集的视频。本发明的方法***耗时少,且具有较好的有效性和实用性,满足现实要求。

Description

一种基于视频的人群密度与异常行为检测***的分析方法
技术领域
本发明涉及一种公共安全领域中基于视频的人群密度与异常行为检测***的分析方法,尤其涉及改进的基于像素点统计和纹理统计相结合的人群密度分级方法、基于像素点统计和角点检测结合的人数估计方法、提出并实现了一种基于平均动能变化倍率的人群异常行为检测算法,属于机器视觉与智能信息处理领域。
背景技术
近年来,随着经济的快速发展及人们社会活动的不断增加,交通枢纽、大型活动现场及大型商场等公共场所发生人流拥堵的现象越来越频繁,考虑人群过度拥挤造成的安全隐患越来越严重。因此,为了维护公共秩序,保障人群安全,越来越多的监控***被投入使用。欧盟的ADVISOR***就是一个应用于公共交通的安全管理***;它涵盖了个体行为分析,也包括群体行为分析,还对人机交互方面有了部分涉及。随着市场上对视频监控***需求的***性增大,开发出一套稳定、快速、多功能的智能监控***迫在眉睫。
基于视频的人群密度与异常行为检测***的分析方法在技术实现上主要包括人群密度分级、人数估计与异常行为检测三个部分。
首先,对视频中的人群密度分级。基于视频的人群密度分级方法大体可分为以下几类:基于像素点统计的人群密度分级方法,基于纹理特征的人群密度分级方法和基于个体特征的人群密度分级方法。基于像素点统计的分级方法实现简单,计算量较小,但由于人群之间相互遮挡而造成最后密度分级结果误差较大,该方法只适用于人群流量密度较低场景。基于纹理特征的分级方法能较好地处理人群之间存在相互重叠、遮挡现象,能取得较好的人群密度分级,但该方法由于提取的特征数量较多,计算量较大,对中低密度场景中人群密度分级误差较大,该方法只适用于人群流量密度较高场景。基于个体特征的方法因其计算复杂度较高,在实际应用场景中很难实现实时监控。
其次,对视频中的人数估计。人数检测算法主要分为两类,一类是通过检测或者识别人群目标进行直接计算人数的算法,一类是通过提取人群的特征进行间接计算人数的算法。直接计算法又可以分为基于模型和基于轨迹聚类两种类型,基于模型的主要思路是将人分割出来,然后用人的模型或者形状进行匹配以便进行计数,基于轨迹聚类的算法是通过检测人群中相互独立的运动模式,根据运动模式分别进行计数。间接计算法主要包括基于像素特征的算法和基于特征点的算法。Davie等人在1995年第一次提出运用图像处理技术来检测人群人数,其主要思路是,首先提取出视频图像的前景边缘图像并得到其总的像素数,然后将得到的像素数输入训练得到的线性回归方程计算人数,该方法算法复杂度较低,但是算法准确度不高。在人群密度较高的情况下,人群的拥挤会导致目标的重叠或者遮挡,这时基于像素特征的方法其准确性将大打折扣,故基于像素特征的算法只能在人群密度较低的情况下使用。基于特征点的算法主要思路是,首先提取特征点,如Harris角点、SIFT角点、SURF角点等,然后对角点进行跟踪,经过算法筛选得到随目标移动的点,根据环境训练***需要的参数并获得回归方程,最后根据前景特征点的数目以及训练好的回归方程,得到总的人群人数。
最后,对视频中的人群进行异常行为检测。人群异常行为检测属于群体行为识别的范畴,目前主要通过人群的运动速度和方向来判断是否有异常行为,不少学者也提出了一些针对人群异常行为检测的算法。Andrade等人首先定义一种“正常群体运动”,然后采用隐马尔科夫模型(Hidden Markov Model,HMM)进行人群行为分析,但是该算法所采用的人群行为描述特征性能较差,故检测准确度较低。Wang等人通过采用改进的时空体特征对群体行为进行描述,但该方法计算复杂度太高难以满足实时性要求。另外,Hassner等人提出了一种基于全局光流信息的人群暴力行为检测算法,该算法检测准确度较高。Liu等人提出用一系列基于主体运动的模型来发现群体运动轨迹,从而识别群体运动,该方法识别效果较好,但是处理速度过慢,不利于实际应用。
发明内容
本发明的目的就在于为了解决上述问题而提供一种基于视频的人群密度与异常行为检测***的方法。
本发明通过以下技术方案来实现上述目的:
(1)人群密度分级:
将像素点统计和纹理特征相结合,首先用像素点统计法对人群进行预估计,当判断当前的人群密度过高时就采用纹理特征进行人群密度估计,该方法既利用了像素点统计法实现简单、速度快的优点,又能在高密度人群时利用纹理特征法进行进一步的密度分级。
基于像素点统计的人群密度分级:
(a)先对待处理图像转化为灰度图像,采用文献Canny边缘检测算法对相邻两帧灰度图像进行边缘提取,得到边缘图像;
(b)将两帧得到的边缘图像进行差分,并通过形态学膨胀和腐蚀操作消除干扰噪声,得到优化后的差分边缘图像;
(c)再将当前帧的边缘图像和优化后的差分边缘图像进行与操作,得到运动前景边缘图像;
(d)将前景边缘像划分很多个矩形框,计算出每个矩形框中的边缘像素点数,计算出边缘最终的总像素点数;
(e)采用线性拟合的方法拟合出人群数量与人群前景边缘总像素点数之间的关系,估计出人群数量,进而估计出大概的人群密度。
(f)当前人数是否大于阈值Thr1,若否,则输出密度等级,低密度和中密度;若是,则采用基于纹理特征的人群密度等级分级,并输出高密度和极高密度。
基于纹理特征的人群密度分级,由于图像中的纹理没有规律,大多服从统计分布规律,因此本文选取基于灰度共生矩阵(GLCM)的纹理特征对高密度人群进行分析,并实现不同人群密度的分级。设I(x,y)为原图像,M×N为图像像尺寸为,M,N分别表示图像的宽度和高度,L表示图像灰度级别,根据一定空间关系,得出的灰度共生矩阵为:
f(i,j)=#{(x1,y1),(x2,y2)∈M×N|I(x1,y1)=i,I(x2,y2)=j} (1)
式(1)中,i和j表示图像灰度值,#表示集合中的元素个数,f为L×L的矩阵,像素点(x1,y1)和(x2,y2)之间的距离为d,两像素点的连线与水平方向的夹角为θ,则生成的灰度共生矩阵为f(i,j|d,θ),其意义是满足图像中出现灰度值分别为i、j,相距距离为d,方向为θ的两个像素点的次数,一般θ=0°,45°,90°,135°。由灰度共生矩阵得到5种纹理参数:对比度、均匀性、能量、熵、相关性。
对比度
均匀性
能量
相关性
其中,
(2)人数估计:
将像素点统计和前景角点检测相结合,首先用像素点统计法对视频中的人数预估计,当判断当前的人数高于阈值Thr1时就采用前景角点检测对视频中的人数进行估计,具体步骤如下:
基于像素点统计的人数估计如上(1)中所述。
基于前景点角点检测的人数估计:
(a)初始化参数,主要是初始化α、β的值,角点之间的最小距离dmin等。
(b)角点检测,采用Shi-Tomasi算法获得视频图像的所有角点。
(c)光流跟踪,采用金字塔LK光流法对获取的角点进行有效跟踪。
(d)提取前景角点,通过计算每个角点处光流幅值剔除背景点,该处光流幅值大于阈值Thr2时,即为前景点。
(e)检测人群人数,根据前景角点数目,按照初始值和式(11)计算得到人群人数估计值Nest
Nest=(αn+βn)/2 (11)
其中,视频图像中检测到的前景角点的数目为n,人群目标人数为N,为了减少图像中角度造成的影响,定义人群人数的下限值为αn,上限值为βn,α、β为适当正数,且α≤β根据大量数据统计发现,人群人数N一般不大于前景角点数目n,故有β≤1。α的大小与人群个体所占图像面积比重大小有关,所以一般地0.5<α≤1。
(3)异常行为检测
一般来说,当人群出现异常行为时,人的运动动能的变化将比正常情况下剧烈得多,因此可以通过分析人体的运动动能的变化来判断人群的行为状态。而人的运动动能一般与其光流的幅值量呈正相关,因此可以用光流幅值来表征人的运动动能,根据某点的光流可以得到光流幅值,结合帧间的运动信息可以得到光流幅值变化量,于是我们可以计算人群的平均光流幅值,再根据帧间信息进而可以得到平均光流幅值变化的情况。
假定视频图像中的某个像素点px,y在t时刻的光流向量为(ux,y,t,vx,y,t),其中,ux,y,t、vx,y,t分别为t时刻px,y在x和y方向的光流分量,该点t时刻的光流幅值表示如下:
求px,y处相邻帧间的光流幅值变化量,然后依据设定的阈值mean将其二值化,设二值化后的光流幅值变化量为bx,y,t,二值化规则表示如下:
阈值mean为帧间光流幅值变化量的平均值,mean依据式(14)得到。
其中,row、cols分别代表视频图像的行数和列数。
接着计算同一像素点在不同时刻的二值化后的光流幅值变化量平均值,假定该像素点的二值化后的光流幅值平均变化量为依据式(15)得到。
由以上论述可知,通过光流信息计算得到每一个像素点的光流幅值,进而可以计算每帧的光流幅值平均值。在这里设定当前帧的光流幅值平均值、动能平均值分别为为前一帧光流幅值平均值、动能平均值分别为用式(16)表示动能变化与光流幅值量变化的关系。
其中,k为一般正数,λ表示平均动能变化的倍率,当λ超过阈值Thr2时,当前人群运动有异常行为。
综上,我们可以通过计算图像中每群人的平均动能变化倍率,再根据阈值Thr2来判断当前人群是否有异常行为。如果有异常行为,保存第一帧异常帧的前一帧的平均光流幅值,以便求后续帧与该帧的平均动能变化倍率,从而判断后续帧是否有异常。
本发明的有益效果在于:
本发明设计了一种基于视频的人群密度与异常行为检测***,针对较为突出的大型公共场所中聚集人群的视频,该***能够检测出人群密度等级、估计出人数、检测人群状态正常与否,具有检测准确的优点,并且对于异常人群能实施报警,本发明方法易于在软件平台上实现且运算量小,实时性高。
附图说明
图1是本发明所述基于视频的人群密度与异常行为检测***的整体流程图。
具体实施方式
下面结合附图对本发明作进一步说明:
如图1所示,图中的流程是以下方法的主要过程简述,采用以下步骤对用于监测的视频图像进行分析:
(1)人群密度分级:
将像素点统计和纹理特征相结合,首先用像素点统计法对人群进行预估计,当判断当前的人群密度过高时就采用纹理特征进行人群密度估计,该方法既利用了像素点统计法实现简单、速度快的优点,又能在高密度人群时利用纹理特征法进行进一步的密度分级。
基于像素点统计的人群密度分级:
(a)先对待处理图像转化为灰度图像,采用文献Canny边缘检测算法对相邻两帧灰度图像进行边缘提取,得到边缘图像;
(b)将两帧得到的边缘图像进行差分,并通过形态学膨胀和腐蚀操作消除干扰噪声,得到优化后的差分边缘图像;
(c)再将当前帧的边缘图像和优化后的差分边缘图像进行与操作,得到运动前景边缘图像;
(d)将前景边缘像划分很多个矩形框,计算出每个矩形框中的边缘像素点数,计算出边缘最终的总像素点数;
(e)采用线性拟合的方法拟合出人群数量与人群前景边缘总像素点数之间的关系,估计出人群数量,进而估计出大概的人群密度。
(f)当前人数是否大于阈值Thr1,若否,则输出密度等级,低密度和中密度;若是,则采用基于纹理特征的人群密度等级分级,并输出高密度和极高密度。
基于纹理特征的人群密度分级,由于图像中的纹理没有规律,大多服从统计分布规律,因此本文选取基于灰度共生矩阵(GLCM)的纹理特征对高密度人群进行分析,并实现不同人群密度的分级。设I(x,y)为原图像,M×N为图像像尺寸为,M,N分别表示图像的宽度和高度,L表示图像灰度级别,根据一定空间关系,得出的灰度共生矩阵为:
f(i,j)=#{(x1,y1),(x2,y2)∈M×N|I(x1,y1)=i,I(x2,y2)=j} (1)
式(1)中,i和j表示图像灰度值,#表示集合中的元素个数,f为L×L的矩阵,像素点(x1,y1)和(x2,y2)之间的距离为d,两像素点的连线与水平方向的夹角为θ,则生成的灰度共生矩阵为f(i,j|d,θ),其意义是满足图像中出现灰度值分别为i、j,相距距离为d,方向为θ的两个像素点的次数,一般θ=0°,45°,90°,135°。由灰度共生矩阵得到5种纹理参数:对比度、均匀性、能量、熵、相关性。
对比度
均匀性
能量
相关性
其中,
(2)人数估计:
将像素点统计和前景角点检测相结合,首先用像素点统计法对视频中的人数预估计,当判断当前的人数高于阈值Thr1时就采用前景角点检测对视频中的人数进行估计,具体步骤如下:
基于像素点统计的人数估计如上(1)中所述。
基于前景点角点检测的人数估计:
(a)初始化参数,主要是初始化α、β的值,角点之间的最小距离dmin等。
(b)角点检测,采用Shi-Tomasi算法获得视频图像的所有角点。
(c)光流跟踪,采用金字塔LK光流法对获取的角点进行有效跟踪。
(d)提取前景角点,通过计算每个角点处光流幅值剔除背景点,该处光流幅值大于阈值Thr2时,即为前景点。
(e)检测人群人数,根据前景角点数目,按照初始值和式(11)计算得到人群人数估计值Nest
Nest=(αn+βn)/2 (11)
其中,视频图像中检测到的前景角点的数目为n,人群目标人数为N,为了减少图像中角度造成的影响,定义人群人数的下限值为αn,上限值为βn,α、β为适当正数,且α≤β根据大量数据统计发现,人群人数N一般不大于前景角点数目n,故有β≤1。α的大小与人群个体所占图像面积比重大小有关,所以一般地0.5<α≤1。
(3)异常行为检测
假定视频图像中的某个像素点px,y在t时刻的光流向量为(ux,y,t,vx,y,t),其中,ux,y,t、vx,y,t分别为t时刻px,y在x和y方向的光流分量,该点t时刻的光流幅值表示如下:
求px,y处相邻帧间的光流幅值变化量,然后依据设定的阈值mean将其二值化,设二值化后的光流幅值变化量为bx,y,t,二值化规则表示如下:
阈值mean为帧间光流幅值变化量的平均值,mean依据式(14)得到。
其中,row、cols分别代表视频图像的行数和列数。
接着计算同一像素点在不同时刻的二值化后的光流幅值变化量平均值,假定该像素点的二值化后的光流幅值平均变化量为依据式(15)得到。
由以上论述可知,通过光流信息计算得到每一个像素点的光流幅值,进而可以计算每帧的光流幅值平均值。在这里设定当前帧的光流幅值平均值、动能平均值分别为为前一帧光流幅值平均值、动能平均值分别为用式(16)表示动能变化与光流幅值量变化的关系。
其中,k为一般正数,λ表示平均动能变化的倍率,当λ超过阈值Thr2时,当前人群运动有异常行为。
综上,我们可以通过计算图像中每群人的平均动能变化倍率,再根据阈值Thr2来判断当前人群是否有异常行为。如果有异常行为,保存第一帧异常帧的前一帧的平均光流幅值,以便求后续帧与该帧的平均动能变化倍率,从而判断后续帧是否有异常。
为了验证本发明提出的基于视频的人群密度与异常行为检测***的有效性和可行性,下面通过实验进行详细的分析比较:
由表1定义人群密度与人数的关系。本实验在公共视频Grand Central及自行拍摄的视频上进行了测试,密度等级分级准确性如表2所示,人数估计的平均相对误差如表3所示,异常行为检测的正检率、漏检率、虚警率如表4所示,本发明视频分析算法处理每帧视频的平均耗时如表5所示,从表2、表3、表4、表5可以看出采用本发明所提出分析方法能得到较好的结果,同时实验结果也验证了本发明所述分析方法的有效性和可行性。
表1人群密度等级定义
密度等级 低密度 中密度 高密度 极高密度
人数 0-20 21-50 51-150 >150
表2人群密度等级分级准确率
密度等级 本发明算法密度分级准确率
低密度 91.1%
中密度 90.2%
高密度 79.6%
极高密度 86.5%
表3人数估计平均相对误差
算法 平均相对误差
本发明人数估计算法 16.82%
表4异常行为检测正检率、漏检率与虚警率
算法 异常行为正检率 异常行为漏检率 异常行为虚警率
本发明异常行为检测算法 92.12% 7.88% 3.18%
表5***平均耗时(处理每帧)
算法 ***平均耗时
本发明的视频分析方法 101.84ms/frame

Claims (4)

1.一种基于视频的人群密度与异常行为检测***的分析方法:包括以下步骤:
(1)人群密度分级:将像素点统计和纹理特征相结合的方法对视频中的人群密度进行分级。
(2)人数估计:将基于像素点的统计的人数估计和基于角点检测的人数估计相结合估计视频中的人数。
(3)异常行为检测:通过分析人体的运动动能的变化来判断人群的行为状态。而人的运动动能一般与其光流的幅值量呈正相关,因此可以用光流幅值来表征人的运动动能,根据某点的光流可以得到光流幅值,结合帧间的运动信息可以得到光流幅值变化量,于是可以计算人群的平均光流幅值,再根据帧间信息进而可以得到平均光流幅值变化的情况。
2.根据权利要求1所述的一种基于视频的人群密度与异常行为检测***的分析方法,其特征在于:所述步骤(1)中,所述人群密度分级的方法为:
将像素点统计和纹理特征相结合,首先用像素点统计法对人群进行预估计,当判断当前的人群密度过高时就采用纹理特征进行人群密度估计。具体步骤如下:
基于像素点统计的人群密度分级:
(a)先对待处理图像转化为灰度图像,采用文献Canny边缘检测算法对相邻两帧灰度图像进行边缘提取,得到边缘图像;
(b)将两帧得到的边缘图像进行差分,并通过形态学膨胀和腐蚀操作消除干扰噪声,得到优化后的差分边缘图像;
(c)再将当前帧的边缘图像和优化后的差分边缘图像进行与操作,得到运动前景边缘图像;
(d)将前景边缘像划分很多个矩形框,计算出每个矩形框中的边缘像素点数,计算出边缘最终的总像素点数;
(e)采用线性拟合的方法拟合出人群数量与人群前景边缘总像素点数之间的关系,估计出人群数量,进而估计出大概的人群密度。
(f)当前人数是否大于阈值Thr1,若否,则输出密度等级,低密度和中密度;若是,则采用基于纹理特征的人群密度等级分级,并输出高密度和极高密度。
基于纹理特征的人群密度分级:
设I(x,y)为原图像,M×N为图像像尺寸为,M,N分别表示图像的宽度和高度,L表示图像灰度级别,根据一定空间关系,得出的灰度共生矩阵为:
f(i,j)=#{(x1,y1),(x2,y2)∈M×N|I(x1,y1)=i,I(x2,y2)=j} (1)
式(1)中,i和j表示图像灰度值,#表示集合中的元素个数,f为L×L的矩阵,当像素点(x1,y1)和(x2,y2)之间的距离为d,两像素点的连线与水平方向的夹角为θ,则生成的灰度共生矩阵为f(i,j|d,θ),其意义是满足图像中出现灰度值分别为i、j,相距距离为d,方向为θ的两个像素点的次数,一般θ=0°,45°,90°,135°。由灰度共生矩阵得到5种纹理参数:对比度、均匀性、能量、熵、相关性。
对比度
均匀性
能量
相关性
其中,
<mrow> <msub> <mi>&amp;mu;</mi> <mn>1</mn> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>i</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>|</mo> <mi>d</mi> <mo>,</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;mu;</mi> <mn>2</mn> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>j</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>P</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>|</mo> <mi>d</mi> <mo>,</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msubsup> <mi>&amp;sigma;</mi> <mn>1</mn> <mn>2</mn> </msubsup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>|</mo> <mi>d</mi> <mo>,</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msubsup> <mi>&amp;sigma;</mi> <mn>2</mn> <mn>2</mn> </msubsup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msup> <mrow> <mo>(</mo> <mi>j</mi> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>P</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>|</mo> <mi>d</mi> <mo>,</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
3.根据权利要求1所述的一种基于视频的人群密度与异常行为检测***的分析方法,其特征在于:所述步骤(2)中,所述人数估计的方法为:
将像素点统计和前景角点检测相结合,首先用像素点统计法对视频中的人数预估计,当判断当前的人数高于阈值Thr1时就采用前景角点检测对视频中的人数进行估计。
基于像素点统计的人数估计的步骤如权利要求2中所述。
基于前景点角点检测的人数估计:
(a)初始化参数,主要是初始化α、β的值,角点之间的最小距离dmin等。
(b)角点检测,采用Shi-Tomasi算法获得视频图像的所有角点。
(c)光流跟踪,采用金字塔LK光流法对获取的角点进行有效跟踪。
(d)提取前景角点,通过计算每个角点处光流幅值剔除背景点,该处光流幅值大于阈值Thr2时,即为前景点。
(e)检测人群人数,根据前景角点数目,按照初始值和式(11)计算得到人群人数估计值Nest
Nest=(αn+βn)/2 (11)
其中,视频图像中检测到的前景角点的数目为n,人群目标人数为N,为了减少图像中角度造成的影响,定义人群人数的下限值为αn,上限值为βn,α、β为适当正数,且α≤β根据大量数据统计发现,人群人数N一般不大于前景角点数目n,故有β≤1。α的大小与人群个体所占图像面积比重大小有关,所以一般地0.5<α≤1。
4.根据权利要求1所述的一种基于视频的人群密度与异常行为检测***的分析方法,其特征在于:所述步骤(3)中,所述异常行为检测的方法为:
假定视频图像中的某个像素点px,y在t时刻的光流向量为(ux,y,t,vx,y,t),其中,ux,y,t、vx,y,t分别为t时刻px,y在x和y方向的光流分量,该点t时刻的光流幅值表示如下:
<mrow> <msub> <mi>m</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>=</mo> <msqrt> <mrow> <msup> <msub> <mi>u</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mn>2</mn> </msup> <mo>+</mo> <msup> <msub> <mi>v</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mn>2</mn> </msup> </mrow> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
求px,y处相邻帧间的光流幅值变化量,然后依据设定的阈值mean将其二值化,设二值化后的光流幅值变化量为bx,y,t,二值化规则表示如下:
<mrow> <msub> <mi>b</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> <mo>|</mo> <msub> <mi>m</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>m</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>|</mo> <mo>&amp;GreaterEqual;</mo> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
阈值mean为帧间光流幅值变化量的平均值,mean依据式(14)得到。
<mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>x</mi> <mo>=</mo> <mn>0</mn> <mo>,</mo> <mi>y</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>x</mi> <mo>=</mo> <mi>r</mi> <mi>o</mi> <mi>w</mi> <mo>,</mo> <mi>y</mi> <mo>=</mo> <mi>c</mi> <mi>o</mi> <mi>l</mi> <mi>s</mi> </mrow> </munderover> <mrow> <mo>(</mo> <mo>|</mo> <msub> <mi>m</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>m</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>|</mo> <mo>)</mo> </mrow> </mrow> <mrow> <mi>r</mi> <mi>o</mi> <mi>w</mi> <mo>&amp;times;</mo> <mi>c</mi> <mi>o</mi> <mi>l</mi> <mi>s</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>
其中,row、cols分别代表视频图像的行数和列数。
接着计算同一像素点在不同时刻的二值化后的光流幅值变化量平均值,假定该像素点的二值化后的光流幅值平均变化量为依据式(15)得到。
<mrow> <msub> <mover> <mi>b</mi> <mo>&amp;OverBar;</mo> </mover> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>T</mi> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mn>2</mn> </mrow> <mrow> <mi>t</mi> <mo>=</mo> <mi>T</mi> </mrow> </munderover> <msub> <mi>b</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>
由以上论述可知,通过光流信息计算得到每一个像素点的光流幅值,进而可以计算每帧的光流幅值平均值。在这里设定当前帧的光流幅值平均值、动能平均值分别为为前一帧光流幅值平均值、动能平均值分别为用式(16)表示动能变化与光流幅值量变化的关系。
<mrow> <mfrac> <msub> <mover> <mi>B</mi> <mo>&amp;OverBar;</mo> </mover> <mi>t</mi> </msub> <msub> <mover> <mi>B</mi> <mo>&amp;OverBar;</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mfrac> <mo>=</mo> <mi>k</mi> <mfrac> <msub> <mover> <mi>E</mi> <mo>&amp;OverBar;</mo> </mover> <mi>t</mi> </msub> <msub> <mover> <mi>E</mi> <mo>&amp;OverBar;</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mfrac> <mo>=</mo> <mi>&amp;lambda;</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>16</mn> <mo>)</mo> </mrow> </mrow>
其中,k为一般正数,λ表示平均动能变化的倍率,当λ超过阈值Thr2时,当前人群运动有异常行为。
综上,我们可以通过计算图像中每群人的平均动能变化倍率,再根据阈值Thr2来判断当前人群是否有异常行为。如果有异常行为,保存第一帧异常帧的前一帧的平均光流幅值,以便求后续帧与该帧的平均动能变化倍率,从而判断后续帧是否有异常。
CN201710411185.9A 2017-06-05 2017-06-05 一种基于视频的人群密度与异常行为检测***的分析方法 Active CN107330372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710411185.9A CN107330372B (zh) 2017-06-05 2017-06-05 一种基于视频的人群密度与异常行为检测***的分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710411185.9A CN107330372B (zh) 2017-06-05 2017-06-05 一种基于视频的人群密度与异常行为检测***的分析方法

Publications (2)

Publication Number Publication Date
CN107330372A true CN107330372A (zh) 2017-11-07
CN107330372B CN107330372B (zh) 2021-05-28

Family

ID=60194147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710411185.9A Active CN107330372B (zh) 2017-06-05 2017-06-05 一种基于视频的人群密度与异常行为检测***的分析方法

Country Status (1)

Country Link
CN (1) CN107330372B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107777498A (zh) * 2017-11-20 2018-03-09 江苏省特种设备安全监督检验研究院 一种电梯轿厢内暴力行为检测方法
CN107895080A (zh) * 2017-11-14 2018-04-10 西安建筑科技大学 融合图像信息的大空间建筑空调动态负荷估计及新风量控制方法
CN108257149A (zh) * 2017-12-25 2018-07-06 翟玉婷 一种基于光流场的舰船目标实时跟踪检测方法
CN108399388A (zh) * 2018-02-28 2018-08-14 福州大学 一种中高密度人群数量统计方法
CN108717549A (zh) * 2018-04-26 2018-10-30 东华大学 基于无人机视觉以及支持向量机分类的人群密度分析方法
CN108764203A (zh) * 2018-06-06 2018-11-06 四川大学 一种面向城市规划的行人量化分析及展示***
CN108848348A (zh) * 2018-07-12 2018-11-20 西南科技大学 一种基于无人机的人群异常行为监测装置及方法
CN109063578A (zh) * 2018-07-06 2018-12-21 江西洪都航空工业集团有限责任公司 一种人群聚集检测方法
CN109299723A (zh) * 2018-09-18 2019-02-01 四川大学 一种铁路货车运行监测***
CN110070003A (zh) * 2019-04-01 2019-07-30 浙江大华技术股份有限公司 异常行为检测与光流自相关性确定的方法、及相关装置
CN110084112A (zh) * 2019-03-20 2019-08-02 太原理工大学 一种基于图像处理的交通拥堵判断方法
CN110263619A (zh) * 2019-04-30 2019-09-20 上海商汤智能科技有限公司 图像处理方法和装置、电子设备和计算机存储介质
CN110781723A (zh) * 2019-09-05 2020-02-11 杭州视鑫科技有限公司 一种群体异常行为识别方法
CN110991375A (zh) * 2019-12-10 2020-04-10 北京航空航天大学 一种群体行为分析方法及装置
CN111062337A (zh) * 2019-12-19 2020-04-24 北京迈格威科技有限公司 人流方向检测方法及装置、存储介质和电子设备
CN111325073A (zh) * 2018-12-17 2020-06-23 上海交通大学 基于运动信息聚类的监控视频异常行为检测方法
CN111539301A (zh) * 2020-04-20 2020-08-14 贵州安防工程技术研究中心有限公司 一种基于视频分析技术的场景混乱程度判别方法
CN111680567A (zh) * 2020-05-12 2020-09-18 深圳数联天下智能科技有限公司 活体检测方法、装置、计算机设备和存储介质
CN111831373A (zh) * 2020-06-09 2020-10-27 上海容易网电子商务股份有限公司 一种用于安卓互动屏应用启动状态的检测处理方法
CN113033361A (zh) * 2021-03-13 2021-06-25 杭州翔毅科技有限公司 一种基于环境可视的智能人机交互***
CN114972111A (zh) * 2022-06-16 2022-08-30 慧之安信息技术股份有限公司 一种基于gan图像修复的密集人群计数方法
US20220319168A1 (en) * 2019-08-07 2022-10-06 Zte Corporation Method for estimating and presenting passenger flow, system, and computer readable storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156985A (zh) * 2011-04-11 2011-08-17 上海交通大学 基于虚拟卡口的行人及车辆数目计数方法
CN102324016A (zh) * 2011-05-27 2012-01-18 郝红卫 一种高密度人群流量统计方法
CN103077423A (zh) * 2011-10-25 2013-05-01 中国科学院深圳先进技术研究院 基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法
CN103745230A (zh) * 2014-01-14 2014-04-23 四川大学 一种自适应群体异常行为分析方法
CN106156706A (zh) * 2015-04-07 2016-11-23 中国科学院深圳先进技术研究院 行人异常行为检测方法
US20170046576A1 (en) * 2007-07-11 2017-02-16 Avigilon Patent Holding 1 Corporation Semantic representation module of a machine-learning engine in a video analysis system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046576A1 (en) * 2007-07-11 2017-02-16 Avigilon Patent Holding 1 Corporation Semantic representation module of a machine-learning engine in a video analysis system
CN102156985A (zh) * 2011-04-11 2011-08-17 上海交通大学 基于虚拟卡口的行人及车辆数目计数方法
CN102324016A (zh) * 2011-05-27 2012-01-18 郝红卫 一种高密度人群流量统计方法
CN103077423A (zh) * 2011-10-25 2013-05-01 中国科学院深圳先进技术研究院 基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法
CN103745230A (zh) * 2014-01-14 2014-04-23 四川大学 一种自适应群体异常行为分析方法
CN106156706A (zh) * 2015-04-07 2016-11-23 中国科学院深圳先进技术研究院 行人异常行为检测方法

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895080A (zh) * 2017-11-14 2018-04-10 西安建筑科技大学 融合图像信息的大空间建筑空调动态负荷估计及新风量控制方法
CN107895080B (zh) * 2017-11-14 2021-06-29 西安建筑科技大学 融合图像信息的大空间建筑空调动态负荷估计及新风量控制方法
CN107777498A (zh) * 2017-11-20 2018-03-09 江苏省特种设备安全监督检验研究院 一种电梯轿厢内暴力行为检测方法
CN107777498B (zh) * 2017-11-20 2019-07-19 江苏省特种设备安全监督检验研究院 一种电梯轿厢内暴力行为检测方法
CN108257149A (zh) * 2017-12-25 2018-07-06 翟玉婷 一种基于光流场的舰船目标实时跟踪检测方法
CN108399388A (zh) * 2018-02-28 2018-08-14 福州大学 一种中高密度人群数量统计方法
CN108717549A (zh) * 2018-04-26 2018-10-30 东华大学 基于无人机视觉以及支持向量机分类的人群密度分析方法
CN108764203A (zh) * 2018-06-06 2018-11-06 四川大学 一种面向城市规划的行人量化分析及展示***
CN109063578A (zh) * 2018-07-06 2018-12-21 江西洪都航空工业集团有限责任公司 一种人群聚集检测方法
CN109063578B (zh) * 2018-07-06 2022-05-06 江西洪都航空工业集团有限责任公司 一种人群聚集检测方法
CN108848348A (zh) * 2018-07-12 2018-11-20 西南科技大学 一种基于无人机的人群异常行为监测装置及方法
CN109299723A (zh) * 2018-09-18 2019-02-01 四川大学 一种铁路货车运行监测***
CN111325073A (zh) * 2018-12-17 2020-06-23 上海交通大学 基于运动信息聚类的监控视频异常行为检测方法
CN111325073B (zh) * 2018-12-17 2024-02-20 上海交通大学 基于运动信息聚类的监控视频异常行为检测方法
CN110084112A (zh) * 2019-03-20 2019-08-02 太原理工大学 一种基于图像处理的交通拥堵判断方法
CN110084112B (zh) * 2019-03-20 2022-09-20 太原理工大学 一种基于图像处理的交通拥堵判断方法
CN110070003A (zh) * 2019-04-01 2019-07-30 浙江大华技术股份有限公司 异常行为检测与光流自相关性确定的方法、及相关装置
CN110263619A (zh) * 2019-04-30 2019-09-20 上海商汤智能科技有限公司 图像处理方法和装置、电子设备和计算机存储介质
US11816875B2 (en) * 2019-08-07 2023-11-14 Xi'an Zhongxing New Software Co., Ltd. Method for estimating and presenting passenger flow, system, and computer readable storage medium
US20220319168A1 (en) * 2019-08-07 2022-10-06 Zte Corporation Method for estimating and presenting passenger flow, system, and computer readable storage medium
CN110781723A (zh) * 2019-09-05 2020-02-11 杭州视鑫科技有限公司 一种群体异常行为识别方法
CN110781723B (zh) * 2019-09-05 2022-09-02 杭州视鑫科技有限公司 一种群体异常行为识别方法
CN110991375B (zh) * 2019-12-10 2020-12-15 北京航空航天大学 一种群体行为分析方法及装置
CN110991375A (zh) * 2019-12-10 2020-04-10 北京航空航天大学 一种群体行为分析方法及装置
CN111062337B (zh) * 2019-12-19 2023-08-04 北京迈格威科技有限公司 人流方向检测方法及装置、存储介质和电子设备
CN111062337A (zh) * 2019-12-19 2020-04-24 北京迈格威科技有限公司 人流方向检测方法及装置、存储介质和电子设备
CN111539301B (zh) * 2020-04-20 2023-04-18 贵州安防工程技术研究中心有限公司 一种基于视频分析技术的场景混乱程度判别方法
CN111539301A (zh) * 2020-04-20 2020-08-14 贵州安防工程技术研究中心有限公司 一种基于视频分析技术的场景混乱程度判别方法
CN111680567A (zh) * 2020-05-12 2020-09-18 深圳数联天下智能科技有限公司 活体检测方法、装置、计算机设备和存储介质
CN111680567B (zh) * 2020-05-12 2023-08-29 深圳数联天下智能科技有限公司 活体检测方法、装置、计算机设备和存储介质
CN111831373A (zh) * 2020-06-09 2020-10-27 上海容易网电子商务股份有限公司 一种用于安卓互动屏应用启动状态的检测处理方法
CN113033361A (zh) * 2021-03-13 2021-06-25 杭州翔毅科技有限公司 一种基于环境可视的智能人机交互***
CN114972111B (zh) * 2022-06-16 2023-01-10 慧之安信息技术股份有限公司 一种基于gan图像修复的密集人群计数方法
CN114972111A (zh) * 2022-06-16 2022-08-30 慧之安信息技术股份有限公司 一种基于gan图像修复的密集人群计数方法

Also Published As

Publication number Publication date
CN107330372B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN107330372A (zh) 一种基于视频的人群密度与异常行为检测***的分析方法
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
CN110135296A (zh) 基于卷积神经网络的机场跑道fod检测方法
CN108647649B (zh) 一种视频中异常行为的检测方法
CN102147851B (zh) 多角度特定物体判断设备及多角度特定物体判断方法
CN101339655B (zh) 基于目标特征和贝叶斯滤波的视觉跟踪方法
CN103745230B (zh) 一种自适应群体异常行为分析方法
CN103577875B (zh) 一种基于fast的计算机辅助cad人数统计方法
CN103839065A (zh) 人群动态聚集特征提取方法
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN101017573A (zh) 一种基于视频监控的运动目标检测与识别方法
CN105138982A (zh) 一种基于多特征聚类及分类的人群异常检测与评估方法
CN105893946A (zh) 一种正面人脸图像的检测方法
CN107506734A (zh) 一种群体突发异常事件检测与定位方法
CN101996401A (zh) 基于强度图像和深度图像的目标分析方法及设备
CN103488993A (zh) 一种基于fast的人群异常行为识别方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN107895379A (zh) 一种视频监控中前景提取的改进算法
CN107273852A (zh) 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN102314591B (zh) 静止前景物体的检测方法和设备
Qianyin et al. A model based method of pedestrian abnormal behavior detection in traffic scene
CN104077571B (zh) 一种采用单类序列化模型的人群异常行为检测方法
CN105989615A (zh) 一种基于多特征融合的行人跟踪方法
CN114882429A (zh) 一种基于多种信息特征融合的队列计数方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant