CN108764011A - 基于图形化交互关系建模的组群识别方法 - Google Patents
基于图形化交互关系建模的组群识别方法 Download PDFInfo
- Publication number
- CN108764011A CN108764011A CN201810253398.8A CN201810253398A CN108764011A CN 108764011 A CN108764011 A CN 108764011A CN 201810253398 A CN201810253398 A CN 201810253398A CN 108764011 A CN108764011 A CN 108764011A
- Authority
- CN
- China
- Prior art keywords
- human body
- body target
- target
- group
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 47
- 230000006399 behavior Effects 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims abstract description 5
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000000306 recurrent effect Effects 0.000 claims description 11
- 238000012512 characterization method Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000000151 deposition Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 abstract description 8
- 238000010276 construction Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图形化交互关系建模的组群识别方法，所述方法包括下述过程：识别并跟踪人体目标；构建以多粒度信息融合模型表征的人体目标底层特征基础模型；基于基础模型进行深度学习，获得底层特征深度学习模型；基于底层特征基础模型和底层特征深度学习模型构建人体目标交互关系；基于交互关系识别组群的构成，并分析其群体行为属性。应用本发明，能够解决现有组群识别方法建立交互关系考虑的因素少而导致组群识别精度低、易产生误判等的技术问题。
Description
技术领域
本发明属于计算机视觉技术领域，具体地说，是涉及对视频中的人体目标进行组群行为识别的方法，更具体地说，是涉及基于组群中人体交互关系的组群的自动检测和行为识别方法。
背景技术
计算机视觉中的行为识别，根据参与人的多少以及是否存在交互行为可以分为单目标无交互行为、多目标交互的“多元性”组群行为和高密度“集体性”行为三种情况。“集体性”的人群行为指所有成员具有相同的运动趋势，比如游行、***等，这类行为是比较简单的，用其中个体成员的行为就可表征整个群体的行为。“多元性”组群行为指各成员的行为不尽相同，有行为变化或子群间交互等，而且，组群行为的人员构成通常会随机增减，人员各自行为属性不尽相同，并且，组群成员越多交互行为越复杂，因此，该类行为识别是当前计算机视觉领域中研究进展最薄弱的子方向。但是在现实应用场景中，尤其是异常行为的监控范畴，却大都是属于这类“多元性”组群行为，因此，对这类行为的研究更具有普适性和应用价值。
现有基于交互关系进行组群行为识别的技术中，针对场景中的静态的人体目标之间的交互关系和运动的人体目标之间的交互关系分别独立建模，再基于交互关系进行组群识别。现有技术存在着如下缺点：(1)没有考虑静态人体与运动人体之间的交互；(2)静态人体交互关系建模时，仅考虑了两个人体的空间距离，忽略了人体行为的一致性，容易产生误判；(3)运动人体交互关系建模时，仅考虑了动态人体目标的运动速度，没有考虑动态人体目标的行为属性、上下文因素等。因此，现有技术交互关系的建立所考虑的因素少，不够全面，容易产生误判，影响组群识别精度。
发明内容
本发明的目的是提供一种基于图形化交互关系建模的组群识别方法，解决现有组群识别方法建立交互关系考虑的因素少而导致组群识别精度低、易产生误判等的问题。
为实现上述发明目的，本发明采用下述技术方案予以实现：
一种基于图形化交互关系建模的组群行为识别方法，所述方法包括下述过程：
(1)人体目标识别跟踪过程：从视频图像中识别并跟踪人体目标；
(2)人体目标底层特征基础模型获取过程：
将识别并跟踪到的人体目标连续L帧的图像序列作为输入序列，输入已训练好的简单行为分类器，获得表征人体目标行为的行为属性Vaction_Label；
构建人体目标跟踪属性Vtracking，ts、te表示L帧视频图像序列的起始时间和截止时间，表示在起、止时间内的L帧视频图像序列中人体目标所有轨迹点横、纵坐标的均值，S表示人体目标轨迹的形状，HOG为人体目标轨迹的方向梯度直方图，HOF为人体目标轨迹的光流速度直方图，MBHx和MBHy分别为人体目标轨迹在x方向和y方向上的光流加速度；
构建人体目标及其上下文区域的时空属性：建立人体目标的三维柱状时空邻域，将所述三维柱状时空邻域分为内、外两部分，内部为内核圆柱体，剩余的圆筒区域为人体目标的上下文区域，建立所述内核圆柱体的时空梯度统计向量，作为人体目标的时空属性Vfocal_person，建立所述圆筒区域的时空梯度统计向量，作为人体目标上下文区域的时空属性Vcontext；
级联Vtracking、Vfocal_person、Vcontext和Vaction_Label，形成表征人体目标底层特征基础模型的多粒度信息融合模型：Vobject＝[Vtracking Vfocal_person Vcontext Vaction_label]；
(3)人体目标底层特征模型再学习过程：定义为人体目标i在t时刻的底层特征基础模型，将作为循环神经网络RNN的输入数据，采用RNN递推学习，获得人体目标i在t时刻经深度学习后的底层特征深度学习模型xi(t)，
xi(t)＝Vobject-i(t)＝[Vtracking-i(t) Vfocal_person-i(t) Vcontext-i(t) Vaction_label-i(t)]；
(4)人体目标交互关系构建过程：
获取人体目标i与人体目标j之间的内部交互信息Mij(t)：i,j∈N，N为视频图像中所检测到的人体目标的数量，xi(t)和xj(t)分别为人体目标i和人体目标j在t时刻的底层特征学习数据，xj(t)＝Vobject-j(t)＝[Vtracking-j(t) Vfocal_person-j(t) Vcontext-j(t) Vaction_label-j(t)]，rij-1是xi(t)的属性[Vtracking-i(t) Vcontext-i(t)]与xj(t)的属性[Vtracking-j(t) Vcontext-j(t)]之间的相关系数，rij-2是xi(t)的属性[Vfocal_person-i(t) Vaction_label-i(t)]与xj(t)的属性[Vfocal_person-j(t)Vaction_label-j(t)]之间的相关系数，且满足r1,r2∈[-1,1]，Cij、α为系数；
获取其他人体目标传向人体目标i与人体目标j的信息pij(t)：定义人体目标i的上下文区域含有的、不包括人体目标j的人体目标数量为Ω，人体目标j的上下文区域含有的、不包括人体目标i的人体目标数量为Ψ，ρi为Ω个人体目标传向人体目标i的信息量，rn是xn(t)和xi(t)之间的相关系数，xn(t)＝Vobject-n(t)＝[Vtracking-n(t) Vfocal_person-n(t) Vcontext-n(t) Vaction_label-n(t)]，ρj为Ψ个人体目标传向人体目标j的信息量，rm是xm(t)和xj(t)之间的相关系数，xm(t)＝Vobject-m(t)＝[Vtracking-m(t) Vfocal_person-m(t) Vcontext-m(t) Vaction_label-m(t)]，Kij、β为系数；
(5)组群识别过程：
构建图形化组群结构图：将视频图像中跟踪到的每个人体目标作为一个人体目标结点，将视频图像中的场景作为一个场景结点，人体目标结点与人体目标结点以及人体目标结点与场景结点的交互关系用连接边界表示，形成图形化组群结构图；
对于人体目标i与人体目标j，比较Mij(t)和pij(t)的信息差△MPij(t)＝|Mij(t)-pij(t)|，若△MPij(t)≤ρth，确定图形化组群结构图中的人体目标结点i和人体目标结点j之间不存在连接边界，否则，确定人体目标结点i和人体目标结点j之间存着连接边界ij；ρth为设定阈值；
若人体目标结点与其他人体目标结点之间均不存在连接边界，则该人体目标结点与场景结点之间不存在连接边界；若人体目标结点与其他任意一个人体目标结点之间存在连接边界，则该人体目标结点与场景结点之间存在连接边界；
通过连接边界连接的所有人体目标及场景识别为该场景下的一个组群。
如上所述的方法，还包括下述预测组群行为的过程：
获取场景S传向处于该场景中的人体目标i的交互信息Msi(t)：Msi(t)＝1-e-δDist_i_t，Dist_i_t是Vaction_Label-i(t)与的距离，δ为待定系数，通过RNN训练获得；
在循环神经网络RNN中，采用激活函数s(t)预测组群行为，k1∈[1,Nk]；Nk是场景S中所有人体目标的总和，g1是RNN输出层的分类函数，whs是RNN输出层的权重。
如上所述的方法，还包括下述再预测人体目标行为的过程：
在循环神经网络RNN中，采用激活函数ai(t)对人体目标i的行为再预测，k2∈[1,Ni]；k≠i；Ni是场景S中除人体目标i外的其他人体目标的总和，g2是RNN中间层的分类函数，wha是RNN中间层的权重。
优选的，在所述人体目标识别跟踪过程中，基于可变形部件模型的粒子滤波快速行人检测与跟踪算法识别出视频图像中的人体目标。
优选的，在所述人体目标底层特征基础模型获取过程中，采用卷积神经网络CNN作为所述简单行为分类器，获得所述表征人体目标行为的行为属性Vaction_Label。
与现有技术相比，本发明的优点和积极效果是：
(1)在本发明中，人体目标作为组群识别的基本单元，采用多粒度信息融合模型表征人体目标的底层特征模型，多粒度信息融合模型包含了人体目标的跟踪属性、行为属性及场景上下文的时空属性，有效地利用人体目标所包含的各类信息，多属性联合诠释人体目标运动信息的可能性，以此多粒度信息融合模型作为构建人体目标交互关系的基础模型，能够提高交互关系推理的准确性，进而提高组群识别的准确性。
(2)利用两个人体目标之间的内部交互信息和其他人体目标传向这两个人体目标的信息确定两个人体目标之间是否存在连接边界，利用连接边界形成人体目标间交互的图形化组群关系，能够清晰地梳理每个人体目标与其他人体目标之间的互动往来，结合循环神经网络RNN实时获取人体目标底层特征模型，实现连接边界的实时判决取舍，实现场景中组群的自动检测和识别及组群识别的准确性。
(3)基于组群的识别，结合循环神经网络RNN预测组群行为，结合组群行为对组群中人体目标的行为进行再预测，进而利用再预测的人体目标行为对组群进行重新识别，从而，实现了组群识别的稀疏性和完整性的推理更新，使得组群识别的实时性更强，识别率更高。
结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。
附图说明
图1是本发明基于图形化交互关系建模的组群识别方法一个实施例的流程图；
图2是本发明基于图形化交互关系建模的组群识别方法另一个实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和实施例，对本发明作进一步详细说明。
请参见图1，该图所示为本发明基于图形化交互关系建模的的组群识别方法一个实施例的流程图。
如图1所示，该实施例采用下述步骤构成的过程实现组群识别。
步骤11：识别并跟踪人体目标。
具体来说，是从获取的视频图像中识别并跟踪人体目标。从视频图像中识别并跟踪人体目标可以采用现有技术中的多种方法来实现。优选的，采用基于可变形部件模型的粒子滤波快速行人检测与跟踪算法识别并跟踪视频图像中的人体目标。该算法的具体实现方法可以参考现有技术，在此不作详细描述。
步骤12：获取人体目标底层特征基础模型。
人体目标底层特征模型是用来建立人体目标的交互关系、进而实现组群识别的基本模型。在该实施例中，人体目标底层特征模型包括有基础模型和深度学习模型，基础模型是通过对视频图像序列作处理而得到的数据，而深度学习模型是以基础模型作为输入数据、通过设定模型进一步学习而获得的模型。并且，为了更充分地描述人体目标，该实施例采用多粒度信息融合模型表征人体目标的底层特征模型。人体目标底层特征基础模型的多粒度信息融合模型采用下述过程获得：
将跟踪到的人体目标连续L帧的图像序列作为输入序列，输入训练好的简单行为分类器，获得表征人体目标行为的行为属性Vaction_Label。举例来说，可以采用卷积神经网络CNN作为简单行为分类器，将跟踪到的某一人体目标连续7帧图像序列作为输入序列，输入到训练好的CNN分类器，获得该人体目标的行为属性，标记为Vaction_Label。
构建人体目标跟踪属性Vtracking，公式中，ts、te表示L帧视频图像序列的起始时间和截止时间，表示在起、止时间内的L帧视频图像序列中人体目标所有轨迹点横、纵坐标的均值，S表示人体目标轨迹的形状，HOG为人体目标轨迹的方向梯度直方图，HOF为人体目标轨迹的光流速度直方图，MBHx和MBHy分别为人体目标轨迹在x方向和y方向上的光流加速度。对于公式中的各参数的值的计算方法，均为现有技术，不作详细描述。
构建人体目标及其上下文区域的时空属性：建立人体目标的三维柱状时空邻域，将三维柱状时空邻域分为内、外两部分，内部为内核圆柱体，剩余的圆筒区域为人体目标的上下文区域，建立所述内核圆柱体的时空梯度统计向量，作为人体目标的时空属性Vfocal_person，建立所述圆筒区域的时空梯度统计向量，作为人体目标上下文区域的时空属性Vcontext。三维柱状时空邻域及时空梯度统计向量的建立过程，为现有技术，不作详细描述。
级联Vtracking、Vfocal_person、Vcontext和Vaction_Label，形成表征人体目标底层特征基础模型的多粒度信息融合模型：Vobject＝[Vtracking Vfocal_person Vcontext Vaction_label]。
步骤13：获取人体目标底层特征深度学习模型。
步骤12获得人体目标底层特征基础模型之后，将其作为循环神经网络RNN的输入数据，采用RNN递推学习，获得经深度学习后的人体目标的底层特征深度学习模型。
具体来说，定义为人体目标i在t时刻的底层特征基础模型，将作为循环神经网络RNN的输入数据，采用RNN递推学习，获得人体目标i在t时刻经深度学习后的底层特征深度学习模型xi(t)，xi(t)＝Vobject-i(t)＝[Vtracking-i(t) Vfocal_person-i(t) Vcontext-i(t) Vaction_label-i(t)]。
通过采用多粒度信息融合模型表征人体目标的底层特征模型，多粒度信息融合模型包含了人体目标的跟踪属性、行为属性及场景上下文的时空属性，有效地利用人体目标所包含的各类信息，多属性联合诠释人体目标运动信息的可能性，以此多粒度信息融合模型作为构建人体目标交互关系的基础模型，能够提高交互关系推理的准确性，进而提高组群识别的准确性。
步骤14：构建人体目标交互关系。
人体目标的交互关系是确定组群的依据，对于场景中的两个人体目标来说，两者间的交互关系既包含了两者的直接交互关系，称之为内部交互信息，用Mij(t)表示；还包含了场景中的其他人体目标对这两个人体目标形成的间接关系，称之为其他人体目标传向这两个人体目标的信息，用pij(t)表示。
具体的，对于人体目标i与人体目标j，内部交互信息Mij(t)的计算公式为：其中，i,j∈N，N为视频图像中所检测到的人体目标的数量，xi(t)和xj(t)分别为人体目标i和人体目标j在t时刻的底层特征学习数据，xj(t)＝Vobject-j(t)＝[Vtracking-j(t) Vfocal_person-j(t) Vcontext-j(t) Vaction_label-j(t)]，rij-1是xi(t)的属性[Vtracking-i(t) Vcontext-i(t)]与xj(t)的属性[Vtracking-j(t) Vcontext-j(t)]之间的相关系数，rij-2是xi(t)的属性[Vfocal_person-i(t) Vaction_label-i(t)]与xj(t)的属性[Vfocal_person-j(t) Vaction_label-j(t)]之间的相关系数，且满足r1,r2∈[-1,1]，Cij、α为系数。
其他人体目标传向人体目标i与人体目标j的信息的pij(t)计算公式为：定义人体目标i的上下文区域含有的、不包括人体目标j的人体目标数量为Ω，人体目标j的上下文区域含有的、不包括人体目标i的人体目标数量为Ψ，ρi为Ω个人体目标传向人体目标i的信息量，rn是xn(t)和xi(t)之间的相关系数，xn(t)＝Vobject-n(t)＝[Vtracking-n(t) Vfocal_person-n(t) Vcontext-n(t) Vaction_label-n(t)]，ρj为Ψ个人体目标传向人体目标j的信息量，rm是xm(t)和xj(t)之间的相关系数，xm(t)＝Vobject-m(t)＝[Vtracking-m(t) Vfocal_person-m(t) Vcontext-m(t) Vaction_label-m(t)]，Kij、β为系数。
相关系数的计算方法采用现有技术来实现。对于系数Cij、α、Kij和β，均可以通过RNN网络不断训练进行优化。
步骤15：识别组群。
首先，构建图形化组群结构图：将视频图像中跟踪到的每个人体目标作为一个人体结点，将视频图像中的场景作为一个场景结点，人体结点与人体结点以及人体结点与场景结点的交互关系用连接边界表示，形成图形化组群结构图。
对于人体目标i与人体目标j，比较Mij(t)和pij(t)的信息差△MPij(t)＝|Mij(t)-pij(t)|。若△MPij(t)≤ρth，确定图形化组群结构图中的人体目标结点i和人体目标结点j之间不存在连接边界，否则，确定人体目标结点i和人体目标结点j之间存着连接边界ij；ρth为设定阈值。
若人体目标结点与其他人体目标结点之间均不存在连接边界，则该人体目标结点与场景结点之间不存在连接边界，即该人体目标不属于当前场景下的群组；若人体目标结点与其他任意一个人体目标结点之间存在连接边界，则该人体目标结点与场景结点之间存在连接边界。
最后，将通过连接边界连接的所有人体目标及场景识别为该场景下的一个组群。
利用两个人体目标之间的内部交互信息和其他人体目标传向这两个人体目标的信息确定两个人体目标之间是否存在连接边界，利用连接边界形成人体目标间交互的图形化组群拓扑结构，能够清晰地梳理每个人体目标与其他人体目标之间的互动往来，结合循环神经网络RNN实时获取人体目标底层特征模型，实现连接边界的实时判决取舍，实现场景中组群的自动检测和识别及组群识别的准确性。
请参见图2，该图所示为本发明基于图形化交互关系建模的组群识别方法另一个实施例的流程图。
如图2所示，该实施例采用下述步骤构成的过程实现组群识别。
步骤21：识别并跟踪人体目标。
步骤22：获取人体目标底层特征基础模型。
步骤23：获取人体目标底层特征深度学习模型。
步骤24：构建人体目标交互关系。
步骤25：识别组群。
上述各步骤的具体实现方法和过程可以参考图1实施例的描述。
步骤26：预测组群行为及人体目标行为。
与图1第一个实施例不同的是，在图2所示的实施例中，在识别出组群之后，还包括对组群行为进行预测的过程以及基于组群行为对组群内的人体目标行为再预测的过程。
参考图1步骤12的描述，在获取人体目标底层特征基础模型的过程中，虽然获得了表征人体目标行为的行为属性，但是，该过程的行为识别只是为了识别组群而进行的初始化预判，可以看作是先验知识，不一定完全正确。这是因为，该预判仅仅依赖单个人体目标的时空信息进行行为识别，而在复杂的组群关系环境下，由于组群内其他成员的影响，同一种动作可能有不同的语义变化和行为属性改变。因此，为了适应这种复杂组群关系中的社会角色彼此影响，在实现组群识别后，需要对其中的人体目标成员的行为以及整体组群行为进行再判断和实时更新。
具体而言，采用下述过程预测组群行为：
获取场景S传向处于该场景中的人体目标i的交互信息Msi(t)：Msi(t)＝1-e-δDist_i_t，Dist_i_t是Vaction_Label-i(t)与的距离，优选的，为两者的欧氏距离，δ为待定系数，可以通过RNN网络训练进行优化获得。
在循环神经网络RNN中，采用激活函数s(t)预测组群行为，k1∈[1,Nk]；Nk是场景S中所有人体目标的总和，g1是RNN输出层的分类函数，whs是RNN输出层的权重。
采用下述过程对组群内的人体目标行为进行再预测：
在循环神经网络RNN中，采用激活函数ai(t)对人体目标i的行为再预测，k2∈[1,Ni]；k≠i；Ni是场景S中除人体目标i外的其他人体目标的总和，g2是RNN中间层的分类函数，wha是RNN中间层的权重。
在该实施例中，除了具有图1实施例所描述的优点之外，还具有下述的有益效果：通过基于组群的识别，结合循环神经网络RNN预测组群行为，结合组群行为对组群中人体目标的行为进行再预测，进而利用再预测的人体目标行为对组群进行重新识别，从而，实现了组群识别的稀疏性和完整性的推理更新，使得组群识别的实时性更强，识别率更高。
以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。
Claims (5)
1.一种基于图形化交互关系建模的组群识别方法，其特征在于，所述方法包括下述过程：
(1)人体目标识别跟踪过程：从视频图像中识别并跟踪人体目标；
(2)人体目标底层特征基础模型获取过程：
将跟踪到的人体目标连续L帧的图像序列作为输入序列，输入训练好的简单行为分类器，获得表征人体目标行为的行为属性Vaction_Label；
构建人体目标跟踪属性Vtracking，ts、te表示L帧视频图像序列的起始时间和截止时间，表示在起、止时间内的L帧视频图像序列中人体目标所有轨迹点横、纵坐标的均值，S表示人体目标轨迹的形状，HOG为人体目标轨迹的方向梯度直方图，HOF为人体目标轨迹的光流速度直方图，MBHx和MBHy分别为人体目标轨迹在x方向和y方向上的光流加速度；
构建人体目标及其上下文区域的时空属性：建立人体目标的三维柱状时空邻域，将所述三维柱状时空邻域分为内、外两部分，内部为内核圆柱体，剩余的圆筒区域为人体目标的上下文区域，建立所述内核圆柱体的时空梯度统计向量，作为人体目标的时空属性Vfocal_person，建立所述圆筒区域的时空梯度统计向量，作为人体目标上下文区域的时空属性Vcontext；
级联Vtracking、Vfocal_person、Vcontext和Vaction_Label，形成表征人体目标底层特征基础模型的多粒度信息融合模型：Vobject＝[Vtracking Vfocal_person Vcontext Vaction_label]；
(3)人体目标底层特征模型再学习过程：定义为人体目标i在t时刻的底层特征基础模型，将作为循环神经网络RNN的输入数据，采用RNN递推学习，获得人体目标i在t时刻经深度学习后的底层特征深度学习模型xi(t)，
xi(t)＝Vobject-i(t)＝[Vtracking-i(t) Vfocal_person-i(t) Vcontext-i(t) Vaction_label-i(t)]；
(4)人体目标交互关系构建过程：
获取人体目标i与人体目标j之间的内部交互信息Mij(t)：i,j∈N，N为视频图像中所检测到的人体目标的数量，xi(t)和xj(t)分别为人体目标i和人体目标j在t时刻的底层特征学习数据，xj(t)＝Vobject-j(t)＝[Vtracking-j(t) Vfocal_person-j(t) Vcontext-j(t) Vaction_label-j(t)]，rij-1是xi(t)的属性[Vtracking-i(t) Vcontext-i(t)]与xj(t)的属性[Vtracking-j(t) Vcontext-j(t)]之间的相关系数，rij-2是xi(t)的属性[Vfocal_person-i(t) Vaction_label-i(t)]与xj(t)的属性[Vfocal_person-j(t)Vaction_label-j(t)]之间的相关系数，且满足r1,r2∈[-1,1]，Cij、α为系数；
获取其他人体目标传向人体目标i与人体目标j的信息pij(t)：定义人体目标i的上下文区域含有的、不包括人体目标j的人体目标数量为Ω，人体目标j的上下文区域含有的、不包括人体目标i的人体目标数量为Ψ，ρi为Ω个人体目标传向人体目标i的信息量，rn是xn(t)和xi(t)之间的相关系数，xn(t)＝Vobject-n(t)＝[Vtracking-n(t) Vfocal_person-n(t) Vcontext-n(t) Vaction_label-n(t)]，ρj为Ψ个人体目标传向人体目标j的信息量，rm是xm(t)和xj(t)之间的相关系数，xm(t)＝Vobject-m(t)＝[Vtracking-m(t) Vfocal_person-m(t) Vcontext-m(t) Vaction_label-m(t)]，Kij、β为系数；
(5)组群识别过程：
构建图形化组群结构图：将视频图像中跟踪到的每个人体目标作为一个人体目标结点，将视频图像中的场景作为一个场景结点，人体目标结点与人体目标结点以及人体目标结点与场景结点的交互关系用连接边界表示，形成图形化组群结构图；
对于人体目标i与人体目标j，比较Mij(t)和pij(t)的信息差△MPij(t)＝|Mij(t)-pij(t)|，若△MPij(t)≤ρth，确定图形化组群结构图中的人体目标结点i和人体目标结点j之间不存在连接边界，否则，确定人体目标结点i和人体目标结点j之间存着连接边界ij；ρth为设定阈值；
若人体目标结点与其他人体目标结点之间均不存在连接边界，则该人体目标结点与场景结点之间不存在连接边界；若人体目标结点与其他任意一个人体目标结点之间存在连接边界，则该人体目标结点与场景结点之间存在连接边界；
通过连接边界连接的所有人体目标及场景识别为该场景下的一个组群。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括下述预测组群行为的过程：
获取场景S传向处于该场景中的人体目标i的交互信息Msi(t)：Msi(t)＝1-e-δDist_i_t，Dist_i_t是Vaction_Label-i(t)与的距离，δ为待定系数，通过RNN训练获得；
在循环神经网络RNN中，采用激活函数s(t)预测组群行为，k1∈[1,Nk]；Nk是场景S中所有人体目标的总和，g1是RNN输出层的分类函数，whs是RNN输出层的权重。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括下述再预测人体目标行为的过程：
在循环神经网络RNN中，采用激活函数ai(t)对人体目标i的行为再预测，k2∈[1,Ni]；k≠i；
Ni是场景S中除人体目标i外的其他人体目标的总和，g2是RNN中间层的分类函数，wha是RNN中间层的权重。
4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述人体目标识别跟踪过程中，基于可变形部件模型的粒子滤波快速行人检测与跟踪算法识别出视频图像中的人体目标。
5.根据权利要求1至3中任一项所述的方法，其特征在于，在所述人体目标底层特征基础模型获取过程中，采用卷积神经网络CNN作为所述简单行为分类器，获得所述表征人体目标行为的行为属性Vaction_Label。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810253398.8A CN108764011B (zh) | 2018-03-26 | 2018-03-26 | 基于图形化交互关系建模的组群识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810253398.8A CN108764011B (zh) | 2018-03-26 | 2018-03-26 | 基于图形化交互关系建模的组群识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108764011A true CN108764011A (zh) | 2018-11-06 |
| CN108764011B CN108764011B (zh) | 2021-05-18 |
Family
ID=63980293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810253398.8A Active CN108764011B (zh) | 2018-03-26 | 2018-03-26 | 基于图形化交互关系建模的组群识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108764011B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948424A (zh) * | 2019-01-22 | 2019-06-28 | 四川大学 | 一种基于加速度运动特征描述子的群体异常行为检测方法 |
| CN110378281A (zh) * | 2019-07-17 | 2019-10-25 | 青岛科技大学 | 基于伪3d卷积神经网络的组群行为识别方法 |
| CN110532862A (zh) * | 2019-07-19 | 2019-12-03 | 青岛科技大学 | 基于门控融合单元的特征融合组群识别方法 |
| CN110689110A (zh) * | 2019-08-28 | 2020-01-14 | 阿里巴巴集团控股有限公司 | 处理交互事件的方法及装置 |
| CN111414846A (zh) * | 2020-03-18 | 2020-07-14 | 青岛科技大学 | 基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法 |
| CN113378657A (zh) * | 2021-05-24 | 2021-09-10 | 汇纳科技股份有限公司 | 行人组群关系识别方法、装置及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103235944A (zh) * | 2013-05-15 | 2013-08-07 | 青岛科技大学 | 人群流分割及人群流异常行为识别方法 |
| US20130307693A1 (en) * | 2012-05-20 | 2013-11-21 | Transportation Security Enterprises, Inc. (Tse) | System and method for real time data analysis |
| CN104933726A (zh) * | 2015-07-02 | 2015-09-23 | 中国科学院上海高等研究院 | 一种基于时空信息约束的密集群体分割方法 |
| CN107633067A (zh) * | 2017-09-21 | 2018-01-26 | 北京工业大学 | 一种基于人员行为规律和数据挖掘方法的群体识别方法 |
-
2018
- 2018-03-26 CN CN201810253398.8A patent/CN108764011B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130307693A1 (en) * | 2012-05-20 | 2013-11-21 | Transportation Security Enterprises, Inc. (Tse) | System and method for real time data analysis |
| CN103235944A (zh) * | 2013-05-15 | 2013-08-07 | 青岛科技大学 | 人群流分割及人群流异常行为识别方法 |
| CN104933726A (zh) * | 2015-07-02 | 2015-09-23 | 中国科学院上海高等研究院 | 一种基于时空信息约束的密集群体分割方法 |
| CN107633067A (zh) * | 2017-09-21 | 2018-01-26 | 北京工业大学 | 一种基于人员行为规律和数据挖掘方法的群体识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| MOSTAFA S. IBRAHIM ET AL.: "A Hierarchical Deep Temporal Model for Group Activity Recognition", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 孙英贺: "基于时空特征点的群体异常行为检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 高玄 等: "基于图像处理的人群行为识别方法综述", 《计算机与数字工程》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948424A (zh) * | 2019-01-22 | 2019-06-28 | 四川大学 | 一种基于加速度运动特征描述子的群体异常行为检测方法 |
| CN110378281A (zh) * | 2019-07-17 | 2019-10-25 | 青岛科技大学 | 基于伪3d卷积神经网络的组群行为识别方法 |
| CN110532862A (zh) * | 2019-07-19 | 2019-12-03 | 青岛科技大学 | 基于门控融合单元的特征融合组群识别方法 |
| CN110532862B (zh) * | 2019-07-19 | 2022-02-25 | 青岛科技大学 | 基于门控融合单元的特征融合组群识别方法 |
| CN110689110A (zh) * | 2019-08-28 | 2020-01-14 | 阿里巴巴集团控股有限公司 | 处理交互事件的方法及装置 |
| CN111414846A (zh) * | 2020-03-18 | 2020-07-14 | 青岛科技大学 | 基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法 |
| CN111414846B (zh) * | 2020-03-18 | 2023-06-02 | 青岛科技大学 | 基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法 |
| CN113378657A (zh) * | 2021-05-24 | 2021-09-10 | 汇纳科技股份有限公司 | 行人组群关系识别方法、装置及*** |
| CN113378657B (zh) * | 2021-05-24 | 2024-03-01 | 汇纳科技股份有限公司 | 行人组群关系识别方法、装置及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108764011B (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764011A (zh) | 基于图形化交互关系建模的组群识别方法 | |
| US11100335B2 (en) | Method for queue time estimation | |
| Ali et al. | Modeling, simulation and visual analysis of crowds: a multidisciplinary perspective | |
| CN107705324A (zh) | 一种基于机器学习的视频目标检测方法 | |
| Zhang et al. | Social attribute-aware force model: exploiting richness of interaction for abnormal crowd detection | |
| CN105243356B (zh) | 一种建立行人检测模型的方法及装置及行人检测方法 | |
| CN109241830B (zh) | 基于光照生成对抗网络的课堂听课异常检测方法 | |
| CN110532862B (zh) | 基于门控融合单元的特征融合组群识别方法 | |
| Saroya et al. | Online exploration of tunnel networks leveraging topological CNN-based world predictions | |
| CN108491766A (zh) | 一种端到端的基于深度决策森林的人群计数方法 | |
| CN109886356A (zh) | 一种基于三分支神经网络的目标追踪方法 | |
| CN116258608B (zh) | 融合gis和bim三维技术的水利实时监测信息管理*** | |
| Yao et al. | A novel real-time fall detection method based on head segmentation and convolutional neural network | |
| CN108764338A (zh) | 一种应用于视频分析的行人跟踪算法 | |
| CN108682022A (zh) | 基于对抗迁移网络的视觉跟踪方法及*** | |
| Hu et al. | Semantic SLAM based on improved DeepLabv3⁺ in dynamic scenarios | |
| Yau et al. | Graph-sim: A graph-based spatiotemporal interaction modelling for pedestrian action prediction | |
| Lu et al. | Trajectory-based motion pattern analysis of crowds | |
| WO2022132407A1 (en) | Event camera based navigation control | |
| Li et al. | Measuring collectiveness via refined topological similarity | |
| Alotaibi et al. | Performance comparison and analysis for large-scale crowd counting based on convolutional neural networks | |
| KR101675692B1 (ko) | 구조 학습 기반의 군중 행동 인식 방법 및 장치 | |
| CN106228029B (zh) | 基于众包的量化问题求解方法和装置 | |
| Gao et al. | Beyond group: Multiple person tracking via minimal topology-energy-variation | |
| Saif et al. | Aggressive action estimation: a comprehensive review on neural network based human segmentation and action recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240408 Address after: 509 Kangrui Times Square, Keyuan Business Building, 39 Huarong Road, Gaofeng Community, Dalang Street, Longhua District, Shenzhen, Guangdong Province, 518000 Patentee after: Shenzhen Litong Information Technology Co.,Ltd. Country or region after: China Address before: 266061 Songling Road, Laoshan District, Qingdao, Shandong Province, No. 99 Patentee before: QINGDAO University OF SCIENCE AND TECHNOLOGY Country or region before: China |