基于图形化交互关系建模的组群识别方法
技术领域
本发明属于计算机视觉技术领域,具体地说,是涉及对视频中的人体目标进行组群行为识别的方法,更具体地说,是涉及基于组群中人体交互关系的组群的自动检测和行为识别方法。
背景技术
计算机视觉中的行为识别,根据参与人的多少以及是否存在交互行为可以分为单目标无交互行为、多目标交互的“多元性”组群行为和高密度“集体性”行为三种情况。“集体性”的人群行为指所有成员具有相同的运动趋势,比如游行、***等,这类行为是比较简单的,用其中个体成员的行为就可表征整个群体的行为。“多元性”组群行为指各成员的行为不尽相同,有行为变化或子群间交互等,而且,组群行为的人员构成通常会随机增减,人员各自行为属性不尽相同,并且,组群成员越多交互行为越复杂,因此,该类行为识别是当前计算机视觉领域中研究进展最薄弱的子方向。但是在现实应用场景中,尤其是异常行为的监控范畴,却大都是属于这类“多元性”组群行为,因此,对这类行为的研究更具有普适性和应用价值。
现有基于交互关系进行组群行为识别的技术中,针对场景中的静态的人体目标之间的交互关系和运动的人体目标之间的交互关系分别独立建模,再基于交互关系进行组群识别。现有技术存在着如下缺点:(1)没有考虑静态人体与运动人体之间的交互;(2)静态人体交互关系建模时,仅考虑了两个人体的空间距离,忽略了人体行为的一致性,容易产生误判;(3)运动人体交互关系建模时,仅考虑了动态人体目标的运动速度,没有考虑动态人体目标的行为属性、上下文因素等。因此,现有技术交互关系的建立所考虑的因素少,不够全面,容易产生误判,影响组群识别精度。
发明内容
本发明的目的是提供一种基于图形化交互关系建模的组群识别方法,解决现有组群识别方法建立交互关系考虑的因素少而导致组群识别精度低、易产生误判等的问题。
为实现上述发明目的,本发明采用下述技术方案予以实现:
一种基于图形化交互关系建模的组群行为识别方法,所述方法包括下述过程:
(1)人体目标识别跟踪过程:从视频图像中识别并跟踪人体目标;
(2)人体目标底层特征基础模型获取过程:
将识别并跟踪到的人体目标连续L帧的图像序列作为输入序列,输入已训练好的简单行为分类器,获得表征人体目标行为的行为属性Vaction_Label;
构建人体目标跟踪属性Vtracking,ts、te表示L帧视频图像序列的起始时间和截止时间,表示在起、止时间内的L帧视频图像序列中人体目标所有轨迹点横、纵坐标的均值,S表示人体目标轨迹的形状,HOG为人体目标轨迹的方向梯度直方图,HOF为人体目标轨迹的光流速度直方图,MBHx和MBHy分别为人体目标轨迹在x方向和y方向上的光流加速度;
构建人体目标及其上下文区域的时空属性:建立人体目标的三维柱状时空邻域,将所述三维柱状时空邻域分为内、外两部分,内部为内核圆柱体,剩余的圆筒区域为人体目标的上下文区域,建立所述内核圆柱体的时空梯度统计向量,作为人体目标的时空属性Vfocal_person,建立所述圆筒区域的时空梯度统计向量,作为人体目标上下文区域的时空属性Vcontext;
级联Vtracking、Vfocal_person、Vcontext和Vaction_Label,形成表征人体目标底层特征基础模型的多粒度信息融合模型:Vobject=[Vtracking Vfocal_person Vcontext Vaction_label];
(3)人体目标底层特征模型再学习过程:定义为人体目标i在t时刻的底层特征基础模型,将作为循环神经网络RNN的输入数据,采用RNN递推学习,获得人体目标i在t时刻经深度学习后的底层特征深度学习模型xi(t),
xi(t)=Vobject-i(t)=[Vtracking-i(t) Vfocal_person-i(t) Vcontext-i(t) Vaction_label-i(t)];
(4)人体目标交互关系构建过程:
获取人体目标i与人体目标j之间的内部交互信息Mij(t):i,j∈N,N为视频图像中所检测到的人体目标的数量,xi(t)和xj(t)分别为人体目标i和人体目标j在t时刻的底层特征学习数据,xj(t)=Vobject-j(t)=[Vtracking-j(t) Vfocal_person-j(t) Vcontext-j(t) Vaction_label-j(t)],rij-1是xi(t)的属性[Vtracking-i(t) Vcontext-i(t)]与xj(t)的属性[Vtracking-j(t) Vcontext-j(t)]之间的相关系数,rij-2是xi(t)的属性[Vfocal_person-i(t) Vaction_label-i(t)]与xj(t)的属性[Vfocal_person-j(t)Vaction_label-j(t)]之间的相关系数,且满足r1,r2∈[-1,1],Cij、α为系数;
获取其他人体目标传向人体目标i与人体目标j的信息pij(t):定义人体目标i的上下文区域含有的、不包括人体目标j的人体目标数量为Ω,人体目标j的上下文区域含有的、不包括人体目标i的人体目标数量为Ψ,ρi为Ω个人体目标传向人体目标i的信息量,rn是xn(t)和xi(t)之间的相关系数,xn(t)=Vobject-n(t)=[Vtracking-n(t) Vfocal_person-n(t) Vcontext-n(t) Vaction_label-n(t)],ρj为Ψ个人体目标传向人体目标j的信息量,rm是xm(t)和xj(t)之间的相关系数,xm(t)=Vobject-m(t)=[Vtracking-m(t) Vfocal_person-m(t) Vcontext-m(t) Vaction_label-m(t)],Kij、β为系数;
(5)组群识别过程:
构建图形化组群结构图:将视频图像中跟踪到的每个人体目标作为一个人体目标结点,将视频图像中的场景作为一个场景结点,人体目标结点与人体目标结点以及人体目标结点与场景结点的交互关系用连接边界表示,形成图形化组群结构图;
对于人体目标i与人体目标j,比较Mij(t)和pij(t)的信息差△MPij(t)=|Mij(t)-pij(t)|,若△MPij(t)≤ρth,确定图形化组群结构图中的人体目标结点i和人体目标结点j之间不存在连接边界,否则,确定人体目标结点i和人体目标结点j之间存着连接边界ij;ρth为设定阈值;
若人体目标结点与其他人体目标结点之间均不存在连接边界,则该人体目标结点与场景结点之间不存在连接边界;若人体目标结点与其他任意一个人体目标结点之间存在连接边界,则该人体目标结点与场景结点之间存在连接边界;
通过连接边界连接的所有人体目标及场景识别为该场景下的一个组群。
如上所述的方法,还包括下述预测组群行为的过程:
获取场景S传向处于该场景中的人体目标i的交互信息Msi(t):Msi(t)=1-e-δDist_i_t,Dist_i_t是Vaction_Label-i(t)与的距离,δ为待定系数,通过RNN训练获得;
在循环神经网络RNN中,采用激活函数s(t)预测组群行为,k1∈[1,Nk];Nk是场景S中所有人体目标的总和,g1是RNN输出层的分类函数,whs是RNN输出层的权重。
如上所述的方法,还包括下述再预测人体目标行为的过程:
在循环神经网络RNN中,采用激活函数ai(t)对人体目标i的行为再预测,k2∈[1,Ni];k≠i;Ni是场景S中除人体目标i外的其他人体目标的总和,g2是RNN中间层的分类函数,wha是RNN中间层的权重。
优选的,在所述人体目标识别跟踪过程中,基于可变形部件模型的粒子滤波快速行人检测与跟踪算法识别出视频图像中的人体目标。
优选的,在所述人体目标底层特征基础模型获取过程中,采用卷积神经网络CNN作为所述简单行为分类器,获得所述表征人体目标行为的行为属性Vaction_Label。
与现有技术相比,本发明的优点和积极效果是:
(1)在本发明中,人体目标作为组群识别的基本单元,采用多粒度信息融合模型表征人体目标的底层特征模型,多粒度信息融合模型包含了人体目标的跟踪属性、行为属性及场景上下文的时空属性,有效地利用人体目标所包含的各类信息,多属性联合诠释人体目标运动信息的可能性,以此多粒度信息融合模型作为构建人体目标交互关系的基础模型,能够提高交互关系推理的准确性,进而提高组群识别的准确性。
(2)利用两个人体目标之间的内部交互信息和其他人体目标传向这两个人体目标的信息确定两个人体目标之间是否存在连接边界,利用连接边界形成人体目标间交互的图形化组群关系,能够清晰地梳理每个人体目标与其他人体目标之间的互动往来,结合循环神经网络RNN实时获取人体目标底层特征模型,实现连接边界的实时判决取舍,实现场景中组群的自动检测和识别及组群识别的准确性。
(3)基于组群的识别,结合循环神经网络RNN预测组群行为,结合组群行为对组群中人体目标的行为进行再预测,进而利用再预测的人体目标行为对组群进行重新识别,从而,实现了组群识别的稀疏性和完整性的推理更新,使得组群识别的实时性更强,识别率更高。
结合附图阅读本发明的具体实施方式后,本发明的其他特点和优点将变得更加清楚。
附图说明
图1是本发明基于图形化交互关系建模的组群识别方法一个实施例的流程图;
图2是本发明基于图形化交互关系建模的组群识别方法另一个实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下将结合附图和实施例,对本发明作进一步详细说明。
请参见图1,该图所示为本发明基于图形化交互关系建模的的组群识别方法一个实施例的流程图。
如图1所示,该实施例采用下述步骤构成的过程实现组群识别。
步骤11:识别并跟踪人体目标。
具体来说,是从获取的视频图像中识别并跟踪人体目标。从视频图像中识别并跟踪人体目标可以采用现有技术中的多种方法来实现。优选的,采用基于可变形部件模型的粒子滤波快速行人检测与跟踪算法识别并跟踪视频图像中的人体目标。该算法的具体实现方法可以参考现有技术,在此不作详细描述。
步骤12:获取人体目标底层特征基础模型。
人体目标底层特征模型是用来建立人体目标的交互关系、进而实现组群识别的基本模型。在该实施例中,人体目标底层特征模型包括有基础模型和深度学习模型,基础模型是通过对视频图像序列作处理而得到的数据,而深度学习模型是以基础模型作为输入数据、通过设定模型进一步学习而获得的模型。并且,为了更充分地描述人体目标,该实施例采用多粒度信息融合模型表征人体目标的底层特征模型。人体目标底层特征基础模型的多粒度信息融合模型采用下述过程获得:
将跟踪到的人体目标连续L帧的图像序列作为输入序列,输入训练好的简单行为分类器,获得表征人体目标行为的行为属性Vaction_Label。举例来说,可以采用卷积神经网络CNN作为简单行为分类器,将跟踪到的某一人体目标连续7帧图像序列作为输入序列,输入到训练好的CNN分类器,获得该人体目标的行为属性,标记为Vaction_Label。
构建人体目标跟踪属性Vtracking,公式中,ts、te表示L帧视频图像序列的起始时间和截止时间,表示在起、止时间内的L帧视频图像序列中人体目标所有轨迹点横、纵坐标的均值,S表示人体目标轨迹的形状,HOG为人体目标轨迹的方向梯度直方图,HOF为人体目标轨迹的光流速度直方图,MBHx和MBHy分别为人体目标轨迹在x方向和y方向上的光流加速度。对于公式中的各参数的值的计算方法,均为现有技术,不作详细描述。
构建人体目标及其上下文区域的时空属性:建立人体目标的三维柱状时空邻域,将三维柱状时空邻域分为内、外两部分,内部为内核圆柱体,剩余的圆筒区域为人体目标的上下文区域,建立所述内核圆柱体的时空梯度统计向量,作为人体目标的时空属性Vfocal_person,建立所述圆筒区域的时空梯度统计向量,作为人体目标上下文区域的时空属性Vcontext。三维柱状时空邻域及时空梯度统计向量的建立过程,为现有技术,不作详细描述。
级联Vtracking、Vfocal_person、Vcontext和Vaction_Label,形成表征人体目标底层特征基础模型的多粒度信息融合模型:Vobject=[Vtracking Vfocal_person Vcontext Vaction_label]。
步骤13:获取人体目标底层特征深度学习模型。
步骤12获得人体目标底层特征基础模型之后,将其作为循环神经网络RNN的输入数据,采用RNN递推学习,获得经深度学习后的人体目标的底层特征深度学习模型。
具体来说,定义为人体目标i在t时刻的底层特征基础模型,将作为循环神经网络RNN的输入数据,采用RNN递推学习,获得人体目标i在t时刻经深度学习后的底层特征深度学习模型xi(t),xi(t)=Vobject-i(t)=[Vtracking-i(t) Vfocal_person-i(t) Vcontext-i(t) Vaction_label-i(t)]。
通过采用多粒度信息融合模型表征人体目标的底层特征模型,多粒度信息融合模型包含了人体目标的跟踪属性、行为属性及场景上下文的时空属性,有效地利用人体目标所包含的各类信息,多属性联合诠释人体目标运动信息的可能性,以此多粒度信息融合模型作为构建人体目标交互关系的基础模型,能够提高交互关系推理的准确性,进而提高组群识别的准确性。
步骤14:构建人体目标交互关系。
人体目标的交互关系是确定组群的依据,对于场景中的两个人体目标来说,两者间的交互关系既包含了两者的直接交互关系,称之为内部交互信息,用Mij(t)表示;还包含了场景中的其他人体目标对这两个人体目标形成的间接关系,称之为其他人体目标传向这两个人体目标的信息,用pij(t)表示。
具体的,对于人体目标i与人体目标j,内部交互信息Mij(t)的计算公式为:其中,i,j∈N,N为视频图像中所检测到的人体目标的数量,xi(t)和xj(t)分别为人体目标i和人体目标j在t时刻的底层特征学习数据,xj(t)=Vobject-j(t)=[Vtracking-j(t) Vfocal_person-j(t) Vcontext-j(t) Vaction_label-j(t)],rij-1是xi(t)的属性[Vtracking-i(t) Vcontext-i(t)]与xj(t)的属性[Vtracking-j(t) Vcontext-j(t)]之间的相关系数,rij-2是xi(t)的属性[Vfocal_person-i(t) Vaction_label-i(t)]与xj(t)的属性[Vfocal_person-j(t) Vaction_label-j(t)]之间的相关系数,且满足r1,r2∈[-1,1],Cij、α为系数。
其他人体目标传向人体目标i与人体目标j的信息的pij(t)计算公式为:定义人体目标i的上下文区域含有的、不包括人体目标j的人体目标数量为Ω,人体目标j的上下文区域含有的、不包括人体目标i的人体目标数量为Ψ,ρi为Ω个人体目标传向人体目标i的信息量,rn是xn(t)和xi(t)之间的相关系数,xn(t)=Vobject-n(t)=[Vtracking-n(t) Vfocal_person-n(t) Vcontext-n(t) Vaction_label-n(t)],ρj为Ψ个人体目标传向人体目标j的信息量,rm是xm(t)和xj(t)之间的相关系数,xm(t)=Vobject-m(t)=[Vtracking-m(t) Vfocal_person-m(t) Vcontext-m(t) Vaction_label-m(t)],Kij、β为系数。
相关系数的计算方法采用现有技术来实现。对于系数Cij、α、Kij和β,均可以通过RNN网络不断训练进行优化。
步骤15:识别组群。
首先,构建图形化组群结构图:将视频图像中跟踪到的每个人体目标作为一个人体结点,将视频图像中的场景作为一个场景结点,人体结点与人体结点以及人体结点与场景结点的交互关系用连接边界表示,形成图形化组群结构图。
对于人体目标i与人体目标j,比较Mij(t)和pij(t)的信息差△MPij(t)=|Mij(t)-pij(t)|。若△MPij(t)≤ρth,确定图形化组群结构图中的人体目标结点i和人体目标结点j之间不存在连接边界,否则,确定人体目标结点i和人体目标结点j之间存着连接边界ij;ρth为设定阈值。
若人体目标结点与其他人体目标结点之间均不存在连接边界,则该人体目标结点与场景结点之间不存在连接边界,即该人体目标不属于当前场景下的群组;若人体目标结点与其他任意一个人体目标结点之间存在连接边界,则该人体目标结点与场景结点之间存在连接边界。
最后,将通过连接边界连接的所有人体目标及场景识别为该场景下的一个组群。
利用两个人体目标之间的内部交互信息和其他人体目标传向这两个人体目标的信息确定两个人体目标之间是否存在连接边界,利用连接边界形成人体目标间交互的图形化组群拓扑结构,能够清晰地梳理每个人体目标与其他人体目标之间的互动往来,结合循环神经网络RNN实时获取人体目标底层特征模型,实现连接边界的实时判决取舍,实现场景中组群的自动检测和识别及组群识别的准确性。
请参见图2,该图所示为本发明基于图形化交互关系建模的组群识别方法另一个实施例的流程图。
如图2所示,该实施例采用下述步骤构成的过程实现组群识别。
步骤21:识别并跟踪人体目标。
步骤22:获取人体目标底层特征基础模型。
步骤23:获取人体目标底层特征深度学习模型。
步骤24:构建人体目标交互关系。
步骤25:识别组群。
上述各步骤的具体实现方法和过程可以参考图1实施例的描述。
步骤26:预测组群行为及人体目标行为。
与图1第一个实施例不同的是,在图2所示的实施例中,在识别出组群之后,还包括对组群行为进行预测的过程以及基于组群行为对组群内的人体目标行为再预测的过程。
参考图1步骤12的描述,在获取人体目标底层特征基础模型的过程中,虽然获得了表征人体目标行为的行为属性,但是,该过程的行为识别只是为了识别组群而进行的初始化预判,可以看作是先验知识,不一定完全正确。这是因为,该预判仅仅依赖单个人体目标的时空信息进行行为识别,而在复杂的组群关系环境下,由于组群内其他成员的影响,同一种动作可能有不同的语义变化和行为属性改变。因此,为了适应这种复杂组群关系中的社会角色彼此影响,在实现组群识别后,需要对其中的人体目标成员的行为以及整体组群行为进行再判断和实时更新。
具体而言,采用下述过程预测组群行为:
获取场景S传向处于该场景中的人体目标i的交互信息Msi(t):Msi(t)=1-e-δDist_i_t,Dist_i_t是Vaction_Label-i(t)与的距离,优选的,为两者的欧氏距离,δ为待定系数,可以通过RNN网络训练进行优化获得。
在循环神经网络RNN中,采用激活函数s(t)预测组群行为,k1∈[1,Nk];Nk是场景S中所有人体目标的总和,g1是RNN输出层的分类函数,whs是RNN输出层的权重。
采用下述过程对组群内的人体目标行为进行再预测:
在循环神经网络RNN中,采用激活函数ai(t)对人体目标i的行为再预测,k2∈[1,Ni];k≠i;Ni是场景S中除人体目标i外的其他人体目标的总和,g2是RNN中间层的分类函数,wha是RNN中间层的权重。
在该实施例中,除了具有图1实施例所描述的优点之外,还具有下述的有益效果:通过基于组群的识别,结合循环神经网络RNN预测组群行为,结合组群行为对组群中人体目标的行为进行再预测,进而利用再预测的人体目标行为对组群进行重新识别,从而,实现了组群识别的稀疏性和完整性的推理更新,使得组群识别的实时性更强,识别率更高。
以上实施例仅用以说明本发明的技术方案,而非对其进行限制;尽管参照前述实施例对本发明进行了详细的说明,对于本领域的普通技术人员来说,依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。