CN107194366A - 基于稠密轨迹协方差描述子的行为识别方法 - Google Patents
基于稠密轨迹协方差描述子的行为识别方法 Download PDFInfo
- Publication number
- CN107194366A CN107194366A CN201710418123.0A CN201710418123A CN107194366A CN 107194366 A CN107194366 A CN 107194366A CN 201710418123 A CN201710418123 A CN 201710418123A CN 107194366 A CN107194366 A CN 107194366A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mfrac
- msub
- track
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于稠密轨迹协方差描述子的行为识别方法,主要解决现有技术没有考虑不同特征之间的相关性,未能准确描述行为主体运动,导致行为识别准确率低的问题。其实现步骤是:1)提取视频的稠密轨迹,对轨迹立方体中的每个像素点,获取梯度、空间位置以及梯度、光流和运动边界的时间导数并将这些特征作为底层特征;2)获取底层特征集合,对其求取协方差矩阵并投影到欧式空间以获取轨迹子块的描述子;3)串接轨迹子块的描述子,获取基于稠密轨迹的协方差矩阵描述子;4)对协方差矩阵描述子进行BOW编码后利用线性SVM分类模型进行行为识别。本发明提高对行为的描述能力和识别准确率,可用于视频监控的复杂环境。
Description
技术领域
本发明属于视频处理技术领域,特别涉及一种行为识别方法,可用于视频监控复杂环境中对视频行为的描述。
背景技术
在行为识别领域,人工局部特征已经成为一种有效的特征表示方式。局部特征不需要特定的算法来检测人体部位,并且对复杂背景,光照变化和视频噪声等影响具有鲁棒性。
典型的局部特征包括:时空兴趣点STIP、立方体和稠密轨迹,通常与梯度方向直方图HOG、光流方向直方图HOF、3D梯度方向直方图HOG3D、运动边界直方图MBH、和扩展的加速鲁棒特征ESURF等描述子结合使用。
局部特征的提取主要包含两个步骤:首先发掘行为视频中显著和信息丰富的运动区域,然后在运动区域周围提取描述子。在上述人工局部特征中,基于稠密轨迹的特征在各种具有挑战的数据库中获得了较好的性能。事实上,上述描述子均为基于单个特征的1维直方图表示,并没有考虑到不同特征之间的联合统计特性。然而,这些统计特性对于行为识别也许是非常重要的。
目前已提出的获取特征之间相关性的方法有:
(1)Guo K,Ishwar P,Konrad J.Action recognition from video usingfeature covariance matrices[J].IEEE Transactions on Image Processing,2013,22(6):2479-2494,这种方法将协方差矩阵运用到两种局部特征集合,一种来自运动目标的轮廓序列,另一种来自光流,并应用一个稀疏线性表示的框架来实现行为识别。然而,该方法需要对视频进行精确分割,这对真实场景中的视频是非常困难的。
(2)Bilinski P,Bremond F.Video covariance matrix logarithm for humanaction recognition in videos[C]//IJCAI 2015-24th International JointConference on Artificial Intelligence(IJCAI).2015,这种方法在稠密轨迹的基础上,提出视频协方差矩阵对数(VCML)描述子,来模拟不同底层静态特征之间线性关系。该方法虽然考虑到了不同特征之间的关系,但只考虑了静态特征,并未考虑行为主体的动态特征,无法准确描述行为的运动,导致行为识别结果的准确率低。
发明内容
本发明目的在于针对上述已有技术的不足,提出一种基于稠密轨迹协方差描述子的行为识别方法,以获取准确描述视频中行为主体的运动信息,并在此基础上获取不同特征之间的联合统计特性,从而增强对视频行为的描述能力,进一步提高行为识别的准确率。
实现本发明的技术关键是在对底层特征集合求协方差矩阵的过程中不仅以位置信息和梯度作为静态特征,而且计算了梯度、光流和运动边界的时间导数作为运动特征,由此构造了基于稠密轨迹的协方差矩阵描述子,具体步骤包括如下:
(1)对视频序列进行稠密采样,计算采样点处的稠密光流f,设光流阈值为Tflow;
(2)将光流f大小大于设定阈值Tflow的采样点视为特征点,对特征点进行筛选,再对筛选后的特征点进行追踪,以获取长度为L的行为主体运动轨迹,在每一帧中以每一个运动轨迹点为中心选取W×H大小的图像块,得到大小为W×H×L的随轨迹弯曲的轨迹立方体;
(3)对轨迹立方体中的每一个像素点,提取d维底层特征;
(4)将轨迹立方体中视频帧I对应的空间区域表示为RI,用RI中所有像素点提取的d维底层特征构成特征向量集合{F(k,I)∈Rd}k=1,...,n,其中,n表示RI中像素点的个数,接着计算其协方差矩阵CI;
(5)通过Log-Euclidean度量方式将协方差矩阵投影到欧式空间,获取矩阵对数log(CI),并将该矩阵的上三角部分转换为一个矢量Vec(log(CI));
(6)将大小为W×H×L的轨迹立方体,均分为W×H×l的m个子块,利用(5)中获取的矢量计算每个轨迹子块的描述子其中,l为轨迹子块的帧长度,m=L/l;
(7)串接m个轨迹子块的描述子,以获取基于稠密轨迹的协方差矩阵描述子,DCMDT=[DSub_1,DSub_2,...,DSub_i,...,DSub_m]T,其中,DSub_i表示第i个轨迹子块的描述子,i∈[1,m],[·]T表示转置;
(8)将所有视频基于稠密轨迹的协方差矩阵描述子分为训练集VFtr和测试集VFte,采用BOW方法进行编码,得到训练集的码字直方图VHtr和测试集的码字直方图VHte;
(9)利用训练集的码字直方图VHtr训练SVM分类模型,将测试集的码字直方图VHte输入到训练好的SVM分类模型中进行测试,获取行为识别结果。
本发明与现有技术相比具有以下优点:
1)本发明在稠密轨迹的基础上,将梯度、光流和运动边界的时间导数作为底层运动特征,准确反映了运动部位的速度信息,获取了运动目标和边界的加速度信息,有利于行为识别结果的提高。
2)本发明通过计算静态和动态底层特征之间的协方差矩阵,构造了基于稠密轨迹的协方差矩阵描述子,考虑了底层特征之间的相关性,这种特征之间的联合统计信息,能够提高对复杂环境中视频行为的描述能力。
附图说明
图1是本发明的实现流程图。
具体实施方式
下面结合附图对本发明的实施作进一步详细描述。
参照图1,本发明的基于稠密轨迹协方差描述子的行为识别步骤如下:
步骤1,对视频序列进行稠密采样,计算采样点处的稠密光流f。
(1.1)对视频帧每隔w个像素进行网格采样获取采样点,参数w的值设为5;
(1.2)对(1.1)中获取的采样点采用Gunnar算法计算光流:
(1.2a)将图像中每个像素的邻域像素值表示为一个二次多项式:
f(x)=xTAx+bTx+c,
其中,f(x)表示与邻域x对应的像素值,A为对称矩阵,b为一个向量,c代表了偏移量,这些参数可通过加权的最小二乘法进行估计得到;
(1.2b)将当前视频帧的图像表示为:
f1(x)=xTA1x+b1 Tx+c1,
其中,A1,b1和c1分别表示当前视频帧图像对应的对称矩阵,向量和偏移量;
(1.2c)将当前视频帧后面一个视频帧的图像表示为:
其中,z表示当前视频帧图像到后面一个视频帧图像发生的全局位移,A2,b2和c2分别表示当前视频帧后面一个视频帧图像对应的对称矩阵,向量和偏移量;
(1.2d)根据(1.2c)中二次多项式对应系数相等性质,得出全局位移:即为像素点的稠密光流f。
步骤2,对特征点进行筛选并进行跟踪,得到稠密轨迹,获取随轨迹弯曲的轨迹立方体。
在复杂的行为环境中通常存在摄像头运动,由摄像头运动产生的特征点会对由行为主体运动产生的特征点产生干扰,影响行为识别的效果,因此,需要对特征点进行筛选,去除由摄像头运动产生的特征点,具体步骤如下:
(2.1)设光流阈值为Tflow=0.4,将光流f大小大于设定阈值Tflow的采样点视为特征点,将其保留下来并计入特征点数目Numfeat,否则将其舍去;若剩下的特征点数目超过设定的阈值Tfeat,即Numfeat>Tfeat,则认为该视频帧存在摄像头运动,此时,对运动特征点的光流采用DBSCAN算法进行聚类,进一步移除摄像头运动的干扰,其中,WVid和HVid分别表示视频帧图像的宽和高;α表示运动特征点数目占所有采样点的比例,α=0.1;
(2.2)经过(2.1)进行特征点筛选后,在随后的连续帧图像中对特征点进行跟踪,获取长度为L的轨迹,轨迹的长度限制为L=15,在每一帧中以每一个运动轨迹点为中心选取W×H大小的图像块,得到大小为W×H×L的随轨迹弯曲的轨迹立方体,W=32,H=32。
步骤3,对轨迹立方体中的每一个像素点提取d维底层特征。
(3.1)对轨迹立方体中的每个点P,采用一维Sobel算子[-1,0,1]计算空间梯度,得到x和y方向的梯度Px和Py,以反映点P的外观信息,其计算式如下:
(3.2)以(3.1)获取的梯度为基础,对两个连续的梯度采用[-1,1]的时间滤波器计算时间偏导,以获取梯度边界信息:
由于人体梯度边界的变化,反映运动部位的速度,强调运动边缘边界,故可通过Px和Py对时间方向t的偏导数Pt,x和Pt,y来计算梯度边界的变化信息,计算式如下:
(3.3)将光流f沿x和y方向的分量分别表示为u和v,采用[-1,1]的时间滤波器,计算u在时间方向t上的偏导数ft,x和v在时间方向t上的偏导数ft,y,它们反映运动部位的加速度信息,计算如下式:
(3.4)计算光流f的运动边界,计算过程如下:
利用一维Sobel算子[-1,0,1],分别计算u沿水平方向的导数u沿垂直方向的导数v沿水平方向的导数v沿垂直方向的导数以获取f的运动边界;
(3.5)计算运动边界的时间偏导,以反映目标运动边界的速度变化,计算过程如下:
利用[-1,1]的时间滤波器,分别计算的时间偏导ut,x,的时间偏导ut,y,的时间偏导vt,x和的时间偏导vt,y,计算式如下:
(3.6)对于行为识别而言,除了(3.1)~(3.5)中计算的像素点P的梯度、梯度的时间导数、光流的时间导数和运动边界的时间导数外,P的空间位置X和Y也是有用的信息,因此也作为底层特征,将X,Y,Px,Py,Pt,x、Pt,y及其幅值和方向角,ft,x、ft,y及其幅值和方向角,ut,x、ut,y及其幅值和方向角,vt,x、vt,y及其幅值和方向角进行串接构成d=20维的特征向量,由此,将每个P可通过d维的底层特征来表示。
步骤4,将轨迹立方体中视频帧I对应的空间区域表示为RI,获取RI的特征向量集合,并对其计算协方差矩阵。
通过步骤3获取底层特征后,对每个特征的方差以及不同特征之间的协方差进行编码,可以得到一个更加紧凑的特征表示,故通过计算特征向量集合的协方差矩阵来实现,具体步骤如下:
(4.1)对RI中所有像素点提取d维底层特征,构成特征向量集合{F(k,I)∈Rd}k=1,...,n,其中,n表示RI中像素点个数,n=W×H,d为底层特征的维数;
(4.2)通过下式计算特征向量集合的协方差矩阵:
其中,F(k,I)表示RI的特征向量集合中的第k个特征向量,k∈[1,n],μI为特征向量均值,
步骤5,将协方差矩阵投影到欧式空间,获取RI的特征表示。
协方差矩阵可以表示为一个连通的黎曼流形,为了方便进一步地对基于协方差矩阵的描述子进行聚类并构造码书,需要通过Log-Euclidean度量方式将协方差矩阵投影到欧式空间,具体步骤如下:
(5.1)对协方差矩阵进行奇异值分解,得到U,V和Σ,其中,U为左奇异矩阵,V为右奇异矩阵,Σ=diag(λ1,λ2,...,λj,...,λd)为由奇异值构成的对角矩阵,λj为CI的第j个奇异值,j∈[1,d],奇异值的个数为d,diag(·)表示构成对角矩阵;
(5.2)利用U,V和Σ计算矩阵对数log(CI):
log(CI)=U·log(Σ)·VT=U·diag(log(λ1),log(λ2),...,log(λj),...,log(λd))·VT;
(5.3)取矩阵的上三角部分Vec(log(CI))来表示RI,其中,Vec(·)表示将矩阵的上三角部分转换为一个矢量,因为协方差矩阵是一个d×d维的对称矩阵,由d(d+1)/2个值决定,所以取上三角部分可以获取更加紧凑的形式。
步骤6,通过RI的特征表示计算每个轨迹子块的描述子。
将一个W×H×L的轨迹立方体均分为W×H×l的m个子块,为了使每个子块均有一个紧凑的表示,将子块中所有RI特征表示的平均矢量作为子块的描述子:
其中,l为轨迹子块的帧长度,l=5,m=L/l。
步骤7,将m个轨迹子块的描述子串接,得到基于稠密轨迹的协方差矩阵描述子:
DCMDT=[DSub_1,DSub_2,...,DSub_i,...,DSub_m]T,
其中,DSub_i表示第i个轨迹子块的描述子,i∈[1,m],[·]T表示转置。
步骤8,对协方差矩阵描述子进行BOW编码,获取码字直方图。
将所有视频基于稠密轨迹的协方差矩阵描述子分为训练集VFtr和测试集VFte,采用K-means聚类算法对训练集VFtr进行聚类,得到包含K个码字的码书,K=1000,将训练集VFtr和测试集VFte分别映射到码书中,得到训练集的码字直方图VHtr和测试集的码字直方图VHte。
步骤9,训练线性SVM分类模型,进行行为识别。
利用训练集的码字直方图VHtr训练线性SVM分类模型,将测试集的码字直方图VHte输入到训练好的线性SVM分类模型中进行测试,获取行为识别结果。
本发明的效果可通过以下实验结果进一步说明;
用本发明对较为复杂的标准人体行为数据库UCF-Sports进行行为识别实验,得到94%的识别正确率,实验结果证明了本发明的有效性。
以上描述仅是本发明的一个具体实例,不构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都有可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是,这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (5)
1.一种基于稠密轨迹协方差描述子的行为识别方法,包括:
(1)对视频序列进行稠密采样,计算采样点处的稠密光流f,设光流阈值为Tflow;
(2)将光流f大小大于设定阈值Tflow的采样点视为特征点,对特征点进行筛选,再对筛选后的特征点进行追踪,以获取长度为L的行为主体运动轨迹,在每一帧中以每一个运动轨迹点为中心选取W×H大小的图像块,得到大小为W×H×L的随轨迹弯曲的轨迹立方体;
(3)对轨迹立方体中的每一个像素点,提取d维底层特征;
(4)将轨迹立方体中视频帧I对应的空间区域表示为RI,用RI中所有像素点提取的d维底层特征构成特征向量集合{F(k,I)∈Rd}k=1,...,n,其中,n表示RI中像素点的个数,接着计算其协方差矩阵CI;
(5)通过Log-Euclidean度量方式将协方差矩阵投影到欧式空间,获取矩阵对数log(CI),并将该矩阵的上三角部分转换为一个矢量Vec(log(CI));
(6)将大小为W×H×L的轨迹立方体,均分为W×H×l的m个子块,利用(5)中获取的矢量计算每个轨迹子块的描述子其中,l为轨迹子块的帧长度,m=L/l;
(7)串接m个轨迹子块的描述子,以获取基于稠密轨迹的协方差矩阵描述子,DCMDT=[DSub_1,DSub_2,...,DSub_i,...,DSub_m]T,其中,DSub_i表示第i个轨迹子块的描述子,i∈[1,m],[·]T表示转置;
(8)将所有视频基于稠密轨迹的协方差矩阵描述子分为训练集VFtr和测试集VFte,采用BOW方法进行编码,得到训练集的码字直方图VHtr和测试集的码字直方图VHte;
(9)利用训练集的码字直方图VHtr训练SVM分类模型,将测试集的码字直方图VHte输入到训练好的SVM分类模型中进行测试,获取行为识别结果。
2.根据权利要求1所述的方法,其中步骤(1)中计算采样点处的稠密光流f,按如下步骤进行:
(1a)根据Gunnar算法,将图像中每个像素的邻域像素值表示为一个二次多项式f(x)=xTAx+bTx+c,其中,f(x)表示与邻域x对应的像素值,A为对称矩阵,b为一个向量,c代表了偏移量,这些参数可通过加权的最小二乘法进行估计得到;
(1b)将当前视频帧的图像表示为:
f1(x)=xTA1x+b1 Tx+c1
其中,A1,b1和c1分别表示当前视频帧图像对应的对称矩阵,向量和偏移量;
(1c)将当前视频帧后面一个视频帧的图像表示为:
f2(x)=f1(x-z)=(x-z)TA1(x-z)+b1 T(x-z)+c1
=xTA1x+(b1-2A1z)Tx+zTA1z-b1 Tz+c1
=xTA2x+b2 Tx+c2,
其中,z表示当前视频帧图像到后面一个视频帧图像发生的全局位移,A2,b2和c2分别表示当前视频帧后面一个视频帧图像对应的对称矩阵,向量和偏移量;
(1d)根据(1c)中二次多项式对应系数相等性质,得出全局位移:即为像素点的稠密光流f;
(1e)根据步骤(1a)~(1d)的计算,得到每个采样点对应的像素点处的稠密光流f。
3.根据权利要求1所述的方法,其中步骤(3)中对轨迹立方体中的每一个像素点提取d维底层特征,按如下步骤进行:
(3a)对于轨迹立方体中的每个像素点P,采用一维Sobel算子[-1,0,1]计算像素点空间梯度,得到x和y方向的梯度Px和Py:
<mrow>
<msub>
<mi>P</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>P</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mo>,</mo>
<msub>
<mi>P</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>P</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
(3b)在梯度的基础上,对两个连续的梯度采用[-1,1]的时间滤波器,以计算Px和Py对时间方向t的偏导数Pt,x和Pt,y:
<mrow>
<msub>
<mi>P</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mo>&part;</mo>
<mrow>
<mo>&part;</mo>
<mi>t</mi>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>P</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mo>&part;</mo>
<mrow>
<mo>&part;</mo>
<mi>t</mi>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>P</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
(3c)将光流f沿x和y方向的分量分别表示为u和v,采用[-1,1]的时间滤波器,计算u在时间方向t上的偏导数ft,x和v在时间方向t上的偏导数ft,y:
<mrow>
<msub>
<mi>f</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>u</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>t</mi>
</mrow>
</mfrac>
<mo>,</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>v</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>t</mi>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
(3d)利用一维Sobel算子[-1,0,1],分别计算u沿水平方向的导数u沿垂直方向的导数v沿水平方向的导数v沿垂直方向的导数以获取光流f的运动边界;利用[-1,1]的时间滤波器,分别计算的时间偏导ut,x,的时间偏导ut,y,的时间偏导vt,x和的时间偏导vt,y:
<mrow>
<msub>
<mi>u</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mo>&part;</mo>
<mrow>
<mo>&part;</mo>
<mi>t</mi>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>u</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msub>
<mi>u</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mo>&part;</mo>
<mrow>
<mo>&part;</mo>
<mi>t</mi>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>u</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
<mrow>
<msub>
<mi>v</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mo>&part;</mo>
<mrow>
<mo>&part;</mo>
<mi>t</mi>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>v</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msub>
<mi>v</mi>
<mrow>
<mi>t</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mo>&part;</mo>
<mrow>
<mo>&part;</mo>
<mi>t</mi>
</mrow>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>v</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
(3e)对轨迹立方体中的每个像素点,通过步骤(3a)~(3d)分别计算像素点的梯度、梯度的时间导数、光流的时间导数和运动边界的时间导数,并结合像素点的空间位置信息,构成d维的底层特征。
4.根据权利要求1所述的方法,其中步骤(4)中计算其协方差矩阵CI,通过如下公式进行:
<mrow>
<msub>
<mi>C</mi>
<mi>I</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>,</mo>
<mi>I</mi>
<mo>)</mo>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>I</mi>
</msub>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>,</mo>
<mi>I</mi>
<mo>)</mo>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>I</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>,</mo>
</mrow>
其中,F(k,I)表示RI的特征向量集合中的第k个特征向量,k∈[1,n],n为RI中像素点的个数;μI为特征向量均值,
5.根据权利要求1所述的方法,其中步骤(5)中通过Log-Euclidean度量方式将协方差矩阵投影到欧式空间,获取矩阵对数log(CI),按如下步骤进行:
(5a)对协方差矩阵CI进行奇异值分解,得到U,V和Σ,其中,U为左奇异矩阵,V为右奇异矩阵,Σ=diag(λ1,λ2,...,λj,...,λd)为由奇异值构成的对角矩阵,λj为CI的第j个奇异值,j∈[1,d],奇异值的个数为d,diag(·)表示构成对角矩阵;
(5b)利用以下公式计算矩阵对数log(CI):
log(CI)=U·log(Σ)·VT=U·diag(log(λ1),log(λ2),...,log(λj),...,log(λd))·VT其中,log(·)表示求对数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710418123.0A CN107194366B (zh) | 2017-06-06 | 2017-06-06 | 基于稠密轨迹协方差描述子的行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710418123.0A CN107194366B (zh) | 2017-06-06 | 2017-06-06 | 基于稠密轨迹协方差描述子的行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107194366A true CN107194366A (zh) | 2017-09-22 |
CN107194366B CN107194366B (zh) | 2020-04-14 |
Family
ID=59877093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710418123.0A Active CN107194366B (zh) | 2017-06-06 | 2017-06-06 | 基于稠密轨迹协方差描述子的行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107194366B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107871325A (zh) * | 2017-11-14 | 2018-04-03 | 华南理工大学 | 基于Log‑Euclidean协方差矩阵描述符的图像非刚性配准方法 |
CN108171133A (zh) * | 2017-12-20 | 2018-06-15 | 华南理工大学 | 一种基于特征协方差矩阵的动态手势识别方法 |
CN108257188A (zh) * | 2017-12-29 | 2018-07-06 | 重庆锐纳达自动化技术有限公司 | 一种运动目标检测方法 |
CN108280465A (zh) * | 2017-12-25 | 2018-07-13 | 西安电子科技大学 | 基于层次聚类的判别性部件挖掘行为识别方法 |
CN108629301A (zh) * | 2018-04-24 | 2018-10-09 | 重庆大学 | 一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法 |
CN108681700A (zh) * | 2018-05-04 | 2018-10-19 | 苏州大学 | 一种复杂行为识别方法 |
CN113887509A (zh) * | 2021-10-25 | 2022-01-04 | 济南大学 | 一种基于图像集合的快速多模态视频人脸识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103761737A (zh) * | 2014-01-22 | 2014-04-30 | 北京工业大学 | 基于稠密光流的机器人运动估计方法 |
CN104200235A (zh) * | 2014-07-28 | 2014-12-10 | 中国科学院自动化研究所 | 一种基于线性动态***的时空局部特征的提取方法 |
CN105160290A (zh) * | 2015-07-03 | 2015-12-16 | 东南大学 | 一种基于改进型稠密轨迹的移动边界采样的行为识别方法 |
EP3033732A1 (en) * | 2013-08-16 | 2016-06-22 | Thomson Licensing | Method and apparatus for generating temporally consistent superpixels |
US20160275377A1 (en) * | 2015-03-20 | 2016-09-22 | Texas Instruments Incorporated | Confidence estimation for opitcal flow |
CN106571014A (zh) * | 2016-10-24 | 2017-04-19 | 上海伟赛智能科技有限公司 | 一种在视频中识别异常动作的方法和*** |
-
2017
- 2017-06-06 CN CN201710418123.0A patent/CN107194366B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3033732A1 (en) * | 2013-08-16 | 2016-06-22 | Thomson Licensing | Method and apparatus for generating temporally consistent superpixels |
CN103761737A (zh) * | 2014-01-22 | 2014-04-30 | 北京工业大学 | 基于稠密光流的机器人运动估计方法 |
CN104200235A (zh) * | 2014-07-28 | 2014-12-10 | 中国科学院自动化研究所 | 一种基于线性动态***的时空局部特征的提取方法 |
US20160275377A1 (en) * | 2015-03-20 | 2016-09-22 | Texas Instruments Incorporated | Confidence estimation for opitcal flow |
CN105160290A (zh) * | 2015-07-03 | 2015-12-16 | 东南大学 | 一种基于改进型稠密轨迹的移动边界采样的行为识别方法 |
CN106571014A (zh) * | 2016-10-24 | 2017-04-19 | 上海伟赛智能科技有限公司 | 一种在视频中识别异常动作的方法和*** |
Non-Patent Citations (2)
Title |
---|
MING TONG.ETC: "Action recognition new framework with robust 3D-TCCHOGAC and 3D-HOOFGAC", 《MULTIMED TOOLS APPL》 * |
同鸣等: "一种3DHOGTCC和3DHOOFG的行为识别新框架", 《计算机研究与发展》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107871325A (zh) * | 2017-11-14 | 2018-04-03 | 华南理工大学 | 基于Log‑Euclidean协方差矩阵描述符的图像非刚性配准方法 |
CN107871325B (zh) * | 2017-11-14 | 2020-06-19 | 华南理工大学 | 基于Log-Euclidean协方差矩阵描述符的图像非刚性配准方法 |
CN108171133A (zh) * | 2017-12-20 | 2018-06-15 | 华南理工大学 | 一种基于特征协方差矩阵的动态手势识别方法 |
CN108171133B (zh) * | 2017-12-20 | 2020-08-18 | 华南理工大学 | 一种基于特征协方差矩阵的动态手势识别方法 |
CN108280465A (zh) * | 2017-12-25 | 2018-07-13 | 西安电子科技大学 | 基于层次聚类的判别性部件挖掘行为识别方法 |
CN108257188A (zh) * | 2017-12-29 | 2018-07-06 | 重庆锐纳达自动化技术有限公司 | 一种运动目标检测方法 |
CN108629301A (zh) * | 2018-04-24 | 2018-10-09 | 重庆大学 | 一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法 |
CN108629301B (zh) * | 2018-04-24 | 2022-03-08 | 重庆大学 | 一种人体动作识别方法 |
CN108681700A (zh) * | 2018-05-04 | 2018-10-19 | 苏州大学 | 一种复杂行为识别方法 |
CN108681700B (zh) * | 2018-05-04 | 2021-09-28 | 苏州大学 | 一种复杂行为识别方法 |
CN113887509A (zh) * | 2021-10-25 | 2022-01-04 | 济南大学 | 一种基于图像集合的快速多模态视频人脸识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107194366B (zh) | 2020-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107194366A (zh) | 基于稠密轨迹协方差描述子的行为识别方法 | |
CN110210551B (zh) | 一种基于自适应主体敏感的视觉目标跟踪方法 | |
Ku et al. | Joint 3d proposal generation and object detection from view aggregation | |
Zhao et al. | Transfer learning with fully pretrained deep convolution networks for land-use classification | |
CN109902748A (zh) | 一种基于多层信息融合全卷积神经网络的图像语义分割方法 | |
CN109919122A (zh) | 一种基于3d人体关键点的时序行为检测方法 | |
CN108108751B (zh) | 一种基于卷积多特征和深度随机森林的场景识别方法 | |
CN107481315A (zh) | 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法 | |
CN102254328B (zh) | 基于部分稀疏约束非负矩阵分解的视频运动特征提取方法 | |
CN108038420A (zh) | 一种基于深度视频的人体行为识别方法 | |
CN110097575B (zh) | 一种基于局部特征及尺度池的目标跟踪方法 | |
Xu et al. | Denoising convolutional neural network | |
CN108021869A (zh) | 一种结合高斯核函数的卷积神经网络跟踪方法 | |
CN107316005B (zh) | 基于稠密轨迹核协方差描述子的行为识别方法 | |
CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
CN113808047B (zh) | 一种人体运动捕捉数据去噪方法 | |
CN102034267A (zh) | 基于关注度的目标物三维重建方法 | |
Lu et al. | A cnn-transformer hybrid model based on cswin transformer for uav image object detection | |
CN107944437B (zh) | 一种基于神经网络和积分图像的人脸定位方法 | |
CN105488519A (zh) | 一种基于视频尺度信息的视频分类方法 | |
CN112489050A (zh) | 一种基于特征迁移的半监督实例分割算法 | |
CN110084181B (zh) | 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法 | |
CN109063549A (zh) | 基于深度神经网络的高分辨率航拍视频运动目标检测方法 | |
CN113283409A (zh) | 基于EfficientDet和Transformer的航空图像中的飞机检测方法 | |
CN104156979A (zh) | 一种基于高斯混合模型的视频中异常行为在线检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |