CN105957103B - 一种基于视觉的运动特征提取方法 - Google Patents

一种基于视觉的运动特征提取方法 Download PDF

Info

Publication number
CN105957103B
CN105957103B CN201610248526.0A CN201610248526A CN105957103B CN 105957103 B CN105957103 B CN 105957103B CN 201610248526 A CN201610248526 A CN 201610248526A CN 105957103 B CN105957103 B CN 105957103B
Authority
CN
China
Prior art keywords
vector
characteristic point
motion vector
motion
access control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610248526.0A
Other languages
English (en)
Other versions
CN105957103A (zh
Inventor
李霆
蔡宇翔
蔡力军
苏运东
付婷
肖琦敏
曾伟波
倪时龙
吕君玉
许成功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
State Grid Fujian Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Fujian Yirong Information Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
State Grid Fujian Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Fujian Yirong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, State Grid Fujian Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd, Fujian Yirong Information Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201610248526.0A priority Critical patent/CN105957103B/zh
Publication of CN105957103A publication Critical patent/CN105957103A/zh
Application granted granted Critical
Publication of CN105957103B publication Critical patent/CN105957103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于视觉的运动特征提取方法，具体包括以下步骤：步骤S1：基于连续帧提取每个像素点的运动矢量；步骤S2：提取在X、Y、T方向像素值强烈变化的特征点；步骤S3：以特征点为中心，构建基于运动矢量的方向‑幅值直方图的立方本特征向量；步骤S4：通过聚类算法对局部描述子形成编码向量。该方法所提取的基于运动矢量的时空特征描述可以较好捕捉运动目标的运动信息，聚类重编码可以形成运动特征的词典频率，提高时空中运动目标的检测和识别结果。

Description

一种基于视觉的运动特征提取方法
技术领域
本发明涉及计算机视觉、图像处理技术领域,特别是一种基于视觉的运动特征提取方法。
背景技术
随着国家电网数字档案馆深化应用与推广实施工作的开展，电子档案得到了规范化管理和高效化使用。基于音视频智能化处理新技术和新方法等被引入到电子档案管理中，以解决视频文件大规模存储、处理和检索等难题。智能视频分析是计算机视觉中非常活跃的一领域，其中基于视频的运动物体的运动特征提取技术，更是智能视频分析研究的热点。智能视频技术在不需要人为干预的情况下，对视频数据进行自动分析，提取目标的细节信息，对目标进行辨识或活动状态进行理解和分析，实现目标的检测、识别和跟踪。把基于视频的智能信息处理引入数字电子档案馆中，可以减少大量人力，增强自动监控能力，同时节约资源，具有深远的科研意义和广泛的商业价值。
对运动目标进行特征点提取是生成动运特征描述的关键。传统的运动特征提取方法通常是先根据目标轮廓、纹理等信息检测到目标，接着生成运动信息。由于需要对目标进行差分、跟踪，背景建模等处理，这类方法容易受到光照、噪声、遮挡、摄像头运动等因素的影响。从图像中提取运动目标的时空特征点是目标检测较好的算法，因为这些点是像素值在时空域内剧烈变化的点，它们包含了丰富的运动信息，同时也具有较强的稳定性，克服了背景建模等步骤带来的问题。
时空特征点反映了运动目标发生显著变化的位置，但他们只是一些孤立的点，还难以通过这些点表示目标的运动信息。通常利用特征点周围的时空信息对这些点进行描述，即为时空特征点的描述构建过程。以时空特征点为中心的小立方体提取一维向量，一般可包含局部梯度、速度信息。
基于特征点和特征点描述子的运动特征提取算法可以参见Piotr D.,VincentR.,et al Behavior Recognition via Sparse Spatio-Temporal Features，2005；该文比较了2D特征点与3D特征点的检测效果，并提出基于时空的特征描述算子。Marcin M.,IvanL.,et al Action in Context,2007；该文比较了3D-Harris与2D-Harris特征点提取算法，使用了HOF and HOG、Sift特征描述子算法，并引入Bag-of-features的视频编码技术。
发明内容
有鉴于此，本发明的目的是提供一种基于视觉的运动特征提取方法，该方法所提取的基于运动矢量的时空特征描述可以较好捕捉运动目标的运动信息，聚类重编码可以形成运动特征的词典频率，提高时空中运动目标的检测和识别结果。
本发明采用以下方案实现：一种基于视觉的运动特征提取方法，具体包括以下步骤：
步骤S1：基于连续帧提取每个像素点的运动矢量；
步骤S2：提取在X、Y、T方向像素值强烈变化的特征点；
步骤S3：以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量；
步骤S4：通过聚类算法对局部描述子形成编码向量。
进一步地，所述步骤S1中，基于连续帧提取每个像素点的运动矢量的具体步骤如下：
步骤S11：令i＝1，获得第i帧图像I(x,i)；
步骤S12：获得第i+1帧图像I(x,i+1)；
步骤S13：对图像灰度化与去噪的预处理，得到图像I’(x,i)和I’(x,i+1)；
步骤S14：根据相邻两帧时间间隔很小时，图像的灰度变化也很小的前提下得到的约束方程I’xVx+I’yVy＝0，计算得到运动矢量(Vx,Vy)。
进一步地，所述步骤S2中，提取在X、Y、T方向像素值强烈变化的特征点的具体步骤如下：
步骤S21：构建基于立方体的DOG高斯金字塔，DOG公式如下：
D(x，y，z，kjσ)＝L(x，y，z，kiσ)-L(x，y，z，kjσ)
公式中，尺度空间L(x，y，z，kσ)＝G(x，y，z，kσ)*I(x，y，z)，其中为I(x，y，z)输入体积，G(x，y，z，kσ)是尺度为kσ的高斯三维滤波器；
步骤S22：计算DOG局部极值点，即为特征点。
进一步地，所述步骤S3中，以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量的具体步骤如下：
步骤S31：计算每个像素点的运动矢量的方向和幅值，为图像划分区域，以Cell区域为单位建方向-幅值矢量直方图；
步骤S32：以特征点为中心，串联立方体内的矢量直方图形成运动描述子。
进一步地，所述步骤S4中，通过聚类算法对局部描述子形成编码向量的具体步骤如下：
步骤S41：使用所述步骤S32得到的描述子进行聚类，得到每类的质心；
步骤S42：使用欧式距离统计指定区域内每一类的频数，形成编码向量。
与现有技术相比，本发明具有以下突出优点：该方法考虑时空域内剧烈变化的点，不需要对运动目标进行检测与跟踪，也不需要进行背景建模。以特征点为中心构建立方体的运动描述子，其中包含了轮廓信息、速度信息等，提供了对着感兴趣运动目标的运动的理解与分析的方法；通过聚类过程形成频率编码向量，构建了指定区域内运动描述子的统计信息。
附图说明
图1是本发明基于视觉的感兴趣目标的运动特征提取流程图。
图2是本发明关于高斯金字塔的构建过程图。
图3是本发明关于高斯空间的关键点的示意图。
图4是本发明关于构建速度矢量的特征描述子的流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本实施例提供一种基于视觉的运动特征提取方法，如图1所示，具体包括以下步骤：
步骤S1：基于连续帧提取每个像素点的运动矢量；
步骤S2：提取在X、Y、T方向像素值强烈变化的特征点；
步骤S3：以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量；
步骤S4：通过聚类算法对局部描述子形成编码向量。
在本实施例中，所述步骤S1中，基于连续帧提取每个像素点的运动矢量的具体步骤如下：
步骤S11：令i＝1，获得第i帧图像I(x,i)；
步骤S12：获得第i+1帧图像I(x,i+1)；
步骤S13：对图像灰度化与去噪的预处理，得到图像I’(x,i)和I’(x,i+1)；
步骤S14：根据相邻两帧时间间隔很小时，图像的灰度变化也很小的前提下得到的约束方程I’xVx+I’yVy＝0，计算得到运动矢量(Vx,Vy)。
在本实施例中，所述步骤S2中，提取在X、Y、T方向像素值强烈变化的特征点的具体步骤如下：
步骤S21：构建基于立方体的DOG高斯金字塔，DOG公式如下：
D(x，y，z，kjσ)＝L(x，y，z，kiσ)-L(x，y，z，kjσ)
公式中，尺度空间L(x，y，z，kσ)＝G(x，y，z，kσ)*I(x，y，z)，其中为I(x，y，z)输入体积，G(x，y，z，kσ)是尺度为kσ的高斯三维滤波器；
高斯金字塔的构建过程如图2所示，左侧一列是尺度金字塔，分别是由原视频立方体产生的尺度为的高斯尺度空间。右则的高斯金字塔每一层是由左侧的相邻尺度的高斯空间相减得到的；
步骤S22：计算DOG局部极值点，即为特征点；
特征点是DOG空间内的局部最大或最小的点。图3是得到局部极值点一实例，其中候选关键点为于一5*5*5的立方体中心的黑实心点，通过与立方体内的所有相领取点比较，可知中心是否为关键点。
在本实施例中，所述步骤S3中，以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量的具体步骤如下：
步骤S31：计算每个像素点的运动矢量的方向和幅值，为图像划分区域，以Cell区域为单位建方向-幅值矢量直方图；在指定的小区域(如Cell＝4*4)内按加权投票构建方向-幅值的直方图，并在区域(如Block＝8*8)做归一化处理。在一个更大的区域(如Win＝16*16)内收集所有的直方图，得到矢量直方图运动描述子，其过程如图4；
步骤S32：以特征点为中心，串联立方体内的矢量直方图形成运动描述子。
在本实施例中，所述步骤S4中，通过聚类算法对局部描述子形成编码向量的具体步骤如下：
步骤S41：使用所述步骤S32得到的描述子进行聚类，得到每类的质心；
步骤S42：使用欧式距离统计指定区域内每一类的频数，形成编码向量。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于视觉的运动特征提取方法，其特征在于：具体包括以下步骤：
步骤S1：基于连续帧提取每个像素点的运动矢量；
步骤S2：提取在X、Y、Z方向像素值强烈变化的特征点；
步骤S3：以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量；
步骤S4：通过聚类算法对局部描述子形成编码向量；
所述步骤S2中，提取在X、Y、Z方向像素值强烈变化的特征点的具体步骤如下：
步骤S21：构建基于立方体的DOG高斯金字塔，DOG公式如下：
公式中，尺度空间，其中为输入体积，是尺度为 的高斯三维滤波器；
步骤S22：计算DOG局部极值点，即为特征点。
2.根据权利要求1所述的一种基于视觉的运动特征提取方法，其特征在于：所述步骤S1中，基于连续帧提取每个像素点的运动矢量的具体步骤如下：
步骤S11：令i=1，获得第 i 帧图像 I(x,i)；
步骤S12：获得第 i+1帧图像 I(x,i+1)；
步骤S13：对图像灰度化与去噪的预处理，得到图像I’(x,i) 和I’(x,i+1)；
步骤S14：根据相邻两帧时间间隔很小时，图像的灰度变化也很小的前提下得到的约束方程 I’xVx+I’yVy=0，计算得到运动矢量(Vx,Vy)。
3.根据权利要求1所述的一种基于视觉的运动特征提取方法，其特征在于：所述步骤S3中，以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量的具体步骤如下：
步骤S31：计算每个像素点的运动矢量的方向和幅值，为图像划分区域，以Cell区域为单位建方向-幅值矢量直方图；
步骤S32：以特征点为中心，串联立方体内的矢量直方图形成运动描述子。
4.根据权利要求3所述的一种基于视觉的运动特征提取方法，其特征在于：所述步骤S4中，通过聚类算法对局部描述子形成编码向量的具体步骤如下：
步骤S41：使用所述步骤S32得到的描述子进行聚类，得到每类的质心；
步骤S42：使用欧式距离统计指定区域内每一类的频数，形成编码向量。
CN201610248526.0A 2016-04-20 2016-04-20 一种基于视觉的运动特征提取方法 Active CN105957103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610248526.0A CN105957103B (zh) 2016-04-20 2016-04-20 一种基于视觉的运动特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610248526.0A CN105957103B (zh) 2016-04-20 2016-04-20 一种基于视觉的运动特征提取方法

Publications (2)

Publication Number Publication Date
CN105957103A CN105957103A (zh) 2016-09-21
CN105957103B true CN105957103B (zh) 2018-09-18

Family

ID=56917850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610248526.0A Active CN105957103B (zh) 2016-04-20 2016-04-20 一种基于视觉的运动特征提取方法

Country Status (1)

Country Link
CN (1) CN105957103B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331723B (zh) * 2016-08-18 2019-12-13 上海交通大学 一种基于运动区域分割的视频帧率上变换方法及***
CN107968946B (zh) * 2016-10-18 2021-09-21 深圳万兴信息科技股份有限公司 视频帧率提升方法及装置
CN106683114B (zh) * 2016-12-16 2019-08-20 河海大学 基于特征光流的流体运动矢量估计方法
CN109344692B (zh) * 2018-08-10 2020-10-30 华侨大学 一种运动质量评价方法及***
CN116358547B (zh) * 2022-12-09 2024-01-30 珠海创智科技有限公司 一种基于光流估计获取agv位置的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924871A (zh) * 2010-02-04 2010-12-22 苏州大学 基于均值偏移的视频目标跟踪方法
CN103067646A (zh) * 2011-10-21 2013-04-24 索尼公司 运动特征提取方法和装置，以及视频处理装置
CN104050665A (zh) * 2014-06-10 2014-09-17 华为技术有限公司 一种视频图像中前景停留时间的估计方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436890B2 (en) * 2014-01-23 2016-09-06 Samsung Electronics Co., Ltd. Method of generating feature vector, generating histogram, and learning classifier for recognition of behavior

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924871A (zh) * 2010-02-04 2010-12-22 苏州大学 基于均值偏移的视频目标跟踪方法
CN103067646A (zh) * 2011-10-21 2013-04-24 索尼公司 运动特征提取方法和装置，以及视频处理装置
CN104050665A (zh) * 2014-06-10 2014-09-17 华为技术有限公司 一种视频图像中前景停留时间的估计方法及装置

Also Published As

Publication number Publication date
CN105957103A (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
Zhang et al. Improving triplet-wise training of convolutional neural network for vehicle re-identification
Luo et al. A revisit of sparse coding based anomaly detection in stacked rnn framework
CN105957103B (zh) 一种基于视觉的运动特征提取方法
Yu et al. A litchi fruit recognition method in a natural environment using RGB-D images
Paisitkriangkrai et al. Strengthening the effectiveness of pedestrian detection with spatially pooled features
Wang et al. Object instance detection with pruned Alexnet and extended training data
Xian et al. Evaluation of low-level features for real-world surveillance event detection
Yi et al. Motion keypoint trajectory and covariance descriptor for human action recognition
CN106845375A (zh) 一种基于层级化特征学习的动作识别方法
Yi et al. Mining human movement evolution for complex action recognition
Symeonidis et al. Neural attention-driven non-maximum suppression for person detection
CN115457082A (zh) 一种基于多特征融合增强的行人多目标跟踪算法
Gao et al. Evaluation of regularized multi-task leaning algorithms for single/multi-view human action recognition
Lee et al. Fast object localization using a CNN feature map based multi-scale search
CN109359530B (zh) 一种智能视频监控方法及装置
Revathi et al. Certain approach of object tracking using optical flow techniques
Ahmad et al. Embedded deep vision in smart cameras for multi-view objects representation and retrieval
Nguyen et al. Spatial motion patterns: Action models from semi-dense trajectories
Ghaleb et al. Image retrieval based on self-organizing feature map and multilayer perceptron neural networks classifier
CN111127407B (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
CN105893967B (zh) 基于时序保留性时空特征的人体行为分类检测方法及***
Konstantinidis et al. Skeleton-based action recognition based on deep learning and Grassmannian pyramids
CN115439930A (zh) 一种基于时空维度筛选的多特征融合步态识别方法
Shekar et al. Action recognition using undecimated dual tree complex wavelet transform from depth motion maps/depth sequences
Salem et al. Effectiveness of human detection from aerial images taken from different heights

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant