CN109376641A - 一种基于无人机航拍视频的运动车辆检测方法 - Google Patents

一种基于无人机航拍视频的运动车辆检测方法 Download PDF

Info

Publication number
CN109376641A
CN109376641A CN201811203391.1A CN201811203391A CN109376641A CN 109376641 A CN109376641 A CN 109376641A CN 201811203391 A CN201811203391 A CN 201811203391A CN 109376641 A CN109376641 A CN 109376641A
Authority
CN
China
Prior art keywords
image
feature
vehicle
grades
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811203391.1A
Other languages
English (en)
Other versions
CN109376641B (zh
Inventor
朱旭
孙思琦
徐伟
闫茂德
杨盼盼
左磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHINA HIGHWAY ENGINEERING CONSULTING GROUP Co Ltd
CHECC Data Co Ltd
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201811203391.1A priority Critical patent/CN109376641B/zh
Publication of CN109376641A publication Critical patent/CN109376641A/zh
Application granted granted Critical
Publication of CN109376641B publication Critical patent/CN109376641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机航拍视频的运动车辆检测方法，首先采用SURF算法对图像进行特征点匹配及异常点剔除，利用联合全局和局部单应性矩阵的无人机图像配准算法以获取转换矩阵，补偿机载相机运动产生的不利影响，随后，采用2帧差法减小待检测区域，再根据超像素的中心遍历待检测区域，进一步提高运动车辆检测的效率，然后，利用多通道HOG特征算法提取车辆的低阶特征，引入车辆的上下文信息获取车辆的高阶特征，并融合这两种特征以得到目标车辆的多阶特征，最后，结合多阶特征和字典学习算法，实现运动车辆检测。本方法能够抑制无人机机载相机运动带来的影响，处理图像中车辆形变和背景干扰，可提高运动车辆检测的鲁棒性和实时性。

Description

一种基于无人机航拍视频的运动车辆检测方法
技术领域
本发明涉及运动车辆的检测方法，特别是一种基于无人机航拍视频的运动车辆检测方法。
背景技术
无人机航拍作为一种新型的遥感数据获取手段，具有部署方式灵活、监测范围大、信息采集粒度细、不受地面交通干扰等独特优势。无人机飞行速度与高度可调、视角灵活，获取地面交通图像信息的效率高、成本低、风险低，可以实现从局部到广域的大范围交通监测。随着无人机航拍技术、图像处理技术的进一步发展与融合，合理利用与分析无人机图像，在交通规划、设计、管理领域均有广阔的应用前景。
常用的运动车辆检测方法有背景提取法、光流法等。其中，背景提取法对光照和背景变化极其敏感，而光流法计算代价太大。为了提高运动车辆检测的鲁棒性，有的学者建立动态贝叶斯网络，并采用滑窗法来检测车辆，虽然取得了一定的效果，但是滑窗法计算量仍然太大，同样会导致应用受限。
由此可见，尽管目前有许多运动车辆检测算法并且都具备一定的检测效果。但基于无人机航拍视频的运动车辆检测方法的稳定性、鲁棒性和实时性仍有待提高。
发明内容
本发明的目的在于提供一种基于无人机航拍视频的运动车辆检测方法，以克服现有技术的不足。
为达到上述目的，本发明采用如下技术方案：
一种基于无人机航拍视频的运动车辆检测方法，包括以下步骤：
步骤1)、获取运动车辆的航拍视频，提取其连续图像序列，然后提取参考图像和待配准图像的SURF特征点，然后进行特征点匹配，采用随机抽样一致性算法对匹配后的特征点进行异常点剔除；
步骤2)、针对经过异常点剔除后的特征点，通过无人机图像配准算法获取图像的转换矩阵；
步骤3)、针对步骤2)处理后的图像，采用2帧差法确定运动车辆的待检测区域，对图像进行超像素分割，根据超像素的中心确定扫描框，以遍历待检测区域；
步骤4)、利用步骤3)处理后的图像，提取由车辆纹理和颜色，构成车辆的低阶特征；并引入车辆的上下文信息，提取车辆的高阶特征；在获取了目标车辆的低阶特征和高阶特征后，融合低阶特征和高阶特征，得到目标车辆的多阶特征；
步骤5)、对获取的车辆多阶特征，利用字典学习算法训练字典，并利用训练后的字典完成运动车辆的检测。
进一步的，对参考图像和待配准图像采用Harr特征以及积分图像概念进行SURF特征点提取。
进一步的，对参考图像中的任意一个SURF特征点，计算其与待配准图像中特征点的欧氏距离；欧氏距离越小，则相似度越高，当欧式距离小于设定阈值时，判定为匹配成功；若待配准图像中的某一个SURF特征点与参考图像中的多个特征点匹配，则均视为匹配不成功。
进一步的，在完成异常点剔除后，引入图像金字塔，采用自上而下的方式，根据特征点配对结果确定全局单应性矩阵和局部单应性矩阵：首先，建立参考图像和待配准图像的L+1级金字塔，在确定全局单应性矩阵时，可以从第L级的全局单应性矩阵开始，然后逐级增加分辨率直至第0级，进而获得第0级对应的全局单应性矩阵。
进一步的，定义和分别表示第L级参考图像和待配准图像的相应坐标；其中为第L级参考图像的x坐标，为第L级参考图像的y坐标，为第L级待配准图像的x坐标，为第L级待配准图像的y坐标：
则第L级全局单应性矩阵由下式确定：
其中，wL为中间变量，且有 为第L级全局单应性矩阵，其矩阵元素定义为：
简写为
下面确定每次随机选取4组特征点匹配结果来确定一个单应性矩阵，并采用l2范数对剩余的特征匹配点按下式进行筛选：
其中，tr为异常点筛选的阈值；当剩余的特征匹配点满足上式时，视为有效特征匹配点，否则视为无效特征匹配点；有效特征匹配点数最多时的单应性矩阵即为最终确定的L级全局单应性矩阵
第L-1级的单应性矩阵通过增加图像分辨率来获得：引入比例因子μ，参考图像和待配准图像第L-1级对应的像素点可表示为：
其中，为第L-1级参考图像的x坐标，为第L-1级参考图像的y坐标，为第L-1级待配准图像的x坐标，为第L-1级待配准图像的y坐标；μ为比例因子：为求第L-1级的单应性矩阵，有：
令上式可改写为：
其中，为第L-1级的全局单应性矩阵；
采用从第L级到第L-1级的单应性矩阵推导方法，逐渐增加分辨率可获得第0级相应的全局单应性矩阵即：
其中， 为第0级参考图像的x坐标，为第0级参考图像的y坐标，为第0级待配准图像的x坐标，为第0级待配准图像的y坐标，μL为第0级单应性矩阵的比例因子。
进一步的，采用F(k-1)和F(k)分别表示无人机图像序列中的第k-1帧和第k帧，Fr(k-1)和Fr(k)为配准后的图像；对配准后的图像Fr(k-1)和Fr(k)采用2帧差法确定待检测区域。
进一步的，首先将图像分成小的连通区域，即细胞单元；然后采集细胞单元中各像素点的梯度或边缘的方向直方图；最后将这些细胞单元的特征组合起来就可以构成HOG特征描述符：对图像首先转换为HSV色彩空间，对三通道分别提取HOG特征，最后进行特征融合，将图像由RGB色彩空间转换到HSV色彩空间，分别提取图像的H、S、V三通道数据模板，保存为二维矩阵MH、MS和MV，同时分别计算三个矩阵的HOG特征HH、HS和HV。
进一步的，采用加权的方式对三通道HOG特征进行融合，即：Hl＝wHHH+wSHS+wVHV；其中，Hl表示车辆的低阶特征；wH、wS和wV分别是HOG特征HH、HS和HV的权重，且wH+wS+wV＝1；三通道的权重由各通道数据模板自适应确定，具体由下式：
确定了车辆的低阶特征，即融合H、S、V三通道的HOG特征。
进一步的，确定高阶特征时，引入车辆的上下文信息；手动选取正负样本初始化正字典和负字典，然后根据字典学习和自主选择策略，确定最终的正字典Dp和负字典Dn；通过计算目标区域的重构误差和邻域内其他图像块的重构误差来确定高阶特征；
对于车辆tv，其重构误差记为e(tv)，且e(tv)＝[e(tv,Dp),e(tv,Dn)]T，其中e(tv,Dp)和e(tv,Dn)分别为tv在正字典和负字典上的重构误差；对于车辆的某一个邻域图像块aι，其重构误差为e(aι)，且e(aι)＝[e(aι,Dp),e(aι,Dn)]T，其中下标t为目标车辆tv邻域内图像块的个数；其中e(aι,Dp)和e(aι,Dn)分别为aι在正字典和负字典上的重构误差；对于邻域图像块aι，定义目标车辆tv的高阶特征为tv与aι的重构误差的差值，表示为H(tv,aι)＝||e(tv)-e(aι)||2，其中，H(tv,aι)为目标车辆tv相对于邻域aι的高阶特征；
当目标车辆tv邻域内有M个图像块时，目标车辆tv的高阶特征为：Hh＝[H(tv,a1),H(tv,a2),…,H(tv,aM)]T；
将得到的车辆高阶特征和低阶特征融合在一起，可得目标车辆的多阶征：Fv＝[Hl,Hh]；综合车辆的低阶特征和高阶特征获得了目标车辆的多阶特征。
进一步的，具体的在基于相关性的字典学习算法中，在字典更新阶段，首先确定与新样本稀疏表示相关的原子，只对这些原子进行更新；将稀疏度引入到字典更新阶段；对上述更新过程进行反复迭代，直至收敛，进而实现了快速高效的字典训练，并最终完成运动车辆的检测。
与现有技术相比，本发明具有以下有益的技术效果：
本发明公开了一种基于无人机航拍视频的运动车辆检测方法，首先采用SURF算法对图像进行特征点匹配及异常点剔除，利用联合全局和局部单应性矩阵的无人机图像配准算法以获取转换矩阵，补偿机载相机运动产生的不利影响，随后，采用2帧差法减小待检测区域，再根据超像素的中心遍历待检测区域，进一步提高运动车辆检测的效率，然后，利用多通道HOG特征算法提取车辆的低阶特征，引入车辆的上下文信息获取车辆的高阶特征，并融合这两种特征以得到目标车辆的多阶特征，最后，结合多阶特征和字典学习算法，实现运动车辆检测。本方法能够抑制无人机机载相机运动带来的影响，处理图像中车辆形变和背景干扰，可提高运动车辆检测的鲁棒性和实时性。本发明补偿了机载相机运动产生的不利影响，为运动车辆检测奠定基础；采用2帧差法和超像素的中心遍历相结合的方法，提高了获取待检测区域的效率；针对获得的待检测区域，在提取车辆的低阶特征时，采用多通道HOG特征提取方法，减少了误检和漏检；在提取车辆的高阶特征时，引入车辆的上下文信息，有效抑制车辆形变和背景干扰，从而提高运动车辆检测的准确率。本发明采用的无人机视频运动车辆检测方法可以实现对公路中行驶车辆的准确检测。
进一步的，采用自上而下的方式，根据特征点配对结果，提出了联合全局和局部单应性矩阵的图像配准算法。全局单应性矩阵对全局位置变化进行描述，局部单应性矩阵描述局部位置变化。
进一步的，利用2帧差法减小待检测区域，并引入超像素分割，根据超像素的中心确定扫描待检测区域，有效降低运动车辆检测的计算量。
进一步的，提取车辆高阶特征时，首先手动选取正负样本初始化正字典和负字典，然后再根据字典学习和样本自主选择策略，确定最终的正字典和负字典后，通过计算目标区域的重构误差和邻域内其他图像块的重构误差来确定高阶特征，降低了字典学习的计算量，进而实现了快速高效的字典训练。
附图说明
图1为本发明实例中所述检测方法流程框图。
图2为本发明实例中所述图像金字塔。
图3为本发明实例中所述基于图像配准和超像素分割的运动车辆检测方法框架。
具体实施方式
下面结合附图对本发明做进一步详细描述：
一种基于无人机航拍视频的运动车辆检测方法，主要目的是为了抑制无人机机载相机运动带来的影响，处理图像中车辆形变和背景干扰，并提高运动车辆检测的鲁棒性和实时性。下面结合说明书附图对本发明进一步说明。
如附图中图1所示是本发明的检测方法流程框图，具体实施方式如下：
步骤1)、用无人机机载相机对公路上的车辆进行航拍，得到航拍视频，提取其连续图像序列，然后提取参考图像和待配准图像的SURF特征点，然后进行特征点匹配。经过匹配后的特征点，仍然可能存在误配，为此，进一步采用随机抽样一致性算法来进行异常点剔除：
具体的对参考图像和待配准图像采用Harr特征以及积分图像概念进行SURF特征点提取。遵循以下两个原则找出参考图像和待配准图像中正确匹配的特征点：
1)对参考图像中的任意一个SURF特征点，计算其与待配准图像中特征点的欧氏距离；欧氏距离越小，则相似度越高，当欧式距离小于设定阈值时，判定为匹配成功；阈值取为6。
2)若待配准图像中的某一个SURF特征点与参考图像中的多个特征点匹配，则均视为匹配不成功。
经过特征点匹配后，仍然可能会存在误配，为消除误配，采用随机抽样一致性算法剔除异常点。
步骤2)、针对经过异常点剔除后的特征点，通过无人机图像配准算法获取图像的转换矩阵，用以补偿拍摄时无人机机载相机运动对图像产生的不利影响；
在完成异常点剔除后，引入图像金字塔，采用自上而下的方式，根据特征点配对结果确定全局单应性矩阵和局部单应性矩阵。首先，如附图中图2所示，建立参考图像和待配准图像的L+1级金字塔。第0级为参考图像或待配准图像，分辨率最高。当向金字塔上层移动时，图像尺寸和分辨率均会降低。在金字塔的顶端，即第L级分辨率最低。在确定全局单应性矩阵时，可以从第L级的全局单应性矩阵开始，然后逐级增加分辨率直至第0级，进而获得第0级对应的全局单应性矩阵。
定义和分别表示第L级参考图像和待配准图像的相应坐标；其中为第L级参考图像的x坐标，为第L级参考图像的y坐标，为第L级待配准图像的x坐标，为第L级待配准图像的y坐标。
则第L级全局单应性矩阵由下式确定：
其中，wL为中间变量，且有 为第L级全局单应性矩阵，其矩阵元素定义为：
为方便起见，可简写为
下面确定每次随机选取4组特征点匹配结果来确定一个单应性矩阵，并采用l2范数对剩余的特征匹配点按下式进行筛选：
其中，tr为异常点筛选的阈值。当剩余的特征匹配点满足上式时，视为有效特征匹配点，否则视为无效特征匹配点。有效特征匹配点数最多时的单应性矩阵即为最终确定的L级全局单应性矩阵
第L-1级的单应性矩阵可通过增加图像分辨率来获得。引入比例因子μ，参考图像和待配准图像第L-1级对应的像素点可表示为：
其中，为第L-1级参考图像的x坐标，为第L-1级参考图像的y坐标，为第L-1级待配准图像的x坐标，为第L-1级待配准图像的y坐标；μ为比例因子。为求第L-1级的单应性矩阵，有：
令上式可改写为：
其中，为第L-1级的全局单应性矩阵。
采用从第L级到第L-1级的单应性矩阵推导方法，逐渐增加分辨率可获得第0级相应的全局单应性矩阵即：
其中， 为第0级参考图像的x坐标，为第0级参考图像的y坐标，为第0级待配准图像的x坐标，为第0级待配准图像的y坐标，μL为第0级单应性矩阵的比例因子。
现在以第L-1级为例，来阐述如何结合全局和局部单应性矩阵来实现图像配准，取比例因子μ＝2。如附图中图2所示，将第L-1级的图像平均划分为四块，定义每一子块对应的单应性矩阵为局部单应性矩阵，记为表示L-1级第ζ个图像块的局部单应性矩阵。求取局部单应性矩阵的算法与全局单应性矩阵相同，同样进一步剔除无效特征匹配点，进而确定局部单应性矩阵。
对于附图中图2中第L-1级的图像块1，综合L-1级全局单应性矩阵和L-1级局部单应性矩阵可得参考图像和待配准图像的图像块1的坐标变换关系为其中和分别表示第L-1级参考图像和待配准图像的图像块1的相应坐标，和分别表示为第L-1级图像块1对应的局部中间变量和全局中间变量。记为第L-1级图像的图像块1的转换矩阵，上式可简写为
同样地，对于附图中图2中的第L-1级的图像块2、3、4，有：
其中，FL-1,2、FL-1,3、FL-1,4分别是第L-1级图像的图像块2、3、4的转换矩阵，分别为第L-1级待配准图像的图像块2、3、4的相应坐标，分别为第L-1级参考图像的图像块2、3、4的相应坐标。
综合四个L-1级图像块的转换矩阵FL-1,1、FL-1,2、FL-1,3、FL-1,4，可得第L-1级的参考图像和待配准图像的坐标变换关系为其中，为第L-1级图像的联合转换矩阵；FL-1,ζ表示第L-1级第ζ个图像块的转换矩阵；λL-1,ζ为第L-1级第ζ个图像块转换矩阵的权重。
逐步增加分辨率直至到达图像金字塔的第0级，可得参考图像和待配准图像的坐标变换关系：其中，为第0级图像的联合转换矩阵，即为最终的联合全局和局部单应性矩阵的转换矩阵，为第0级待配准图像的相应坐标，为第0级参考图像的相应坐标。
步骤3)、针对步骤2)处理后的图像，采用2帧差法确定运动车辆的待检测区域；对图像进行超像素分割，根据超像素的中心确定扫描框，以遍历待检测区域；
如附图中图3所示，F(k-1)和F(k)分别表示无人机图像序列中的第k-1帧和第k帧。Fr(k-1)和Fr(k)为配准后的图像。为了降低运动车辆检测的计算量，对配准后的图像Fr(k-1)和Fr(k)采用2帧差法确定待检测区域，见附图中图3中小图“2帧差法”中的矩形方框。以2辆运动车辆为例，使用2帧差法后产生4块待检测区域。
在利用2帧差法确定待检测区域后，对图像进行超像素分割，根据超像素的中心确定扫描框，进而遍历待检测区域来实现运动车辆检测。在遍历待检测区域时，由于目标车辆的旋转和平移等，需要对扫描框进行仿射变换，以降低运动车辆检测的漏检率。
步骤4)、利用步骤3)处理后的图像，提取由车辆纹理和颜色，构成车辆的低阶特征；并引入车辆的上下文信息，提取车辆的高阶特征；在获取了目标车辆的低阶特征和高阶特征后，融合低阶特征和高阶特征，得到目标车辆的多阶特征；
具体的首先将图像分成小的连通区域，称为细胞单元。然后采集细胞单元中各像素点的梯度或边缘的方向直方图。最后，将这些细胞单元的特征组合起来就可以构成HOG特征描述符。对图像首先转换为HSV色彩空间，对三通道分别提取HOG特征，最后进行特征融合，将图像由RGB色彩空间转换到HSV色彩空间，分别提取图像的H、S、V三通道数据模板，保存为二维矩阵MH、MS和MV，同时分别计算三个矩阵的HOG特征HH、HS和HV。采用加权的方式对三通道HOG特征进行融合，即：Hl＝wHHH+wSHS+wVHV。其中，Hl表示车辆的低阶特征；wH、wS和wV分别是HOG特征HH、HS和HV的权重，且wH+wS+wV＝1；三通道的权重由各通道数据模板自适应确定，具体由下式确定：
至此，确定了车辆的低阶特征，即融合H、S、V三通道的HOG特征。
确定高阶特征时，引入车辆的上下文信息。手动选取正负样本初始化正字典和负字典，然后根据字典学习和自主选择策略，确定最终的正字典Dp和负字典Dn。接下来，通过计算目标区域的重构误差和邻域内其他图像块的重构误差来确定高阶特征。
对于车辆tv，其重构误差记为e(tv)，且e(tv)＝[e(tv,Dp),e(tv,Dn)]T，其中e(tv,Dp)和e(tv,Dn)分别为tv在正字典和负字典上的重构误差。对于车辆的某一个邻域图像块aι，其重构误差为e(aι)，且e(aι)＝[e(aι,Dp),e(aι,Dn)]T，其中下标t为目标车辆tv邻域内图像块的个数。其中e(aι,Dp)和e(aι,Dn)分别为aι在正字典和负字典上的重构误差。对于邻域图像块aι，定义目标车辆tv的高阶特征为tv与aι的重构误差的差值，可表示为H(tv,aι)＝||e(tv)-e(aι)2，其中，H(tv,aι)为目标车辆tv相对于邻域aι的高阶特征。
当目标车辆tv邻域内有M个图像块时，目标车辆tv的高阶特征为：Hh＝[H(tv,a1),H(tv,a2),…,H(tv,aM)]T
将得到的车辆高阶特征和低阶特征融合在一起，可得目标车辆的多阶征：Fv＝[Hl,Hh]。
至此，综合车辆的低阶特征和高阶特征获得了目标车辆的多阶特征。
步骤5)、对获取的车辆多阶特征，利用字典学习算法训练字典，并利用训练后的字典完成运动车辆的检测。
具体的在基于相关性的字典学习算法中，在字典更新阶段，首先确定与新样本稀疏表示相关的原子，只对这些原子进行更新，降低了字典学习的计算量。另一方面，将稀疏度引入到字典更新阶段。对上述过程进行反复迭代，直至收敛，进而实现了快速高效的字典训练，并最终完成运动车辆的检测。
其所述的步骤2)引入图像金字塔，采用自上而下的方式，根据特征点配对结果，提出了联合全局和局部单应性矩阵的图像配准算法。全局单应性矩阵对全局位置变化进行描述，局部单应性矩阵描述局部位置变化。
步骤3)引入了2帧差法和超像素分割，利用2帧差法减小待检测区域，并引入超像素分割，根据超像素的中心确定扫描待检测区域，有效降低运动车辆检测的计算量。
步骤4)具体实施如下：提取车辆高阶特征时，首先手动选取正负样本初始化正字典和负字典，然后再根据字典学习和样本自主选择策略，确定最终的正字典和负字典后，通过计算目标区域的重构误差和邻域内其他图像块的重构误差来确定高阶特征。

Claims (10)

1.一种基于无人机航拍视频的运动车辆检测方法，其特征在于，包括以下步骤：
步骤1)、获取运动车辆的航拍视频，提取其连续图像序列，然后提取参考图像和待配准图像的SURF特征点，然后进行特征点匹配，采用随机抽样一致性算法对匹配后的特征点进行异常点剔除；
步骤2)、针对经过异常点剔除后的特征点，通过无人机图像配准算法获取图像的转换矩阵；
步骤3)、针对步骤2)处理后的图像，采用2帧差法确定运动车辆的待检测区域，对图像进行超像素分割，根据超像素的中心确定扫描框，以遍历待检测区域；
步骤4)、利用步骤3)处理后的图像，提取由车辆纹理和颜色，构成车辆的低阶特征；并引入车辆的上下文信息，提取车辆的高阶特征；在获取了目标车辆的低阶特征和高阶特征后，融合低阶特征和高阶特征，得到目标车辆的多阶特征；
步骤5)、对获取的车辆多阶特征，利用字典学习算法训练字典，并利用训练后的字典完成运动车辆的检测。
2.根据权利要求1所述的一种基于无人机航拍视频的运动车辆检测方法，其特征在于，对参考图像和待配准图像采用Harr特征以及积分图像概念进行SURF特征点提取。
3.根据权利要求2所述的一种基于无人机航拍视频的运动车辆检测方法，其特征在于，对参考图像中的任意一个SURF特征点，计算其与待配准图像中特征点的欧氏距离；欧氏距离越小，则相似度越高，当欧式距离小于设定阈值时，判定为匹配成功；若待配准图像中的某一个SURF特征点与参考图像中的多个特征点匹配，则均视为匹配不成功。
4.根据权利要求1所述的一种基于无人机航拍视频的运动车辆检测方法，其特征在于，在完成异常点剔除后，引入图像金字塔，采用自上而下的方式，根据特征点配对结果确定全局单应性矩阵和局部单应性矩阵：首先，建立参考图像和待配准图像的L+1级金字塔，在确定全局单应性矩阵时，可以从第L级的全局单应性矩阵开始，然后逐级增加分辨率直至第0级，进而获得第0级对应的全局单应性矩阵。
5.根据权利要求4所述的一种基于无人机航拍视频的运动车辆检测方法，其特征在于，定义和分别表示第L级参考图像和待配准图像的相应坐标；其中为第L级参考图像的x坐标，为第L级参考图像的y坐标，为第L级待配准图像的x坐标，为第L级待配准图像的y坐标：
则第L级全局单应性矩阵由下式确定：
其中，wL为中间变量，且有 为第L级全局单应性矩阵，其矩阵元素定义为：
简写为
下面确定每次随机选取4组特征点匹配结果来确定一个单应性矩阵，并采用l2范数对剩余的特征匹配点按下式进行筛选：
其中，tr为异常点筛选的阈值；当剩余的特征匹配点满足上式时，视为有效特征匹配点，否则视为无效特征匹配点；有效特征匹配点数最多时的单应性矩阵即为最终确定的L级全局单应性矩阵
第L-1级的单应性矩阵通过增加图像分辨率来获得：引入比例因子μ，参考图像和待配准图像第L-1级对应的像素点可表示为：
其中，为第L-1级参考图像的x坐标，为第L-1级参考图像的y坐标，为第L-1级待配准图像的x坐标，为第L-1级待配准图像的y坐标；μ为比例因子：为求第L-1级的单应性矩阵，有：
令上式可改写为：
其中，为第L-1级的全局单应性矩阵；
采用从第L级到第L-1级的单应性矩阵推导方法，逐渐增加分辨率可获得第0级相应的全局单应性矩阵即：
其中， 为第0级参考图像的x坐标，为第0级参考图像的y坐标，为第0级待配准图像的x坐标，为第0级待配准图像的y坐标，μL为第0级单应性矩阵的比例因子。
6.根据权利要求1所述的一种基于无人机航拍视频的运动车辆检测方法，其特征在于，采用F(k-1)和F(k)分别表示无人机图像序列中的第k-1帧和第k帧，Fr(k-1)和Fr(k)为配准后的图像；对配准后的图像Fr(k-1)和Fr(k)采用2帧差法确定待检测区域。
7.根据权利要求1所述的一种基于无人机航拍视频的运动车辆检测方法，其特征在于，首先将图像分成小的连通区域，即细胞单元；然后采集细胞单元中各像素点的梯度或边缘的方向直方图；最后将这些细胞单元的特征组合起来就可以构成HOG特征描述符：对图像首先转换为HSV色彩空间，对三通道分别提取HOG特征，最后进行特征融合，将图像由RGB色彩空间转换到HSV色彩空间，分别提取图像的H、S、V三通道数据模板，保存为二维矩阵MH、MS和MV，同时分别计算三个矩阵的HOG特征HH、HS和HV。
8.根据权利要求7所述的一种基于无人机航拍视频的运动车辆检测方法，其特征在于，采用加权的方式对三通道HOG特征进行融合，即：Hl＝wHHH+wSHS+wVHV；其中，Hl表示车辆的低阶特征；wH、wS和wV分别是HOG特征HH、HS和HV的权重，且wH+wS+wV＝1；三通道的权重由各通道数据模板自适应确定，具体由下式：
确定了车辆的低阶特征，即融合H、S、V三通道的HOG特征。
9.根据权利要求7所述的一种基于无人机航拍视频的运动车辆检测方法，其特征在于，确定高阶特征时，引入车辆的上下文信息；手动选取正负样本初始化正字典和负字典，然后根据字典学习和自主选择策略，确定最终的正字典Dp和负字典Dn；通过计算目标区域的重构误差和邻域内其他图像块的重构误差来确定高阶特征；
对于车辆tv，其重构误差记为e(tv)，且e(tv)＝[e(tv,Dp),e(tv,Dn)]T，其中e(tv,Dp)和e(tv,Dn)分别为tv在正字典和负字典上的重构误差；对于车辆的某一个邻域图像块aι，其重构误差为e(aι)，且e(aι)＝[e(aι,Dp),e(aι,Dn)]T，其中下标t为目标车辆tv邻域内图像块的个数；其中e(aι,Dp)和e(aι,Dn)分别为aι在正字典和负字典上的重构误差；对于邻域图像块aι，定义目标车辆tv的高阶特征为tv与aι的重构误差的差值，表示为H(tv,aι)＝||e(tv)-e(aι)||2，其中，H(tv,aι)为目标车辆tv相对于邻域aι的高阶特征；
当目标车辆tv邻域内有M个图像块时，目标车辆tv的高阶特征为：Hh＝[H(tv,a1),H(tv,a2),…,H(tv,aM)]T；
将得到的车辆高阶特征和低阶特征融合在一起，可得目标车辆的多阶征：Fv＝[Hl,Hh]；综合车辆的低阶特征和高阶特征获得了目标车辆的多阶特征。
10.根据权利要求1所述的一种基于无人机航拍视频的运动车辆检测方法，其特征在于，具体的在基于相关性的字典学习算法中，在字典更新阶段，首先确定与新样本稀疏表示相关的原子，只对这些原子进行更新；将稀疏度引入到字典更新阶段；对上述更新过程进行反复迭代，直至收敛，进而实现了快速高效的字典训练，并最终完成运动车辆的检测。
CN201811203391.1A 2018-10-16 2018-10-16 一种基于无人机航拍视频的运动车辆检测方法 Active CN109376641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811203391.1A CN109376641B (zh) 2018-10-16 2018-10-16 一种基于无人机航拍视频的运动车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811203391.1A CN109376641B (zh) 2018-10-16 2018-10-16 一种基于无人机航拍视频的运动车辆检测方法

Publications (2)

Publication Number Publication Date
CN109376641A true CN109376641A (zh) 2019-02-22
CN109376641B CN109376641B (zh) 2021-04-27

Family

ID=65400009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811203391.1A Active CN109376641B (zh) 2018-10-16 2018-10-16 一种基于无人机航拍视频的运动车辆检测方法

Country Status (1)

Country Link
CN (1) CN109376641B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136104A (zh) * 2019-04-25 2019-08-16 上海交通大学 基于无人机地面站的图像处理方法、***及介质
CN110598613A (zh) * 2019-09-03 2019-12-20 长安大学 一种高速公路团雾监测方法
CN111552269A (zh) * 2020-04-27 2020-08-18 武汉工程大学 一种基于姿态估计的多工业机器人安全性检测方法及***
CN111612966A (zh) * 2020-05-21 2020-09-01 广东乐佳印刷有限公司 一种基于图像识别的票据凭证防伪检测方法及装置
CN111881853A (zh) * 2020-07-31 2020-11-03 中北大学 一种超大桥隧中异常行为识别方法和装置
CN112749779A (zh) * 2019-10-30 2021-05-04 北京市商汤科技开发有限公司 神经网络的处理方法及装置、电子设备和计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120106800A1 (en) * 2009-10-29 2012-05-03 Saad Masood Khan 3-d model based method for detecting and classifying vehicles in aerial imagery
CN105554456A (zh) * 2015-12-21 2016-05-04 北京旷视科技有限公司 视频处理方法和设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120106800A1 (en) * 2009-10-29 2012-05-03 Saad Masood Khan 3-d model based method for detecting and classifying vehicles in aerial imagery
CN105554456A (zh) * 2015-12-21 2016-05-04 北京旷视科技有限公司 视频处理方法和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN Z 等: "Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
王素琴 等: "无人机航拍视频中的车辆检测方法", 《***仿真学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136104A (zh) * 2019-04-25 2019-08-16 上海交通大学 基于无人机地面站的图像处理方法、***及介质
CN110136104B (zh) * 2019-04-25 2021-04-13 上海交通大学 基于无人机地面站的图像处理方法、***及介质
CN110598613A (zh) * 2019-09-03 2019-12-20 长安大学 一种高速公路团雾监测方法
CN112749779A (zh) * 2019-10-30 2021-05-04 北京市商汤科技开发有限公司 神经网络的处理方法及装置、电子设备和计算机存储介质
CN111552269A (zh) * 2020-04-27 2020-08-18 武汉工程大学 一种基于姿态估计的多工业机器人安全性检测方法及***
CN111612966A (zh) * 2020-05-21 2020-09-01 广东乐佳印刷有限公司 一种基于图像识别的票据凭证防伪检测方法及装置
CN111612966B (zh) * 2020-05-21 2021-05-07 广东乐佳印刷有限公司 一种基于图像识别的票据凭证防伪检测方法及装置
CN111881853A (zh) * 2020-07-31 2020-11-03 中北大学 一种超大桥隧中异常行为识别方法和装置
CN111881853B (zh) * 2020-07-31 2022-09-16 中北大学 一种超大桥隧中异常行为识别方法和装置

Also Published As

Publication number Publication date
CN109376641B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN109376641A (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN105245841B (zh) 一种基于cuda的全景视频监控***
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
CN104134200B (zh) 一种基于改进加权融合的运动场景图像拼接方法
CN109584156A (zh) 显微序列图像拼接方法及装置
CN104599258A (zh) 一种基于各向异性特征描述符的图像拼接方法
CN104200461A (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
CN107689050B (zh) 一种基于彩色图像边缘引导的深度图像上采样方法
CN109191416A (zh) 基于稀疏字典学习和剪切波的图像融合方法
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN108960267A (zh) 用于模型调整的***和方法
EP0895189B1 (en) Method for recovering radial distortion parameters from a single camera image
CN107154017A (zh) 一种基于sift特征点匹配的图像拼接方法
CN110322403A (zh) 一种基于生成对抗网络的多监督图像超分辨重建方法
CN110009670A (zh) 基于fast特征提取和piifd特征描述的异源图像配准方法
CN110120013A (zh) 一种点云拼接方法及装置
CN116189140A (zh) 一种基于双目视觉的车辆三维目标检测算法
CN109711420B (zh) 基于人类视觉注意机制的多仿射目标的检测与识别方法
CN113239828B (zh) 一种基于tof摄像模组的人脸识别方法及装置
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
Zhang et al. Multi-FEAT: Multi-feature edge alignment for targetless camera-LiDAR calibration
CN115239794B (zh) 道路积水面积检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211224

Address after: 908, block a, floor 8, No. 116, Zizhuyuan Road, Haidian District, Beijing 100089

Patentee after: ZHONGZI DATA CO.,LTD.

Patentee after: China Highway Engineering Consulting Group Co., Ltd.

Address before: 710064 middle section of South Second Ring Road, Beilin District, Xi'an City, Shaanxi Province

Patentee before: CHANG'AN University

TR01 Transfer of patent right