CN108009494A - 一种基于无人机的道路交叉口车辆跟踪方法 - Google Patents

一种基于无人机的道路交叉口车辆跟踪方法 Download PDF

Info

Publication number
CN108009494A
CN108009494A CN201711237421.6A CN201711237421A CN108009494A CN 108009494 A CN108009494 A CN 108009494A CN 201711237421 A CN201711237421 A CN 201711237421A CN 108009494 A CN108009494 A CN 108009494A
Authority
CN
China
Prior art keywords
vehicle
frame
similarity
video
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711237421.6A
Other languages
English (en)
Inventor
胡继华
陈静萍
钟洪桢
程智锋
伍丽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201711237421.6A priority Critical patent/CN108009494A/zh
Publication of CN108009494A publication Critical patent/CN108009494A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于无人机的道路交叉口车辆跟踪方法，包括有以下步骤：S1.将无人机悬停在道路交叉口中心的上方，对交叉口区域进行垂直拍摄，获取无人机视频；S2.对无人机视频中的每一帧视频帧中的车辆进行检测，获得车辆在视频帧中的影像区域；S3.对于相邻的两帧视频帧，分别计算前一帧中的车辆影像区域与后一帧中所有的车辆影像区域的直方图相似度、速度相似度和方向相似度，然后基于直方图相似度、速度相似度和方向相似度分别计算前一帧中的车辆影像区域与后一帧中所有的车辆影像区域的车辆影像置信度；S4.比较前一帧中的车辆影像区域与后一帧中的车辆影像区域的置信度的大小，选择后一帧中置信度最大的车辆影像区域作为同一车辆的影像。

Description

一种基于无人机的道路交叉口车辆跟踪方法
技术领域
本发明涉及车辆跟踪领域，更具体地，涉及一种基于无人机的道路交叉口车辆跟踪方法。
背景技术
近年来，我国汽车保有量不断增长，道路压力不断增加，交通问题日益突出。平面交叉口是道路交通的枢纽，城市的交通问题往往突出地表现在交叉口上，因此对平面交叉口的车辆进行跟踪从而对道路交叉口的车流量进行统计是十分重要的。
随着多旋翼无人机技术的成熟，无人已经能够用于道路交通调查。道路交叉口车流量调查是交通调查的重要部分，是对路口车辆直行、左转或右转等运动方向进行跟踪并统计出各方向的车流量，为路口红绿灯配时和渠化提供依据。视频车辆跟踪是近年来计算机视觉等领域研究的热点，先后出现了各种算法和方法，包括基于特征的方法，基于滤波理论的方法，基于Mean Shift的方法，以及近年来出现的机器学习的方法等。
基于特征的方法是通过提取当前目标帧的轮廓、区域或三维模型等特征，然后在后续帧中进行特征匹配，常用的数学工具有卡尔曼滤波、动态贝叶斯网络等。基于滤波理论的跟踪方法将目标跟踪问题转化为概率密度估计函数估计问题，使用卡尔曼滤波器或者粒子滤波器来跟踪目标。基于Mean Shift的目标跟踪算法，其度量目标和候选目标之间相似性主要釆用概率密度之间的相似性函数，并且通过梯度下降算法推导出迭代方程从而实现对目标的跟踪。基于机器学习理论的方法是通过对某一类目标大量样本的学习获得针对该目标的分类器，从而使用分类器在视频中检测和跟踪该目标，具体有分为离线学习方法和在线学习方法，离线学习方法需要大量正样本和负样本，样本的质量决定跟踪的结果；在线学习可以边获取样本，边对该样本进行学习，从而使分类器逐渐提高自身的分类精度，但是在线学习没有严格的数学基础，一旦发生样本漂移现象将极大影响跟踪精度。
以上算法和方法一般是基于道路监控视频设计的，不能直接应用于无人机视频。另外，这些算法一般应用于道路中段或交叉口有限的几个方向，没有见到覆盖交叉口全部方向的算法。而且这些算法一般只能对单目标或少数目标进行跟踪，更多目标跟踪将极大地增加算法的复杂性。道路交叉口车流量调查需要对交叉口的所有车辆所有方向进行跟踪，同时还有路口周围树木、建筑物和路口渠化设施的影响，使车辆跟踪问题更加复杂。
发明内容
为了克服目前道路交叉口车辆跟踪算法跟踪统计不全面，计算复杂，适用性不强等问题，本发明提出一种基于无人机的道路交叉口车辆跟踪方法。本发明不需要高额的成本和复杂的操作，只需要将多旋翼无人机悬停在道路交叉口上空垂直拍摄，获取交叉口车辆等运动目标的视频，然后通过视频图像处理获得视频帧图像中车辆影像区域，分析车辆影像的区域特征以及车辆转向关系来跟踪车辆，实现对车辆的跟踪，是一种便捷、直接、适用性强的交叉口车辆跟踪方法。
为实现以上发明目的，采用的技术方案是：
一种基于无人机的道路交叉口车辆跟踪方法，包括有以下步骤：
S1.将无人机悬停在道路交叉口中心的上方，对交叉口区域进行垂直拍摄，获取无人机视频；
S2.对无人机视频中的每一帧视频帧中的车辆进行检测，获得车辆在视频帧中的影像区域；
S3.对于相邻的两帧视频帧，分别计算前一帧中的车辆影像区域与后一帧中所有的车辆影像区域的直方图相似度、速度相似度和方向相似度，然后基于直方图相似度、速度相似度和方向相似度分别计算前一帧中的车辆影像区域与后一帧中所有的车辆影像区域的车辆影像置信度；
S4.比较前一帧中的车辆影像区域与后一帧中的车辆影像区域的置信度的大小，选择后一帧中置信度最大的车辆影像区域作为同一车辆的影像。
优选地，所述步骤S1中，获得无人机视频后，对无人机视频进行稳像处理，去除视频中的非正常偏移。
优选地，所述步骤S1采用光流法结合SUSAN快速角点检测算法去除视频中的非正常偏移。
其中，所述SUSAN快速角点检测算法用于对视频视频帧中的特征点进行检测，其具体过程如下：
S21.以核点像素(x,y)为中心做半径为r的圆，用圆形模板遍历图像；
S22.使用相似比较函数计算模板中各像素点与核点像素的相似度：
其中C(r,r0)为相似比较函数；I(r0)为核点像素的灰度值；I(r)为圆形模板区域内其他像素点的灰度值；t为SUSAN的阈值；
S23.由相似比较函数的计算可以得到每个像素的USAN区域大小，其表达式为
S24.以不同的核点像素为中心做半径为r的圆，对视频帧图像进行遍历，然后按照步骤S22～23的方式计算每个核点像素的USAN区域大小；
S25.得到每个核点像素的USAN区域大小后，再由角点响应函数产生候选角点，最后使用非极大值抑制得到特征点：
式中，g为几何阈值，
光流法用于对视频帧进行运动补偿，其具体过程如下：
S12.对于视频中相邻的视频帧，以前一帧作为参考帧，后一帧为当前帧，建立光流约束方程：
Ixu+Ixv+It＝0
式中，u,v为x,y方向的2个速度分量，Ix,Iy,It为灰度对于x方向、y方向和时间的偏导，
S13.根据L－K局部平滑假设的条件可知在小范围内光流是一致的，从而得到光流的能量函数为:
Ω为光流一致的邻域范围；W(x)为该邻域范围内不同特征点的权值，令V＝(u,v)T，通过最小二乘法求得方程解如下:
V＝[ATW2A]-1ATW2b
公式中，W＝diag[W(X1),…W(Xn)]，b＝-[It(X1),…It(Xn)]T；
对求解到的u,v去模，即可得到特征点在相邻视频帧的偏移量x,y；
S14.利用得到的相邻邻视频帧的偏移量x,y对相邻的视频帧进行运动补偿，获得稳定的输出序列。
优选地，所述步骤S2对视频帧中的车辆进行检测的具体过程如下：运用高斯混合模型提取出视频帧中的背景图像，使用等高线法对斑马线进行识别进而确定道路交叉口的行车区域，通过背景差分法获取行车区域的前景图像；使用腐蚀膨胀操作去除前景图像中的噪声点，同时设定需要识别的目标大小的范围将非车辆目标排除，进而获得视频帧中车辆的检测结果，得到车辆的影像区域。
图像直方图是反映一个图像或某一区域像素分布的统计表，横坐标代表了图像像素的种类，可以是灰度的，也可以是彩色的，纵坐标代表了每一种颜色值在图像中的像素总数或者占所有像素个数的百分比。图像直方图计算代价较小，且具有图像平移、旋转、缩放不变性等优点，车辆的转弯、掉头行为对其影像不大。另外无人机视频中车辆影像小，颜色简单，因此本发明采用车辆的灰度直方图进行计算。在直方图相似度上，采用相关系数进行度量。相关系数不是直接比较两个直方图在每个灰度值上的匹配程度，而是给出两个直方图的线性相关程度，这样可以增加直方图相似度计算的抗干扰能力，进而提高算法鲁棒性。相关系数公式如下：
将上式中的随机变量替换成车辆直方图并展开得到公式如下：
其中I是图像的灰度值，Hk＝1,2是归一化后的直方图，H1是车辆的颜色直方图，H2是当前时刻待跟踪的车辆的颜色直方图，且
车辆直方图比较简单，在同一帧上或相邻帧上可能存在多个相似的车辆直方图，因此还需要结合车辆的运动信息，即车辆的速度和方向信息进一步判断。这里车辆的速度使用后一帧中车辆影像区域和前一帧中车辆影像区域的像素距离表示，速度相似度用下面公式计算，如果速度相同，则其相似度为1，否则速度差别越大，其相似度越小。
其中speedConfi表示速度相似度，newSpeed表示后一帧中的车辆影像区域的速度，oldSpeed表示前一帧中的车辆影像区域的速度，Δ是一个极小量，防止分母为0。
方向相似度的采用速度的方向值进行计算，公式如下，计算车辆速度方向的夹角，其中direConf表示方向相似度。
direConf＝cos<newSpeed,oldSpeed>
优选地，所述车辆影像置信度的计算过程如下：
confidence＝α·r(H1,H2)+β·speedConfi+γ·direConf
其中r(H1，H2)表示前后帧中经过归一化处理后的车辆影像区域的直方图，α表示其系数；speedConfi表示速度相似度，β表示其系数；direConf表示方向相似度，γ表示其系数；α,β,γ≥0且α+β+γ＝1。
本发明的工作原理：将无人机悬停在道路交叉口中心上方，对交叉口范围进行垂直拍摄，获取交叉口车辆等运动目标的视频。在道路交叉口无人机视频中，车辆的影像基本为正射投影影像，即只能看到车辆的顶部影像，这样车辆的颜色比较简单，只有车顶颜色、车身颜色和玻璃的颜色，且在整个视频中变化不大，可以用颜色直方图来描述其特征。
由于车辆影像颜色简单，交叉口内必然有颜色直方图相似的车辆。又由于交叉口内车辆一般是运动的，有一定的运动速度和方向，所以相邻帧内同一车辆的影像区域必然的附近，且速度和方向也比较相似，如果车辆位置相距比较远，或方向有很大的差别，就可能不是同一辆车。
因此计算出各视频帧内车辆影像区域的直方图，然后对前后两帧或多帧内的车辆直方图进行匹配，同时计算出车辆在相邻帧内运动速度和运动方向，分别进行归一化处理，并和直方图的匹配结果进行加权叠加，得到前后帧中车辆影像属于同一车辆的置信度，最后比较置信度的大小，选择置信度大的后帧影像作为同一车辆的影像，就可以实现车辆跟踪。
与现有技术相比，本发明的有益效果是：
本发明采用无人机在道路交叉口上方采集视频来对道路交叉口车辆进行跟踪，不需要高成本和复杂的操作，只需要设计合适的算法能在无人机拍摄的到的视频中实现对车辆的跟踪。应用时，将满足实验拍摄要求的无人机悬停在道路交叉口中心的上方，控制无人机在道路交叉口上方进行稳定拍摄，获取视频，通过设定的算法能够实现对道路交叉口所有方向的车辆进行跟踪。本发明能够对交叉口全部方向的多交通目标进行跟踪，是一种全面，便捷、适用性强的视频车辆跟踪方法。
附图说明
图1为本发明提供的方法的流程示意图。
图2为本发明提供的方法的具体使用过程图。
图3为置信度计算的流程图。
图4为本发明提供的方法实际使用得到的部分跟踪结果图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
为了克服目前视频车辆跟踪算法和方法不能直接应用于无人机视频，不能对交叉口全部方向进行计算以及算法复杂等问题，本文根据无人机视频的特点以及道路交叉口附近车辆的运动特征，针对道路交叉口车辆跟踪的普适性、高精度等实际要求，提出了一种基于无人机的道路交叉口车辆跟踪方法。本发明不需要大量的投资，也不需要复杂的操作，是一种便捷、直接，适用范围较广的交叉口车辆跟踪方法。
如图1所示，本发明提供的方法对道路交叉口的车辆进行跟踪的具体过程如下：将无人机悬停在道路交叉口中心的上方，对交叉口范围进行垂直拍摄，获取交叉口车辆等运动目标的视频。计算各视频帧内车辆影像区域的直方图，然后对前后两帧或多帧内的车辆影像区域直方图进行匹配，同时计算出车辆在相邻帧内运动速度和运动方向，分别进行归一化处理，并和直方图的匹配结果进行加权叠加，得到前后帧中车辆影像区域属于同一车辆的置信度，最后比较置信度的大小，选择置信度大的后帧车辆影像区域作为同一车辆的影像，就可以实现车辆跟踪。
具体实施案例：
如图2、3所示，本发明所述的采用基于无人机的道路交叉口车辆跟踪方法步骤如下：
步骤一：将无人机悬停在道路交叉口中心的上方，对交叉口范围进行垂直拍摄，获取交叉口车辆等运动目标的视频。
如上所述的无人机的拍摄高度应在能够拍到清晰路面信息的范围内，以便于得到清晰的交叉口信息，从而实现对道路交叉口车辆进行跟踪。
步骤二：对无人机拍摄得到的视频进行稳像处理，采用光流法结合SUSAN快速角点检测算法去除视频中非正常偏移。运用高斯混合模型提取出视频中背景图像，使用等高线法识别斑马线进而确定道路交叉口的行车区域，通过背景差分法获取行车区域前景图像。使用腐蚀膨胀操作去除前景图像中的噪声点，同时设定需要识别的目标大小的范围将非车辆目标排除，进而获得视频帧图像中车辆检测结果，得到车辆的影像区域。
步骤三：计算各视频帧内车辆影像区域的直方图，采用相关系数计算直方图相似度，给出前后两帧车辆影像区域的直方图的线性相关程度，如果相关程度大，则认为前后两帧车辆影像区域中的车辆影像属于同一辆车。
步骤四：使用当前帧中的车辆影像区域和前一帧中的车辆影像区域的像素距离来计算车辆的速度，并且计算出前后两帧车辆影像区域中车辆的速度相似度，如果前后两帧车辆影像区域的车辆速度相同，则速度相似度为1，如果速度差别越大，则其速度相似度越小。
由于车辆影像颜色简单，无人机视频图像中在同一帧或者相邻帧上可能存在多个相似的车辆影像区域直方图，因此如果只根据车辆影像区域直方图相似度来判断后一车辆影像区域与前一车辆影像区域是否属于同一车辆会出现较大的误差，因此还需要结合车辆的运动速度与运动方向来判断后一车辆影像区域与前一车辆影像区域是否属于同一车辆。
步骤五：计算出每一帧图像中车辆影像区域的车辆速度的方向夹角，再采用车辆速度的方向值计算出前后两帧车辆影像区域中车辆的方向相似度。如果前后两帧车辆影像区域的方向差别越小，则方向相似度越接近于1，如果方向差别越大，则其方向相似度越小。
步骤六：结合步骤二、步骤三与步骤四计算出来的直方图相似度、速度相似度与方向相似度，对三个相似度进行加权平均计算出前后两帧车辆影像区域中车辆影像属于同一车辆的置信度。比较置信度的大小，选择置信度大的后帧车辆影像区域作为同一车辆的影像，对车辆进行跟踪。
步骤七：明确车辆与道路交叉口的关系。车辆和道路交叉口的关系可以分为三种：刚进入交叉口的车辆，在交叉口中行使的车辆，以及离开交叉口的车辆。对于刚进入交叉口的车辆，必然不属于已经跟踪到的车辆集合，即其置信度必然小于一定的阈值，此时应增加一个新的车辆跟踪类，对该车辆进行跟踪。对于在交叉口中行使的车辆，不断计算后续帧中车辆影像区域属于该车辆的置信度，选择其中置信度最大的车辆影像区域作为该车辆的最新踪迹。对于离开的车辆，应该检测不到置信度大于阈值的车辆影像区域，如果这种状况持续一定时间，即停止对车辆进行跟踪。
步骤八:设计车辆跟踪算法。首先设计一个车辆集合，用于保存跟踪到的车辆，并规定一个阈值，小于该阈值即认为车辆影像区域不属于已经跟踪到的车辆。然后按时间顺序计算各个帧中车辆影像区域的置信度，如果属于已经跟踪到的车辆，则加入到那个车辆的轨迹中，如果不是，则认为属于新进入交叉口的车辆，将其保存到车辆集合中。每过一段时间，对车辆集合进行检查，如果某一车辆在一定时间内没有后续车辆影像区域，则认为其已经离开交叉口，就不再将其纳入计算。
图4为本发明提供的方法的使用结果示意图。本次使用得到的跟踪结果是位于广州大学城的广州中医药大学和广东外语外贸大学校区之间的中环东路与大学城北四路十字交叉口的，跟踪到的车辆用矩形框表示，不同车辆的轨迹使用不同的颜色表示，抓取了跟踪过程中从1381帧开始，每隔20帧一幅图的结果图片，得到跟踪的部分结果。如图4(a)、(b)、(c)、(d)、(e)、(f)所示，使用本发明提供的方法能够达到很好的跟踪结果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种基于无人机的道路交叉口车辆跟踪方法，其特征在于：包括有以下步骤：
S1.将无人机悬停在道路交叉口中心的上方，对交叉口区域进行垂直拍摄，获取无人机视频；
S2.对无人机视频中的每一帧视频帧中的车辆进行检测，获得车辆在视频帧中的影像区域；
S3.对于相邻的两帧视频帧，分别计算前一帧中的车辆影像区域与后一帧中所有的车辆影像区域的直方图相似度、速度相似度和方向相似度，然后基于直方图相似度、速度相似度和方向相似度分别计算前一帧中的车辆影像区域与后一帧中所有的车辆影像区域的车辆影像置信度；
S4.比较前一帧中的车辆影像区域与后一帧中的车辆影像区域的置信度的大小，选择后一帧中置信度最大的车辆影像区域作为同一车辆的影像。
2.根据权利要求1所述的基于无人机的道路交叉口车辆跟踪方法，其特征在于：所述步骤S1中，获得无人机视频后，对无人机视频进行稳像处理，去除视频中的非正常偏移。
3.根据权利要求2所述的2所述的基于无人机的道路交叉口车辆跟踪方法，其特征在于：所述步骤S1采用光流法结合SUSAN快速角点检测算法去除视频中的非正常偏移。
4.根据权利要求1所述的基于无人机的道路交叉口车辆跟踪方法，其特征在于：所述步骤S2对视频帧中的车辆进行检测的具体过程如下：运用高斯混合模型提取出视频帧中的背景图像，使用等高线法对斑马线进行识别进而确定道路交叉口的行车区域，通过背景差分法获取行车区域的前景图像；使用腐蚀膨胀操作去除前景图像中的噪声点，同时设定需要识别的目标大小的范围将非车辆目标排除，进而获得视频帧中车辆的检测结果，得到车辆的影像区域。
5.根据权利要求1所述的基于无人机的道路交叉口车辆跟踪方法，其特征在于：所述步骤S3计算车辆影像区域的直方图相似度的具体过程如下：
<mrow> <mi>r</mi> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>H</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>&amp;Sigma;</mi> <mi>I</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mn>1</mn> </msub> <mo>(</mo> <mi>I</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mover> <mi>H</mi> <mo>&amp;OverBar;</mo> </mover> <mn>1</mn> </msub> <mo>)</mo> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mn>2</mn> </msub> <mo>(</mo> <mi>I</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mover> <mi>H</mi> <mo>&amp;OverBar;</mo> </mover> <mn>2</mn> </msub> <mo>)</mo> </mrow> <msqrt> <mrow> <msub> <mi>&amp;Sigma;</mi> <mi>I</mi> </msub> <msup> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mn>1</mn> </msub> <mo>(</mo> <mi>I</mi> <mo>)</mo> <mo>-</mo> <msub> <mover> <mi>H</mi> <mo>&amp;OverBar;</mo> </mover> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msub> <mi>&amp;Sigma;</mi> <mi>I</mi> </msub> <msup> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mn>2</mn> </msub> <mo>(</mo> <mi>I</mi> <mo>)</mo> <mo>-</mo> <msub> <mover> <mi>H</mi> <mo>&amp;OverBar;</mo> </mover> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> </mrow>
其中I是图像的灰度值，Hk＝1,2是归一化后的直方图，H1是车辆的颜色直方图，H2是当前时刻待跟踪的车辆的颜色直方图，且
6.根据权利要求1所述的基于无人机的道路交叉口车辆跟踪方法，其特征在于：所述步骤S3计算车辆影像区域的速度相似度的具体过程如下：
前后帧中，车辆的速度使用后一帧中车辆影像区域和前一帧中车辆影像区域的像素距离表示，速度相似度用下面公式计算：
<mrow> <mi>s</mi> <mi>p</mi> <mi>e</mi> <mi>e</mi> <mi>d</mi> <mi>C</mi> <mi>o</mi> <mi>n</mi> <mi>f</mi> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> <mi>S</mi> <mi>p</mi> <mi>e</mi> <mi>e</mi> <mi>d</mi> <mo>-</mo> <mi>o</mi> <mi>l</mi> <mi>d</mi> <mi>S</mi> <mi>p</mi> <mi>e</mi> <mi>e</mi> <mi>d</mi> </mrow> <mrow> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mi>o</mi> <mi>l</mi> <mi>d</mi> <mi>S</mi> <mi>p</mi> <mi>e</mi> <mi>e</mi> <mi>d</mi> <mo>,</mo> <mi>&amp;Delta;</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中speedConfi表示速度相似度，newSpeed表示后一帧中的车辆影像区域的速度，oldSpeed表示前一帧中的车辆影像区域的速度，Δ是一个极小量，防止分母为0。
7.根据权利要求6所述的基于无人机的道路交叉口车辆跟踪方法，其特征在于：所述步骤S3计算车辆影像区域的方向相似度的具体过程如下：
direConf＝cos<newSpeed,oldSpeed>。
8.根据权利要求1～7任一项所述的基于无人机的道路交叉口车辆跟踪方法，其特征在于：所述车辆影像置信度的计算过程如下：
confidence＝α·r(H1,H2)+β·speedConfi+γ·direConf
其中r(H1，H2)表示前后帧中经过归一化处理后的车辆影像区域的直方图，α表示其系数；speedConfi表示速度相似度，β表示其系数；direConf表示方向相似度，γ表示其系数；α,β,γ≥0且α+β+γ＝1。
9.根据权利要求8所述的基于无人机的道路交叉口车辆跟踪方法，其特征在于：所述步骤S4进行比较的车辆影像区域应大于一设定的阈值。
CN201711237421.6A 2017-11-30 2017-11-30 一种基于无人机的道路交叉口车辆跟踪方法 Pending CN108009494A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711237421.6A CN108009494A (zh) 2017-11-30 2017-11-30 一种基于无人机的道路交叉口车辆跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711237421.6A CN108009494A (zh) 2017-11-30 2017-11-30 一种基于无人机的道路交叉口车辆跟踪方法

Publications (1)

Publication Number Publication Date
CN108009494A true CN108009494A (zh) 2018-05-08

Family

ID=62055483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711237421.6A Pending CN108009494A (zh) 2017-11-30 2017-11-30 一种基于无人机的道路交叉口车辆跟踪方法

Country Status (1)

Country Link
CN (1) CN108009494A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108831162A (zh) * 2018-06-26 2018-11-16 青岛科技大学 移动通信终端的交通信号控制方法及交通信号控制***
CN109284673A (zh) * 2018-08-07 2019-01-29 北京市商汤科技开发有限公司 对象跟踪方法及装置、电子设备及存储介质
CN109697426A (zh) * 2018-12-24 2019-04-30 北京天睿空间科技股份有限公司 基于多检测器融合的航班停机泊位检测方法
CN110764526A (zh) * 2018-07-25 2020-02-07 杭州海康机器人技术有限公司 一种无人机飞行控制方法及装置
CN111311641A (zh) * 2020-02-25 2020-06-19 重庆邮电大学 一种无人机目标跟踪控制方法
CN111914627A (zh) * 2020-06-18 2020-11-10 广州杰赛科技股份有限公司 一种车辆识别与追踪方法及装置
CN112907634A (zh) * 2021-03-18 2021-06-04 沈阳理工大学 基于无人机的车辆跟踪方法
CN113593219A (zh) * 2021-06-30 2021-11-02 北京百度网讯科技有限公司 车流的统计方法、装置、电子设备及存储介质
CN114582140A (zh) * 2022-01-17 2022-06-03 浙江银江智慧交通工程技术研究院有限公司 城市道路交叉***通流量的识别方法、***、装置和介质
CN116403170A (zh) * 2023-06-02 2023-07-07 江西省水投江河信息技术有限公司 一种用于运砂船及采砂船的多目标跟踪方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840507A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化***工程有限公司 基于角点特征不变量和图论聚类的目标跟踪方法
CN103413444A (zh) * 2013-08-26 2013-11-27 深圳市川大智胜科技发展有限公司 一种基于无人机高清视频的交通流调查处理方法
CN105488484A (zh) * 2015-12-07 2016-04-13 北京航空航天大学 一种基于无人机航拍图像的车辆轨迹提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840507A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化***工程有限公司 基于角点特征不变量和图论聚类的目标跟踪方法
CN103413444A (zh) * 2013-08-26 2013-11-27 深圳市川大智胜科技发展有限公司 一种基于无人机高清视频的交通流调查处理方法
CN105488484A (zh) * 2015-12-07 2016-04-13 北京航空航天大学 一种基于无人机航拍图像的车辆轨迹提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宓超 等: "《装卸机器视觉及其应用》", 31 January 2016 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108831162B (zh) * 2018-06-26 2021-03-02 青岛科技大学 移动通信终端的交通信号控制方法及交通信号控制***
CN108831162A (zh) * 2018-06-26 2018-11-16 青岛科技大学 移动通信终端的交通信号控制方法及交通信号控制***
CN110764526B (zh) * 2018-07-25 2023-04-07 杭州海康机器人技术有限公司 一种无人机飞行控制方法及装置
CN110764526A (zh) * 2018-07-25 2020-02-07 杭州海康机器人技术有限公司 一种无人机飞行控制方法及装置
CN109284673A (zh) * 2018-08-07 2019-01-29 北京市商汤科技开发有限公司 对象跟踪方法及装置、电子设备及存储介质
CN109697426B (zh) * 2018-12-24 2019-10-18 北京天睿空间科技股份有限公司 基于多检测器融合的航班停机泊位检测方法
CN109697426A (zh) * 2018-12-24 2019-04-30 北京天睿空间科技股份有限公司 基于多检测器融合的航班停机泊位检测方法
CN111311641A (zh) * 2020-02-25 2020-06-19 重庆邮电大学 一种无人机目标跟踪控制方法
CN111311641B (zh) * 2020-02-25 2023-06-09 重庆邮电大学 一种无人机目标跟踪控制方法
CN111914627A (zh) * 2020-06-18 2020-11-10 广州杰赛科技股份有限公司 一种车辆识别与追踪方法及装置
CN112907634A (zh) * 2021-03-18 2021-06-04 沈阳理工大学 基于无人机的车辆跟踪方法
CN112907634B (zh) * 2021-03-18 2023-06-20 沈阳理工大学 基于无人机的车辆跟踪方法
CN113593219B (zh) * 2021-06-30 2023-02-28 北京百度网讯科技有限公司 车流的统计方法、装置、电子设备及存储介质
CN113593219A (zh) * 2021-06-30 2021-11-02 北京百度网讯科技有限公司 车流的统计方法、装置、电子设备及存储介质
CN114582140A (zh) * 2022-01-17 2022-06-03 浙江银江智慧交通工程技术研究院有限公司 城市道路交叉***通流量的识别方法、***、装置和介质
CN116403170A (zh) * 2023-06-02 2023-07-07 江西省水投江河信息技术有限公司 一种用于运砂船及采砂船的多目标跟踪方法及***

Similar Documents

Publication Publication Date Title
CN108009494A (zh) 一种基于无人机的道路交叉口车辆跟踪方法
CN109102522B (zh) 一种目标跟踪方法及装置
CN111429484B (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
Shi et al. Fast and robust vanishing point detection for unstructured road following
CN104899590B (zh) 一种无人机视觉目标跟随方法及***
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
CN106780560B (zh) 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法
CN108776974B (zh) 一种适用于公共交通场景的实时目标跟踪方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN107677274A (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN107844739B (zh) 基于自适应同时稀疏表示的鲁棒性目标追踪方法
Liu et al. Dynamic RGB-D SLAM based on static probability and observation number
CN114549549B (zh) 一种动态环境下基于实例分割的动态目标建模跟踪方法
CN107798691A (zh) 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
CN115308732A (zh) 一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法
Schlipsing et al. Video-based roll angle estimation for two-wheeled vehicles
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
Jin et al. Road curvature estimation using a new lane detection method
Huang et al. A coarse-to-fine LiDar-based SLAM with dynamic object removal in dense urban areas
Zhou et al. Fast road detection and tracking in aerial videos
CN111104942A (zh) 一种模板匹配网络训练方法、识别方法及装置
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法
CN109544597A (zh) 一种基于视觉的四旋翼无人机目标跟踪方法、***及装置
CN111027427B (zh) 一种用于小型无人机竞速比赛的目标门检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180508