CN105450950B - 无人机航拍视频去抖方法 - Google Patents

Abstract

本发明公开了一种无人机航拍视频去抖方法，包括步骤1：道路航拍图像预处理；步骤2：基于航拍图像提取直线；步骤3：计算直线方向直方图；步骤4：航拍图像校正去抖；本发明利用无人机航拍道路图像检测提取出的直线大多与道路方向平行的特点，建立直线相对角度直方图，通过检测直方图最大的峰值点对应的角度，可得到航拍图像中道路的方向，根据该角度旋转图像将道路调整为水平方向，实现航拍图像去抖。本发明基于图像处理技术，通过智能感知道路方向并旋转航拍图像，从而实现无人机道路航拍图像的去抖。

Description

无人机航拍视频去抖方法

技术领域

本发明属于图像处理技术领域，涉及一种无人机航拍视频去抖方法，特别是涉及一种基于图像边缘检测与霍夫变换的直线提取方法与基于直线角度直方图的道路方向检测方法和基于道路方向旋转图像的校正方法，以实现图像去抖的目的。

背景技术

无人机因为具有机动性强、视野广、飞行路线不受地形限制等优点，而被广泛应用于测绘、航拍、交通监控等领域。两轴和三轴稳定云台的应用消除了航拍图像由于无人机姿态调整、外部条件(阵风)等造成的图像抖动问题，但在很多应用场景，如无人机高速路交通监控，由于无人机不具有智能识别道路的能力，造成无人机的飞行前进方向与道路方向的夹角时刻变化，从而造成航拍图像中道路抖动的问题，这种抖动不论是对地面人员通过图像监控交通态势，还是对基于图像处理方法进行交通参数提取都带来了很大的障碍。因此，发明智能道路航拍图像去抖方法就显得尤其重要。

目前，航拍图像的图像去抖方法主要有机械去抖和配准方法去抖两种方式。硬件去抖，即将图像采集设备安装于具有自增稳功能的机械云台上，这种方式消除的是航拍图像由于无人机姿态调整、外部条件(阵风)等造成的图像抖动。图像配准方法，通过跟踪图像中的特征点获取图像背景的运动，从而通过仿射变换方法消除抖动，这类去抖需要提前选取基础配准帧。在实际的无人机交通监控应用中，用户感兴趣的是道路区域，需要获取的是稳定的道路图像，对于这种应用场景，由于现有去抖方法无法感知道路区域，因此无法有针对性的消除道路航拍图像抖动问题。

发明内容

针对现有图像去抖方法无法智能消除无人机道路航拍图像中道路抖动的问题，本发明提出了基于道路方向直方图的图像去抖方法，采用基于道路方向直方图的方法进行道路航拍图像去抖。本发明为基于道路方向直方图的道路航拍图像去抖方法，首先通过道路方向直方图检测提取道路方向，然后基于道路方向旋转图像，实现道路航拍图像去抖。本发明的图像去抖方法能够智能感知道路方向，从而实现现有方法所不能实现的图像去抖。

本发明以全新的研究着入点，提出一种可以普遍适用的道路航拍图像去抖办法，通过下述步骤实现：

步骤1：道路航拍图像预处理

对无人机航拍视频进行解帧，获取单帧RGB彩色道路航拍图像，并将RGB彩色图像转换为灰度图；

步骤2：基于航拍图像提取直线

采用Canny边缘检测算子处理上步中的灰度图获取边缘轮廓图，基于霍夫变换检测边缘轮廓图，获取直线；

步骤3：计算直线方向直方图

计算上步中检测到的直线的角度，然后计算直线相对角度直方图。提取直方图中最大的峰值点对应的角度，该角度即为该帧航拍图像中道路的方向。

步骤4：航拍图像校正去抖

将道路航拍图像顺时针旋转上步中获得的角度的大小，即可将航拍图像中朝向不同的道路一致调整为水平方向，从而实现道路航拍图像去抖。

本发明的优点在于：

(1)本发明利用无人机航拍道路图像检测提取出的直线大多与道路方向平行的特点，建立直线相对角度直方图，通过检测直方图最大的峰值点对应的角度，可得到航拍图像中道路的方向，根据该角度旋转图像将道路调整为水平方向，实现航拍图像去抖；

(2)本发明基于图像处理技术，通过智能感知道路方向并旋转航拍图像，从而实现无人机道路航拍图像的去抖；

(3)本发明可适应各种道路场景下的航拍图像去抖，具有很好地鲁棒性，运算速度快且不需要外部数据支持(如GIS地图数据)，拥有多点创新。

附图说明

图1为航拍图像的灰度图；

图2为基于Canny边缘检测算子检测边缘轮廓图；

图3为基于霍夫变换检测直线图；

图4为图像坐标系与直线角度方向定义图；

图5为直线方向相对直方图；

图6为基于道路方向水平校正图；

图7为本发明的方法流程图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提供一种基于道路方向直方图的航拍图像去抖方法，所述去抖方法首先对提取的道路航拍图像进行预处理转换为灰度图；然后基于Canny边缘检测算子检测灰度图获取边缘轮廓图，然后对边缘轮廓图进行霍夫变换检测直线；计算检测到的直线的角度并计算直线方向相对角度直方图，提取相对角度直方图最大的峰值所对应的直线的角度，即获得了道路方向；然后基于检测到的道路方向将原始航拍图像进行瞬时针旋转，可将道路旋转为水平方向，实现航拍图像去抖。上述基于道路方向直方图的航拍图像去抖方法，流程如图7所示，具体处理步骤如下：

步骤1：道路航拍图像预处理

对道路航拍视频进行解帧获取RGB彩色图像，将RGB彩图转换为灰度图，如图1所示。

步骤2：基于航拍图像提取直线

获得了灰度图像后，接下来通过Canny边缘检测算子对灰度图进行处理，获得二值的边缘轮廓图，如图2所示，对图2的轮廓图进行霍夫变换，检测并获得直线图，如图3所示。

步骤3：计算直线方向直方图

计算图3中每条直线的角度，其中直线角度的定义如图4所示，其中O(0,0)为图像像素坐标的原点，以O(0,0)为起点，向右为图像的列坐标轴，向下为图像的行坐标轴。对图3中的任意一条直线i,其两个端点分别为P1和P2，其中P1与P2的像素坐标分别为(c_{i_1},r_{i_1})和(c_{i_2},r_{i_2})，为直线i与水平方向的夹角，表示将一条水平直线逆时针旋转到与直线i平行时所转过的角度，任一直线i的角度的计算方法如下式(1)所示：

其中，为整数，计算时采用四舍五入的方法处理，且

基于计算出的直线角度，计算相对角度直方图，其详细步骤如下所示：

(1)确认图3中检测到的直线的数量n；

(2)设置180个小区间θ₁～θ₁₈₀，其中：区间为：θ₁＝[0°,1°),θ₂＝[1°,2°),…,θ_i＝[(i-1)°,i°),…,θ₁₈₀＝[179°,180°)；

(3)对于图3中检测到的n条直线(n为步骤(1)中确认得到)，对直线角度进行统计，若角度为θ_i的直线有m条，则认为角度θ_i出现的次数为m次，这里用h(θ_i)代表直线角度θ_i出现的次数，即频次。

(4)对步骤(3)中统计的直线角度出现的频次h(θ_i)进行归一化处理，计算每个直线角度θ_i出现的相对频率H(θ_i)，计算方法为H(θ_i)＝h(θ_i)/n。频次h(θ_i)归一化的目的是简化计算，缩小量值。

(5)绘制相对直线角度直方图，如图5所示，直方图的横轴表示直线方向角，其定义域为[0°,180°)，纵轴表示直线角度出现的相对频率，其值域为[0,1]。如图5所示的直方图中，每个角度θ_i对应的直线的高度值为步骤(4)中计算得到的相对频率值H(θ_i)，图5中高度值最大的直线所对应的相对频率值称为最大直方图峰值。

(6)图5中最大峰值H(θ_k)通过式H(θ_k)＝Max{H(θ₁),H(θ₂),…,H(θ_i),…,H(θ₁₈₀)}计算得到，其中θ_k为最大直方图峰值所对应的直线角度。

角度θ_k即为该帧图像中道路的方向。道路方向的检测原理是：在航拍图像中，道路及周边结构的轮廓线与道路方向是平行的，因此图3中直线角度出现的相对频率最大的角度即为道路的方向，而且该原理对一般的直线道路都是适用的。

步骤4：航拍图像校正去抖

将道路航拍图像顺时针旋转θ_k度，即可将图像中的道路校正为水平方向，校正后的图像如图6所示。

通过将步骤1到步骤4重复进行，即可基于道路方向校正实现航拍视频去抖的目的。

Claims (1)

1.无人机航拍视频去抖方法，包括以下几个步骤：

步骤1：道路航拍图像预处理

对无人机航拍视频进行解帧，获取单帧RGB彩色道路航拍图像，并将RGB彩色图像转换为灰度图；

步骤2：基于航拍图像提取直线

采用Canny边缘检测算子获取灰度图边缘轮廓图，基于霍夫变换检测边缘轮廓图，获取直线；

步骤3：计算直线方向直方图

计算直线的角度，然后计算直线相对角度直方图，提取直方图中最大的峰值点对应的角度θ_k，该角度即为该帧航拍图像中道路的方向；

步骤4：航拍图像校正去抖

将道路航拍图像顺时针旋转角度θ_k，即将航拍图像中朝向不同的道路一致调整为水平方向，实现道路航拍图像去抖；

所述的步骤3具体为：

设边缘轮廓图的左上角为图像像素坐标的原点O(0,0)，以O(0,0)为起点，向右为图像的列坐标轴，向下为图像的行坐标轴，设任意一条直线i,其两个端点分别为P1和P2，其中P1与P2的像素坐标分别为(c_{i_1},r_{i_1})和(c_{i_2},r_{i_2})，为直线i与水平方向的夹角，表示将一条水平直线逆时针旋转到与直线i平行时所转过的角度，任一直线i的角度的计算方法如下式(1)所示：

其中，为整数，计算时四舍五入，且

基于计算出的直线角度，计算相对角度直方图，具体为：

(1)设步骤2中获取的直线数量为n；

(2)设置180个小区间θ₁～θ₁₈₀，其中：区间为：θ₁＝[0°,1°),θ₂＝[1°,2°),…,θ_i＝[(i-1)°,i°),…,θ₁₈₀＝[179°,180°)；

(3)对于n条直线，对直线角度进行统计，若角度为θ_i的直线有m条，则认为角度θ_i出现的次数为m次，采用h(θ_i)表示直线角度θ_i出现的次数，即频次；

(4)对步骤(3)中得到的直线角度出现的频次h(θ_i)进行归一化处理，计算每个直线角度θ_i出现的相对频率H(θ_i)，计算方法为H(θ_i)＝h(θ_i)/n；

(5)绘制相对直线角度直方图，直方图的横轴表示直线方向角，其定义域为[0°,180°)，纵轴表示直线角度出现的相对频率，其值域为[0,1]；相对角度直方图中高度值最大的直线所对应的相对频率值为直方图峰值；

(6)直方图最大峰值H(θ_k)通过式H(θ_k)＝Max{H(θ₁),H(θ₂),…,H(θ_i),…,H(θ₁₈₀)}计算得到，其中θ_k为直方图峰值所对应的直线角度；

角度θ_k即为该帧图像中道路的方向。