CN105450950B - 无人机航拍视频去抖方法 - Google Patents
无人机航拍视频去抖方法 Download PDFInfo
- Publication number
- CN105450950B CN105450950B CN201510888639.2A CN201510888639A CN105450950B CN 105450950 B CN105450950 B CN 105450950B CN 201510888639 A CN201510888639 A CN 201510888639A CN 105450950 B CN105450950 B CN 105450950B
- Authority
- CN
- China
- Prior art keywords
- angle
- straight line
- image
- road
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 3
- 206010044565 Tremor Diseases 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种无人机航拍视频去抖方法,包括步骤1:道路航拍图像预处理;步骤2:基于航拍图像提取直线;步骤3:计算直线方向直方图;步骤4:航拍图像校正去抖;本发明利用无人机航拍道路图像检测提取出的直线大多与道路方向平行的特点,建立直线相对角度直方图,通过检测直方图最大的峰值点对应的角度,可得到航拍图像中道路的方向,根据该角度旋转图像将道路调整为水平方向,实现航拍图像去抖。本发明基于图像处理技术,通过智能感知道路方向并旋转航拍图像,从而实现无人机道路航拍图像的去抖。
Description
技术领域
本发明属于图像处理技术领域,涉及一种无人机航拍视频去抖方法,特别是涉及一种基于图像边缘检测与霍夫变换的直线提取方法与基于直线角度直方图的道路方向检测方法和基于道路方向旋转图像的校正方法,以实现图像去抖的目的。
背景技术
无人机因为具有机动性强、视野广、飞行路线不受地形限制等优点,而被广泛应用于测绘、航拍、交通监控等领域。两轴和三轴稳定云台的应用消除了航拍图像由于无人机姿态调整、外部条件(阵风)等造成的图像抖动问题,但在很多应用场景,如无人机高速路交通监控,由于无人机不具有智能识别道路的能力,造成无人机的飞行前进方向与道路方向的夹角时刻变化,从而造成航拍图像中道路抖动的问题,这种抖动不论是对地面人员通过图像监控交通态势,还是对基于图像处理方法进行交通参数提取都带来了很大的障碍。因此,发明智能道路航拍图像去抖方法就显得尤其重要。
目前,航拍图像的图像去抖方法主要有机械去抖和配准方法去抖两种方式。硬件去抖,即将图像采集设备安装于具有自增稳功能的机械云台上,这种方式消除的是航拍图像由于无人机姿态调整、外部条件(阵风)等造成的图像抖动。图像配准方法,通过跟踪图像中的特征点获取图像背景的运动,从而通过仿射变换方法消除抖动,这类去抖需要提前选取基础配准帧。在实际的无人机交通监控应用中,用户感兴趣的是道路区域,需要获取的是稳定的道路图像,对于这种应用场景,由于现有去抖方法无法感知道路区域,因此无法有针对性的消除道路航拍图像抖动问题。
发明内容
针对现有图像去抖方法无法智能消除无人机道路航拍图像中道路抖动的问题,本发明提出了基于道路方向直方图的图像去抖方法,采用基于道路方向直方图的方法进行道路航拍图像去抖。本发明为基于道路方向直方图的道路航拍图像去抖方法,首先通过道路方向直方图检测提取道路方向,然后基于道路方向旋转图像,实现道路航拍图像去抖。本发明的图像去抖方法能够智能感知道路方向,从而实现现有方法所不能实现的图像去抖。
本发明以全新的研究着入点,提出一种可以普遍适用的道路航拍图像去抖办法,通过下述步骤实现:
步骤1:道路航拍图像预处理
对无人机航拍视频进行解帧,获取单帧RGB彩色道路航拍图像,并将RGB彩色图像转换为灰度图;
步骤2:基于航拍图像提取直线
采用Canny边缘检测算子处理上步中的灰度图获取边缘轮廓图,基于霍夫变换检测边缘轮廓图,获取直线;
步骤3:计算直线方向直方图
计算上步中检测到的直线的角度,然后计算直线相对角度直方图。提取直方图中最大的峰值点对应的角度,该角度即为该帧航拍图像中道路的方向。
步骤4:航拍图像校正去抖
将道路航拍图像顺时针旋转上步中获得的角度的大小,即可将航拍图像中朝向不同的道路一致调整为水平方向,从而实现道路航拍图像去抖。
本发明的优点在于:
(1)本发明利用无人机航拍道路图像检测提取出的直线大多与道路方向平行的特点,建立直线相对角度直方图,通过检测直方图最大的峰值点对应的角度,可得到航拍图像中道路的方向,根据该角度旋转图像将道路调整为水平方向,实现航拍图像去抖;
(2)本发明基于图像处理技术,通过智能感知道路方向并旋转航拍图像,从而实现无人机道路航拍图像的去抖;
(3)本发明可适应各种道路场景下的航拍图像去抖,具有很好地鲁棒性,运算速度快且不需要外部数据支持(如GIS地图数据),拥有多点创新。
附图说明
图1为航拍图像的灰度图;
图2为基于Canny边缘检测算子检测边缘轮廓图;
图3为基于霍夫变换检测直线图;
图4为图像坐标系与直线角度方向定义图;
图5为直线方向相对直方图;
图6为基于道路方向水平校正图;
图7为本发明的方法流程图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明提供一种基于道路方向直方图的航拍图像去抖方法,所述去抖方法首先对提取的道路航拍图像进行预处理转换为灰度图;然后基于Canny边缘检测算子检测灰度图获取边缘轮廓图,然后对边缘轮廓图进行霍夫变换检测直线;计算检测到的直线的角度并计算直线方向相对角度直方图,提取相对角度直方图最大的峰值所对应的直线的角度,即获得了道路方向;然后基于检测到的道路方向将原始航拍图像进行瞬时针旋转,可将道路旋转为水平方向,实现航拍图像去抖。上述基于道路方向直方图的航拍图像去抖方法,流程如图7所示,具体处理步骤如下:
步骤1:道路航拍图像预处理
对道路航拍视频进行解帧获取RGB彩色图像,将RGB彩图转换为灰度图,如图1所示。
步骤2:基于航拍图像提取直线
获得了灰度图像后,接下来通过Canny边缘检测算子对灰度图进行处理,获得二值的边缘轮廓图,如图2所示,对图2的轮廓图进行霍夫变换,检测并获得直线图,如图3所示。
步骤3:计算直线方向直方图
计算图3中每条直线的角度,其中直线角度的定义如图4所示,其中O(0,0)为图像像素坐标的原点,以O(0,0)为起点,向右为图像的列坐标轴,向下为图像的行坐标轴。对图3中的任意一条直线i,其两个端点分别为P1和P2,其中P1与P2的像素坐标分别为(ci_1,ri_1)和(ci_2,ri_2),为直线i与水平方向的夹角,表示将一条水平直线逆时针旋转到与直线i平行时所转过的角度,任一直线i的角度的计算方法如下式(1)所示:
其中,为整数,计算时采用四舍五入的方法处理,且
基于计算出的直线角度,计算相对角度直方图,其详细步骤如下所示:
(1)确认图3中检测到的直线的数量n;
(2)设置180个小区间θ1~θ180,其中:区间为:θ1=[0°,1°),θ2=[1°,2°),…,θi=[(i-1)°,i°),…,θ180=[179°,180°);
(3)对于图3中检测到的n条直线(n为步骤(1)中确认得到),对直线角度进行统计,若角度为θi的直线有m条,则认为角度θi出现的次数为m次,这里用h(θi)代表直线角度θi出现的次数,即频次。
(4)对步骤(3)中统计的直线角度出现的频次h(θi)进行归一化处理,计算每个直线角度θi出现的相对频率H(θi),计算方法为H(θi)=h(θi)/n。频次h(θi)归一化的目的是简化计算,缩小量值。
(5)绘制相对直线角度直方图,如图5所示,直方图的横轴表示直线方向角,其定义域为[0°,180°),纵轴表示直线角度出现的相对频率,其值域为[0,1]。如图5所示的直方图中,每个角度θi对应的直线的高度值为步骤(4)中计算得到的相对频率值H(θi),图5中高度值最大的直线所对应的相对频率值称为最大直方图峰值。
(6)图5中最大峰值H(θk)通过式H(θk)=Max{H(θ1),H(θ2),…,H(θi),…,H(θ180)}计算得到,其中θk为最大直方图峰值所对应的直线角度。
角度θk即为该帧图像中道路的方向。道路方向的检测原理是:在航拍图像中,道路及周边结构的轮廓线与道路方向是平行的,因此图3中直线角度出现的相对频率最大的角度即为道路的方向,而且该原理对一般的直线道路都是适用的。
步骤4:航拍图像校正去抖
将道路航拍图像顺时针旋转θk度,即可将图像中的道路校正为水平方向,校正后的图像如图6所示。
通过将步骤1到步骤4重复进行,即可基于道路方向校正实现航拍视频去抖的目的。
Claims (1)
1.无人机航拍视频去抖方法,包括以下几个步骤:
步骤1:道路航拍图像预处理
对无人机航拍视频进行解帧,获取单帧RGB彩色道路航拍图像,并将RGB彩色图像转换为灰度图;
步骤2:基于航拍图像提取直线
采用Canny边缘检测算子获取灰度图边缘轮廓图,基于霍夫变换检测边缘轮廓图,获取直线;
步骤3:计算直线方向直方图
计算直线的角度,然后计算直线相对角度直方图,提取直方图中最大的峰值点对应的角度θk,该角度即为该帧航拍图像中道路的方向;
步骤4:航拍图像校正去抖
将道路航拍图像顺时针旋转角度θk,即将航拍图像中朝向不同的道路一致调整为水平方向,实现道路航拍图像去抖;
所述的步骤3具体为:
设边缘轮廓图的左上角为图像像素坐标的原点O(0,0),以O(0,0)为起点,向右为图像的列坐标轴,向下为图像的行坐标轴,设任意一条直线i,其两个端点分别为P1和P2,其中P1与P2的像素坐标分别为(ci_1,ri_1)和(ci_2,ri_2),为直线i与水平方向的夹角,表示将一条水平直线逆时针旋转到与直线i平行时所转过的角度,任一直线i的角度的计算方法如下式(1)所示:
其中,为整数,计算时四舍五入,且
基于计算出的直线角度,计算相对角度直方图,具体为:
(1)设步骤2中获取的直线数量为n;
(2)设置180个小区间θ1~θ180,其中:区间为:θ1=[0°,1°),θ2=[1°,2°),…,θi=[(i-1)°,i°),…,θ180=[179°,180°);
(3)对于n条直线,对直线角度进行统计,若角度为θi的直线有m条,则认为角度θi出现的次数为m次,采用h(θi)表示直线角度θi出现的次数,即频次;
(4)对步骤(3)中得到的直线角度出现的频次h(θi)进行归一化处理,计算每个直线角度θi出现的相对频率H(θi),计算方法为H(θi)=h(θi)/n;
(5)绘制相对直线角度直方图,直方图的横轴表示直线方向角,其定义域为[0°,180°),纵轴表示直线角度出现的相对频率,其值域为[0,1];相对角度直方图中高度值最大的直线所对应的相对频率值为直方图峰值;
(6)直方图最大峰值H(θk)通过式H(θk)=Max{H(θ1),H(θ2),…,H(θi),…,H(θ180)}计算得到,其中θk为直方图峰值所对应的直线角度;
角度θk即为该帧图像中道路的方向。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510888639.2A CN105450950B (zh) | 2015-12-07 | 2015-12-07 | 无人机航拍视频去抖方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510888639.2A CN105450950B (zh) | 2015-12-07 | 2015-12-07 | 无人机航拍视频去抖方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105450950A CN105450950A (zh) | 2016-03-30 |
CN105450950B true CN105450950B (zh) | 2018-07-27 |
Family
ID=55560680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510888639.2A Expired - Fee Related CN105450950B (zh) | 2015-12-07 | 2015-12-07 | 无人机航拍视频去抖方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105450950B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705301B (zh) * | 2017-09-29 | 2021-04-13 | 南京中设航空科技发展有限公司 | 一种基于无人机航拍公路图像的公路标线破损检测方法 |
CN110320934B (zh) * | 2018-03-27 | 2022-11-22 | 杭州海康机器人技术有限公司 | 云台控制方法、装置、云台及移动设备 |
CN111309048B (zh) * | 2020-02-28 | 2023-05-26 | 重庆邮电大学 | 一种多旋翼无人机结合道路检测沿路自主飞行的方法 |
CN113838313B (zh) * | 2021-11-29 | 2022-02-18 | 中国民用航空总局第二研究所 | 一种航向信标航道余隙抖动的障碍物识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6819779B1 (en) * | 2000-11-22 | 2004-11-16 | Cognex Corporation | Lane detection system and apparatus |
CN101608924A (zh) * | 2009-05-20 | 2009-12-23 | 电子科技大学 | 一种基于灰度估计和级联霍夫变换的车道线检测方法 |
CN101639893A (zh) * | 2008-07-31 | 2010-02-03 | 东软集团股份有限公司 | 道路方向识别的方法和装置 |
CN101714252A (zh) * | 2009-11-26 | 2010-05-26 | 上海电机学院 | Sar图像中道路的提取方法 |
CN103500322A (zh) * | 2013-09-10 | 2014-01-08 | 北京航空航天大学 | 基于低空航拍图像的车道线自动识别方法 |
CN103810462A (zh) * | 2012-11-14 | 2014-05-21 | 中国科学院沈阳自动化研究所 | 一种基于线状目标的高压输电线检测方法 |
CN103971081A (zh) * | 2013-01-25 | 2014-08-06 | 株式会社理光 | 多车道检测方法和*** |
-
2015
- 2015-12-07 CN CN201510888639.2A patent/CN105450950B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6819779B1 (en) * | 2000-11-22 | 2004-11-16 | Cognex Corporation | Lane detection system and apparatus |
CN101639893A (zh) * | 2008-07-31 | 2010-02-03 | 东软集团股份有限公司 | 道路方向识别的方法和装置 |
CN101608924A (zh) * | 2009-05-20 | 2009-12-23 | 电子科技大学 | 一种基于灰度估计和级联霍夫变换的车道线检测方法 |
CN101714252A (zh) * | 2009-11-26 | 2010-05-26 | 上海电机学院 | Sar图像中道路的提取方法 |
CN103810462A (zh) * | 2012-11-14 | 2014-05-21 | 中国科学院沈阳自动化研究所 | 一种基于线状目标的高压输电线检测方法 |
CN103971081A (zh) * | 2013-01-25 | 2014-08-06 | 株式会社理光 | 多车道检测方法和*** |
CN103500322A (zh) * | 2013-09-10 | 2014-01-08 | 北京航空航天大学 | 基于低空航拍图像的车道线自动识别方法 |
Non-Patent Citations (2)
Title |
---|
一种新的道路描述子:对称边缘方向直方图;唐亮、谢维信、黄建军、黄敬雄;《电子学报》;20050125;第33卷(第1期);全文 * |
一种稳健的道路主方向提取算法;张道兵、张慧、张正、刘波、王宏琦;《光子学报》;20080615;第36卷;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN105450950A (zh) | 2016-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105488501B (zh) | 基于旋转投影的车牌倾斜矫正的方法 | |
CN109785291B (zh) | 一种车道线自适应检测方法 | |
WO2019105044A1 (zh) | 一种镜头畸变矫正和特征提取的方法及*** | |
WO2018177026A1 (zh) | 确定道路边沿的装置和方法 | |
CN105450950B (zh) | 无人机航拍视频去抖方法 | |
US9530235B2 (en) | Aligning panoramic imagery and aerial imagery | |
CN105205785B (zh) | 一种可定位的大型车辆运行管理***及其运行方法 | |
US11430199B2 (en) | Feature recognition assisted super-resolution method | |
CN114419165B (zh) | 相机外参校正方法、装置、电子设备和存储介质 | |
Zhang et al. | Robust inverse perspective mapping based on vanishing point | |
CN111368797A (zh) | 一种基于路端单目摄像头的目标实时测距方法 | |
CN108106613B (zh) | 基于视觉辅助的定位方法与*** | |
CN113988112A (zh) | 车道线的检测方法、装置、设备及存储介质 | |
CN111046809B (zh) | 一种障碍物检测方法、装置、设备及计算机可读存储介质 | |
CN110718068B (zh) | 一种道路监控摄像机安装角度估计方法 | |
CN106778766B (zh) | 一种基于定位点的旋转数字识别方法及*** | |
CN108961182B (zh) | 针对视频图像的竖直方向灭点检测方法及视频扭正方法 | |
CN105335717B (zh) | 基于智能移动终端视频抖动分析的人脸识别*** | |
Wang et al. | A new method for obstacle detection based on Kinect depth image | |
CN108615242B (zh) | 一种高速护栏跟踪方法 | |
Cho et al. | Improved lane detection system using Hough transform with super-resolution reconstruction algorithm and multi-ROI | |
CN103473753A (zh) | 一种基于多尺度小波阈值去噪的目标检测方法 | |
CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
JP2013186655A (ja) | 道路標示検出装置及びプログラム | |
CN102142148A (zh) | 视频空时特征提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180727 |
|
CF01 | Termination of patent right due to non-payment of annual fee |