CN108225273A - 一种基于传感器先验知识的实时跑道检测方法 - Google Patents

Abstract

本发明属于嵌入式计算机图像处理技术领域，特别是涉及一种基于传感器先验知识的实时跑道检测方法。现有的跑道检测算法主要针对卫星图像和下视高空航拍图像，与机载合成视景***所需的前视航拍图像不符，且一般是针对静态图像进行检测，运算耗时较长，不能满足实时性要求。为此，此发明提出了一种基于传感器先验知识的实时跑道检测算法，这种方法将机载传感器提供的飞行位置和姿态等信息也纳入计算，使得跑道检测的搜索区域大大缩减，从而快速准确检测出图像中的跑道位置。

Description

一种基于传感器先验知识的实时跑道检测方法

技术领域

本发明属于嵌入式计算机图像处理技术领域，特别是涉及一种基于传感器先验知识的实时跑道检测方法。

背景技术

随着机载航电技术的发展，诞生了许多飞行辅助***。其中增强视景***可以提升飞行员对外界环境的感知，增强飞行安全。跑道检测技术在增强视景***中起到了重要作用。但是现有的跑道检测方法主要针对卫星图像和下视高空航拍图像，与机载合成视景***所需的前视航拍图像不符，且一般是针对静态图像进行检测，运算耗时较长，不能满足实时性要求。这就需要一种实时高效的跑道检测方法，能够准确迅速地检测出实时图像中的跑道。

本发明提供了一种基于传感器先验知识的实时跑道检测方法以解决上述问题。

发明内容

本发明的目的是：

解决机载实时图像中的跑道检测问题。

本发明的技术解决方案是：

现有的跑道检测方法，多数将跑道作为目标的一种，采用的是通用的目标识别方法，主要缺点为：1)计算复杂度较高。算法的查找和匹配等过程均是针对整幅图像进行，运算复杂度较高；2)基于模板的方法，模板获取效率低且不准确。模板的提取大多依赖人工标定以及模板库，前者效率低而后者不够准确。

但是在机载***中，有诸多先验知识，如相机姿态、相机位置、成像参数等，这些信息可以指导我们生成跑道的模板形状，并在图像中定位模板位置，从而缩小搜索范围，减少运算量。

在增强视景***中，有不同种类的传感器，提供包括航姿、位置等信息在内的飞行信息。其中，飞机姿态传感器可以提供飞机的俯仰、滚转和偏航角度，而GPS则能提供飞机在三维世界中的坐标。此外，拍摄图像时机载摄像机的参数以及机场跑道角点的坐标也是固定且已知的。

综合上述所述，本专利提出的算法第一步可以计算出理想状态下的机场跑道的模板形状以及位置，进而确定出一个搜索范围，减少跑道检测的计算量。具体计算过程如下：

一种基于传感器先验知识的实时跑道检测方法，本方法包括以下步骤：

第一步：假定在世界坐标系中的跑道角点P_W＝(x_W，y_W，z_W)^T，需要转换到相机坐标系中的一点P_C＝(x_C，y_C，z_C)^T，那么转换过程需要一次旋转加一次平移T^W，得到相机坐标系中的角点位置如下：

其中T^W可以从GPS数据中直接获得：

T^W＝(x^W，y^W，z^W)T(4-10)

而旋转矩阵的计算过程则略微复杂；通过飞机的三个姿态角度：滚转φ、俯仰θ和偏航ψ，经过三次旋转，最终可以完成一次完整的旋转过程；所以旋转矩阵是由三部分旋转矩阵相乘而得到的：

为了简便起见，公式中的cx＝cos(x)，sx＝sin(x)；

第二步：根据相机的成像原理，以及拍摄相机的内外参数，计算出跑道角点在最终图像上的坐标位置；具体成像计算过程等效的几何关系；

目标平面中的一点P投影在成像平面的P′点，最终在焦点处与其他点汇聚；根据第一步计算出的P_C＝(x_C，y_C，z_C)^T，由三角形的相似关系得到：

其中，x_img和y_img是目标点在成像平面上的坐标，P_s是成像平面的像素边长，H₀和W₀分别是成像平面高和宽方向上的像素点个数；由此解出x_img和y_img；

第三步：根据跑道角点在图像上的坐标位置，确定出跑道模板的形状和位置，并以此划定搜索区域；具体计算过程如下：

分别计算机场跑道四个角点在最终图像上的坐标，将其顺次连接，得到了理想状态下的机场跑道模板；在实际应用中，通过飞机姿态传感器和GPS所获得的数据都有一定的误差，在计算出的机场跑道模板位置之外，划定一块搜索区域，并用两个参数HE和WE来控制搜索区域的大小，HE和WE分别取跑道模板高和宽的1/2长度；

第四步：在搜索区域内，对图像进行直线提取，获得特征更加明显的直线图；具体采用LSD算法进行直线提取，主要步骤有：1)图像梯度计算；2)梯度伪排序；3)梯度邻域的增长或合并；4)直线拟合；

第五步：利用生成的直线图和跑道模板，在搜索区域内进行跑道的匹配，最终计算出跑道位置；具体采用方向性Chamfer Matching的方法，在搜索区域内进行跑道的匹配，计算公式为：

其中U＝{u_i}为模板的边缘直线图像，V＝{v_j}为待检测图像的边缘直线图像，U和V之间的方向性Chamfer距离d_DCM(U，V)定义为U中每一点与V中最近的边缘的平均距离，φ(x)代表在边缘点x处的边缘方向，λ是位置项和方向项之间的权重参数；d_DCM(U，V)最小的位置即为最终搜索结果。

本发明具有的优点是：

本算法针对飞机近进着陆阶段的前视航拍图像，便于应用在机载增强视景***中。本算法的利用机载传感器提供的先验知识，可以预判出跑道模板形状和跑道在机载实时图像中的位置，从而缩减搜索区域，仅在搜索区域内进行跑道的匹配，从而大大提高了检测的准确度，降低了运算量，达到了实时准确检测出跑道的效果。

附图说明

图1为本发明的原理框图，算法共分为五个步骤。

图2为本发明中简化的相机成像原理示意图。

图3为本发明中根据跑道模板划定搜索区域的示意图。

具体实施方式

以机载增强合成视景***中，需要对前视可见光视频中的跑道信息进行实时检测识别。以该***为例，具体应用专利中所描述的方法。机载增强合成视景***中具有一路视频输入，一路视频输出，对每帧输入图像的具体跑道检测步骤如下：

第一步：假定在世界坐标系中的跑道角点P_W＝(x_W，y_W，z_W)^T，需要转换到相机坐标系中的一点P_C＝(x_C，y_C，z_C)^T，那么转换过程需要一次旋转加一次平移T^W，得到相机坐标系中的角点位置如下：

其中T^W可以从GPS数据中直接获得：

T^W＝(x^W，y^W，z^W)^T(4-10)

而旋转矩阵的计算过程则略微复杂；通过飞机的三个姿态角度：滚转φ、俯仰θ和偏航ψ，经过三次旋转，最终可以完成一次完整的旋转过程；所以旋转矩阵是由三部分旋转矩阵相乘而得到的：

为了简便起见，公式中的cx＝cos(x)，sx＝sin(x)；

第二步：根据相机的成像原理，以及拍摄相机的内外参数，计算出跑道角点在最终图像上的坐标位置；具体成像计算过程等效的几何关系；

目标平面中的一点P投影在成像平面的P’点，最终在焦点处与其他点汇聚；根据第一步计算出的P_C＝(x_C，y_C，z_C)^T，由三角形的相似关系得到：

其中，x_img和y_img是目标点在成像平面上的坐标，P_s是成像平面的像素边长，H₀和W₀分别是成像平面高和宽方向上的像素点个数；由此解出x_img和y_img；

第三步：根据跑道角点在图像上的坐标位置，确定出跑道模板的形状和位置，并以此划定搜索区域；具体计算过程如下：

分别计算机场跑道四个角点在最终图像上的坐标，将其顺次连接，得到了理想状态下的机场跑道模板；在实际应用中，通过飞机姿态传感器和GPS所获得的数据都有一定的误差，在计算出的机场跑道模板位置之外，划定一块搜索区域，并用两个参数HE和WE来控制搜索区域的大小，HE和WE分别取跑道模板高和宽的1/2长度；

第四步：在搜索区域内，对图像进行直线提取，获得特征更加明显的直线图；具体采用LSD算法进行直线提取，主要步骤有：1)图像梯度计算；2)梯度伪排序；3)梯度邻域的增长或合并；4)直线拟合；

第五步：利用生成的直线图和跑道模板，在搜索区域内进行跑道的匹配，最终计算出跑道位置；具体采用方向性Chamfer Matching的方法，在搜索区域内进行跑道的匹配，计算公式为：

其中U＝{u_i}为模板的边缘直线图像，V＝{v_j}为待检测图像的边缘直线图像，U和V之间的方向性Chamfer距离d_DCM(U，V)定义为U中每一点与V中最近的边缘的平均距离，φ(x)代表在边缘点x处的边缘方向，λ是位置项和方向项之间的权重参数；d_DCM(U，V)最小的位置即为最终搜索结果；并在输入图像的相应位置打上标记，作为输出图像进行输出。

Claims (1)

1.一种基于传感器先验知识的实时跑道检测方法，本方法包括以下步骤：

第一步：假定在世界坐标系中的跑道角点P_W＝(x_W，y_W，z_W)^T，需要转换到相机坐标系中的一点P_C＝(x_C，y_C，z_C)^T，那么转换过程需要一次旋转加一次平移T^W，得到相机坐标系中的角点位置如下：

其中T^W可以从GPS数据中直接获得：

T^W＝(x^W，y^W，z^W)^T(4-10)

而旋转矩阵的计算过程则略微复杂；通过飞机的三个姿态角度：滚转φ、俯仰θ和偏航ψ，经过三次旋转，最终可以完成一次完整的旋转过程；所以旋转矩阵是由三部分旋转矩阵相乘而得到的：

为了简便起见，公式中的cx＝cos(x)，sx＝sin(x)；

第二步：根据相机的成像原理，以及拍摄相机的内外参数，计算出跑道角点在最终图像上的坐标位置；具体成像计算过程等效的几何关系；

目标平面中的一点P投影在成像平面的P′点，最终在焦点处与其他点汇聚；根据第一步计算出的P_C＝(x_C，y_C，z_C)^T，由三角形的相似关系得到：

其中，x_img和y_img是目标点在成像平面上的坐标，P_s是成像平面的像素边长，H₀和W₀分别是成像平面高和宽方向上的像素点个数；由此解出x_img和y_img；

第三步：根据跑道角点在图像上的坐标位置，确定出跑道模板的形状和位置，并以此划定搜索区域；具体计算过程如下：

分别计算机场跑道四个角点在最终图像上的坐标，将其顺次连接，得到了理想状态下的机场跑道模板；在实际应用中，通过飞机姿态传感器和GPS所获得的数据都有一定的误差，在计算出的机场跑道模板位置之外，划定一块搜索区域，并用两个参数HE和WE来控制搜索区域的大小，HE和WE分别取跑道模板高和宽的1/2长度；

第四步：在搜索区域内，对图像进行直线提取，获得特征更加明显的直线图；具体采用LSD算法进行直线提取，主要步骤有：1)图像梯度计算；2)梯度伪排序；3)梯度邻域的增长或合并；4)直线拟合；

第五步：利用生成的直线图和跑道模板，在搜索区域内进行跑道的匹配，最终计算出跑道位置；具体采用方向性Chamfer Matching的方法，在搜索区域内进行跑道的匹配，计算公式为：

其中U＝{u_i}为模板的边缘直线图像，V＝{v_j}为待检测图像的边缘直线图像，U和V之间的方向性Chamfer距离d_DCM(U，V)定义为U中每一点与V中最近的边缘的平均距离，φ(x)代表在边缘点x处的边缘方向，λ是位置项和方向项之间的权重参数；d_DCM(U，V)最小的位置即为最终搜索结果。