CN111145201A - 一种稳健快速的无人机摄影测量标志检测与定位方法 - Google Patents

Abstract

本发明提供一种稳健快速的无人机摄影测量标志检测与定位方法，首先对摄影图像进行增强和灰度化处理，然后对图像中每一对黑色连通域和白色连通域的质心坐标进行比较，当二者间距不超过设定像素阈值时，则认为该区域为候选目标区域并将白色联通域的质心坐标作为候选标志的初始检测坐标，接着利用过零检测器检测候选标志邻域内的过零点数量，当且仅当过零点数目为4时，保留候选目标，否则删除该候选目标，最后在基于局部拉东变换生成的标志图像灰度强度响应图上进行多项式曲面拟合，迭代求解拟合曲面的极大值点所在的精确坐标，即测量标志的高精度坐标。本发明抗干扰能力强，提高了计算效率和标志定位精度，适用于大分辨率图像的处理。

Description

一种稳健快速的无人机摄影测量标志检测与定位方法

技术领域

本发明属于工程测量技术领域，特别地，涉及一种稳健快速的无人机摄影测量标志检测与定位方法。

背景技术

随着无人机硬件技术和计算机视觉算法的逐渐成熟，基于无人机平台的摄影测量方法已经在工程测量领域得到了广泛应用。其中，利用无人机摄影测量标志确定摄影测量三维模型的坐标参考框架是基于无人机平台的摄影测量技术的主要研究内容之一，而研究具有高正确率、高精度定位和无人工干预的测量标志自动检测与定位方法，对于提升摄影测量技术的自动化程度和测量精度至关重要。然而，由于自然环境复杂、测量标志本身的成像尺寸较小、摄像机的摄影距离较长、标志纹理信息模糊等原因，目前实现优异的测量标志检测性能仍然是一项具有挑战性的任务。

确定模型坐标参考框架是无人机摄影测量技术的主要任务之一。目前主要有两类方法：第一类方法是利用与摄像机耦合的GNSS/INS模块，该方法大大缩短了野外工作时间，但在低成本、轻量化的无人机应用中，小型GNSS/INS模块的精度较差；另一类方法是利用地面测量标志和光束法平差方法来估计模型的位姿参数，虽然该方法的野外工作较为繁重，人工成本较高，但因其良好的模型位姿解算精度，目前仍然是精密工程测量应用中的首选方法。然而，即使我们不计较在野外布设测量标志时所付出的艰辛劳动，但在摄影图像(即无人机拍摄的包括标志在内的地理照片)上选取标志的坐标仍然是一项费时费力、单调、而且极容易出现人为疏漏的工作，尤其是在大范围的摄影测量项目中，仅依赖人工选取标志图像坐标是不切实际的。因此，对测量标志进行智能化、高精度的检测与定位对于确定模型坐标参考框架来说就显得尤为重要。测量标志不是图像，测量标志就是标志。

地面测量标志的类型多种多样，相比于传统的圆形模式测量标志，十字形模式测量标志(下简称十字形标志)具有中心对比度明显、无偏心差等优势。近年来，已有很多学者开展了关于十字形标志的检测与定位方法的研究，基本步骤包括：1、中心角点检测，目的是在原始图像上粗略确定可能是测量标志的候选目标，并对目标进行筛选，以剔除错误目标；2、计算目标亚像素级的精确坐标以实现对测量标志精确定位。

Harris角点检测是最通用的角点检测方法，但其缺陷在于不仅能检测十字形角点，还能检测诸如尖刺状角点等其他类型的角点，无法实现单一筛选，因此会严重影响无人机测量标志的检测有效性和可靠性。此外，计算机视觉库OpenCV提供了一种典型的十字形标志检测方法，其通过分割黑色和白色的矩形方格，并利用其边缘特征来检测角点坐标；Wang等人也提出了一种拟合标志边缘线的方法来检测角点坐标；但这两种方法均基于图像边缘特征，而该特征易受图像噪声、图像模糊等因素影响，导致标志定位精度不高。Geiger等人提出了一种基于模板匹配的方法进行初始检测，取得了较好的实验结果，但该方法是一种基于滑动窗口的搜索方法，计算复杂度较高，因此计算效率低，缺乏实用性。

综上所述，本发明现需要一种计算效率更高且标志定位精度更高的十字形标志的检测与定位方法。

发明内容

本发明的目的在于提供一种稳健快速的无人机摄影测量标志检测与定位方法，具体方案如下：

一种稳健快速的无人机摄影测量标志检测与定位方法，包括如下步骤：

步骤一、在测量区域布设标志，所述标志包括由黑色区域和白色区域共同构成的十字形特征。

步骤二、对标志进行初始检测；

2.1)基于增强型灰度转换的图像预处理；

根据公式(1)对摄影图像进行增强和灰度化处理，

GARY_img(u,v)＝R_img(u,v)+G_img(u,v)+B_img(u,v)-δ (1)

其中，img表示英文单词image的缩写，u和v分别表示图像坐标系的横轴坐标和纵轴坐标，GARY_img(u,v)表示转换后的灰度图像，R_img(u,v)、G_img(u,v)和B_img(u,v)分别表示彩色图像的R波段、G波段和B波段，δ为一个常数；

在图像预处理过程中，大于255或小于0的灰度值会被自动截断，以符合计算机8-bit图像的格式要求，而在不受外界因素干扰的前提下，RGB图像中的黑色为(0，0，0)、白色为(255，255，255)，因此经过公式(1)的处理后，标志图像中白色或接近白色的区域将具有较大灰度值，而黑色或接近黑色的区域将具有较小的灰度值，进而将测量标志中的黑色部分和白色部分显著区分开来；

2.2)基于图像连通域提取和质心提取的候选标志检测；

提取图像中的黑色连通域并计算黑色连通域的质心，且提取图像中的白色连通域并计算白色连通域的质心，对两个连通域的质心坐标进行比较，当有一对黑色连通域和白色连通域的质心坐标间的距离小于或等于设定像素阈值时，则认为该区域为候选目标区域，并将白色或黑色连通域的质心坐标作为候选标志的初始检测坐标。

步骤三、对候选标志做进一步筛选。

步骤四、对标志进行精确定位；

4.1)基于局部拉东变换原理，生成标志图像响应图；

根据公式(2)和(3)计算标志坐标邻域范围内所有可能的中心线的积分，并返回最大积分值和最小积分值的平方差，进而得到标志图像的灰度强度响应图，

其中，m表示需要计算的图像区域的尺寸，即选取的图像区域为方形且其长宽均为m，Rf_local[u,v,α]表示图像以角度α进行旋转，max和min表示获取Rf_local[u,v,α]在不同旋转角度下的最大值和最小值，f_c[u,v]表示原始图像经过局部拉东变换后的灰度强度响应图；

4.2)基于多项式曲面拟合方法在响应图上精确定位标志坐标；

首先设f(x)是标志估计坐标x^*周围以r为半径范围内的响应图，已知标志坐标的初始值是x⁰，将其代入最小二乘方法，根据公式(4)迭代计算多项式曲面取得极大值时的坐标x^T，当x^T的变化量小于设定变化阈值时，结束迭代计算，

可用公式(5)表示多项式曲面的拟合过程，

其中，

表示多项式函数，x和y表示输入坐标，公式(4)是通用的多项式数学表示形式，c＝[c₁,c₁,…,c₆]^T是多项式函数的参数向量，N是f(x)中的采样点数量，x^t为可能的极大值坐标，Δ_i为误差项；

然后构建解算参数向量c的线性算式Ac-b＝0，向量b表示为b＝[f(x^t+Δ₁),…,f(x^t+Δ_n)]^T，矩阵A可以表示为公式(6)，

由于计算所有候选目标的精确位置时，统一使用相同的邻域半径r和相同的图像坐标系，因此矩阵A只需要计算一次；

最后利用高斯-牛顿法迭代求解拟合曲面的极大值点所在的精确坐标，即测量标志的高精度坐标。

优选地，在所述步骤一中，所述黑色区域为圆形，所述白色区域为两个同圆心设置在圆形内的90°扇形；或者所述白色区域为圆形，所述黑色区域为两个同圆心设置在圆形内的90°扇形。

优选地，在所述步骤二的2.2)中，先提取圆形区域的连通域质心，然后对图像进行膨胀处理，以保证测量标志中的两个扇形区域能够连接在一起，再提取扇形区域的连通域质心。

优选地，在所述步骤三中，利用过零检测器检测候选标志邻域内的过零点数量，当且仅当过零点数目为4时，保留候选目标，否则删除该候选目标。

过零检测器可用于寻找图像经过拉普拉斯变换后灰度值过零的点，即拉普拉斯图像强度变化显著的点。这些点通常分布于图像边缘位置处，即图像灰度变化迅速的位置。由于本发明采用的测量标志为十字形，则标志中心点的邻域周围共有4条灰度强度变化迅速的边缘，因此可根据候选目标邻域内的过零点数量是否为4来筛选候选目标。

优选地，在所述步骤二中，公式(1)中δ的取值为10；在所述步骤四中，邻域半径r的取值为7。

优选地，测量标志的白色区域使用白色晶彩格反光布制作，而黑色区域使用黑色植绒吸光布制作。

由于制作标志的材料的反光强度对标志的检测和定位有较大影响，而晶彩格反光布采用了先进的微晶格全反光技术，具有超强的反光强度，反光系数最高可达200cd/lux/m²，可以有效抑制不均匀光照和阴影遮挡对标志白色部分成像的影响；同时黑色植绒吸光布具有吸光性好、黑色纯正鲜明的优势，常用于室内摄影。结合上述两种材料，可以大幅提高测量标志在复杂环境条件下的成像质量。

本发明提供的技术方案至少具有如下有益效果：

1、本发明在现有研究的基础上，提出了一种新的测量标志检测与定位方法，通过对标志进行初始检测，可将图像从RGB彩色图像转换为灰度图像，并大幅增强图像的对比度，尤其是黑色和白色区域的对比度，以此克服图像模糊、图像噪声、不均匀光照等干扰因素对目标检测的影响；还通过将标志定位的计算从原始图像迁移到了灰度强度响应图上，结合多项式曲面拟合方法，使标志坐标的计算精度更高、效率更快，非常适用于对大分辨率图像的处理，有利于实现无人机平台摄影测量数据处理的高效化、快捷化。

2、本发明在测量标志上设计了由黑色圆形区域和两个白色扇形区域共同构成的十字形特征，而且在制作时结合了白色晶彩格反光布和黑色植绒吸光布，使得标志本身具有显著的对比度和特殊的图形模式，因此该测量标志具有较好的独特性，利于在图像上被辨识。

3、由于本发明中的十字形标志与黑白区域边界高度关联，因此利用过零检测器针对图像灰度迅速变化的位置进行检测的特性，筛选出符合本发明测量标志图形特征的候选目标，在检测有效性和可靠性上具有明显优势。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1是本发明无人机摄影测量标志检测与定位方法的流程图；

图2是本发明所使用的十字形测量标志的结构图；

图3是本发明方法与现有方法在标志初始检测过程中计算耗时的对比图；

图4是本发明方法与现有方法在添加高斯模糊条件下标志定位精度的对比图；

图5是本发明方法与现有方法在添加高斯噪声条件下标志定位精度的对比图；

图6是本发明方法与现有方法在图像仿射变换条件下标志定位精度的对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

参见图1，一种稳健快速的无人机摄影测量标志检测与定位方法，包括如下步骤：

步骤一、在测量区域内布设标志；

参见图2，该测量标志的背景为白色且包括黑色圆形区域以及设置在黑色圆形区域内的两个同样大小的90°白色扇形区域，三个区域的圆心重合且两个白色扇形区域间隔90°设置，黑色区域与白色区域的边界共同构成测量标志的十字形特征。在本实施例中，所述白色区域使用白色晶彩格反光布制作，所述黑色区域使用黑色植绒吸光布制作。

步骤二、对标志进行初始检测；

2.1)基于增强型灰度转换的图像预处理；

根据公式(1)对摄影图像进行增强和灰度化处理，

GARY_img(u,v)＝R_img(u,v)+G_img(u,v)+B_img(u,v)-δ (1)

其中，img表示英文单词image的缩写，u和v分别表示图像坐标系的横轴坐标和纵轴坐标，GARY_img(u,v)表示转换后的灰度图像，R_img(u,v)、G_img(u,v)和B_img(u,v)分别表示彩色图像的R波段、G波段和B波段，δ为一个常数且在本实施例中取10；

2.2)基于图像连通域提取和质心提取的候选标志检测；

首先，提取图像中的黑色连通域并计算黑色连通域的质心；然后，对图像进行膨胀处理，以保证测量标志中的两个白色扇形区域能够连接在一起；接着，提取图像中的白色连通域并计算白色连通域的质心；最后，比较两个连通域的质心坐标，当有一对黑色连通域和白色连通域的质心坐标相等，即二者坐标距离相差不大于3像素，则认为该区域为候选目标区域，并将白色联通域的质心坐标作为候选标志的初始检测坐标。

步骤三、对候选标志做进一步筛选；

利用过零检测器检测候选标志邻域内的过零点数量，当且仅当过零点数目为4时，保留候选目标，否则删除该候选目标。

步骤四、对标志进行精确定位；

4.1)基于局部拉东变换原理，生成标志图像响应图；

根据公式(2)和(3)计算标志坐标邻域范围内所有可能的中心线的积分，并返回最大积分值和最小积分值的平方差，进而得到标志图像的灰度强度响应图，

其中，m表示需要计算的图像区域的尺寸，即选取的图像区域为方形且其长宽均为m，Rf_local[u,v,α]表示图像以角度α进行旋转，max和min表示获取Rf_local[u,v,α]在不同旋转角度下的最大值和最小值，f_c[u,v]表示原始图像经过局部拉东变换后的灰度强度响应图；

4.2)基于多项式曲面拟合方法在响应图上精确定位标志坐标；

首先设f(x)是标志估计坐标x^*周围以r为半径范围内的响应图，已知标志坐标的初始值是x⁰，将其代入最小二乘方法，根据公式(4)迭代计算多项式曲面取得极大值时的坐标x^T，当x^T的变化量小于设定变化阈值τ＝3时，结束迭代计算，

可用公式(5)表示多项式曲面的拟合过程，

其中，

表示多项式函数，x和y表示输入坐标，公式(4)是通用的多项式数学表示形式，c＝[c₁,c₁,…,c₆]^T是多项式函数的参数向量，N是f(x)中的采样点数量，x^t为可能的极大值坐标，Δ_i为误差项；

然后构建解算参数向量c的线性算式Ac-b＝0，向量b表示为b＝[f(x^t+Δ₁),…,f(x^t+Δ_n)]^T，矩阵A可以表示为公式(6)，

由于计算所有候选目标的精确位置时，统一使用相同的邻域半径r＝7和相同的图像坐标系，因此矩阵A只需要计算一次；

最后利用高斯-牛顿法迭代求解拟合曲面的极大值点所在的精确坐标，即测量标志的高精度坐标。

一、计算效率对比实验

实验图像数据的分辨率为4000×3000，图像中包含4个有效测量标志，测量标志统一使用本发明中的十字形标志，将本发明提出的方法(RFDM)和另外三种现有方法进行对比，对单张图像进行标志初始检测处理，并分别统计四种方法的计算耗时，对比结果如图3所示。

作为对比例的三种现有方法分别为：

1、由Geiger等人提出的基于模板匹配/滑动窗口的初始检测方法，参考文献Geiger,A.；Moosmann,F.；Car,O.；Schuster,B.Automatic camera and range sensorcalibration using a single shot.In Proceedings of the IEEE InternationalConference on Robotics&Automation；2012；pp.3936–3943；

2、由Duda等人提出的基于棋盘角点精确定位及检测的初始校准方法，参考文献Duda,A.；Frese,U.Accurate Detection and Localization of Checkerboard Cornersfor Calibration.2018,126；

3、Harris经典角点检测方法，参考文献Harris,C.；Stephens,M.A COMBINEDCORNER AND EDGE DETECTOR.1988,147–151。

由图3中的实验结果可知，与现有方法相比，本发明方法在计算效率上具有明显优势，非常适合处理大分辨率的无人机图像数据。

二、定位精度对比实验

选取两种现有的标志坐标定位方法，分别为：

1、由计算机视觉库OpenCV]提供的亚像素定位方法，参考文献Bradski,G.；Kaehler,A.Learning OpenCV:Computer Vision in C++with the OpenCV Library；2013；

2、Hyowon方法，利用多项式函数拟合原始图像上测量标志邻域内的灰度分布，参考文献Ha,H.；Perdoch,M.；Alismail,H.；Kweon,I.S.；Sheikh,Y.Deltille Grids forGeometric Camera Calibration.In Proceedings of the 2017 IEEE InternationalConference on Computer Vision(ICCV)；2017；pp.5354–5362。

为了能够较为真实的模拟测量标志在实际环境中的成像情况，本实验通过图像仿射变换、添加高斯噪声和高斯模糊的方式对实际情况进行模拟。即：将图像按照天顶角度旋转量φ(角度)进行转换，得到仿射变换后的模拟数据；将图像按照均值为0、强度标准差为σ_n(百分比)添加高斯噪声；将图像按照均值为0，标准差为σ(像素)进行高斯模糊。

具体实施步骤为：1)当对图像进行高斯模糊处理时，保持φ＝0°，σ_n＝3％不变，令σ的取值分别为0、1、2、3、4和5；2)当向图像中添加高斯噪声时，保持φ＝0°，σ＝1不变，令σ_n的取值分别为0％、1％、2％、3％、4％和5％；3)当对图像进行仿射变换处理时，保持σ＝1，σ_n＝3％不变，令φ的取值分别为0°、15°、30°、45°、60°和75°。

最终得到3组数据共18张模拟图像，用本发明方法(RFDM)与上述两种现有方法在图像上进行定位，统计实验结果，分析如下：

1)高斯模糊测试：实验结果如图4所示，本发明方法在定位性能上相比于Hyowon和OpenCV具有明显优势。

2)高斯噪声测试：实验结果如图5所示，当图像噪声增加时，Hyowon和OpenCV的定位精度受到了明显影响，尤其是OpenCV，当σ_n＝5％，定位误差约为初始定位误差的4倍，而本发明方法在σ_n≤5％的范围内，定位性能良好，均优于Hyowon和OpenCV；

3)仿射变换测试：实验结果如图6所示，当天顶角度旋转量φ≥60°时，图像仿射变换对三种方法均有明显影响，此外，由于仿射变换会降低标志图像的有效像素，因此，即使本发明方法相比于另外两种方法并未表现出明显优势，但仍然具有较为优异的定位性能。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利保护范围，对于本领域的技术人员来说，本发明可以有各种更改和变化。在本发明的精神和原则之内，凡是利用本发明说明书及附图内容所作的任何改进或等同替换，直接或间接运用在其它相关的技术领域，均应包括在本发明的专利保护范围内。

Claims (6)

1.一种稳健快速的无人机摄影测量标志检测与定位方法，其特征在于，包括如下步骤：

步骤一、在测量区域布设标志，所述标志包括由黑色区域和白色区域共同构成的十字形特征；

步骤二、对标志进行初始检测；

2.1)基于增强型灰度转换的图像预处理；

根据公式(1)对摄影图像进行增强和灰度化处理，

GARY_img(u,v)＝R_img(u,v)+G_img(u,v)+B_img(u,v)-δ (1)

其中，img表示英文单词image的缩写，u和v分别表示图像坐标系的横轴坐标和纵轴坐标，GARY_img(u,v)表示转换后的灰度图像，R_img(u,v)、G_img(u,v)和B_img(u,v)分别表示彩色图像的R波段、G波段和B波段，δ为一个常数；

2.2)基于图像连通域提取和质心提取的候选标志检测；

提取图像中的黑色连通域并计算黑色连通域的质心，且提取图像中的白色连通域并计算白色连通域的质心，对两个连通域的质心坐标进行比较，当有一对黑色连通域和白色连通域的质心坐标间的距离小于或等于设定像素阈值时，则认为该区域为候选目标区域，并将白色或黑色连通域的质心坐标作为候选标志的初始检测坐标；

步骤三、对候选标志做进一步筛选；

步骤四、对标志进行精确定位；

4.1)基于局部拉东变换原理，生成标志图像响应图；

根据公式(2)和(3)计算标志坐标邻域范围内所有可能的中心线的积分，并返回最大积分值和最小积分值的平方差，进而得到标志图像的灰度强度响应图，

其中，m表示需要计算的图像区域的尺寸，即选取的图像区域为方形且其长宽均为m，Rf_local[u,v,α]表示图像以角度α进行旋转，max和min表示获取Rf_local[u,v,α]在不同旋转角度下的最大值和最小值，f_c[u,v]表示原始图像经过局部拉东变换后的灰度强度响应图；

4.2)基于多项式曲面拟合方法在响应图上精确定位标志坐标；

首先设f(x)是标志估计坐标x^*周围以r为半径范围内的响应图，已知标志坐标的初始值是x⁰，将其代入最小二乘方法，根据公式(4)迭代计算多项式曲面取得极大值时的坐标x^T，当x^T的变化量小于设定变化阈值时，结束迭代计算，

可用公式(5)表示多项式曲面的拟合过程，

其中，

表示多项式函数，x和y表示输入坐标，公式(4)是通用的多项式数学表示形式，c＝[c₁,c₁,…,c₆]^T是多项式函数的参数向量，N是f(x)中的采样点数量，x^t为可能的极大值坐标，Δ_i为误差项；

然后构建解算参数向量c的线性算式Ac-b＝0，向量b表示为b＝[f(x^t+Δ₁),…,f(x^t+Δ_n)]^T，矩阵A可以表示为公式(6)，

由于计算所有候选目标的精确位置时，统一使用相同的邻域半径r和相同的图像坐标系，因此矩阵A只需要计算一次；

最后利用高斯-牛顿法迭代求解拟合曲面的极大值点所在的精确坐标，即测量标志的高精度坐标。

2.根据权利要求1所述无人机摄影测量标志检测与定位方法，其特征在于，在所述步骤一中，所述黑色区域为圆形，所述白色区域为两个同圆心设置在圆形内的90°扇形；或者所述白色区域为圆形，所述黑色区域为两个同圆心设置在圆形内的90°扇形。

3.根据权利要求2所述无人机摄影测量标志检测与定位方法，其特征在于，在所述步骤二的2.2)中，先提取圆形区域的连通域质心，然后对图像进行膨胀处理，以保证测量标志中的两个扇形区域能够连接在一起，再提取扇形区域的连通域质心。

4.根据权利要求3所述无人机摄影测量标志检测与定位方法，其特征在于，在所述步骤三中，利用过零检测器检测候选标志邻域内的过零点数量，当且仅当过零点数目为4时，保留候选目标，否则删除该候选目标。

5.根据权利要求1～4中任意一项所述无人机摄影测量标志检测与定位方法，其特征在于，在所述步骤二中，公式(1)中δ的取值为10；在所述步骤四中，邻域半径r的取值为7。

6.根据权利要求5所述无人机摄影测量标志检测与定位方法，其特征在于，测量标志的白色区域使用白色晶彩格反光布制作，而黑色区域使用黑色植绒吸光布制作。

Images