CN111062927A - 一种无人机图像质量检测的方法、***及设备 - Google Patents

Abstract

本发明公开了一种无人机图像质量检测的方法、***及设备，包括以下步骤：获取无人机拍摄到的需要检测的图像，并从中选择两张图像；对选择的图像采用Harris算法计算出图像的特征点；采用Lowe’s算法从特征点中提取出优质特征点，并对优质特征点两两之间进行匹配；重新选取需要检测的两张图像并重复步骤，获得所有需要检测的图像的优质特征点匹配的数量，根据图像优质特征点匹配的数量对图像进行质量分级。本发明通过采集Harris算法对图像的特征点的提取及匹配，其具有运行速度快、鲁棒性强等特点，通过对同一场景的两张照片的特征点快速提取，并对图像上的优质特征点进行两两匹配，依照优质匹配点数量的多少对图像的质量进行分级，大大提高了工作效率。

Description

一种无人机图像质量检测的方法、***及设备

技术领域

本发明涉及图像质量检测技术领域，尤其涉及一种无人机图像质量检测的方法、***及设备。

背景技术

无人机在外航拍作业返回后，现阶段对无人机得到的图像数据进行处理的过程主要是人工排查，需要手动打开每一张照片，依照是否模糊、照片内是否有需要拍摄的物体、照片的曝光是过亮还是过暗的标准来确定数据的质量是否合格；还需要检查照片与照片之间是否存在图像不连贯的情况。使用人工手段来排查使得对图像的检测时间过长，效率过低，并且大大增加了人力成本。

综上所述，现有技术中对无人机航拍作业的图像需要人工进行质量审核，存在着效率低下的技术问题。

发明内容

本发明提供了一种无人机图像质量检测的方法、***及设备，解决了现有技术中对无人机航拍作业的图像需要人工进行质量审核，存在着效率低下的技术问题。

本发明提供的一种无人机图像质量检测的方法，包括以下步骤：

步骤S1：获取无人机拍摄到的需要检测的图像，并从中选择两张图像；

步骤S2：对选择的图像采用Harris算法计算出图像的特征点；

步骤S3：采用Lowe’s算法从特征点中提取出优质特征点，并对优质特征点两两之间进行匹配；

步骤S4：重新选取需要检测的两张图像并重复步骤S2-S3，获得所有需要检测的图像的优质特征点匹配的数量，根据图像优质特征点匹配的数量对图像进行质量分级。

优选的，在步骤S1中，提取需要检测图像的拍摄时间，将拍摄时间最为接近的两张图像两两成组，并从中选择出一组图像执行后续步骤。

优选的，在步骤S1中，提取需要检测图像的位置信息，将位置信息最为接近的两张图像两两成组，并从中选择出一组图像执行后续步骤。

优选的，在步骤S1中，从需要检测图像中选择两张图像的具体步骤如下:

从需要检测的图像中提取位置信息以及拍摄时间信息，若需要检测的图像中没有检测到位置信息数据，将拍摄时间最为接近的两张图像两两成组，并从中选择出一组图像执行后续步骤；

若图像包含有位置信息，则根据图像位置信息，选择与该位置信息拍摄时间最为接近图像，并将图像两两成组，并从中选择出一组图像执行后续步骤。

优选的，Harris算法中的Harris矩阵如下：

其中，W(x,y)是图像中以点(x,y)为中心的窗口，又称窗口函数；I_x，I_y为图像上(x,y)的偏导数。

一种无人机图像质量检测的***，所述***包括：图像获取模块、Harris算法计算模块、Lowe’s算法计算模块以及图像质量分级模块；

所述图像获取模块用于获取无人机拍摄到的图像；

所述Harris算法计算模块用于从拍摄到的图像中任意选择两张图像，对选择出的图像采用Harris算法计算出图像的特征点；

所述Lowe’s算法计算模块用于从特征点中提取出优质特征点，并对优质特征点进行匹配；

所述图像质量分级模块用于根据优质特征点匹配的数量对图像进行质量分级。

优选的，所述***还包括图像排序模块以及图像分组模块；

所述图像排序模块用于对图像进行排序；

所述图像分组模块用于对图像进行分组。

优选的，所述***还包括储存模块。

优选的，所述***还包括显示模块。

一种无人机图像质量检测的设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述的一种无人机图像质量检测的方法。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明通过采集Harris算法对图像的特征点的提取及匹配，其具有运行速度快、原理简单、鲁棒性强等特点。通过对同一场景的两张照片的特征点快速提取，并对图像上的优质特征点进行两两匹配，依照优质匹配点数量的多少从而对图像的质量进行分级，大大提高了工作效率，解决了现有技术对无人机航拍作业的图像需要人工进行质量审核，效率低下的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种无人机图像质量检测的方法、***及设备的方法流程图。

图2为本发明实施例提供的一种无人机图像质量检测的方法、***及设备的***结构图。

图3为本发明实施例提供的一种无人机图像质量检测的方法、***及设备的设备框架图。

图4为本发明实施例提供的一种无人机图像质量检测的方法、***及设备的进行Harris角点检测的过程图。

图5为本发明实施例提供的一种无人机图像质量检测的方法、***及设备的进行Harris角点检测的过程图。

图6为本发明实施例提供的一种无人机图像质量检测的方法、***及设备的结果导出图。

具体实施方式

本发明实施例提供了一种无人机图像质量检测的方法、***及设备，用于解决现有技术对无人机航拍作业的图像需要人工进行质量审核，存在着效率低下的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例提供的一种无人机图像质量检测的方法。

本发明提供的一种无人机图像质量检测的方法，包括以下步骤：

步骤S1：获取无人机拍摄到的需要检测的图像，并从中选择两张图像；

从无人机外业航拍中的图像中，选择需要检测的全部图像，由于原照片过大影响特征点的计算速度，在不影响特征点匹配精度的情况下，按照一定比例缩放，并从中选取出两张图像；

步骤S2：对选择的图像采用Harris算法计算出图像的特征点；

基于特征点的图像配准方法是图像配准中最常见的方法之一。它不是直接利用图像像素值，二十通过像素值导出的符号特征(如特征点、特征线、特征区域)来实现图像配准，因此可以克服利用灰度信息进行图像配准的缺点，主要体现在以下三个方面：(1)利用特征点而不是图像灰度信息，大大减少了在匹配过程中的计算量；(2)特征点的匹配度量值相对位置变化比较敏感，可以提高匹配的精度；(3)特征点的提取过程可以减少噪声的影响，对灰度变化、图像形变以及遮挡等都有较好的适应能力。

而角点(corner points)，是一类重要的特征点，因此，可通过计算图像中的角点从而获得图像的特征点，角点的定义如下：

(1)局部窗口沿各方向移动，灰度均产生明显变化的点

(2)图像局部曲率突变的点

Harris角点在任意方向上移动，都会有很明显的变化。人眼对角点的识别通常是在一个局部的小区域或者小窗口完成的。将这个特定的窗口向各个方向移动，如果窗口内区域的灰度发生巨大的变化，那么表示在窗口内遇到了角点；如果这个特定的窗口在图像上往个个方向移动时，窗口内图像的灰度没有发生变化，那么窗口内就不存在角点；如果这个特定的窗口在图像上往某一个方向移动时，窗口内图像发生了较大的变化，而在另一方向上没有发生变化，那么窗口内的图像可能就是一条直线的线段。

对于图像上的一点I(x,y)，在点(x,y)处平移(Δx,Δy)后的自相似性，通过自相关函数给出：

c(x,y；Δx,Δy)＝∑(u,v)∈W(x,y)w(u,v)(I(u,v)–I(u+Δx,v+Δy))²

其中，W(x,y)是以点(x,y)为中心的窗口，又称窗口函数。u，v分别表示x、y方向平移的偏移量。

w(u,v)为加权函数，既可以是常数，也可以是高斯加权函数。

其中窗口函数(权重矩阵)可以是平坦的，也可以是高斯的。(权重矩阵W(通常为高斯滤波器Gσ))。

图像I(x,y)在点(x,y)处平移(Δx,Δy)后，将平移后的式子进行泰勒展开如下：

I(u+Δx,v+Δy)＝I(u,v)+I_x(u,v)Δx+I_y(u,v)Δy+o(Δx²,Δy²)≈I(u,v)+I_x(u,v)Δx+I_y(u,v)Δy

其中，O表示中心点，I_x，I_y是图像I(x,y)的偏导数，自相关函数可以简化为：

其中，c是构造的一个可逆矩阵：

图像I(x,y)在点(x,y)处平移(Δx,Δy)后的自相关函数可以近似为二项式函数：

c(x，y；Δx，Δy)≈AΔx²+2CΔxΔy+BΔy²

其中：

最后，M的表达式如下：

矩阵M又称为Harris矩阵。W的宽度决定了在像素x周围的感兴趣区域。像这样在区域附近对矩阵M取平均的原因是，特征值会依赖于局部图像特性而变化。

因此，通过矩阵M来对图像中的角点进行检测；

图像上的点I(x,y)在点(x,y)处平移(Δx,Δy)后的自适应函数实质上即为二项式函数，将二项式函数转换为一个椭圆函数。则可得，椭圆的扁率和尺寸是由M(x,y)的特征值λ₁、λ₂决定的，椭圆的方向是由M(x,y)的特征矢量决定的，椭圆方程为：

而椭圆函数特征值与图像中的角点、直线(边缘)和平面之间的关系如图4所示，共可分为三种情况：

a.图像中的直线。此情况下，特征值的数值一大一小，例如，λ1>λ2或λ2>λ1，则说明自相关函数值在某一方向上大，在其他方向上小。

b.图像中的平面。此情况下，两个特征值都小，且近似相等，则说明自相关函数数值在各个方向上都小。

c.图像中的角点。此情况下，两个特征值都大，且近似相等，则说明自相关函数在所有方向都增大。

因此，可通过M的两个特征值λ1和λ2的大小对图像点进行分类，如果λ1和λ2都很小，图像窗口在所有方向上移动都无明显灰度变化，则该图像不存在角点；

定义角点相应函数R：

R＝detM-k(traceM)²

traceM＝λ₁+λ₂

detM＝λ₁λ₂

其中，k为经验常数，一般取k＝0.04～0.06。为了去除加权常数κ，通常使用商数detM/(traceM)2作为指示器。所以，图4可以转化为如图5所示：

其中：

·R只与M的特征值有关

·角点：R为大数值正数

·边缘：R为大数值负数

·平坦区：R为小数值

因此，在对图像上的点进行计算时，若计算出R为大数值正数，则可判断该点为角点，即图像的特征点。

步骤S3：采用Lowe’s算法从特征点中提取出优质特征点，并对优质特征点两两之间进行匹配；

Lowe’s算法通过进一步筛选匹配点来获取优秀的匹配点，达到“去粗取精”的效果。

为了排除因为图像遮挡和背景混乱而产生的无匹配关系的特征点并提取出优质特征点，Lowe提出了比较最近邻距离与次近邻距离的特征点匹配方式：取一幅图像中的一个特征点，并找出其与另一幅图像中欧式距离最近的前两个特征点，在这两个特征点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对特征点的匹配，形成匹配点。对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低这个比例阈值T，匹配点的数目会减少，但更加稳定，反之亦然。

Lowe推荐ratio的阈值为0.8，但在本实施例中对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0.4～0.6之间最佳，小于0.4的很少有匹配点，大于0.6的则存在大量错误匹配点，因此，ratio的取值原则如下:

ratio＝0.4：对于准确度要求高的匹配；

ratio＝0.6：对于匹配点数目要求比较多的匹配；

ratio＝0.5：通常情况下。

因此，采用Lowe’s算法，并将ratio取值为0.4～0.6，从图像中的特征点中提取出优质特征点，并完成优质特征点的匹配。

步骤S4：根据优质特征点匹配的数量对图像进行质量分级，若匹配点的数据越多，则表示图像的质量越好；

根据以上的结果，以报表的形式生成word文档并导出，其结果如图6所示。

作为一个优选的实施例，在步骤S1中，提取需要检测图像的拍摄时间，将拍摄时间最为接近的两张图像两两成组，并从中选择出一组图像执行后续步骤。

作为一个优选的实施例，在步骤S1中，提取需要检测图像的位置信息，将位置信息最为接近的两张图像两两成组，并从中选择出一组图像执行后续步骤。

作为一个优选的实施例，在步骤S1中，从需要检测图像中选择两张图像的具体步骤如下:

从需要检测的图像中提取位置信息以及拍摄时间信息，若需要检测的图像中没有检测到位置信息数据，将拍摄时间最为接近的两张图像两两成组，并从中选择出一组图像执行后续步骤；

若图像包含有位置信息，则根据图像位置信息，选择与该位置信息拍摄时间最为接近图像，并将图像两两成组，并从中选择出一组图像执行后续步骤。

如图2所示，一种无人机图像质量检测的***，所述***包括：图像获取模块1、Harris算法计算模块4、Lowe’s算法计算模块5以及图像质量分级模块6；

所述图像获取模块1用于获取无人机拍摄到的图像；

所述Harris算法计算模块4用于从拍摄到的图像中任意选择两张图像，对选择出的图像采用Harris算法计算出图像的特征点；

所述Lowe’s算法计算模块5用于从特征点中提取出优质特征点，并对优质特征点进行匹配；

所述图像质量分级模块6用于根据优质特征点匹配的数量对图像进行质量分级。

作为一个优选的实施例，所述***还包括图像排序模块2以及图像分组模块3；

所述图像排序模块2用于对图像进行排序；根据拍摄时间的先后顺序对图像进行排序。

所述图像分组模块3用于对图像进行分组。图像分组的方法包括以下两种：

若图像中没有无人机返航的数据，则根据时间上的排序将图像划分为两两一组；

若图像中含有无人机返航的数据，则根据图像的GPS信息，计算出返航数据中与该图像拍摄时间最接近的图像并将两者重新分为一组。

作为一个优选的实施例，所述***还包括储存模块7，所述储存模块7用于将进行质量分级后的图像进行储存；

作为一个优选的实施例，所述***还包括显示模块8，所述显示模块用于将图像质量分级的结果进行展示。

如图3所示，一种无人机图像质量检测的设备30，所述设备包括处理器300以及存储器301；

所述存储器301用于存储程序代码302，并将所述程序代码302传输给所述处理器；

所述处理器300用于根据所述程序代码302中的指令执行上述的一种无人机图像质量检测的方法中的步骤。

示例性的，所述计算机程序302可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器301中，并由所述处理器300执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序302在所述终端设备30中的执行过程。

所述终端设备30可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器300、存储器301。本领域技术人员可以理解，图3仅仅是终端设备30的示例，并不构成对终端设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器300可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器301可以是所述终端设备30的内部存储单元，例如终端设备30的硬盘或内存。所述存储器301也可以是所述终端设备30的外部存储设备，例如所述终端设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器301还可以既包括所述终端设备30的内部存储单元也包括外部存储设备。所述存储器301用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器301还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种无人机图像质量检测的方法，其特征在于，包括以下步骤：

步骤S1：获取无人机拍摄到的需要检测的图像，并从中选择两张图像；

步骤S2：对选择的图像采用Harris算法计算出图像的特征点；

步骤S3：采用Lowe’s算法从特征点中提取出优质特征点，并对优质特征点两两之间进行匹配；

步骤S4：重新选取需要检测的两张图像并重复步骤S2-S3，获得所有需要检测的图像的优质特征点匹配的数量，根据图像优质特征点匹配的数量对图像进行质量分级。

2.根据权利要求1所述的一种无人机图像质量检测的方法，其特征在于，在步骤S1中，提取需要检测图像的拍摄时间信息，将拍摄时间最为接近的两张图像两两成组，并从中选择出一组图像执行后续步骤。

3.根据权利要求1所述的一种无人机图像质量检测的方法，其特征在于，在步骤S1中，提取需要检测图像的位置信息，将位置信息最为接近的两张图像两两成组，并从中选择出一组图像执行后续步骤。

4.根据权利要求3所述的一种无人机图像质量检测的方法，其特征在于，在步骤S1中，从需要检测图像中选择两张图像的具体步骤如下:

从需要检测的图像中提取位置信息以及拍摄时间信息，若需要检测的图像中没有检测到位置信息数据，将拍摄时间最为接近的两张图像两两成组，并从中选择出一组图像执行后续步骤；

若图像包含有位置信息，则根据图像位置信息，选择与该位置信息拍摄时间最为接近图像，并将图像两两成组，并从中选择出一组图像执行后续步骤。

5.根据权利要求4所述的一种无人机图像质量检测的方法，其特征在于，Harris算法中的Harris矩阵如下：

其中，W(x,y)是图像中以点(x,y)为中心的窗口，又称窗口函数；I_x，I_y为图像上(x,y)的偏导数。

6.一种无人机图像质量检测的***，其特征在于，所述***包括：图像获取模块、Harris算法计算模块、Lowe’s算法计算模块以及图像质量分级模块；

所述图像获取模块用于获取无人机拍摄到的图像；

所述Harris算法计算模块用于从拍摄到的图像中任意选择两张图像，对选择出的图像采用Harris算法计算出图像的特征点；

所述Lowe’s算法计算模块用于从特征点中提取出优质特征点，并对优质特征点进行匹配；

所述图像质量分级模块用于根据优质特征点匹配的数量对图像进行质量分级。

7.根据权利要求6所述的一种无人机图像质量检测的***，其特征在于，所述***还包括图像排序模块以及图像分组模块；

所述图像排序模块用于对图像进行排序；

所述图像分组模块用于对图像进行分组。

8.根据权利要求7所述的一种无人机图像质量检测的***，其特征在于，所述***还包括储存模块。

9.根据权利要求8所述的一种无人机图像质量检测的***，其特征在于，所述***还包括显示模块。

10.一种无人机图像质量检测的设备，其特征在于，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的一种无人机图像质量检测的方法。

Images