CN115239882A - 一种基于弱光图像增强的农作物三维重建方法 - Google Patents

Abstract

本发明公开了一种基于弱光图像增强的农作物三维重建方法，其方法包括弱光农作物图像增强和农作物三维重建：所述弱光农作物图像增强包括采集弱光农作物图像、弱光农作物图像增强，主要功能为增强采集到的弱光环境下的农作物图像亮度，以提高图像质量；所述农作物三维重建包括基于尺度不变特征变换算法(SIFT)特征检测与匹配、基于运动中恢复结构(SFM)空间点云重建，主要功能为求取关键点作为特征点并得到特征点描述向量，应用欧氏距离判定得到匹配点对集，结合相机内外参数求得空间点云与相机位姿进行农作物三维重建；实现农机装备在弱光作业环境下对农作物精确的感知。

Description

一种基于弱光图像增强的农作物三维重建方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于弱光图像增强的农作物三维重建方法。

背景技术

实景三维重建应用于农机装备作业过程中，很好的解决生产环境复杂、农业作物特征多样的问题，不仅满足智慧农业精细化、高效化的重要需求，还为农机装备精确识别农作物提供了精准信息。针对农机装备在农田作业环境光照条件不够理想情况下，进行精确的三维重建，首先增强弱光下拍摄的农作物图像，然后对增强后的图像进行特征检测与匹配求取关键点作为特征点并得到特征点描述符，最后结合相机内外参数求得空间点云与相机位姿进行农作物三维重建。

目前主要农作物三维重建使用SFM方法，在弱光条件下很难完成重建任务，当输入的农作物图像受到光照约束时，会产生不正确的空间点云形状估计，不准确的相机轨迹，并且在一些场景中存在没有检测到真实特征或伪特征，无法与其他图像中的特征进行匹配的问题。

发明内容

针对上述问题，本发明的目的是为了提供一种基于弱光图像增强的农作物三维重建方法，该方法获取正确的空间点云形状与准确的相机位姿，重建出更为精准的农作物点云模型，提升农机装备在弱光作业环境下对农作物感知的精确度。

为了达到上述目的，本发明所采用的技术方案为：

基于弱光图像增强的农作物三维重建方法，所述方法包括弱光农作物图像增强和农作物三维重建：所述弱光农作物图像增强包括采集弱光农作物图像、弱光农作物图像增强，主要功能为增强采集到的弱光环境下的农作物图像亮度，以提高图像质量；所述农作物三维重建包括基于尺度不变特征变换算法(SIFT)特征检测与匹配、基于运动中恢复结构(SFM)空间点云重建，主要功能为求取关键点作为特征点并得到特征点描述向量，应用欧氏距离判定得到匹配点对集，结合相机内外参数求得空间点云与相机位姿进行农作物三维重建。

进一步的，所述采集弱光农作物图像，其过程为：室外弱光图像采集过程中，使用相机以待重建的农作物为中心进行拍摄，有利于完成拍摄场景的全景拼接；围绕待重建农作物场景拍摄，每转10度采集一次图像，围绕农作物有序地采集到大量含有不同高度信息的弱光农作物图像，并且在相邻图像中保留场景中更多的相同景物，使得重建细节丰富的同时，减少图像匹配花费的时间。

进一步的，所述弱光农作物图像增强，通过图层分解、反射率恢复和光照调整三个子网络构成弱光农作物图像增强网络，实现对弱光农作物图像的增强；由两张不同曝光条件下的农作物图像作为网络的输入图像，首先利用图层分解子网络，将输入的弱光农作物图像分解为光照分量和反射率分量两部分，光照分量负责亮度调整，反射率分量用于去除降质，并且两个部分之间共享权重；分解后的光照分量通过由多个卷积层构成的光照调整子网络，灵活地进行调整光照强度；分解后的反射率分量作为反射率恢复子网络的输入，经带有残差连接的编解码网络，执行去噪操作；最后通过组合反射率恢复子网络生成的反射率图像和光照调整子网络生成的光照图像形成最终的弱光农作物增强图像，有效地去除隐藏在黑暗区域的噪点、颜色失真等退化问题，并且自由调整适合的光照条件。

进一步的，所述SIFT特征检测与匹配，其步骤如下：

(1)通过对输入增强后的弱光农作物图像建立高斯差分金字塔，获得图像多尺度下的空间表示，实现尺度空间的构建，寻找候选点，其过程为：

高斯金字塔由多组图像序列构成，每组图像序列是通过组中基础图像I(x,y)和多次改变尺度因子σ的高斯函数G(x,y,σ)卷积计算得到的不同尺度图像L(x,y,σ)组成，从而构建成多尺度空间，卷积计算公式为：

其中含有尺度因子的高斯函数计算公式为：

图像高斯金字塔组数O是由图像I(x,y)的行高M与列宽N决定，计算公式为：

O＝[log₂min(M,N)]-3

图像高斯金字塔每组的层数S与待提取图像特征的图像数n有关，计算公式为：

S＝n+3

对应图像的高斯模糊系数σ(o,r)计算公式为：

o为高斯金字塔每组图像序列组索引序号；r为一组图像序列中尺度图像层索引序号；σ₀为高斯模糊初始值，SIFT算法中默认设定为1.6，考虑相机实际已对图像进行σ＝0.5的模糊处理，故实际初始高斯模糊系数σ₀为：

高斯差分金字塔是后期检测图像极值点的前提，通过创建的图像高斯金字塔中每一组图像序列内的相邻层相减得到，高斯差分金字塔中每层图像的极值点为待提取的特征点，高斯差分金字塔的计算公式为：

其中kσ表示与σ为不同图层的尺度因子；

(2)尺度空间极值点检测中，关键点是由高斯差分金字塔空间的局部极值点组成的，其过程为：关键点的初步探查是通过高斯差分金字塔中同一组内各相邻两层图像之间比较完成的，通过每一个中间检测点与它所有的26个相邻点比较，即同尺度的8个相邻点与上下相邻尺度对应的18个点，以确保在尺度空间和二维图像空间都检测到极值点；如果该检测点D(x,y,kσ)值在其26个相邻点D(x,y,kσ)值中是最大值或最小值时，则判定该检测点为图像在该尺度下的一个关键点；为得到更加精确的结果，通过对尺度空间D(x,y,kσ)函数进行曲线拟合寻找极值点来减小这种误差，考虑到物体的边缘在不同的图像中或者在同一图像中会有变化，因此删除存在的边缘效应，得到稳定的关键点，此时关键点具有缩放不变性，该点的坐标(x,y)和尺度L(x,y)会作为该点的特征信息被记录下来；

(3)SIFT特征区域的确定由三个值表示位置、尺度和方向信息，中心表示特征点位置，半径表示关键点的尺度，箭头表示主方向；使用图像梯度的方法求取局部结构的稳定方向，计算梯度幅值m和梯度方向θ计算公式为：

使用直方图统计关键点邻域内像素对应的梯度方向和幅值，选取相隔45度的八个基本方向为横轴表示梯度方向的角度，纵轴为梯度方向对应梯度幅值的累加，直方图中峰值就是关键点主方向，若某个关键点方向的峰值不低于设定主方向的80％，则将其设为关键点的辅方向，增加匹配稳定性，此时关键点被确定为SIFT特征点，并且具有旋转不变性；

(4)通过每个特征点的位置、尺度和方向信息，生成对应的特征点描述符，表示特征点邻域高斯图像梯度统计结果，使其不随各种变化而改变，并且描述符有较高的独特性，以便于提高特征点正确匹配的概率，描述符生成过程为：

(4-1)校正旋转主方向，为了保证特征矢量的旋转不变性，要以特征点为中心，在附近邻域内将坐标轴按照特征点主方向旋转θ_主角度，即将坐标轴旋转为特征点的主方向：

(4-2)生成描述符，获得128维的特征向量；旋转后以特征点主方向为中心，对其邻域像素区域分割成4×4个子区域，16个子区域用于生成描述该特征点的16个种子点，通过对特征点周围的像素进行分块，对于每个梯度进行相隔45度8个方向上的分解，求取特征点邻域所在尺度空间中每个像素的梯度幅值与梯度方向，然后利用高斯窗口对其进行加权运算，计算块内8个方向的梯度直方图，计算每个梯度方向的累加值，即可生成一个种子点，由于每个种子点有8个方向向量信息，这样一个特征点就可以产生128维的SIFT特征向量；这种邻域方向性信息联合增强了算法的抗噪声能力，同时对于含有定位误差的特征匹配也提供了比较理性的容错性；

(4-3)归一化处理128维的特征向量长度，降弱光照干扰使描述符具有光照不变特性，假设特征向量为H＝(h₁,h₂,…,h₁₂₈)，归一化后的特征向量为L＝(l₁,l₂,…,l₁₂₈)，归一化计算公式为：

归一化后还需要设定一个0.2的门限，经过筛选后得到最终的SIFT特征描述向量；

(5)特征点描述向量进行匹配，通过欧氏距离计算得到匹配点对集的方法解决物体遮挡和前景背景模糊带来的无匹配问题，当两幅图像的SIFT特征描述向量生成后，以特征描述向量的欧式距离作为两幅图像中特征点相似性判定度量；取一幅图像中的某个特征描述向量v，并找出其与另一图像中欧式距离最近的前两个特征描述向量v₁与v₂，且距离上v₁＜v₂，如果这两个特征点中最近的距离与次近的距离比值小于设定比例阈值M，计算公式为：

接受该对匹配点，特征描述向量v₁为特征描述向量v的匹配；降低比例阈值，SIFT匹配点数目会减少，但更加稳定；对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，表明比例阈值设定在0.4～0.6之间最佳，一般设定为0.5；对于准确度要求高的匹配，比例阈值为0.4；匹配点数目要求比较多的匹配时，比例阈值为0.6；

进一步的，所述SFM空间点云重建，利用匹配得到的特征点对和相机参数，来对特征点的三维信息进行求解，将匹配的特征点还原到三维空间中，点云重建过程为：

(1)提取输入的弱光农作物图像内部的EXIF信息，每张图像EXIF信息中包含拍摄该图像的属性信息和拍摄数据，从而获得相机的焦距和主点，计算出相机内参矩阵；

(2)通过权利要求4中得到两个农作物图像之间精准的点对应关系，利用匹配到的特征点对以及两个图像之间的对极约束来计算两个图像之间的基本矩阵，并和(1)中获得的相机内参计算出本质矩阵；给定源点云P与目标点云Q，表达式为：

P＝{p₁,p₂,…,p_n},Q＝{q₁,q₂,…,q_n}

通过寻找一个由旋转矩阵R和平移矩阵t组成的空间最优转换矩阵，使得点集P和Q之间的距离最小，最小化下式求解R，t：

(3)通过对本质矩阵进行奇异值分解，得到相机之间的外参数矩阵，其过程为：

(3-1)将点集P、Q中的点均减去自身的质心：

两组点集的质心分别为：

两组点集去质心后的坐标为：

(3-2)求去质心后两点集的本质矩阵：

(3-3)计算旋转矩阵R和平移矩阵t：

对(3-2)中的协方差矩阵W进行奇异值分解，当矩阵W满秩时，有唯一解：

t＝μ_q-Rμ_p

求解的旋转矩阵R和平移矩阵t，即是相机位姿，然后通过三角测量的方法计算出在世界坐标系下农作物特征点的三维坐标M,利用在两处观察同一点的夹角，进而来确定该点的位置关系；

(4)依次对相机位姿和农作物点云进行光束法平差优化，减小真实三维空间点在图像平面上的投影与重投影的差值，从每个相机位姿处观察农作物点都可以视为一个光束，通过优化整体所有光束代价最小时的(R,t,M)，对于n帧图像中每帧含K个特征点的目标函数计算公式为：

m_ij表示第i个三维点在第j个图像对应的特征点坐标；v_ij表示第i个三维点在第j个图像上是否有投影，如果有v_ij＝1，否则v_ij＝0；Q是将三维点映射到图像中的重投影函数；d为欧式距离度量函数；经光束法平差优化后获得精确的相机位姿和农作物点云三维坐标，最后生成农作物点云模型。

本发明有益效果体现在：

本发明所述的基于弱光图像增强的农作物三维重建方法，该方法提升农机装备在弱光作业环境下对农作物感知的精确度，重建出更为精准的农作物点云模型。以弱光农作物为中心使用相机有序地采集弱光农作物图像，通过弱光农作物图像增强网络，在调节农作物图像合适的光照条件的同时，去除图像噪声和颜色失真的问题，生成最终的弱光农作物增强图像；弱光农作物增强图像提高了在弱光环境下SIFT对农作物特征点检测的精确性，减小了特征点的误匹配，从而得到更加精确的特征点与特征点描述向量，应用欧氏距离判定得到匹配点对集，最后结合相机内外参数求得空间点云与相机位姿，解决了光照约束导致的空间点云形状估计不正确、相机位姿不准确的问题，利用SFM空间点云重建算法进行农作物三维重建，从而实现农机装备在弱光作业环境下对农作物精确的感知。基于弱光图像增强的农作物三维重建方法，有效提高了农机装备在弱光工作环境下对农作物的感知精准度，为农作物后期的识别提供了更为精准的环境信息。

附图说明

图1为本发明方法的整体框图。

图2为本发明方法弱光农作物图像增强流程图。

图3为本发明方法的SIFT特征检测整体流程图。

图4为本发明方法高斯差分金字塔构成示意图。

图5为本发明方法极值点检测示意图。

图6为本发明方法特征描述符生成示意图。

图7为本发明方法的SFM空间点云重建流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，一种基于弱光图像增强的农作物三维重建方法总体过程为：

包括弱光农作物图像增强和农作物三维重建：所述弱光农作物图像增强包括采集弱光农作物图像、弱光农作物图像增强，主要功能为增强采集到的弱光环境下的农作物图像亮度，以提高图像质量；所述基于尺度不变特征变换算法(SIFT)特征检测与匹配、基于运动中恢复结构(SFM)空间点云重建，主要功能为求取关键点作为特征点并得到特征点描述向量，应用欧氏距离判定得到匹配点对集，结合相机内外参数求得空间点云与相机位姿进行农作物三维重建。

采集弱光农作物图像过程为：室外弱光图像采集过程中，使用相机以待重建的农作物为中心进行拍摄，有利于完成拍摄场景的全景拼接；围绕待重建农作物场景拍摄，每转10度采集一次图像，围绕农作物有序地采集到大量含有不同高度信息的弱光农作物图像，并且在相邻图像中保留场景中更多的相同景物，使得重建细节丰富的同时，减少图像匹配花费的时间。

如图2所示，弱光农作物图像增强过程为：本发明通过图层分解、反射率恢复和光照调整三个子网络构成弱光农作物图像增强网络，实现对弱光农作物图像的增强；由两张不同曝光条件下的农作物图像作为网络的输入图像，首先利用图层分解子网络，将输入的弱光农作物图像分解为光照分量和反射率分量两部分，光照分量负责亮度调整，反射率分量用于去除降质，并且两个部分之间共享权重；分解后的光照分量通过由多个卷积层构成的光照调整子网络，灵活地进行调整光照强度；分解后的反射率分量作为反射率恢复子网络的输入，经带有残差连接的编解码网络，执行去噪操作；最后通过组合反射率恢复子网络生成的反射率图像和光照调整子网络生成的光照图像形成最终的弱光农作物增强图像，有效地去除隐藏在黑暗区域的噪点、颜色失真等退化问题，并且自由调整适合的光照条件。

如图3所示，SIFT特征检测与匹配过程为：

(1)通过对输入增强后的弱光农作物图像建立高斯差分金字塔，获得图像多尺度下的空间表示，实现尺度空间的构建，寻找候选点。

如图4所示，进一步的，所述高斯差分金字塔构建过程为：

高斯金字塔由多组图像序列构成，每组图像序列是通过组中基础图像I(x,y)和多次改变尺度因子σ的高斯函数G(x,y,σ)卷积计算得到的不同尺度图像L(x,y,σ)组成，从而构建成多尺度空间，卷积计算公式为：

其中含有尺度因子的高斯函数计算公式为：

图像高斯金字塔组数O是由图像I(x,y)的行高M与列宽N决定，计算公式为：

O＝[log₂min(M,N)]-3

图像高斯金字塔每组的层数S与待提取图像特征的图像数n有关，计算公式为：

S＝n+3

对应图像的高斯模糊系数σ(o,r)计算公式为：

o为高斯金字塔每组图像序列组索引序号；r为一组图像序列中尺度图像层索引序号；σ₀为高斯模糊初始值，SIFT算法中默认设定为1.6，考虑相机实际已对图像进行σ＝0.5的模糊处理，故实际初始高斯模糊系数σ₀为：

高斯差分金字塔是后期检测图像极值点的前提，通过创建的图像高斯金字塔中每一组图像序列内的相邻层相减得到，高斯差分金字塔中每层图像的极值点为待提取的特征点，高斯差分金字塔的计算公式为：

其中kσ表示与σ为不同图层的尺度因子；

(2)尺度空间极值点检测中，关键点是由高斯差分金字塔空间的局部极值点组成的。

如图5所示，进一步的，所述高斯差分金字塔极值点检测为：关键点的初步探查是通过高斯差分金字塔中同一组内各相邻两层图像之间比较完成的，通过每一个中间检测点与它所有的26个相邻点比较，即同尺度的8个相邻点与上下相邻尺度对应的18个点，以确保在尺度空间和二维图像空间都检测到极值点；如果该检测点D(x,y,kσ)值在其26个相邻点D(x,y,kσ)值中是最大值或最小值时，则判定该检测点为图像在该尺度下的一个关键点；为得到更加精确的结果，通过对尺度空间D(x,y,kσ)函数进行曲线拟合寻找极值点来减小这种误差，考虑到物体的边缘在不同的图像中或者在同一图像中会有变化，因此删除存在的边缘效应，得到稳定的关键点，此时关键点具有缩放不变性，该点的坐标(x,y)和尺度L(x,y)会作为该点的特征信息被记录下来；

(3)SIFT特征区域的确定由三个值表示位置、尺度和方向信息，中心表示特征点位置，半径表示关键点的尺度，箭头表示主方向；使用图像梯度的方法求取局部结构的稳定方向，计算梯度幅值m和梯度方向θ计算公式为：

使用直方图统计关键点邻域内像素对应的梯度方向和幅值，选取相隔45度的八个基本方向为横轴表示梯度方向的角度，纵轴为梯度方向对应梯度幅值的累加，直方图中峰值就是关键点主方向，若某个关键点方向的峰值不低于设定主方向的80％，则将其设为关键点的辅方向，增加匹配稳定性，此时关键点被确定为SIFT特征点，并且具有旋转不变性；

(4)通过每个特征点的位置、尺度和方向信息，生成对应的特征点描述符，表示特征点邻域高斯图像梯度统计结果，使其不随各种变化而改变，并且描述符有较高的独特性，以便于提高特征点正确匹配的概率。

如图6所示，进一步的，所述特征描述符生成过程为：

(4-1)校正旋转主方向，为了保证特征矢量的旋转不变性，要以特征点为中心，在附近邻域内将坐标轴按照特征点主方向旋转θ_主角度，即将坐标轴旋转为特征点的主方向：

(4-2)生成描述符，获得128维的特征向量；旋转后以特征点主方向为中心，对其邻域像素区域分割成4×4个子区域，16个子区域用于生成描述该特征点的16个种子点，通过对特征点周围的像素进行分块，对于每个梯度进行相隔45度8个方向上的分解，求取特征点邻域所在尺度空间中每个像素的梯度幅值与梯度方向，然后利用高斯窗口对其进行加权运算，计算块内8个方向的梯度直方图，计算每个梯度方向的累加值，即可生成一个种子点，由于每个种子点有8个方向向量信息，这样一个特征点就可以产生128维的SIFT特征向量；这种邻域方向性信息联合增强了算法的抗噪声能力，同时对于含有定位误差的特征匹配也提供了比较理性的容错性；

(4-3)归一化处理128维的特征向量长度，降弱光照干扰使描述符具有光照不变特性，假设特征向量为H＝(h₁,h₂,…,h₁₂₈)，归一化后的特征向量为L＝(l₁,l₂,…,l₁₂₈)，归一化计算公式为：

归一化后还需要设定一个0.2的门限，经过筛选后得到最终的SIFT特征描述向量；

(5)特征点描述向量进行匹配，通过欧氏距离计算得到匹配点对集的方法解决物体遮挡和前景背景模糊带来的无匹配问题，当两幅图像的SIFT特征描述向量生成后，以特征描述向量的欧式距离作为两幅图像中特征点相似性判定度量；取一幅图像中的某个特征描述向量v，并找出其与另一图像中欧式距离最近的前两个特征描述向量v₁与v₂，且距离上v₁＜v₂，如果这两个特征点中最近的距离与次近的距离比值小于设定比例阈值M，计算公式为：

接受该对匹配点，特征描述向量v₁为特征描述向量v的匹配；降低比例阈值，SIFT匹配点数目会减少，但更加稳定；对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，表明比例阈值设定在0.4～0.6之间最佳，设定为0.5；对于准确度要求高的匹配，比例阈值为0.4；匹配点数目要求比较多的匹配时，比例阈值为0.6；

如图7所示，SFM空间点云重建，利用匹配得到的特征点对和相机参数，来对特征点的三维信息进行求解，将匹配的特征点还原到三维空间中，SFM空间点云重建过程为：

(1)提取输入的弱光农作物图像内部的EXIF信息，每张图像EXIF信息中包含拍摄该图像的属性信息和拍摄数据，从而获得相机的焦距和主点，计算出相机内参矩阵；

(2)通过SIFT特征检测与匹配中得到两个农作物图像之间精准的点对应关系，利用匹配到的特征点对以及两个图像之间的对极约束来计算两个图像之间的基本矩阵，并和(1)中获得的相机内参计算出本质矩阵；给定源点云P与目标点云Q，表达式为：

P＝{p₁,p₂,…,p_n},Q＝{q₁,q₂,…,q_n}

通过寻找一个由旋转矩阵R和平移矩阵t组成的空间最优转换矩阵，使得点集P和Q之间的距离最小，最小化下式求解R，t：

(3)通过对本质矩阵进行奇异值分解，得到相机之间的外参数矩阵，其过程为：

(3-1)将点集P、Q中的点均减去自身的质心：

两组点集的质心分别为：

两组点集去质心后的坐标为：

(3-2)求去质心后两点集的本质矩阵：

(3-3)计算旋转矩阵R和平移矩阵t：

对(3-2)中的协方差矩阵W进行奇异值分解，当矩阵W满秩时，有唯一解：

t＝μ_q-Rμ_p

求解的旋转矩阵R和平移矩阵t，即是相机位姿，然后通过三角测量的方法计算出在世界坐标系下农作物特征点的三维坐标M,利用在两处观察同一点的夹角，进而来确定该点的位置关系；

(4)依次对相机位姿和农作物点云进行光束法平差优化，减小真实三维空间点在图像平面上的投影与重投影的差值，从每个相机位姿处观察农作物点都可以视为一个光束，通过优化整体所有光束代价最小时的(R,t,M)，对于n帧图像中每帧含K个特征点的目标函数计算公式为：

m_ij表示第i个三维点在第j个图像对应的特征点坐标；v_ij表示第i个三维点在第j个图像上是否有投影，如果有v_ij＝1，否则v_ij＝0；Q是将三维点映射到图像中的重投影函数；d为欧式距离度量函数；经BA优化后获得精确的相机位姿和农作物点云三维坐标，最后生成农作物点云模型。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (10)

1.一种基于弱光图像增强的农作物三维重建方法，其特征在于，包括弱光农作物图像增强和农作物三维重建：所述弱光农作物图像增强包括采集弱光农作物图像、弱光农作物图像增强，主要功能为增强采集到的弱光环境下的农作物图像亮度，以提高图像质量；所述农作物三维重建包括基于尺度不变特征变换算法特征检测与匹配、基于运动中恢复结构空间点云重建，主要功能为求取关键点作为特征点并得到特征点描述向量，应用欧氏距离判定得到匹配点对集，结合相机内外参数求得空间点云与相机位姿进行农作物三维重建。

2.根据权利要求1中所述的一种基于弱光图像增强的农作物三维重建方法，其特征在于，所述采集弱光农作物图像其过程为：室外弱光图像采集过程中，使用相机以待重建的农作物为中心进行拍摄；围绕待重建农作物场景拍摄，每转10度采集一次图像，围绕农作物有序地采集到大量含有不同高度信息的弱光农作物图像，并且在相邻图像中保留场景中更多的相同景物。

3.根据权利要求1中所述的一种基于弱光图像增强的农作物三维重建方法，其特征在于，所述弱光农作物图像增强包括以下步骤：

通过图层分解、反射率恢复和光照调整三个子网络构成弱光农作物图像增强网络，实现对弱光农作物图像的增强；

由两张不同曝光条件下的农作物图像作为网络的输入图像，首先利用图层分解子网络，将输入的弱光农作物图像分解为光照分量和反射率分量两部分，光照分量负责亮度调整，反射率分量用于去除降质，并且两个部分之间共享权重；

分解后的光照分量通过由多个卷积层构成的光照调整子网络，灵活地进行调整光照强度；

分解后的反射率分量作为反射率恢复子网络的输入，经带有残差连接的编解码网络，执行去噪操作；

通过组合反射率恢复子网络生成的反射率图像和光照调整子网络生成的光照图像形成最终的弱光农作物增强图像，并且自由调整适合的光照条件。

4.根据权利要求1中所述的一种基于弱光图像增强的农作物三维重建方法，其特征在于，所述尺度不变特征变换算法特征检测与匹配的步骤如下：

通过对输入增强后的弱光农作物图像建立高斯差分金字塔，获得图像多尺度下的空间表示，实现尺度空间的构建，寻找候选点，其过程为：

高斯金字塔由多组图像序列构成，每组图像序列是通过组中基础图像I(x,y)和多次改变尺度因子σ，高斯函数G(x,y,σ)卷积计算得到的不同尺度图像L(x,y,σ)组成，从而构建成多尺度空间，卷积计算公式为：

其中含有尺度因子的高斯函数计算公式为：

图像高斯金字塔组数O是由图像I(x,y)的行高M与列宽N决定，计算公式为：

O＝[log₂min(M,N)]-3

图像高斯金字塔每组的层数S与待提取图像特征的图像数n有关，计算公式为：

S＝n+3

对应图像的高斯模糊系数σ(o,r)计算公式为：

o为高斯金字塔每组图像序列组索引序号；r为一组图像序列中尺度图像层索引序号；σ₀为高斯模糊初始值，SIFT算法中默认设定为1.6，考虑相机实际已对图像进行σ＝0.5的模糊处理，故实际初始高斯模糊系数σ₀为：

高斯差分金字塔是后期检测图像极值点的前提，通过创建的图像高斯金字塔中每一组图像序列内的相邻层相减得到，高斯差分金字塔中每层图像的极值点为待提取的特征点，高斯差分金字塔的计算公式为：

其中kσ表示与σ为不同图层的尺度因子；

尺度空间极值点检测中，关键点包括高斯差分金字塔空间的局部极值点，检测过程为：关键点的初步探查是通过高斯差分金字塔中同一组内各相邻两层图像之间比较完成的，通过每一个中间检测点与它所有的26个相邻点比较，即同尺度的8个相邻点与上下相邻尺度对应的18个点，以确保在尺度空间和二维图像空间都检测到极值点；该检测点D(x,y,kσ)值在其26个相邻点D(x,y,kσ)值中是最大值或最小值时，则判定该检测点为图像在该尺度下的一个关键点；为得到更加精确的结果，通过对尺度空间D(x,y,kσ)函数进行曲线拟合寻找极值点来减小这种误差，考虑到物体的边缘在不同的图像中或者在同一图像中会有变化，因此删除存在的边缘效应，得到稳定的关键点，此时关键点具有缩放不变性，该点的坐标(x,y)和尺度L(x,y)会作为该点的特征信息被记录下来；

尺度不变特征变换算法特征区域的确定由三个值表示位置、尺度和方向信息，中心表示特征点位置，半径表示关键点的尺度，箭头表示主方向；使用图像梯度的方法求取局部结构的稳定方向，计算梯度幅值m和梯度方向θ计算公式为：

使用直方图统计关键点邻域内像素对应的梯度方向和幅值，选取相隔45度的八个基本方向为横轴表示梯度方向的角度，纵轴为梯度方向对应梯度幅值的累加，直方图中峰值就是关键点主方向，若某个关键点方向的峰值不低于设定主方向的80％，则将其设为关键点的辅方向，增加匹配稳定性，此时关键点被确定为尺度不变特征变换算法特征点，并且具有旋转不变性；

通过每个特征点的位置、尺度和方向信息，生成对应的特征点描述符，表示特征点邻域高斯图像梯度统计结果，使其不随各种变化而改变。

5.根据权利要求4中所述的一种基于弱光图像增强的农作物三维重建方法，其特征在于，所述特征点描述符生成过程包括以下步骤：

校正旋转主方向，为了保证特征矢量的旋转不变性，要以特征点为中心，在附近邻域内将坐标轴按照特征点主方向旋转θ_主角度，即将坐标轴旋转为特征点的主方向：

生成描述符，获得128维的特征向量；旋转后以特征点主方向为中心，对其邻域像素区域分割成4×4个子区域，16个子区域用于生成描述该特征点的16个种子点，通过对特征点周围的像素进行分块，对于每个梯度进行相隔45度8个方向上的分解，求取特征点邻域所在尺度空间中每个像素的梯度幅值与梯度方向，然后利用高斯窗口对其进行加权运算，计算块内8个方向的梯度直方图，计算每个梯度方向的累加值，即可生成一个种子点，由于每个种子点有8个方向向量信息，这样一个特征点就可以产生128维的SIFT特征向量；

归一化处理128维的特征向量长度，降弱光照干扰使描述符具有光照不变特性，假设特征向量为H＝(h₁,h₂,…,h₁₂₈)，归一化后的特征向量为L＝(l₁,l₂,…,l₁₂₈)，归一化计算公式为：

归一化后还需要设定一个0.2的门限，经过筛选后得到最终的SIFT特征描述向量；

特征点描述向量进行匹配，通过欧氏距离计算得到匹配点对集的方法解决物体遮挡和前景背景模糊带来的无匹配问题，当两幅图像的尺度不变特征变换算法特征描述向量生成后，以特征描述向量的欧式距离作为两幅图像中特征点相似性判定度量；取一幅图像中的某个特征描述向量v，并找出其与另一图像中欧式距离最近的前两个特征描述向量v₁与v₂，且距离上v₁＜v₂，若这两个特征点中最近的距离与次近的距离比值小于设定比例阈值M，计算公式为：

接受该对匹配点，特征描述向量v₁为特征描述向量v的匹配；降低比例阈值，尺度不变特征变换算法匹配点数目会减少，但更加稳定；对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，表明比例阈值设定在0.4～0.6之间最佳，一般设定为0.5；对于准确度要求高的匹配，比例阈值为0.4；匹配点数目要求比较多的匹配时，比例阈值为0.6。

6.根据权利要求1中所述的一种基于弱光图像增强的农作物三维重建方法，其特征在于，所述运动中恢复结构空间点云重建利用匹配得到的特征点对和相机参数，来对特征点的三维信息进行求解，将匹配的特征点还原到三维空间中，所述运动中恢复结构空间点云重建包括以下步骤：

提取输入的弱光农作物图像内部的可交换图像文件信息；

通过尺度不变特征变换算法特征检测与匹配得到两个农作物图像之间精准的点对应关系；

通过对本质矩阵进行奇异值分解；

依次对相机位姿和农作物点云进行光束法平差优化。

7.根据权利要求6中所述的一种基于弱光图像增强的农作物三维重建方法，其特征在于，提取输入的弱光农作物图像内部的可交换图像文件信息，每张图像可交换图像文件信息中包含拍摄该图像的属性信息和拍摄数据，从而获得相机的焦距和主点，计算出相机内参矩阵。

8.根据权利要求6中所述的一种基于弱光图像增强的农作物三维重建方法，其特征在于，通过尺度不变特征变换算法特征检测与匹配得到两个农作物图像之间精准的点对应关系，利用匹配到的特征点对以及两个图像之间的对极约束来计算两个图像之间的基本矩阵，通过获得的相机内参计算出本质矩阵；给定源点云P与目标点云Q，表达式为：

P＝{p₁,p₂,…,p_n},Q＝{q₁,q₂,…,q_n}

通过寻找一个由旋转矩阵R和平移矩阵t组成的空间最优转换矩阵，使得点集P和Q之间的距离最小，最小化下式求解R，t：

9.根据权利要求6中所述的一种基于弱光图像增强的农作物三维重建方法，其特征在于，通过对本质矩阵进行奇异值分解，得到相机之间的外参数矩阵，其过程为：

将点集P、Q中的点均减去自身的质心：

两组点集的质心分别为：

两组点集去质心后的坐标为：

求去质心后两点集的本质矩阵：

计算旋转矩阵R和平移矩阵t：

对协方差矩阵W进行奇异值分解，当矩阵W满秩时，有唯一解：

t＝μ_q-Rμ_p

求解的旋转矩阵R和平移矩阵t，即是相机位姿，然后通过三角测量的方法计算出在世界坐标系下农作物特征点的三维坐标M,利用在两处观察同一点的夹角，进而来确定该点的位置关系。

10.根据权利要求6中所述的一种基于弱光图像增强的农作物三维重建方法，其特征在于，依次对相机位姿和农作物点云进行光束法平差优化，减小真实三维空间点在图像平面上的投影与重投影的差值，从每个相机位姿处观察农作物点都可以视为一个光束，通过优化整体所有光束代价最小时的(R,t,M)，对于n帧图像中每帧含K个特征点的目标函数计算公式为：

m_ij表示第i个三维点在第j个图像对应的特征点坐标；v_ij表示第i个三维点在第j个图像上是否有投影，如果有v_ij＝1，否则v_ij＝0；Q是将三维点映射到图像中的重投影函数；d为欧式距离度量函数；经光束法平差优化后获得精确的相机位姿和农作物点云三维坐标，最后生成农作物点云模型。

Images