CN112561883A - 农作物rgb图像重建高光谱图像的方法 - Google Patents

Abstract

本发明公开了一种农作物RGB图像重建高光谱图像的方法，利用普通相机和高光谱相机，在相同的环境下进行图像采集，并利用标记点进行坐标系转换，使两类图像的坐标系转换到同一坐标系下；通过数据清洗，使两类图像的大小一致、像素点一一对应；再利用两类图像采集的数据，建立矩阵方程，并计算获取普通相机RGB图像到高光谱图像的转换矩阵；利用转换矩阵，实现RGB图像到高光谱图像的转换；进一步采用Hermite分段插值算法，进行多项式插值，使光谱曲线扩展拟合，得到高光谱扩展频点上的光谱图像。本发明能大幅度降低利用图像处理技术进行农作物病害检测的成本，并弥补了采用高光谱相机不能进行特定频率光谱图像采集的弊端，适用于在扩展频点上对新型病害的检测。

Description

农作物RGB图像重建高光谱图像的方法

技术领域

本发明涉及一种农作物RGB图像重建高光谱图像的方法，属于农作物智能监控技术领域。

背景技术

从农业当下发展看，智慧农业能够以科技引领农业领域向智能化、高质量发展。作为智慧经济形态在农业中的具体表现，智慧农业将计算机技术、物联网技术运用到传统农业中去，从而使得农业生产逐步挣脱了“看天吃饭”、“卖力种田”的束缚。温室大棚中，通过计算机屏幕就能检测、调整适宜的空气温湿度、土壤湿度、二氧化碳浓度及各种农作物生长环境参数；广阔田野上，先进的农业机械，能够“多快好省”地完成播种、收割工作。智慧农业促进农业高质量发展，为农业产业发展，奠定了坚实基础。

农作物病害是指农作物在生物或非生物因素的影响下，发生的形态、生理和生化上的病理变化，会阻碍植物正常生长、发育和结果的进程。精细化管理是全球农业发展的必然趋势，其技术基础是农田及农作物信息的获取，其中如何快速实时获取农作物病害信息，是实现农业精细化管理，提高农作物产量、质量的关键问题。

基于农作物图像的病害检测技术，主要有基于叶脉特征的农作物叶面病害的早期检测、基于图像纹理特征的农作物叶面病害检测、基于光谱特征的农作物叶面病害检测等技术手段，其中，采用高光谱相机拍摄的指定光谱频率的图像，利用光谱特征进行农作物叶面病害检测，是目前主流的检测手段。

在实际农业生产过程中，存在高光谱相机成本高、体积较大、重量较重等问题，特别是利用无人机进行拍摄，将加大无人机的载荷，进一步提升了农业生产的成本；另一方面，高光谱相机中，根据相机内的光学器件及电子器件的具体设计，通常会预设一定的光谱频段，并只能在这一系列的光谱频段上进行成像。当需要对特定病害进行分析时，高光谱相机不能采集到非预设频点上的光谱特性，将不能实现在指定频率上的光谱成像及相应的病害分析。

因此，如何利用普通相机拍摄的RGB图像，重建出高光谱相机拍摄的光谱图像，并实现光谱的连续化，满足对特定频率光谱成像的需求，成为利用光谱特性进行农作物病害检测的重要技术之一。农作物RGB图像重建高光谱图像的方法，将大幅度减少病害检测的成本，可大面积推广应用于智慧农业生产实践中。

发明内容

本发明的目的在于克服现有技术存在的上述问题，提供一种农作物RGB图像重建高光谱图像的方法。本发明能大幅度降低利用图像技术进行农作物病害检测的成本，并弥补了采用高光谱相机不能进行特定频率光谱图像采集的弊端，可用于在扩展频点上对新型病害的检测。

为实现上述目的，本发明采用的技术方案如下：

一种农作物RGB图像重建高光谱图像的方法，其特征在于，包括如下步骤：

a、农作物图像数据采集：

在相同环境下，利用普通相机和高光谱相机，分别进行农作物图像采集；

b、图像像素坐标系转换：

采用莫洛金斯基七参数模型进行坐标系转换参数的计算，使两类图片的坐标系转换； c、数据清洗：

通过数据清洗，使两类图片的大小一致、像素点一一对应；

d、RGB图像到高光谱图像的转换：

建立普通相机的RGB采集矩阵以及高光谱相机的强度矩阵，利用最小二次法，计算获取最小均方差情况下的转换矩阵，使RGB图像转换为高光谱图像；

e、高光谱曲线扩展拟合：

采用Hermite分段插值算法，进行多项式插值，使光谱曲线扩展拟合，得到高光谱扩展频点上的光谱图像。

所述步骤a中，所采集农作物四周，部署4个标记点Q1、Q2、Q3、Q4，用于后续对图像的定位及相机坐标系的转换；所采集的图像，为普通相机的RGB图像和高光谱相机在不同频段上的多幅图像；普通相机采集的图像为A，高光谱相机采集的图像为B，高光谱相机的频段数量为n，则高光谱相机的n个频段采集的图像为B_i(i＝1,2...n)。

所述步骤b中，在普通相机采集的图像A上，记录标记点Q1、Q2、Q3、Q4的像素坐标为X_A＝(x_A,i,y_A,i)，其中i＝1,2，3,4为4个标记点序号；在高光谱相机采集的图像 B_i(i＝1,2...n)中，任意选取一幅图像，记录标记点Q1、Q2、Q3、Q4的像素坐标为 X_B＝(x_B,i,y_B,i)，其中i＝1,2，3,4为4个标记点序号。

所述莫洛金斯基七参数模型坐标转化公式为X_B＝X_p+(1+α)R(X_A-X_p)+dX，其中， X_p为过渡点坐标，通过Q1、Q2、Q3、Q4点求取几何重心获取，在方程中可看为已知值； X_A、X_B为在图像上Q1、Q2、Q3、Q4点采集的两个坐标系的坐标矢量，dX为三个坐标的平移量，α为缩放量尺度参数，R为三个坐标轴的旋转角度生成的旋转矩阵；平移量 dX、缩放量α以及选旋转量R的三个旋转角度ω_x、ω_y、ω_z，即为利用莫洛金斯基模型待求解的七个参数，待求的7个参数向量可表示为Y＝{dx,dy,dz,ω_x,ω_y,ω_z,α}；其中旋转矩阵可表示为三个子矩阵的乘积：

由此可见，矩阵方程X_B＝X₀+(1+α)R(X_A-X₀)+dX为非线性方程，采用高斯牛顿法，利用迭代算法，求解非线性方程，最终求解出7个参数向量Y＝{dx,dy,dz,ω_x,ω_y,ω_z,α}，完成坐标转换。

所述坐标转换具体计算步骤如下：

1、给定初值Y₀；

2、由莫洛金斯基矩阵方程的函数形式f(X)＝X-[X_p+(1+α)R(X_A-X_p)+dX]，通过对f(X)的微分计算，获取雅克比矩阵表达式J；代入Y₀，计算J(Y₀)；

3、计算H(Y₀)＝J^T(Y₀)*J(Y₀)，B(Y₀)＝-J^T(Y₀)*f(Y₀)，其中 f(X)＝X-[X_p+(1+α)R(X_A-X_p)+dX]；

4、求解方程H*△Y＝B，解出△Y；

5、若△Y小于设置的门限，则停止迭代，此时的Y值，即为待求解的七个参数值；否则设置Y＝Y₀+△Y，重复2,3,4步骤，重复迭代计算。

计算获取到坐标转换的7个参数Y＝{dx,dy,dz,ω_x,ω_y,ω_z,α}，在实际坐标转换计算时，利用矩阵方程X_B＝X₀+(1+α)R(X_A-X₀)+dX，即可进行两幅图像间坐标的高精度转换。

所述步骤c具体步骤如下：

1、基础图像选取：选取A图像作为基础图像；

2、图像裁剪：在A图像上，根据目标农作物的范围，在图像上选取所需要分析的像素坐标范围为X_A，min、X_A，max，并形成矩形框，下述像素坐标转换和像素汇聚，均在此矩形框内进行；将X_A，min、X_A，max分别代入坐标转换公式X_B＝X₀+(1+α)R(X_A-X₀)+dX，计算获取X_B，min、X_B，max，从而形成图片B上的矩形框；分别采集A、B两幅图像上的矩形框内的像素数据，形成A、B图像数据集P_A＝{R，G，B，X_A},P_B＝{I，X_B}，其中，R、 G、B为像素三通道值，I为光谱强度值，X_A、X_B为各自坐标系下的坐标向量；

3、像素坐标转换：针对P_B＝{I，X_B}，首先将矩阵转换公式 X_B＝X₀+(1+α)R(X_A-X₀)+dX变换为X_A＝X₀+R^-1(X_B-dX-X₀)/(1+α)，利用此公式，将P_B集合的坐标X_B转换为A图像坐标系上的坐标，形成坐标转换后的B图像采样数据集合P_B->A＝{I，X_B->A}；

4、图像像素汇聚：将P_B->A＝{I，X_B->A}的坐标X_B->A取整，对于相同整数坐标值的数据，取这些数据的平均值，作为该整数像素点的数据值；

通过上述步骤，使A、B两类图像采集数据按照像素坐标的一一对应，相同像素坐标点上，两类图像对应了相同的物理位置；B图像集的像素采样值进行上述转换后，形成经坐标转换后的图像集合D_i(i＝1,2...n)。

所述步骤d具体包括：

1、针对经过坐标转换和数据清洗的图像C、D_i(i＝1,2...n)，其像素位置及坐标一一对应，标识了同一位置点上的采样数据；针对图像C，遍历所有像素，建立RGB采集矩阵

其中，R、G、B为像素上RGB的3个通道的在像素点上采样值，m为像素总数；针对图像集合D_i(i＝1,2...n)，使用图像C相同的像素遍历方式，提取每一幅图像上的强度值，形成高光谱相机强度采样值矩阵

其中，I为像素点上强度采样值，m为像素总数，n为高光谱相机的频段数量，I_i,j中，i 为像素序号，j为频段序号；进一步建立S、I矩阵的转换矩阵方程为I＝S*T，其中，T 为待求解的3*n转换矩阵；将该方程进行矩阵变换，形成新的矩阵方程形式为 (S^TS)^-1S^T*I*I^T＝T*I^T，其中上标T为矩阵转置，上标-1为矩阵的逆；记 R＝(S^TS)^-1S^T*I*I^T，P＝I^T，上述矩阵方程转换为标准的矩阵方程R＝T*P，其中R、P利用采样值矩阵S、I经过运算获得，T为带求解的转换矩阵；针对矩阵方程R＝T*P，利用最小二乘法，计算出最小均方差情况下的转换矩阵T＝(P^TP)^-1P^TR；

2、通过计算获取的转换矩阵T，利用RGB图像上的像素点的RGB通道数值，利用I＝S*T，计算出在不同频段上的强度值，完成从RGB图像至高光谱频段强度的拟合计算；

3、遍历RGB图像上的每一个像素点，进行I＝S*T计算，获取到每一像素点上的高光谱n个频段的强度值；按照高光谱频段进行像素点整理，重建出针对每一频段的光谱图像，完成n个频段的光谱重建图像。

所述步骤e中，利用高光谱相机生成的n个频段的数据，以及相同环境下拍摄的RGB图像，计算出转换矩阵T，完成从RGB图像，重建这n个频段的高光谱图像。

所述步骤e中，对于RGB图像上某一像素的RGB通道采样值(R,G,B)，利用I＝S*T，计算得到n个频段上的光谱强度(I₁,I₂...,I_n)，n个频段的中心频率为(f₁,f₂...,f_n)，构建 I-f的离散曲线I(f)，进而利用Hermite插值的分段曲线拟合方法，插值生成光滑的I(f) 曲线，在曲线中，代入相应的频率值f，计算出在此频率上的光谱强度值，完成RGB像素点到频率f的光谱强度的拟合计算。

所述RGB像素点到频率f的光谱强度的拟合计算步骤如下：

对于光谱强度I的分段拟合，利用(I₁,I₂...,I_n)，对于相邻两个数据点I_i,I_i+1，进行两点三次Hermite分段插值，插值函数为3次函数H_i(f)＝a₀+a₁f+a₂f²+a₃f³，其中，f 为频率变量；Hermite分段插值过程中，H_i(f)函数满足：

1、I_i、I_i+1在函数H_i(f)上；

2、为满足函数的光滑性，在端点I_i上，满足H_i(f)导数与H_i-1(f)的导数相等，在端点I_i+1上，满足H_i(f)导数与H_i+1(f)的导数相等，从而满足拟合函数的光滑性；

利用上述两类条件，即获取4个已知条件，代入3次函数 H_i(f)＝a₀+a₁f+a₂f²+a₃f³，分段求解出拟合出待定系数a_i(i＝0,1,2,3)，拟合出 (I₁,I₂)......(I_n-1,I_n)点间的3次多项式拟合曲线H_i(f)(i＝1,2,....n-1)；

针对需要拟合计算的频率f，在频率集(f₁,f₂...,f_n)中，判断f_k＜f≤f_k+1，利用分段拟合的H_k(f)函数，计算出在频率f处的强度值，完成强度的拟合计算；

利用上述方法，针对RGB图像中的每一像素点，进行频率f的光谱强度拟合计算，完成RGB图像到频率f的光谱图像的转换，重建出频率f处的光谱图像。

采用本发明的优点在于：

一、本发明提供一种农作物RGB图像重建高光谱图像的方法，适用于利用普通相机拍摄的农作物RGB图像，并采用先进的图像处理技术及算法，重建出高光谱图像，有效降低了病害检测成本，适用于针对农作物病害的大面积检测，具有低成本、先进性、实用性、智能化、可延展性、高效性等特点。

二、本发明利用莫洛金斯基七参数模型，实现普通相机和高光谱相机的坐标系转换。本发明借鉴地图转换技术，实现不同相机的像素坐标转换，计算速度快、精度高，是一种图像像素坐标转换的高效、高精度方法。

三、本发明利用采集的普通相机和高光谱相机的图像数据，通过数据清洗、采集数据矩阵建立、转换方程建立，并采用最小二乘法求解转换矩阵，高效地实现了普通相机的RGB图像到高光谱相机的光谱图像的转换，有效降低了农作物病害检测的成本，可大量推广至智慧农业的大面积病害检测的生产实践中。

四、本发明利用Hermite分段插值的数学方法，进一步将离散的光谱强度，扩展为连续的光谱强度曲线，获取得到高光谱扩展频点上的光谱图像，弥补了现有高光谱相机只能在指定频点上成像的缺陷，适用于在扩展频点上对新型病害的检测。

综上所述，本发明大幅度降低了利用图像技术进行农作物病害检测的成本，并弥补了采用高光谱相机不能进行特定频率光谱图像采集的弊端，可用于在扩展频点上对新型病害的检测。因此，本发明的技术方法，可大面积应用于智慧农业的病害检测中。

具体实施方式

本发明首先利用普通相机和高光谱相机，在相同的环境下进行图像采集，并利用标记点，采用莫洛金斯基七参数模型进行坐标系转换，实现两类图像的坐标系转换；进而利用数据清洗方法，实现两类图像的大小一致、像素点一一对应；随后利用两类图像采集的数据，建立矩阵方程，并通过最小二乘法，计算获取普通相机RGB图像到高光谱图像的转换矩阵；利用转换矩阵，即可实现RGB图像至高光谱图像的转换；进一步采用Hermite分段插值算法，进行多项式插值，实现光谱曲线扩展拟合，获取得到高光谱扩展频点上的光谱图像。

以下对本发明做进一步具体说明。

一种农作物RGB图像重建高光谱图像的方法，具体如下：

农作物图像数据采集：

在相同环境下，利用普通相机和高光谱相机，分别进行图像采集，所采集的农作物四周，部署4个标记，用于后续对图像的定位及相机坐标系的转换；所采集的图像，为普通相机的RGB图像和高光谱相机在不同频段上的多幅图像。

图像像素坐标系转换：

由于普通相机和高光谱相机图像分辨率、图像长宽比、焦距等相机参数不同，因此图像存在位移、旋转、缩放的不一致，本发明采用莫洛金斯基七参数模型进行坐标系转换参数的计算，实现两类图片的坐标系转换，以便后续进行图片相同位置点的数据清洗、提取和数据转换。

数据清洗：

针对普通相机和高光谱相机图像分辨率不同，利用数据清洗方法，实现两类图片的大小一致、像素点一一对应，以便后续进行图片相同位置点的数据提取和数据转换。

RGB图像到高光谱图像的转换：

建立普通相机的RGB采集矩阵以及高光谱相机的强度矩阵，利用最小二次法，计算获取最小均方差情况下的转换矩阵，实现RGB图像到高光谱图像的转换。

高光谱曲线扩展拟合：

针对高光谱相机不具备的频点f，利用其现有频点的光谱强度采样值，使用两点三次 Hermite分段插值算法，进行多项式插值，实现高光谱曲线扩展拟合，获取得到高光谱相机扩展频点f的光谱图像。

所述农作物图像数据采集部分：

在相同环境下，利用普通相机和高光谱相机，分别进行图像采集。所采集农作物四周，部署4个标记(标记点为Q1、Q2、Q3、Q4)，用于后续对图像的定位及相机坐标系的转换。

所采集的图像，为普通相机的RGB图像和高光谱相机在不同频段上的多幅图像。普通相机采集的图像为A，高光谱相机采集的图像为B，高光谱相机的频段数量为n，则高光谱相机的n个频段采集的图像为B_i(i＝1,2...n)。

所述图像像素坐标系转换部分：

在普通相机采集的图像A上，记录标记点Q1、Q2、Q3、Q4的像素坐标为X_A＝(x_A,i,y_A,i)，其中i＝1,2，3,4为4个标记点序号；由于高光谱相机的n个频段采集的图像B_i(i＝1,2...n)，均为同一采集数据按照频段进行分类而获取的图像，其图像像素位置均完全相同，因此，在高光谱相机采集的图像B_i(i＝1,2...n)中，任意选取一幅图像，记录标记点Q1、Q2、Q3、 Q4的像素坐标为X_B＝(x_B,i,y_B,i)，其中i＝1,2，3,4为4个标记点序号。由于两个相机的分辨率、图像长宽比、焦距等相机参数不一致，因此，两幅图像存在位移、旋转、缩放的不一致，本发明采用莫洛金斯基七参数模型进行两幅图像坐标系的转换。

莫洛金斯基七参数模型坐标转化公式为X_B＝X_p+(1+α)R(X_A-X_p)+dX，其中，X_p为过渡点坐标，实际计算中，通过Q1、Q2、Q3、Q4点求取几何重心获取，在方程中可看为已知值；X_A、X_B为在图像上Q1、Q2、Q3、Q4点采集的两个坐标系的坐标矢量，dX 为三个坐标的平移量，α为缩放量尺度参数，R为三个坐标轴的旋转角度生成的旋转矩阵。平移量dX、缩放量α以及选旋转量R的三个旋转角度ω_x、ω_y、ω_z，即为利用莫洛金斯基模型待求解的七个参数，待求的7个参数向量可表示为 Y＝{dx,dy,dz,ω_x,ω_y,ω_z,α}。其中旋转矩阵可表示为三个子矩阵的乘积：

由此可见，矩阵方程X_B＝X₀+(1+α)R(X_A-X₀)+dX为非线性方程，通常解法为假设旋转角度ω_x、ω_y、ω_z较小，将方程线性化，然后利用最小二乘法求解。但是，考虑到两个相机在进行拍摄时，旋转角度可能较大，因此，不能使用线性化方法来求解。本技术方案，采用高斯牛顿法，利用迭代算法，求解非线性方程，最终求解出7个参数向量 Y＝{dx,dy,dz,ω_x,ω_y,ω_z,α}，以实现高精度的坐标转换，具体计算步骤如下：

1、给定初值Y₀；

2、由莫洛金斯基矩阵方程的函数形式f(X)＝X-[X_p+(1+α)R(X_A-X_p)+dX]，通过对 f(X)的微分计算，获取雅克比矩阵表达式J；代入Y₀，计算J(Y₀)；

3、计算H(Y₀)＝J^T(Y₀)*J(Y₀)，B(Y₀)＝-J^T(Y₀)*f(Y₀)，其中 f(X)＝X-[X_p+(1+α)R(X_A-X_p)+dX]；

4、求解方程H*△Y＝B，解出△Y；

5、若△Y小于设置的门限，则停止迭代，此时的Y值，即为待求解的七个参数值；否则设置Y＝Y₀+△Y，重复2,3,4步骤，重复迭代计算。

上述利用高斯牛顿法方式，计算获取到坐标转换的7个参数 Y＝{dx,dy,dz,ω_x,ω_y,ω_z,α}。在实际坐标转换计算时，利用矩阵方程 X_B＝X₀+(1+α)R(X_A-X₀)+dX，即可进行两幅图像间坐标的高精度转换。

所述数据清洗部分：

在图像A，B中，通过数据清洗方法，实现两类图像的大小一致、像素一一对应，其计算步骤如下：

1、基础图像选取：由于A图像为可视化的RGB图像，容易判定分析目标农作物的位置，因此，选取A图像作为基础图像。

2、图像裁剪：在A图像上，根据目标农作物的范围，在图像上选取所需要分析的像素坐标范围为X_A，min、X_A，max，并形成矩形框，下述像素坐标转换和像素汇聚，均在此矩形框内进行；将X_A，min、X_A，max分别代入坐标转换公式 X_B＝X₀+(1+α)R(X_A-X₀)+dX，计算获取X_B，min、X_B，max，从而形成图片B上的矩形框。分别采集A、B两幅图像上的矩形框内的像素数据，形成A、B图像数据集P_A＝{R，G，B，X_A},P_B＝{I，X_B}，其中，R、G、B为像素三通道值，I为光谱强度值，X_A、X_B为各自坐标系下的坐标向量。

3、像素坐标转换：针对P_B＝{I，X_B}，首先将矩阵转换公式 X_B＝X₀+(1+α)R(X_A-X₀)+dX变换为X_A＝X₀+R^-1(X_B-dX-X₀)/(1+α)，利用此公式，将P_B集合的坐标X_B转换为A图像坐标系上的坐标，形成坐标转换后的B 图像采样数据集合P_B->A＝{I，X_B->A}。

4、图像像素汇聚：将P_B->A＝{I，X_B->A}的坐标X_B->A取整，对于相同整数坐标值的数据，取这些数据的平均值，作为该整数像素点的数据值。

通过上述步骤，实现了A、B两类图像采集数据按照像素坐标的一一对应，相同像素坐标点上，两类图像对应了相同的物理位置。B图像集的像素采样值进行上述转换后，形成经坐标转换后的图像集合D_i(i＝1,2...n)。

所述RGB图像到高光谱图像的转换部分：

针对经过坐标转换和数据清洗的图像C、D_i(i＝1,2...n)，其像素位置及坐标一一对应，标识了同一位置点上的采样数据。针对图像C，按照一定方式遍历所有像素，建立 RGB采集矩阵

其中，R、G、B为像素上RGB的3个通道的在像素点上采样值，m为像素总数。针对图像集合D_i(i＝1,2...n)，使用图像C相同的像素遍历方式，提取每一幅图像上的强度值，形成高光谱相机强度采样值矩阵

其中，I为像素点上强度采样值，m为像素总数，n为高光谱相机的频段数量，I_i,j中，i为像素序号，j为频段序号。进一步建立S、I矩阵的转换矩阵方程为I＝S*T，其中，T为待求解的3*n转换矩阵。将该方程进行矩阵变换，可形成新的矩阵方程形式为(S^TS)^-1S^T*I*I^T＝T*I^T，其中上标T为矩阵转置，上标-1为矩阵的逆。记R＝(S^TS)^-1S^T*I*I^T，P＝I^T，上述矩阵方程可转换为标准的矩阵方程R＝T*P，其中R、P可利用采样值矩阵S、I经过运算获得，T为带求解的转换矩阵；针对矩阵方程R＝T*P，利用最小二乘法，即可计算出最小均方差情况下的转换矩阵T＝(P^TP)^-1P^TR。

通过计算获取的转换矩阵T，即可利用RGB图像上的像素点的RGB通道数值，利用I＝S*T，计算出在不同频段上的强度值，从而实现了从RGB图像至高光谱频段强度的拟合计算。

遍历RGB图像上的每一个像素点，进行I＝S*T计算，可获取到每一像素点上的高光谱n个频段的强度值；按照高光谱频段进行像素点整理，即可重建出针对每一频段的光谱图像，从而实现n个频段的光谱重建图像。

所述高光谱曲线扩展拟合方法：

上述方法，在相同环境下，利用高光谱相机生成的n个频段的数据，以及相同环境下拍摄的RGB图像，计算出转换矩阵T，实现了从RGB图像，重建这n个频段的高光谱图像。以上方法中，对于高光谱相机非预设频点f，尚不能给出相应的光谱图图象。本发明进一步采用多项式拟合的方式，拟合出高光谱相机非预设频点f的光谱图像的方法。

对于RGB图像上某一像素的RGB通道采样值(R,G,B)，可利用I＝S*T，计算得到 n个频段上的光谱强度(I₁,I₂...,I_n)，n个频段的中心频率为(f₁,f₂...,f_n)，从而可构建I-f 的离散曲线I(f)，进而利用Hermite插值的分段曲线拟合方法，插值生成光滑的I(f)曲线，在曲线中，代入相应的频率值f，即可计算出在此频率上的光谱强度值，从而实现 RGB像素点到频率f的光谱强度的拟合计算。计算步骤如下：

对于光谱强度I的分段拟合，利用(I₁,I₂...,I_n)，对于相邻两个数据点I_i,I_i+1，进行两点三次Hermite分段插值，插值函数为3次函数H_i(f)＝a₀+a₁f+a₂f²+a₃f³，其中，f 为频率变量。Hermite分段插值过程中，H_i(f)函数满足：

1、I_i、I_i+1在函数H_i(f)上。

2、为满足函数的光滑性，在端点I_i上，满足H_i(f)导数与H_i-1(f)的导数相等，在端点I_i+1上，满足H_i(f)导数与H_i+1(f)的导数相等，从而满足拟合函数的光滑性。

利用上述两类条件，即获取4个已知条件，代入3次函数 H_i(f)＝a₀+a₁f+a₂f²+a₃f³，分段求解出拟合出待定系数a_i(i＝0,1,2,3)，即可拟合出(I₁,I₂)......(I_n-1,I_n)点间的3次多项式拟合曲线H_i(f)(i＝1,2,....n-1)。

针对需要拟合计算的频率f，在频率集(f₁,f₂...,f_n)中，判断f_k＜f≤f_k+1，即可利用分段拟合的H_k(f)函数，计算出在频率f处的强度值，从而实现强度的拟合计算。

利用上述方法，针对RGB图像中的每一像素点，进行频率f的光谱强度拟合计算，即可实现RGB图像到频率f的光谱图像的转换，重建出频率f处的光谱图像。

Claims (10)

1.一种农作物RGB图像重建高光谱图像的方法，其特征在于，包括如下步骤：

a、农作物图像数据采集：

在相同环境下，利用普通相机和高光谱相机，分别进行农作物图像采集；

b、图像像素坐标系转换：

采用莫洛金斯基七参数模型进行坐标系转换参数的计算，使两类图片的坐标系转换；

c、数据清洗：

通过数据清洗，使两类图片的大小一致、像素点一一对应；

d、RGB图像到高光谱图像的转换：

建立普通相机的RGB采集矩阵以及高光谱相机的强度矩阵，利用最小二次法，计算获取最小均方差情况下的转换矩阵，使RGB图像转换为高光谱图像；

e、高光谱曲线扩展拟合：

采用Hermite分段插值算法，进行多项式插值，使光谱曲线扩展拟合，得到高光谱扩展频点上的光谱图像。

2.根据权利要求1所述的农作物RGB图像重建高光谱图像的方法，其特征在于：所述步骤a中，所采集农作物四周，部署4个标记点Q1、Q2、Q3、Q4，用于后续对图像的定位及相机坐标系的转换；所采集的图像，为普通相机的RGB图像和高光谱相机在不同频段上的多幅图像；普通相机采集的图像为A，高光谱相机采集的图像为B，高光谱相机的频段数量为n，则高光谱相机的n个频段采集的图像为B_i(i＝1,2...n)。

3.根据权利要求2所述的农作物RGB图像重建高光谱图像的方法，其特征在于：所述步骤b中，在普通相机采集的图像A上，记录标记点Q1、Q2、Q3、Q4的像素坐标为X_A＝(x_A,i,y_A,i)，其中i＝1,2，3,4为4个标记点序号；在高光谱相机采集的图像B_i(i＝1,2...n)中，任意选取一幅图像，记录标记点Q1、Q2、Q3、Q4的像素坐标为X_B＝(x_B,i,y_B,i)，其中i＝1,2，3,4为4个标记点序号。

4.根据权利要求3所述的农作物RGB图像重建高光谱图像的方法，其特征在于：所述莫洛金斯基七参数模型坐标转化公式为X_B＝X_p+(1+α)R(X_A-X_p)+dX，其中，X_p为过渡点坐标，通过Q1、Q2、Q3、Q4点求取几何重心获取，在方程中可看为已知值；X_A、X_B为在图像上Q1、Q2、Q3、Q4点采集的两个坐标系的坐标矢量，dX为三个坐标的平移量，α为缩放量尺度参数，R为三个坐标轴的旋转角度生成的旋转矩阵；平移量dX、缩放量α以及选旋转量R的三个旋转角度ω_x、ω_y、ω_z，即为利用莫洛金斯基模型待求解的七个参数，待求的7个参数向量可表示为Y＝{dx,dy,dz,ω_x,ω_y,ω_z,α}；其中旋转矩阵可表示为三个子矩阵的乘积：

由此可见，矩阵方程X_B＝X₀+(1+α)R(X_A-X₀)+dX为非线性方程，采用高斯牛顿法，利用迭代算法，求解非线性方程，最终求解出7个参数向量Y＝{dx,dy,dz,ω_x,ω_y,ω_z,α}，完成坐标转换。

5.根据权利要求4所述的农作物RGB图像重建高光谱图像的方法，其特征在于：所述坐标转换具体计算步骤如下：

1、给定初值Y₀；

2、由莫洛金斯基矩阵方程的函数形式f(X)＝X-[X_p+(1+α)R(X_A-X_p)+dX]，通过对f(X)的微分计算，获取雅克比矩阵表达式J；代入Y₀，计算J(Y₀)；

3、计算H(Y₀)＝J^T(Y₀)*J(Y₀)，B(Y₀)＝-J^T(Y₀)*f(Y₀)，其中f(X)＝X-[X_p+(1+α)R(X_A-X_p)+dX]；

4、求解方程H*△Y＝B，解出△Y；

5、若△Y小于设置的门限，则停止迭代，此时的Y值，即为待求解的七个参数值；否则设置Y＝Y₀+△Y，重复2,3,4步骤，重复迭代计算；

计算获取到坐标转换的7个参数Y＝{dx,dy,dz,ω_x,ω_y,ω_z,α}，在实际坐标转换计算时，利用矩阵方程X_B＝X₀+(1+α)R(X_A-X₀)+dX，即可进行两幅图像间坐标的高精度转换。

6.根据权利要求5所述的农作物RGB图像重建高光谱图像的方法，其特征在于：所述步骤c具体步骤如下：

1、基础图像选取：选取A图像作为基础图像；

2、图像裁剪：在A图像上，根据目标农作物的范围，在图像上选取所需要分析的像素坐标范围为X_A，min、X_A，max，并形成矩形框，下述像素坐标转换和像素汇聚，均在此矩形框内进行；将X_A，min、X_A，max分别代入坐标转换公式X_B＝X₀+(1+α)R(X_A-X₀)+dX，计算获取X_B，min、X_B，max，从而形成图片B上的矩形框；分别采集A、B两幅图像上的矩形框内的像素数据，形成A、B图像数据集P_A＝{R，G，B，X_A},P_B＝{I，X_B}，其中，R、G、B为像素三通道值，I为光谱强度值，X_A、X_B为各自坐标系下的坐标向量；

3、像素坐标转换：针对P_B＝{I，X_B}，首先将矩阵转换公式X_B＝X₀+(1+α)R(X_A-X₀)+dX变换为X_A＝X₀+R^-1(X_B-dX-X₀)/(1+α)，利用此公式，将P_B集合的坐标X_B转换为A图像坐标系上的坐标，形成坐标转换后的B图像采样数据集合P_B->A＝{I，X_B->A}；

4、图像像素汇聚：将P_B->A＝{I，X_B->A}的坐标X_B->A取整，对于相同整数坐标值的数据，取这些数据的平均值，作为该整数像素点的数据值；

通过上述步骤，使A、B两类图像采集数据按照像素坐标的一一对应，相同像素坐标点上，两类图像对应了相同的物理位置；B图像集的像素采样值进行上述转换后，形成经坐标转换后的图像集合D_i(i＝1,2...n)。

7.根据权利要求6所述的农作物RGB图像重建高光谱图像的方法，其特征在于：所述步骤d具体包括：

1、针对经过坐标转换和数据清洗的图像C、D_i(i＝1,2...n)，其像素位置及坐标一一对应，标识了同一位置点上的采样数据；针对图像C，遍历所有像素，建立RGB采集矩阵

其中，R、G、B为像素上RGB的3个通道的在像素点上采样值，m为像素总数；针对图像集合D_i(i＝1,2...n)，使用图像C相同的像素遍历方式，提取每一幅图像上的强度值，形成高光谱相机强度采样值矩阵

其中，I为像素点上强度采样值，m为像素总数，n为高光谱相机的频段数量，I_i,j中，i为像素序号，j为频段序号；进一步建立S、I矩阵的转换矩阵方程为I＝S*T，其中，T为待求解的3*n转换矩阵；将该方程进行矩阵变换，形成新的矩阵方程形式为(S^TS)^-1S^T*I*I^T＝T*I^T，其中上标T为矩阵转置，上标-1为矩阵的逆；记R＝(S^TS)^-1S^T*I*I^T，P＝I^T，上述矩阵方程转换为标准的矩阵方程R＝T*P，其中R、P利用采样值矩阵S、I经过运算获得，T为带求解的转换矩阵；针对矩阵方程R＝T*P，利用最小二乘法，计算出最小均方差情况下的转换矩阵T＝(P^TP)^-1P^TR；

2、通过计算获取的转换矩阵T，利用RGB图像上的像素点的RGB通道数值，利用I＝S*T，计算出在不同频段上的强度值，完成从RGB图像至高光谱频段强度的拟合计算；

3、遍历RGB图像上的每一个像素点，进行I＝S*T计算，获取到每一像素点上的高光谱n个频段的强度值；按照高光谱频段进行像素点整理，重建出针对每一频段的光谱图像，完成n个频段的光谱重建图像。

8.根据权利要求7所述的农作物RGB图像重建高光谱图像的方法，其特征在于：所述步骤e中，利用高光谱相机生成的n个频段的数据，以及相同环境下拍摄的RGB图像，计算出转换矩阵T，完成从RGB图像，重建这n个频段的高光谱图像。

9.根据权利要求8所述的农作物RGB图像重建高光谱图像的方法，其特征在于：所述步骤e中，对于RGB图像上某一像素的RGB通道采样值(R,G,B)，利用I＝S*T，计算得到n个频段上的光谱强度(I₁,I₂...,I_n)，n个频段的中心频率为(f₁,f₂...,f_n)，构建I-f的离散曲线I(f)，进而利用Hermite插值的分段曲线拟合方法，插值生成光滑的I(f)曲线，在曲线中，代入相应的频率值f，计算出在此频率上的光谱强度值，完成RGB像素点到频率f的光谱强度的拟合计算。

10.根据权利要求9所述的农作物RGB图像重建高光谱图像的方法，其特征在于：所述RGB像素点到频率f的光谱强度的拟合计算步骤如下：

对于光谱强度I的分段拟合，利用(I₁,I₂...,I_n)，对于相邻两个数据点I_i,I_i+1，进行两点三次Hermite分段插值，插值函数为3次函数H_i(f)＝a₀+a₁f+a₂f²+a₃f³，其中，f为频率变量；Hermite分段插值过程中，H_i(f)函数满足：

1、I_i、I_i+1在函数H_i(f)上；

2、为满足函数的光滑性，在端点I_i上，满足H_i(f)导数与H_i-1(f)的导数相等，在端点I_i+1上，满足H_i(f)导数与H_i+1(f)的导数相等，从而满足拟合函数的光滑性；

利用上述两类条件，即获取4个已知条件，代入3次函数H_i(f)＝a₀+a₁f+a₂f²+a₃f³，分段求解出拟合出待定系数a_i(i＝0,1,2,3)，拟合出(I₁,I₂)......(I_n-1,I_n)点间的3次多项式拟合曲线H_i(f)(i＝1,2,....n-1)；

针对需要拟合计算的频率f，在频率集(f₁,f₂...,f_n)中，判断f_k＜f≤f_k+1，利用分段拟合的H_k(f)函数，计算出在频率f处的强度值，完成强度的拟合计算；

利用上述方法，针对RGB图像中的每一像素点，进行频率f的光谱强度拟合计算，完成RGB图像到频率f的光谱图像的转换，重建出频率f处的光谱图像。