CN117197062A - 一种基于rgb图像的叶片氮含量测量方法及*** - Google Patents
一种基于rgb图像的叶片氮含量测量方法及*** Download PDFInfo
- Publication number
- CN117197062A CN117197062A CN202311108046.0A CN202311108046A CN117197062A CN 117197062 A CN117197062 A CN 117197062A CN 202311108046 A CN202311108046 A CN 202311108046A CN 117197062 A CN117197062 A CN 117197062A
- Authority
- CN
- China
- Prior art keywords
- neural network
- nitrogen content
- image
- white balance
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 title claims abstract description 342
- 229910052757 nitrogen Inorganic materials 0.000 title claims abstract description 171
- 238000000691 measurement method Methods 0.000 title claims description 18
- 238000012937 correction Methods 0.000 claims abstract description 160
- 238000005259 measurement Methods 0.000 claims abstract description 81
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000003062 neural network model Methods 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims description 117
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000012010 growth Effects 0.000 description 2
- 239000000618 nitrogen fertilizer Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002900 effect on cell Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 235000020774 essential nutrients Nutrition 0.000 description 1
- 244000037666 field crops Species 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
本发明提供一种基于RGB图像的叶片氮含量测量方法及***，属于图像处理技术领域，包括：采用相机拍摄作物的冠层照片；基于拍摄的照片制作白平衡校正和曝光校正的图像数据集；构建图像白平衡和曝光校正的卷积神经网络，并对相机拍摄的照片进行校正测试；基于校正后的作物冠层图像，训练叶片氮含量估测的神经网络模型，并在不同拍摄角度、不同拍摄设备和不同品种的作物中进行应用。与传统方法相比，本发明实现成本低，操作简单，对用户和设备没有特别的要求，在各种天气条件下都可以完成测量任务，具有很强的普适性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于RGB图像的叶片氮含量测量方法及***。
背景技术
氮是作物生长发育过程中不可或缺的营养元素之一，对细胞生长、***和新细胞形成有着很重要的影响。通过施加氮肥可以有效提高作物的产量，但是过量的氮肥施用也会造成严重的环境污染甚至减产等问题。因此，作物氮素状态的准确估计对精准农业的氮素管理是非常必要的。
传统的破坏性采样方法通过在田间采集植物叶片，然后在实验室进行化学分析，费时费力。在非破坏性的方法中，单光子雪崩二极管(Single photon avalanche diodes，SPAD)测量范围太小，在实际应用中效率很低；高光谱/多光谱仪等设备通常非常昂贵，这也限制了其在农业生产中的应用。智能手机的普及使得田间作物的图像获取变得简单。已有的研究表明，计算机视觉的方法可以用于对作物氮素状态进行估计。然而，目前利用智能手机等相机设备监测作物氮素的研究仍不充分，大多数都忽略了拍摄过程中自然光线或者拍照设置错误对作物氮素估计结果的影响。尽管作物的特征没有变化，不同的数码相机(或不同设置的同一相机)在获取图像时都会产生不一致的颜色；使用同一相机在不同时间拍摄的图像颜色可能也会有所不同。
因此，如果单一地使用一种计算机视觉技术，难以适应野外复杂环境中的氮素估计任务。
发明内容
本发明提供一种基于RGB图像的叶片氮含量测量方法及***，用以解决现有技术中采用单一视觉测量技术无法准确地测量叶片氮含量的缺陷。
第一方面，本发明提供一种基于RGB图像的叶片氮含量测量方法，包括：
采集作物冠层样本照片；
调整所述作物冠层样本照片的白平衡模式，得到白平衡校正数据集，由所述白平衡校正数据集构建图像白平衡校正神经网络；
调整所述作物冠层样本照片的曝光模式，得到曝光校正数据集，由所述校正数据集构建图像曝光校正神经网络；
综合所述图像白平衡校正神经网络和所述图像曝光校正神经网络对所述作物冠层样本照片进行校正，得到校正后数据集；
构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型；
将待测量作物冠层照片输入所述叶片氮含量测量模型，得到叶片氮含量测量结果。
根据本发明提供的一种基于RGB图像的叶片氮含量测量方法，采集作物冠层样本照片，包括：
采用智能手机相机在任一白天时刻拍摄作物冠层，采集任意三个不同预设角度照片，以预设文件格式保存拍摄照片；
利用图像处理软件调整所述拍摄照片的白平衡设置和曝光设置，得到真值图像。
根据本发明提供的一种基于RGB图像的叶片氮含量测量方法，调整所述作物冠层样本照片的白平衡模式，得到白平衡校正数据集，由所述白平衡校正数据集构建图像白平衡校正神经网络，包括：
调整真值图像的白平衡模式，得到包含不同色温的多个色温偏差图像，将所述多个色温偏差图像与所述真值图像构成所述白平衡校正数据集；
基于所述白平衡校正数据集，构建白平衡校正全卷积神经网络，采用L1损失函数，以及Adam优化器对所述白平衡校正全卷积神经网络进行训练收敛，得到所述图像白平衡校正神经网络。
根据本发明提供的一种基于RGB图像的叶片氮含量测量方法，调整所述作物冠层样本照片的曝光模式，得到曝光校正数据集，由所述校正数据集构建图像曝光校正神经网络，包括：
调整真值图像的曝光模式，得到包含不同曝光值的多个曝光偏差图像，将所述多个曝光偏差图像与所述真值图像构成所述曝光校正数据集；
基于所述曝光校正数据集，构建曝光校正全卷积神经网络，采用L1损失函数，以及Adam优化器对所述曝光校正全卷积神经网络进行训练收敛，得到所述图像曝光校正神经网络。
根据本发明提供的一种基于RGB图像的叶片氮含量测量方法，综合所述图像白平衡校正神经网络和所述图像曝光校正神经网络对所述作物冠层样本照片进行校正，得到校正后数据集，包括：
将所述作物冠层样本照片输入所述图像白平衡校正神经网络，得到白平衡校正后数据集；
将所述作物冠层样本照片输入所述图像曝光校正神经网络，得到曝光校正后数据集。
根据本发明提供的一种基于RGB图像的叶片氮含量测量方法，构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型之前，还包括：
将所述校正后数据集中的色卡部分进行裁剪，得到仅包括作物冠层信息图像的裁剪后数据集；
对所述裁剪后数据集进行数据增强，得到增强数据集。
根据本发明提供的一种基于RGB图像的叶片氮含量测量方法，构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型，包括：
采用预设卷积神经网络构建所述叶片氮含量测量神经网络初始模型；
通过实验测量所述作物冠层样本照片得到所述叶片氮标签；
采用均方误差MSE损失函数和Adam优化器对所述叶片氮含量测量神经网络初始模型进行训练收敛，得到所述叶片氮含量测量模型。
根据本发明提供的一种基于RGB图像的叶片氮含量测量方法，还包括：
将不同拍摄角度、不同拍摄设备和不同作物品种的作物冠层图像输入至所述叶片氮含量测量模型，得到不同叶片氮含量测量结果；
利用不同预设精度评价指标对所述不同叶片氮含量测量结果进行评价对比。
第二方面，本发明还提供一种基于RGB图像的叶片氮含量测量***，包括：
采集模块，用于采集作物冠层样本照片；
白平衡数据处理模块，用于调整所述作物冠层样本照片的白平衡模式，得到白平衡校正数据集，由所述白平衡校正数据集构建图像白平衡校正神经网络；
曝光数据处理模块，用于调整所述作物冠层样本照片的曝光模式，得到曝光校正数据集，由所述校正数据集构建图像曝光校正神经网络；
校正模块，用于综合所述图像白平衡校正神经网络和所述图像曝光校正神经网络对所述作物冠层样本照片进行校正，得到校正后数据集；
训练模块，用于构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型；
测量模块，用于将待测量作物冠层照片输入所述叶片氮含量测量模型，得到叶片氮含量测量结果。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于RGB图像的叶片氮含量测量方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于RGB图像的叶片氮含量测量方法。
本发明提供的基于RGB图像的叶片氮含量测量方法及***，通过采用具有注意力机制的全卷积神经网络，能够很好地完成相机照片的白平衡和曝光校正，有效降低了复杂光线变化带来的影响。基于白平衡和曝光校正之后的图像，训练出用于作物叶片氮含量估测的卷积神经网络，可以提高作物氮素估计的精度。基于该架构的一系列计算机视觉算法，解决了野外复杂环境下光线变化和用户拍摄设置错误等带来的各种图像质量问题，成功地完成了作物叶片氮含量的估计任务。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于RGB图像的叶片氮含量测量方法的流程示意图之一；
图2是本发明提供的基于RGB图像的叶片氮含量测量方法的流程示意图之二；
图3是本发明提供的白平衡校正的数据集示例图；
图4是本发明提供的曝光校正的数据集示例图；
图5是本发明提供的白平衡校正神经网络对不同色温设定图片的校正效果图；
图6是本发明提供的曝光校正神经网络对不同EV值设定图片的校正效果图；
图7是本发明提供的不同卷积神经网络利用RGB图像估计叶片氮含量的精度对比图；
图8是本发明提供的基于RGB图像的叶片氮含量测量***的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的基于RGB图像的叶片氮含量测量方法的流程示意图之一，如图1所示，包括：
步骤100：采集作物冠层样本照片；
步骤200：调整所述作物冠层样本照片的白平衡模式，得到白平衡校正数据集，由所述白平衡校正数据集构建图像白平衡校正神经网络；
步骤300：调整所述作物冠层样本照片的曝光模式，得到曝光校正数据集，由所述校正数据集构建图像曝光校正神经网络；
步骤400：综合所述图像白平衡校正神经网络和所述图像曝光校正神经网络对所述作物冠层样本照片进行校正，得到校正后数据集；
步骤500：构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型；
步骤600：将待测量作物冠层照片输入所述叶片氮含量测量模型，得到叶片氮含量测量结果。
本发明实施例首先采用相机拍摄作物的冠层照片，通过对获取的冠层照片进行渲染，得到不同白平衡模式的图像，构建图像白平衡校正神经网络，还通过对获取的冠层照片进行渲染，得到不同曝光模式下的图像，构建图像曝光校正神经网络，联合上述图像白平衡校正神经网络和图像曝光校正神经网络，对相机拍摄的作物冠层照片进行校正。利用校正后的作物冠层图像，训练叶片氮含量估测的神经网络模型，并验证其在不同拍摄角度、不同拍摄设备和不同品种中作物的应用效果。
具体地，如图2所示，通过相机拍摄作物冠层照片，获取真值图像，针对真值图像，分别制作白平衡校正数据集和曝光校正数据集，再由白平衡校正数据集构建白平衡校正神经网络，由曝光校正数据集构建曝光校正神经网络，分别进行图像白平衡校正和图像曝光校正，得到校正后图像，与获取的叶片氮标签训练叶片氮含量估测神经网络，得到叶片氮含量测量模型，最后从拍摄角度、拍摄手机和作物品种三方面进行效果评估。
本发明通过采用具有注意力机制的全卷积神经网络，能够很好地完成相机照片的白平衡和曝光校正，有效降低了复杂光线变化带来的影响。基于白平衡和曝光校正之后的图像，训练出用于作物叶片氮含量估测的卷积神经网络，可以提高作物氮素估计的精度。基于该架构的一系列计算机视觉算法，解决了野外复杂环境下光线变化和用户拍摄设置错误等带来的各种图像质量问题，成功地完成了作物叶片氮含量的估计任务。
基于上述实施例，采集作物冠层样本照片，包括：
采用智能手机相机在任一白天时刻拍摄作物冠层，采集任意三个不同预设角度照片，以预设文件格式保存拍摄照片；
利用图像处理软件调整所述拍摄照片的白平衡设置和曝光设置，得到真值图像。
具体地，本发明实施例采用智能手机的相机拍摄作物的冠层照片，可以在白天的任意时刻进行拍摄，拍摄内容以作物冠层为主体，画面中包含一块色卡，拍摄3个角度的照片，相机与水平方向夹角大约为0°、30°和60°，最终图像保存为RAW文件格式。在Photoshop软件中打开RAW文件，利用色卡调整图像的白平衡和曝光设置，得到真值图像，即正确白平衡和曝光设置的照片。
基于上述实施例，调整所述作物冠层样本照片的白平衡模式，得到白平衡校正数据集，由所述白平衡校正数据集构建图像白平衡校正神经网络，包括：
调整真值图像的白平衡模式，得到包含不同色温的多个色温偏差图像，将所述多个色温偏差图像与所述真值图像构成所述白平衡校正数据集；
基于所述白平衡校正数据集，构建白平衡校正全卷积神经网络，采用L1损失函数，以及Adam优化器对所述白平衡校正全卷积神经网络进行训练收敛，得到所述图像白平衡校正神经网络。
具体地，在真值图像基础上，通过Photoshop对图像进行不同的白平衡设置，从而可以渲染出白平衡错误的图像。通过调整图像的白平衡模式，可以得到不同色温下的图片，作为错误白平衡设置的数据集，与真值图片共同组成白平衡校正的数据集，即包含色温为2850K、3800K、5500K、6500K和7500K的图像以及正确白平衡设置的图像，如图3所示，图中已去除色卡部分。
基于白平衡校正数据集，构建白平衡校正的全卷积神经网络。在网络训练过程中，损失函数采用L1损失，训练优化器采用Adam算法，初始学习率为0.001，训练过程为500个epoch。
基于上述实施例，调整所述作物冠层样本照片的曝光模式，得到曝光校正数据集，由所述校正数据集构建图像曝光校正神经网络，包括：
调整真值图像的曝光模式，得到包含不同曝光值的多个曝光偏差图像，将所述多个曝光偏差图像与所述真值图像构成所述曝光校正数据集；
基于所述曝光校正数据集，构建曝光校正全卷积神经网络，采用L1损失函数，以及Adam优化器对所述曝光校正全卷积神经网络进行训练收敛，得到所述图像曝光校正神经网络。
具体地，在真值图像的基础上，通过Photoshop对图像进行不同的曝光设置，从而可以渲染出曝光错误的图像。通过调整图像的曝光量(Exposure Values，EV)值，可以得到不同曝光模式下的图片，作为错误曝光设置的数据集。与真值图片共同组成曝光校正的数据集，即包含EV值为-1.5、-1、+1、+1.5和正确曝光设置的图像，如图4所示，图中已去除色卡部分。
基于曝光校正数据集，构建曝光校正的全卷积神经网络。在网络训练过程中，损失函数采用L1损失，训练优化器采用Adam算法，初始学习率为0.001，训练过程为500个epoch。
基于上述实施例，综合所述图像白平衡校正神经网络和所述图像曝光校正神经网络对所述作物冠层样本照片进行校正，得到校正后数据集，包括：
将所述作物冠层样本照片输入所述图像白平衡校正神经网络，得到白平衡校正后数据集；
将所述作物冠层样本照片输入所述图像曝光校正神经网络，得到曝光校正后数据集。
具体地，将相机拍摄作物的冠层照片输入到构建的白平衡校正神经网络中，得到正确白平衡设置的图像输出。如图5所示，经过白平衡校正，原始图片的色差ΔE明显降低，色温2850K图片的色差ΔE从13.63降至1.64，3800K图片的色差ΔE从7.31降至1.15，5500K图片的色差ΔE从2.00降至0.90，6500K图片的色差ΔE从4.20降至1.30，7500K图片的色差ΔE从5.01降至1.51。总体来看，校正后图片与正确白平衡设置的真值图片已无明显差别。
将相机拍摄作物的冠层照片输入到构建的曝光校正神经网络中，得到正确曝光设置的图像输出。如图6所示，经过曝光校正，原始图片的峰值信噪比(Peak Signal-to-NoiseRatio，PSNR)明显提升，EV值为-1.5的图片PSNR从11.75上升至27.19，EV值为-1.0的图片PSNR从14.62上升至26.79，EV值为+1.0的图片PSNR从14.53上升至24.86，EV值为+1.5的图片PSNR从11.25上升至27.17。总体来看，校正后图片与正确曝光设置的真值图片已无明显差别。
基于上述实施例，构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型之前，还包括：
将所述校正后数据集中的色卡部分进行裁剪，得到仅包括作物冠层信息图像的裁剪后数据集；
对所述裁剪后数据集进行数据增强，得到增强数据集。
具体地，通过得到的作物冠层图像数据集，首先将图像中的色卡部分裁剪出去，得到只有作物冠层信息的图像，然后进行数据增强，包括随机裁剪、随机旋转和镜像等操作扩充数据集。
基于上述实施例，构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型，包括：
采用预设卷积神经网络构建所述叶片氮含量测量神经网络初始模型；
通过实验测量所述作物冠层样本照片得到所述叶片氮标签；
采用均方误差MSE损失函数和Adam优化器对所述叶片氮含量测量神经网络初始模型进行训练收敛，得到所述叶片氮含量测量模型。
具体地，本发明实施例采用的模型为卷积神经网络，包括但不限于AlexNet、Inception_v3、DenseNet161、MobilenetV3、ResNet50和ResNet50_CBAM(具有注意力机制的ResNet50)。模型的输入特征为数据增强后的图像RGB值，标签为通过实验室分析测量得到的作物叶片氮含量。在网络训练过程中，损失函数采用均方根误差(Mean Square Error，MSE)损失，训练优化器采用Adam算法，初始学习率为0.001，训练过程为500个epoch。
基于上述实施例，还包括：
将不同拍摄角度、不同拍摄设备和不同作物品种的作物冠层图像输入至所述叶片氮含量测量模型，得到不同叶片氮含量测量结果；
利用不同预设精度评价指标对所述不同叶片氮含量测量结果进行评价对比。
具体地，利用训练好的神经网络进行目标作物叶片氮含量的估测，将不同拍摄角度、不同拍摄设备和不同品种的作物冠层图像输入到网络中，输出相应的叶片氮含量，将其与实验室观测的叶片氮含量进行对比，计算精度评价指标R2、均方根误差(Root MeanSquared Error，RMSE)和相对均方根误差(Relative Root Mean-Squared Error，RRMSE)。结果如表1和图7所示：
表1
| Algorithms | R2 | RMSE | RRMSE |
| AlexNet | 0.73 | 0.49 | 0.17 |
| Inception_v3 | 0.81 | 0.41 | 0.14 |
| DenseNet161 | 0.85 | 0.37 | 0.12 |
| MobilenetV3 | 0.84 | 0.39 | 0.13 |
| ResNet50 | 0.85 | 0.38 | 0.13 |
| ResNet50_CBAM | 0.82 | 0.40 | 0.14 |
从表1和图7中可以看出，比较浅层的网络AlexNet(8层)在作物叶片氮含量估计上表现较差，在测试集上的R2为0.73，RMSE为0.49，RRMSE为0.17；随着神经网络层数的加深，叶片氮含量的估计精度有了很明显的提升，R2在0.81-0.85之间，其中Inception_v3(46层)的R2为0.81，ResNet50(50层)的R2为0.85，DenseNet161(161层)的R2为0.85，此时随着网络层数的继续加深，模型的性能不再继续提升。ResNet50_CBAM是在ResNet50的基础上增加了空间和通道注意力机制，但是并没有提高模型的性能，反而有一点下降。MobilenetV3通过使用网络结构搜索NAS，重新设计了耗时的一些架构，采用了shortcut连接和SE注意力机制，减少了模型的参数，在获得很高的精度(R2为0.84，RMSE为0.39，RRMSE为0.13)的同时，也大大提高了模型的运算效率。
下面对本发明提供的基于RGB图像的叶片氮含量测量***进行描述，下文描述的基于RGB图像的叶片氮含量测量***与上文描述的基于RGB图像的叶片氮含量测量方法可相互对应参照。
图8是本发明实施例提供的基于RGB图像的叶片氮含量测量***的结构示意图，如图8所示，包括：采集模块81、白平衡数据处理模块82、曝光数据处理模块83、校正模块84、训练模块85和测量模块86，其中：
采集模块81用于采集作物冠层样本照片；白平衡数据处理模块82用于调整所述作物冠层样本照片的白平衡模式，得到白平衡校正数据集，由所述白平衡校正数据集构建图像白平衡校正神经网络；曝光数据处理模块83用于调整所述作物冠层样本照片的曝光模式，得到曝光校正数据集，由所述校正数据集构建图像曝光校正神经网络；校正模块84用于综合所述图像白平衡校正神经网络和所述图像曝光校正神经网络对所述作物冠层样本照片进行校正，得到校正后数据集；训练模块85用于构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型；测量模块86用于将待测量作物冠层照片输入所述叶片氮含量测量模型，得到叶片氮含量测量结果。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行基于RGB图像的叶片氮含量测量方法，该方法包括：采集作物冠层样本照片；调整所述作物冠层样本照片的白平衡模式，得到白平衡校正数据集，由所述白平衡校正数据集构建图像白平衡校正神经网络；调整所述作物冠层样本照片的曝光模式，得到曝光校正数据集，由所述校正数据集构建图像曝光校正神经网络；综合所述图像白平衡校正神经网络和所述图像曝光校正神经网络对所述作物冠层样本照片进行校正，得到校正后数据集；构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型；将待测量作物冠层照片输入所述叶片氮含量测量模型，得到叶片氮含量测量结果。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于RGB图像的叶片氮含量测量方法，该方法包括：采集作物冠层样本照片；调整所述作物冠层样本照片的白平衡模式，得到白平衡校正数据集，由所述白平衡校正数据集构建图像白平衡校正神经网络；调整所述作物冠层样本照片的曝光模式，得到曝光校正数据集，由所述校正数据集构建图像曝光校正神经网络；综合所述图像白平衡校正神经网络和所述图像曝光校正神经网络对所述作物冠层样本照片进行校正，得到校正后数据集；构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型；将待测量作物冠层照片输入所述叶片氮含量测量模型，得到叶片氮含量测量结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于RGB图像的叶片氮含量测量方法，其特征在于，包括：
采集作物冠层样本照片；
调整所述作物冠层样本照片的白平衡模式，得到白平衡校正数据集，由所述白平衡校正数据集构建图像白平衡校正神经网络；
调整所述作物冠层样本照片的曝光模式，得到曝光校正数据集，由所述校正数据集构建图像曝光校正神经网络；
综合所述图像白平衡校正神经网络和所述图像曝光校正神经网络对所述作物冠层样本照片进行校正，得到校正后数据集；
构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型；
将待测量作物冠层照片输入所述叶片氮含量测量模型，得到叶片氮含量测量结果。
2.根据权利要求1所述的基于RGB图像的叶片氮含量测量方法，其特征在于，采集作物冠层样本照片，包括：
采用智能手机相机在任一白天时刻拍摄作物冠层，采集任意三个不同预设角度照片，以预设文件格式保存拍摄照片；
利用图像处理软件调整所述拍摄照片的白平衡设置和曝光设置，得到真值图像。
3.根据权利要求1所述的基于RGB图像的叶片氮含量测量方法，其特征在于，调整所述作物冠层样本照片的白平衡模式，得到白平衡校正数据集，由所述白平衡校正数据集构建图像白平衡校正神经网络，包括：
调整真值图像的白平衡模式，得到包含不同色温的多个色温偏差图像，将所述多个色温偏差图像与所述真值图像构成所述白平衡校正数据集；
基于所述白平衡校正数据集，构建白平衡校正全卷积神经网络，采用L1损失函数，以及Adam优化器对所述白平衡校正全卷积神经网络进行训练收敛，得到所述图像白平衡校正神经网络。
4.根据权利要求1所述的基于RGB图像的叶片氮含量测量方法，其特征在于，调整所述作物冠层样本照片的曝光模式，得到曝光校正数据集，由所述校正数据集构建图像曝光校正神经网络，包括：
调整真值图像的曝光模式，得到包含不同曝光值的多个曝光偏差图像，将所述多个曝光偏差图像与所述真值图像构成所述曝光校正数据集；
基于所述曝光校正数据集，构建曝光校正全卷积神经网络，采用L1损失函数，以及Adam优化器对所述曝光校正全卷积神经网络进行训练收敛，得到所述图像曝光校正神经网络。
5.根据权利要求1所述的基于RGB图像的叶片氮含量测量方法，其特征在于，综合所述图像白平衡校正神经网络和所述图像曝光校正神经网络对所述作物冠层样本照片进行校正，得到校正后数据集，包括：
将所述作物冠层样本照片输入所述图像白平衡校正神经网络，得到白平衡校正后数据集；
将所述作物冠层样本照片输入所述图像曝光校正神经网络，得到曝光校正后数据集。
6.根据权利要求1所述的基于RGB图像的叶片氮含量测量方法，其特征在于，构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型之前，还包括：
将所述校正后数据集中的色卡部分进行裁剪，得到仅包括作物冠层信息图像的裁剪后数据集；
对所述裁剪后数据集进行数据增强，得到增强数据集。
7.根据权利要求6所述的基于RGB图像的叶片氮含量测量方法，其特征在于，构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型，包括：
采用预设卷积神经网络构建所述叶片氮含量测量神经网络初始模型；
通过实验测量所述作物冠层样本照片得到所述叶片氮标签；
采用均方误差MSE损失函数和Adam优化器对所述叶片氮含量测量神经网络初始模型进行训练收敛，得到所述叶片氮含量测量模型。
8.根据权利要求1所述的基于RGB图像的叶片氮含量测量方法，其特征在于，还包括：
将不同拍摄角度、不同拍摄设备和不同作物品种的作物冠层图像输入至所述叶片氮含量测量模型，得到不同叶片氮含量测量结果；
利用不同预设精度评价指标对所述不同叶片氮含量测量结果进行评价对比。
9.一种基于RGB图像的叶片氮含量测量***，其特征在于，包括：
采集模块，用于采集作物冠层样本照片；
白平衡数据处理模块，用于调整所述作物冠层样本照片的白平衡模式，得到白平衡校正数据集，由所述白平衡校正数据集构建图像白平衡校正神经网络；
曝光数据处理模块，用于调整所述作物冠层样本照片的曝光模式，得到曝光校正数据集，由所述校正数据集构建图像曝光校正神经网络；
校正模块，用于综合所述图像白平衡校正神经网络和所述图像曝光校正神经网络对所述作物冠层样本照片进行校正，得到校正后数据集；
训练模块，用于构建叶片氮含量测量神经网络初始模型，获取叶片氮标签，基于所述校正后数据集和所述叶片氮标签对所述叶片氮含量测量神经网络初始模型进行训练，得到叶片氮含量测量模型；
测量模块，用于将待测量作物冠层照片输入所述叶片氮含量测量模型，得到叶片氮含量测量结果。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述基于RGB图像的叶片氮含量测量方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311108046.0A CN117197062A (zh) | 2023-08-30 | 2023-08-30 | 一种基于rgb图像的叶片氮含量测量方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311108046.0A CN117197062A (zh) | 2023-08-30 | 2023-08-30 | 一种基于rgb图像的叶片氮含量测量方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197062A true CN117197062A (zh) | 2023-12-08 |
Family
ID=88995348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311108046.0A Pending CN117197062A (zh) | 2023-08-30 | 2023-08-30 | 一种基于rgb图像的叶片氮含量测量方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197062A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106841051A (zh) * | 2016-12-19 | 2017-06-13 | 中国科学院南京土壤研究所 | 一种基于可见光图像融合值的作物氮素营养检测方法 |
| US20180035605A1 (en) * | 2016-08-08 | 2018-02-08 | The Climate Corporation | Estimating nitrogen content using hyperspectral and multispectral images |
| CN110346305A (zh) * | 2019-07-17 | 2019-10-18 | 浙江大学 | 一种测量植物叶片氮含量的方法和装置 |
| CN110555395A (zh) * | 2019-08-19 | 2019-12-10 | 浙江大学 | 一种油菜冠层氮素含量等级分类评估方法 |
| CN112399162A (zh) * | 2019-08-16 | 2021-02-23 | 浙江宇视科技有限公司 | 一种白平衡校正方法、装置、设备和存储介质 |
| JP2021140663A (ja) * | 2020-03-09 | 2021-09-16 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 |
| CN113705937A (zh) * | 2021-10-27 | 2021-11-26 | 武汉大学 | 联合机器视觉与作物模型的作物估产方法 |
-
2023
- 2023-08-30 CN CN202311108046.0A patent/CN117197062A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180035605A1 (en) * | 2016-08-08 | 2018-02-08 | The Climate Corporation | Estimating nitrogen content using hyperspectral and multispectral images |
| CN106841051A (zh) * | 2016-12-19 | 2017-06-13 | 中国科学院南京土壤研究所 | 一种基于可见光图像融合值的作物氮素营养检测方法 |
| CN110346305A (zh) * | 2019-07-17 | 2019-10-18 | 浙江大学 | 一种测量植物叶片氮含量的方法和装置 |
| CN112399162A (zh) * | 2019-08-16 | 2021-02-23 | 浙江宇视科技有限公司 | 一种白平衡校正方法、装置、设备和存储介质 |
| CN110555395A (zh) * | 2019-08-19 | 2019-12-10 | 浙江大学 | 一种油菜冠层氮素含量等级分类评估方法 |
| JP2021140663A (ja) * | 2020-03-09 | 2021-09-16 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 |
| CN113705937A (zh) * | 2021-10-27 | 2021-11-26 | 武汉大学 | 联合机器视觉与作物模型的作物估产方法 |
Non-Patent Citations (1)
| Title |
|---|
| 崔日鲜 等: "基于可见光光谱和BP人工神经网络的冬小麦生物量估算研究", 《光谱学与光谱分析》, 30 September 2015 (2015-09-30), pages 1 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461052B (zh) | 基于迁移学习的多个生育期小麦倒伏区域识别方法 | |
| CN110570364B (zh) | 基于深度神经网络的分焦平面偏振图像去噪方法 | |
| CN109086826B (zh) | 基于图像深度学习的小麦干旱识别方法 | |
| CN111289441B (zh) | 多光谱下的大田作物含水量确定方法、***及设备 | |
| CN110414738B (zh) | 一种农作物产量预测方法及*** | |
| EP4154159B1 (en) | System and method for estimating vegetation coverage in a real-world environment | |
| CN109859101B (zh) | 农作物冠层热红外图像识别方法及*** | |
| CN113936254B (zh) | 结合积温订正的水稻发育期识别模型训练方法、识别方法及装置 | |
| CN109671031B (zh) | 一种基于残差学习卷积神经网络的多光谱图像反演方法 | |
| CN115015258B (zh) | 一种农作物长势与土壤水分关联确定方法及相关装置 | |
| CN115687850A (zh) | 一种农田的灌溉需水量计算方法及装置 | |
| CN112767267A (zh) | 基于仿真偏振带雾场景数据集的图像去雾方法 | |
| CN112861666A (zh) | 一种基于深度学习的鸡群计数方法及应用 | |
| CN114140695B (zh) | 一种基于无人机多光谱遥感的茶树氮素诊断及品质指标测定的预测方法和*** | |
| CN113936019A (zh) | 一种基于卷积神经网络技术的大田作物产量估算方法 | |
| CN117451012A (zh) | 一种无人机航摄测量方法及*** | |
| CN117197062A (zh) | 一种基于rgb图像的叶片氮含量测量方法及*** | |
| CN116721344A (zh) | 基于航拍设备的植被检测方法、装置和设备 | |
| CN115082812A (zh) | 一种农业景观非农生境绿地斑块提取方法及其相关设备 | |
| CN113506343B (zh) | 基于多源数据的色坐标估计方法、***、设备及介质 | |
| CN115311336A (zh) | 多相机的图像配准方法、装置、设备及存储介质 | |
| CN113096048B (zh) | 一种广义云驱动与几何协同遥感影像辐射校正方法及*** | |
| Deng et al. | A paddy field segmentation method combining attention mechanism and adaptive feature fusion | |
| CN111339954B (zh) | 一种基于图像识别的薇甘菊监测方法 | |
| CN115690585B (zh) | 一种基于数字相片提取小麦分蘖数的方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |