CN115861409B

CN115861409B - 大豆叶面积测算方法、***、计算机设备及存储介质

Info

Publication number: CN115861409B
Application number: CN202310171617.9A
Authority: CN
Inventors: 田绪红; 罗文林; 王岸鑫; 刘琳; 黄镇洲; 戴卓鹏; 陈浚钊; 潘柏源; 唐明航
Original assignee: South China Agricultural University
Current assignee: South China Agricultural University
Priority date: 2023-02-28
Filing date: 2023-02-28
Publication date: 2023-06-27
Anticipated expiration: 2043-02-28
Also published as: CN115861409A

Abstract

本发明公开了一种大豆叶面积测算方法、***、计算机设备及存储介质，所述方法包括：构建大豆叶子单张多视角图像‑单张扫描图配对数据集，划分出训练集；构建基于Swin Transformer的主干网络模型；利用训练集对主干网络模型进行训练，得到训练好的主干网络模型；获取待处理的大豆叶子多视角图像，并进行预处理；将预处理后的大豆叶子多视角图像输入训练好的主干网络模型，生成大豆叶子正面的平铺图；利用大豆叶子正面的平铺图，得到叶像素面积，叶像素面积是指图像中以像素为单位的叶子轮廓内部面积。本发明可以实现叶面积的快速准确计算，为监测植株生长过程及育种专家培育出高产大豆的理想叶型提供技术支持。

Description

大豆叶面积测算方法、***、计算机设备及存储介质

技术领域

本发明涉及一种大豆叶面积测算方法、***、计算机设备及存储介质，属于计算机视觉中的图像生成、图像处理领域。

背景技术

大豆的高产稳产与其叶型密切相关，叶型指叶子的长相，包括叶子的形状、大小和厚度等参数，是株型的重要组成部分。目前相关工作存在对叶子建模精度不够及对叶面积参数估计不准、损伤植物活体等问题。相关工作包括植物叶子建模及参数估计、变形文档平铺化、人工采摘叶子等方法：

1）在植物叶子建模及参数估计这项工作方面，牛珂等人运用图像增强、形态学处理及边界跟踪等方法对含有标定物的植物叶片照片进行图像预处理后，再利用边界跟踪得到图像的边界信息，采用边界链码法、像素法、最小外界矩形（MER）等方法来测量叶片的周长、面积和矩形度等特征参数。Golbach等人利用轮廓形法（从轮廓到形状），从少量校准图像中快速建立三维植物模型，然后识别和分割出茎和叶，之后通过识别叶片表面边界上的体素来测量叶片面积。Kenta等人利用一种在多个场景不同位置构建的叶片三维图像中进行叶片自动分割的方法，借助距离变换和分水岭算法分割出顶部视角下的叶片图像信息，之后通过基于体素的计算，估计出每片叶片的叶面积及其倾斜角。

2）在变形文档平铺化这项工作方面，Ma等人借助于U-Net网络学***整文档图像共同作为Ground-truth实现文档图像的矫正，该技术可以得到比较理想的平铺文档，但需依赖于一个比较大的三维数据集。You等人从多视图将变形文档平铺化，但其仍是以三维模型做桥梁先从多视图重建三维，然后再投影变形得到平铺图。

3）在人工采摘叶子这项工作方面，直接把叶子采摘下来，然后用扫描仪器扫描叶子生成扫描图，然后利用扫描图去进行叶面积测算。

虽然现有工作有一定的借鉴和参考价值，但植物叶子建模及参数估计存在建模精度和叶面积参数估计精度不高的问题；而变形文档平铺化是基于文档特点处理的，不适用于大豆叶子，大豆叶子是三维的，也没有类似文档的特点，另外直接人工采摘这种方式存在损害植物活体、降低大豆产量的不足之处。

发明内容

有鉴于此，本发明提供了一种大豆叶面积测算方法、***、计算机设备及存储介质，其克服了现有技术的不足之处，可以实现叶面积的快速准确计算，为监测植株生长过程及育种专家培育出高产大豆的理想叶型提供技术支持。

本发明的第一个目的在于提供一种大豆叶面积测算方法

本发明的第二个目的在于提供一种大豆叶面积测算***。

本发明的第三个目的在于提供一种计算机设备。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种大豆叶面积测算方法，其特征在于，所述方法包括：

构建大豆叶子单张多视角图像-单张扫描图配对数据集，划分出训练集；

构建基于Swin Transformer的主干网络模型，所述主干网络模型包括第一提取模块、第二提取模块和生成模块，所述生成模块通过聚合第一提取模块提取的初级特征和第二提取模块提取的高级特征生成最终的图像；

利用训练集对主干网络模型进行训练，得到训练好的主干网络模型；

获取待处理的大豆叶子多视角图像，并进行预处理；

将预处理后的大豆叶子多视角图像输入训练好的主干网络模型，生成大豆叶子正面的平铺图；

利用大豆叶子正面的平铺图，得到叶像素面积，所述叶像素面积是指图像中以像素为单位的叶子轮廓内部面积；

获取输入的叶子实际长度，根据叶像素面积和叶子实际长度，计算叶面积。

进一步的，所述第一提取模块包括第一卷积层，使用第一卷积层提取初级特征，并通过残差连接将初级特征传送到生成模块。

进一步的，所述使用第一卷积层提取初级特征，如下式：

；

其中，F₀为初级特征，H_SF(·)表示第一卷积层，I_input为拍摄图像，I_input∈R^H×W×Cin，H、W、C_in分别是图像的高度、宽度和输入通道数。

进一步的，所述第二提取模块包括若干个残差Swin Transformer块和一个第二卷积层，若干个残差Swin Transformer块依次连接，且最后一个Swin Transformer块与第二卷积层连接，所述第二卷积层将卷积运算的归纳偏置引入主干网络模型；

每个残差Swin Transformer块包括若干个Swin Transformer层和一个第三卷积层，若干个Swin Transformer层依次连接，且最后一个Swin Transformer层与第三卷积层连接，每个Swin Transformer层包括两次“LayerNorm+MSA+残差连接”操作。

进一步的，所述Swin Transformer块为K个，每个Swin Transformer块有L个SwinTransformer层；

所述高级特征的计算如下式：

；

；

其中，F_HF为高级特征，H_RSTBi(·)表示第i个残差Swin Transformer块，F_i表示第i个残差Swin Transformer块提取到的特征，H_CONV(·)表示第二卷积层；

第i个残差Swin Transformer块中L个SwinTransformer层提取的中间层特征分别为F_i,1、F_i,2、F_i,3……F_i,L，第j个Swin Transformer层的中间层特征如下式：

；

其中，H_STLi,j(·)表示第i个残差Swin Transformer块中的第j个SwinTransformer层，第i个残差Swin Transformer块输出的特征如下式：

；

其中，H_CONVi(·)为第i个残差Swin Transformer块中的第三卷积层。

进一步的，所述主干网络模型的损失函数包括像素损失、感知损失和生成对抗网络损失，表示如下式：

；

其中，λ、η、μ是可调节的超参数，L₁为像素损失，L_perceptual为感知损失，L_gan为生成对抗网络损失；

所述像素损失计算的是实际值与目标值之间绝对差值，如下式：

；

其中，I_out为生成的图像，I_gt为多视角图像相对应的叶子扫描图像；

所述感知损失为各层像素损失与其权重乘积的和，如下式：

；

其中，Φ_q(·)表示VGG-19中第q层提取特征的输出结果，γ是超参数，表示第q层损失函数的权重；

所述生成对抗网络损失中引入了一个判别器用来对生成的图像I_out进行处理，并和一个目标张量进行二分类交叉熵损失的计算，如下式：

；

其中，ζ是网络预测图像是真实扫描图像的概率，ρ是图像标签。

进一步的，所述构建大豆叶子单张多视角图像-单张扫描图配对数据集，划分出训练集，具体包括：

获取户外自然田中多个不同品种和株系的自然生长环境下的大豆叶子原始图像，所述原始图像包括多视角图像和扫描图像，所述大豆叶子选取的是完整、成型、纹路清晰、非枯黄的叶子，且同一片大豆叶子有不同数量的多视角图像；

将原始图像进行筛选和清洗，并对筛选和清洗后图像进行预处理，构建大豆叶子单张多视角图像-单张扫描图配对数据集；

根据大豆叶子单张多视角图像-单张扫描图配对数据集中的大豆叶子图像数据，划分出训练集。

进一步的，所述对筛选和清洗后的图像进行预处理，具体包括：

针对筛选和清洗后图像中的每张多视角图像，使用HSV背景净化法和grabCut函数背景净化法净化多视角图像背景，将净化图像依次进行灰度化、二值化，查找出叶子轮廓的最大外接矩形，并裁剪出紧密包裹住叶子的正方形区域；

针对筛选和清洗后图像中的每张扫描图像，将扫描图像作为输入图像依次进行灰度化、二值化，得到第一掩膜；将二值化图像按位取反，得到反转后的第二掩膜；生成一个与输入图像同大小的灰色背景图像；将输入图像进行按位与操作，采用第二掩膜，得到前景图像；将灰色背景图像进行按位与操作，采用第一掩膜，得到背景图像；将前景图像和背景图像相加，得到背景为灰色的叶子图像；使用findContours函数和第二掩膜从灰色的叶子图像中提取叶子轮廓信息；查找出叶子轮廓的最大外接矩形；裁剪出矩形区域；以最大外接矩形的较长边为边长，创建一个灰色正方形背景图像；将灰色正方形背景图像的中间部分替换为矩形区域，变为第一掩膜，调整大小得到最终处理的结果。

进一步的，所述利用大豆叶子正面的平铺图，得到叶像素面积，具体为：根据大豆叶子正面的平铺图，利用contourArea函数计算轮廓像素点围成区域的面积，得到叶像素面积；

所述根据叶像素面积和叶子实际长度，计算叶面积，如下式：

；

其中，L’为叶子实际长度，S为叶像素面积，S’为叶面积。

本发明的第二个目的可以通过采取如下技术方案达到：

一种大豆叶面积测算***，所述***包括：

数据集构建单元，用于构建大豆叶子单张多视角图像-单张扫描图配对数据集，划分出训练集；

主干网络模型构建单元，用于构建基于Swin Transformer的主干网络模型，所述主干网络模型包括第一提取模块、第二提取模块和生成模块，所述生成模块通过聚合第一提取模块提取的初级特征和第二提取模块提取的高级特征生成最终的图像；

模型训练单元，用于利用训练集对主干网络模型进行训练，得到训练好的主干网络模型；

图像获取单元，用于获取待处理的大豆叶子多视角图像，并进行预处理；

平铺图生成单元，用于将预处理后的大豆叶子多视角图像输入训练好的主干网络模型，生成大豆叶子正面的平铺图；

叶像素面积获取单元，用于利用大豆叶子正面的平铺图，得到叶像素面积，所述叶像素面积是指图像中以像素为单位的叶子轮廓内部面积；

叶面积计算单元，用于获取输入的叶子实际长度，根据叶像素面积和叶子实际长度，计算叶面积。

本发明的第三个目的可以通过采取如下技术方案达到：

一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现上述的基于纹理特征分析的大豆叶面积测算方法。

本发明的第四个目的可以通过采取如下技术方案达到：

一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的基于纹理特征分析的大豆叶面积测算方法。

本发明相对于现有技术具有如下的有益效果：

1、本发明以无损害的方式从手机等设备拍摄的单张多视角图像，直接得到该叶子正面的平铺图，主干网络模型经充分训练及完善后，生成的正面平铺图在叶像素面积上与真实扫描图像中的叶像素面积高度接近，使用者可将该叶像素面积再结合叶子实际长度（用简单普通的量尺或者手机测距功能即可快速方便得到）来准确快捷计算叶子叶面积。

2、本发明的网络模型具有十分优良的网络结构，在应用于大豆叶子平铺图生成上，使用的主干网络模型集成了传统卷积神经网络（CNN）和Transformer网络的优势。第一，比起卷积神经网络，本发明的网络性能更好，而参数量大大减少，注意力权重的变化是基于图像内容之间的交互作用，可以解释为空间变化的卷积。第二，比起Transformer，本发明的网络是在小窗口内进行自注意力计算，这可以大幅降低计算时的序列长度，计算复杂度随图像分辨率变大仅产生线性增长；另外，本发明由于采用了层级式的VisionTransformer结构，使用了patch merging的方法，可以捕获多尺度的图像特征，依次构建维度翻倍的特征图；还采用了移动窗口的方法，使相邻的窗口之间产生交互，上下层之间有十字形窗口连接（Cross Window Connection），变相达到全局建模的能力。

3、本发明的主干网络模型具有极佳的性能，使用大豆叶子单张多视角图像-单张扫描图配对数据集中的训练集训练好模型后，再输入测试集中不同视角的491张拍摄图图像到模型中进行高质量大豆叶子图像生成，之后将这24个株系的491张生成的图像与其一一对应的491张扫描图图像进行叶像素面积误差对比，经计算，每个株系的叶像素面积误差分布在4.111%到7.889%之间，总体平均误差为6.46%，这个误差值充分说明了这个主干网络模型的优秀性能和使用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例1的大豆叶面积测算方法的流程图。

图2为本发明实施例1的原始图像经过筛选和清洗后的示意图。

图3为本发明实施例1的多视角图像预处理流程图。

图4为本发明实施例1的扫描图像灰度化、二值化流程图。

图5为本发明实施例1的提取叶子轮廓信息使叶子居中置于灰色图像中的流程图。

图6为本发明实施例1的主干网络模型图。

图7为本发明实施例1的损失函数中像素损失和感知损失权重过小时主干网络模型生成的平铺图效果图。

图8为本发明实施例1的调整主干网络模型后生成的平铺图效果图。

图9为本发明实施例1的测试集中部分多视角拍摄图、主干网络模型生成的平铺图和扫描图像情况。

图10为本发明实施例1的大豆叶面积计算流程图。

图11为本发明实施例2的大豆叶面积测算***的结构框图。

图12为本发明实施例3的计算机设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本实施例利用自主构建的大豆叶子数据集，采用有监督的学***铺化图生成及其叶面积计算***，用户输入单张某个叶子的多视角图像到该***后，***会自动对该多视角图像进行处理并用训练好的主干网络模型自动生成该叶子对应的平铺图，并根据平铺图计算出的叶像素面积，再结合用户输入的叶子实际长度，***将输出该叶子的真实叶面积估测值。

如图1所示，本实施例提供了一种大豆叶面积测算方法，该方法基于上述大豆叶子平铺化图生成及其叶面积计算***实现，具体包括以下步骤：

S201、构建大豆叶子单张多视角图像-单张扫描图配对数据集，划分出训练集。

由于目前对大豆叶子图像平铺化的研究相对少，在该方向上缺乏充足的公共数据集，本实施例以不同方位采集的大豆叶子多视角图像及二维扫描仪扫描的对应大豆叶子扫描图像作为数据对构建数据集，采集的数据来源于户外自然田中多个不同品种和株系的自然生长环境下的大豆的叶子原始图像，原始图像包括多视角图像和扫描图像；在数据采集过程中，注重了大豆叶子选取的质量和数量；在质量上：注重选取完整、成型、纹路清晰、非枯黄的叶子；在数量上：同一片大豆叶子可以有不同数量的多视角图像；另外，采集到的原始图像将经过筛选和清洗，并对筛选和清洗后图像进行预处理，预处理通过大豆叶子平铺化图生成及其叶面积计算***的预处理模块实现，以构建大豆叶子单张多视角图像-单张扫描图配对数据集，并将数据集中的大豆叶子图像数据划分为训练集和测试集，其中训练集涉及到2067个叶子，每个叶子有3到12张不同视角的图像，总共由19142张拍摄图图像及其对应的19142张扫描图图像构成；测试集与训练集没有交集，是由另一片自然田中随机选取的24个株系叶子（每个株系有3个叶子，每个叶子有3到12张数量不等的多视角图像）的491张拍摄图图像及其对应的491张扫描图图像构成。

进一步地，本实施例的多视角图像采集方式为：使用苹果、华为等手机对大豆叶子进行多个视角的拍摄。拍摄叶子前，先做好准备工作，如准备好纯色背景硬纸板、贴好编号标签或兼有株系名称标签的透明密封袋、纸笔、冰袋、保温泡沫箱、充电宝等。每拍摄一个叶子前，先拍摄贴有编号标签的密封袋，以此标记该叶子编号。对于第二片自然田的叶子，则拍摄贴有编号标签和株系名称的密封袋，以此标记该叶子编号和株系名称。然后用一深黑色背景板置于该叶子之下，避免其他干扰物进入到该叶子图像中，随后对叶子进行多个角度的拍摄。拍完一个叶子后，马上将该叶子装入到透明密封袋中密封好，有助于保持其水分，减缓叶子枯萎变形，如果天气过热，则将其平整放入保温泡沫盒并放置冰袋。天气对拍摄工作有较大影响。在拍摄时，尽量保证光照均匀，光照强度一致，曝光度合理，同时尽量避免刮风吹动叶子导致拍摄的图像不够清晰的情况。如果太阳光照过强，则部分叶子会出现反卷的情况，如果是下大雨，则叶子会有较多水珠赋于其上，都会影响结果，且下雨后田地泥泞，蚊虫蚁较多，不利于拍摄工作的进行。

进一步地，本实施例的扫描图像采集方式为：当天拍摄工作完毕后，马上将已装入密封袋中的叶子送回实验室，将其小心翼翼一一拆出袋后，放进扫描仪上进行扫描。为了尽快完成扫描，加快扫描速度，使得扫描图最大限度保留叶子原本面貌，扫描时一次性扫描多个叶子到同一张图像上，该图像的名字按顺序保留了这几个叶子的编号信息，后续再分割，并按照编号信息命名好分割后的图像，确保多视角图像和扫描图对应正确。

本实施例中，对原始图像进行筛选和清洗如图2所示，将手机当天拍摄的多视角图像及时上传到计算机中，对拍摄时有其他物体进入到拍摄视线的、拍摄模糊的、叶子枯黄的图像进行剔除，然后使用人工和提取工具对原始图像进行大豆叶子图像提取与大豆叶子个体分类工作，将合格的图像按照其对应的编号标签创建文件夹将图像及时归类，一个文件夹就装着同一个叶子的N张多视角图像；同时将此前合成了多个叶子图像的扫描图切割出一个个叶子扫描图，切割时使叶尖点和叶轴点尽量贴近边缘，叶柄部分去掉。

本实施例的预处理需要分别对多视角图像和扫描图像进行预处理。

多视角图像预处理如图3所示，具体包括：

（1）统一图像格式

苹果手机部分版本拍摄的照片是HEIC格式的，为减少其对网络的干扰，将其全部传入到HEIC转JPG的代码中，统一转成JPG格式。后续也会设置代码检测每张图像的后缀名，对不是JPG格式的其他图像，统一转成JPG格式，严格确保图像格式一致。

（2）自动裁剪出多视角图像中的叶子区域

送进网络训练的图像有两个基本要求，一是处理后的图像中叶子叶轴点和叶尖点贴近图像边缘，不留多余间隙，和扫描图像一样，否则将影响叶面积计算。二是图像分辨率不能太大，否则网络训练难以承受。三是图像的宽高一致，以更好适应通行网络的设计，这里目标宽高设为256×256。为实现上述目标，需要做大量的功夫去处理实际的图像。因为实际的情况是，手机拍摄的原始照片中，叶子叶尖点和叶轴点和照片边缘通常留有了较大空隙，照片的分辨率大多数是3024×4032，一般在4MB以上，且宽高比为2:3或者3:4左右。

面对这样实际情况的图像，如果直接Resize成256×256，那么图像中叶子会发生扭曲变形，将严重失真。如果手动以叶轴点和叶尖点之间的长度为边长，框出一个刚好包裹住叶子的正方形区域，然后裁剪下来，最后Resize成256×256大小，对少量图像这样做倒也是一种可行的方法。但是对于数千张扫描图像和22464张大豆叶子多视角图像，如果逐张这样操作的话，显然手动方式将十分费力耗时，可行性低，而且也不利于后续自动化的应用。

经过多次尝试，本实施例提出一种方法能够比较彻底地净化图像背景，计算机能自动准确识别出叶子轮廓，然后获得该轮廓的最大外接矩形，以该矩形的最长边为边长，以该矩形的对角线交叉点为中心，在原图上划出一个正方形区域，将该区域裁剪出来，然后把裁剪出的区域Resize成256×256。

实现这种方法的关键是如何比较彻底净化图像背景，让计算机自动快速准确查找出图像中的叶子轮廓。因为在实际中，不同的手机拍摄出来的照片存在多种情况，比如说图像的大小不一样，叶子在图像中的位置不一样，最重要的是图像曝光度不同，遮光不一、光照强弱差异大，背景对前景目标的识别干扰因素多且严重。想要让计算机自动快速准确查找出叶子轮廓，设计时需综合考虑多种复杂因素的影响，并一一排除，因此最后综合使用HSV背景净化法、grabCut函数背景净化法来净化背景，并让计算机准确识别叶子轮廓，然后自动裁剪出紧密包裹住叶子的正方形区域，整体流程如下：

（2.1）净化图像背景

Opencv提供了一个在二值化图像中寻找轮廓的函数，该函数名为findContours。但是直接使用该函数的效果是不理想的，需要先对图像的背景进行比较彻底的净化。这里的思路是让计算机将所有叶子图像中的背景转成一种和叶子颜色截然不同的颜色。经多次实验，这里将其背景转成全深黑色时，后续再使用findContours函数查找叶子轮廓的效果是最好的。此步骤的难点在于如何设计一个不用人工干预、普适性强的方式以应对众多曝光度不同、色差不同、叶子在图像中的位置各异的情况。

先使用HSV背景净化法，再使用grabCut函数背景净化法去较为彻底净化图像中的背景，为后续的叶子轮廓精准查找打下坚实的基础，具体如下：

先使用HSV背景净化法，先尽量净化叶子背景，尤其是减少阴影的干扰。首先把图像转到HSV颜色空间，然后统一将图像所有非叶子颜色的像素置为深黑色，这一步也把叶子周围的阴影像素转成深黑色。这里为了方便展示，把查找出的非叶子颜色的像素置为白色来展示，经过多次尝试，最终设定了一个叶子的颜色范围（多个颜色的组合，根据实际测试得出，由色调、饱和度和明度之间的多样组合而成），设定好这个范围后，基本能把非叶子颜色的像素查找出来；然后使用grabCut函数背景净化法进一步净化背景。

（2.2）使用Opencv的findContours函数查找叶子轮廓

经过HSV背景净化、grabCut函数背景净化后，图像的背景净化得比较彻底，然后再依次将图像灰度化、二值化。因为背景比较干净，因此在二值化时，简单地设一个低阈值即可，最后再使用Opencv的findContours函数就可以寻找图像中的所有轮廓，遍历轮廓，最大轮廓即为叶子轮廓。

（2.3）查找出叶子轮廓的最大外接矩形，并裁剪出紧密包裹住叶子的正方形区域

得到叶子轮廓后，使用Opencv的boundingRect函数就可以得到该轮廓的最大外接矩形，但是，本实施例的目标是裁剪出一个包裹住叶子的正方形区域。因此，在得到了该轮廓的最大外接矩形后，这里设计了一个算法来获得包裹住叶子且叶子主体基本居中的正方形区域，详细说明如下：

1）以最大外接矩形的较长边为标准，设置一个较小的步幅，如2个像素来延伸较短边的边长；

2）以中心点为对称点，两侧依次对称延伸较短边的边长；

3）如果在延伸的过程中，出现某一侧已经抵达照片边缘，则该侧不动，另一侧继续延伸较短边的边长，直至较短边和较长边相等，延伸停止；或另一侧也抵达了照片边缘，那么延伸也停止。

4）得到这个正方形区域信息后，在原图上裁剪出这个区域，并将这个区域Resize成256×256大小。

经过以上步骤后，实现了在不改变自然背景的情况下，在情况复杂多样的、数量庞大的多视角叶子图像中自动裁剪出紧密包裹叶子的正方形区域，这个过程所使用到的技术，也为后续图像叶面积的计算奠定了基础。

扫描图像的预处理和上述多视角图像预处理的方式相类似，虽然对多视角图像采用了HVS背景净化法和grabCut函数背景净化法，效果比较理想，有效应对了背景情况复杂多样的图像，但这样做的缺点是处理速度慢、比较耗时，是以时间为代价来换取好效果的方式，而由于扫描图像的背景为空，因此理论上不需要对扫描图像背景进行净化，直接使用findContours函数就可以检测出叶子轮廓区域，这样会极大提高速度。但是由于图中大多数叶子的叶轴部与图像边缘紧密相连，且背景为全白，直接使用findContours函数会把图像的四条边也当做是叶子轮廓的一部分，简单地做个处理即可。

（1）二值化操作把背景统一置为灰色。

将扫描图像背景直接置换为以后想要的灰色（设为灰色是因为多视角图像中的背景是灰色基调，扫描图像与之保持一致）即可，一步到位。由于扫描图背景十分干净，只需要进行简单的灰度化、二值化等操作即可，如图4所示。

（1.1）将扫描图像作为输入图像I依次进行灰度化、二值化，得到第一掩膜M。

（1.2）将二值化图像按位取反，得到反转后的第二掩膜M_V。

（1.3）生成一个与输入图像同大小的灰色背景图像G。

（1.4）将输入图像I进行按位与操作，采用第二掩膜M_V，得到前景图像FG；

（1.5）将灰色背景图像G进行按位与操作，采用第一掩膜M，得到背景图像BG；

（1.6）将前景图像FG和背景图像BG相加，得到背景为灰色的叶子图像N。

（2）提取叶子轮廓信息，将叶子居中置于灰色图像中。

（2.1）使用findContours函数和第二掩膜M_V查找出叶子图像N中的叶子轮廓信息，如图5的轮廓线所示。

（2.2）查找出叶子轮廓的最大外接矩形，如图5的中间图像矩形框所示。

（2.3）裁剪出该矩形区域为C。

（2.4）以最大外接矩形的较长边为边长，创建一个灰色正方形背景图S。

（2.5）将灰色正方形背景图像S的中间部分替换为矩形区域C，变为第一掩膜M。

（2.6）将第一掩膜M调整成256×256大小，O就是最终处理的结果。

经过以上步骤，得到了处理好的22462张大豆叶子多视角图像、2532张大豆叶子扫描图，接下来开始构建数据集。

对于第一片自然田采集的数据，假设一个叶子，经上述步骤处理后，有N张多视角图像，它的前一个叶子最后一张多视角图像编号为M，那么该叶子的多视角图像编号依次为M+1、M+2……M+N，这个叶子对应的单张扫描图也复制N张，编号也依次为M+1、M+2……M+N；编号M从1开始，直至19162。

对于第二片自然田采集的数据，假设一个叶子，经上述步骤处理后，有N张多视角图像，该叶子的株系名称为Z₂，它的前一个株系的最后一张多视角图像编号为Z₁_M，那么该叶子的多视角图像编号依次为Z₂_ (M+1)、Z₂_ (M+2)……Z₂_ (M+N)，这个叶子对应的单张扫描图也复制N张，编号也依次为Z₂_ (M+1)、Z₂_ (M+2)……Z₂_ (M+N)；株系名称有155个，编号M从1开始，直至3300。

在后续网络训练时，一张多视角图像就和一张相同编号的扫描图对应，综合两片自然田的数据，后续再经过筛选，最后使用了19633对图像构建了“单张多视角图像-单张扫描图配对数据集”。有了总的数据集后，再从中划分训练集和测试集；其中，随机选取了第二片自然田的24个株系共491张多视角图像及其对应的扫描图像构成了测试集，剩余为训练集。

S202、构建基于Swin Transformer的主干网络模型。

本实施例的主干网络模型如图6所示，该主干网络模型包括第一提取模块、第二提取模块和生成模块，第一提取模块用于提取初级特征（又称浅层特征），并将初级特征传送到生成模块，第二提取模块用于从初级特征中提取高级特征（又称深层特征），并将高级特征传送到生成模块，生成模块用于聚合第一提取模块提取的初级特征和第二提取模块提取的高级特征生成最终的图像。

图中的“Conv”表示神经网络中的卷积操作，常用于提取图像特征。

图中的“LayerNorm”表示神经网络中的层标准化操作，有利于在训练模型的过程中保证数据特征分布的稳定性，也有一定的抗拟合的作用。

图中的“MSA”全称是“Multi-head Self-attention”，表示神经网络中的多头注意力机制，多头的本质是多个独立的attention计算，将模型分为多个头，形成多个子空间，可以让模型去关注不同方面的信息，另外作为一个集成的作用，可以防止过拟合。

图中的“STL”全称是“Swin Transformer Layer”,包含了两次“LayerNorm+MSA+残差连接（Residual Connection）”操作，是主干网络模型的重要操作单元。

图中的RSTB全称是“Residual Swin Transformer Block”，即残差SwinTransformer块的意思，该模块包含了若干个“STL”和一个卷积层操作。

本实施例的主干网络模型结合了深度学习领域传统卷积神经网络CNN和学术前沿网络Transformer的优点，传统CNN的方法通常会存在以下两个问题，这两个问题源于其基本构造块，即卷积层；问题一是图像和卷积核之间的交互与内容无关，使用相同的卷积核来生成不同的图像区域可能不是一个好的选择；问题二是CNN可能更多的是对局部信息进行处理，而卷积操作对于需要长期依赖性建模是不够有效的；为弥补传统CNN的这两个缺点，于是本领域有人提出使用Transformer，Transformer由于是基于一种自注意力机制，所以它能捕捉上下文之间的全局交互，但初期的视觉领域的Transformer通常将输入图像分割成大小固定的小块，并独立处理每个小块，这种做法又带来了新的问题：生成的图像可能会在每个小斑块周围引入边界伪影；每个patch的边界像素会丢失信息；而本实施例使用的基于Swin Transformer的主干网络模型结合了CNN和Transformer的优点，该主干网络模型的权重变化是基于内容之间的交互产生的，另外通过移位窗口机制可以实现长期依赖性建模，同时该主干网络模型是基于小窗口注意机制的，所以它具有CNN处理大尺寸图像的优势，计算复杂度随图像大小增加仅产生线性增长而非几何增长。

本实施例的主干网络模型各个模块以及损失函数的具体说明如下：

（1）第一提取模块

本实施例的第一提取模块包括第一卷积层，使用第一卷积层提取初级特征，并通过残差连接将初级特征传送到生成模块，该第一卷积层为3×3卷积层，给定一个拍摄图像I_input∈R^H×W×Cin（H、W、C_in分别是图像的高度、宽度和输入通道数），使用第一卷积层H_SF(·)来提取初级特征F₀，如下式：

；

通过这种简单的方法把输入的图像映射到一个更高维的特征空间。

（2）第二提取模块

本实施例的第二提取模块包括若干个残差Swin Transformer块和一个第二卷积层，若干个残差Swin Transformer块依次连接，且最后一个Swin Transformer块与第二卷积层连接，第二卷积层将卷积运算的归纳偏置引入主干网络模型。

具体地，设H_HF(·为第二提取模块，H_HF(·)能从初级特征F₀感知提取到高级特征F_HF（F_HF∈R^H×W×C），H_HF(·)包含K个RTSB（残差Swin Transformer块），最后再接一个3x3的第二卷积层，设K个RTSB提取到的特征分别为F₁、F₂……F_K，则：

；

；

其中，H_RSTBi(·)表示第i个残差Swin Transformer块，F_i表示第i个残差SwinTransformer块提取到的特征，H_CONV(·)表示第二卷积层，第二卷积层可以将卷积操作的归纳偏置引入主干网络模型中，为后期初级特征、高级特征的聚合奠定了更好的基础。

进一步地，每个残差Swin Transformer块（RTSB）包括若干个Swin Transformer层（图2中的STL）和一个第三卷积层，若干个Swin Transformer层依次连接，且最后一个SwinTransformer层与第三卷积层连接，每个Swin Transformer层包括两次“LayerNorm+MSA+残差连接”操作。

具体地，给定第i个RTSB的输入特征F_i,0，设单个RTSB有L个STL，则在单个RTSB内，首先用L个STL提取的中间层特征分别为F_i,1、F_i,2、F_i,3……F_i,L，第j个Swin Transformer层的中间层特征如下式：

；

H_STLi,j(·)表示第i个RTSB中的第j个STL，之后再经过第三卷积层，最后使用残差连接，第i个RTSB输出的特征如下式：

；

其中，H_CONVi(·)为第i个RTSB中的第三卷积层。

（3）生成模块

生成模块最终生成的图像I_out是通过聚合前两个模块提取的初级特征和高级特征得到的，得到的是高质量图像，如下式：

；

其中，H_RFC(·)是生成模块，生成模块的主要操作有：卷积 + 卷积插值上采样 +卷积插值上采样 + 卷积。上述第一提取模块提主要包含低频信息，而第二提取模块专注于高频信息，通过长距离的跳跃连接，网络可以将低频信息直接传给生成模块，这样就能使得深层提取器更加专注于高频信息和稳定训练。

（4）损失函数

本实施例的主干网络模型的损失函数包括像素损失L₁、感知损失L_perceptual和生成对抗网络（GAN）损失L_gan，表示如下式：

；

其中，λ、η、μ是可调节的超参数。

（4.1）像素损失L₁

像素损失L₁计算的是实际值与目标值之间绝对差值，其计算公式可以表示如下：

；

其中，I_out为生成的图像，I_gt为多视角图像相对应的叶子扫描图像，根据公式可以知道，使用像素损失可以很好地评估生成图像和真实扫描图像之间的差距，从而鼓励模型向真实扫描图像的形状进行优化和改进。

（2）感知损失L_perceptual

像素损失L₁像素级的误差没有捕获生成图像和正面扫描图之间的感知区别（perceptual differences），经过研究表明，高质量的图像可以通过定义和优化感知损失函数来生成，该损失函数基于使用预训练好的网络提供的高层的特征。因此，本实施例将结合使用感知损失函数，采用一个预训练的VGG-19卷积神经网络对图像的特征进行提取，在VGG-19网络中，每一层都会将输入图像的尺寸缩小，特征维度进行放大，总共提取5次特征。对于每一次提取的特征，网络会对其进行像素损失的计算。同时，对于每一层特征，会给定一个权重γ（γ是超参数，表示第q层损失函数的权重，可自行调节），最终输出的总损失值为各层像素损失与其权重乘积的和，如下式：

；

其中，Φ_q(·)表示VGG-19中第q层提取特征的输出结果。

引入感知损失，可以更好地提取叶子属性的特性，将叶子图像的特征逐渐放大，最终保留的是叶子的基本特征，如主叶脉、脉络条数、叶脉走向、叶轴点、叶尖点等特性，相当于给网络训练提供了一条捷径，可以帮助模型更快找到学习的目标和方向。

（3）生成对抗网络损失L_gan

和生成对抗网络模型类似，在生成对抗网络损失中引入了一个判别器用来对生成的图像I_out进行处理，并和一个目标张量进行二分类交叉熵损失的计算，期望的是判别器可以很好地区别真实扫描图I_gt和生成图像I_out，如下式：

；

其中，ζ是网络预测图像是真实扫描图的概率，ρ是图像标签，如果图像是真实扫描图，则取值为1，否则取值为0；每次计算完损失后，会根据图像真实的概率和虚假的概率对判别器网络的参数进行优化，使用生成对抗网络损失，可以提高图像的生成质量，使其更加符合真实扫描图的模样，同时可以使生成的图像细节更加锐利清晰。

S203、利用训练集对主干网络模型进行训练，得到训练好的主干网络模型。

本实施例的主干网络模型经过训练集六十万次迭代的训练后，形成了了稳定的性能。

调整损失函数参数和神经网络层参数：观察最初的网络训练效果，由于像素损失和用于感知损失的VGG19中初级层的损失函数权重初始值设置过小，导致生成的图片与扫描图（groudtruth）相比不够细腻，而且网络模型过于关注局部细节而忽视了对整体的把握，直观的效果就是叶子图像出现图像质量粗糙、图像中叶子叶轴较大程度偏离主方向、叶子轮廓不够近似的问题，如图7所示；此后调整损失函数中比较关键的参数，并且依据自身数据集的图像实际尺寸和实际任务需要，改造了网络中的初级特征提取模块和高质量图像生成模块的部分网络。经过以上的修改后，网络模型展现了优异的图像生成效果，体现了模型优秀的性能，如图8所示。

对模型生成的平铺图像与扫描图像（Ground-truth）进行叶像素面积误差计算：叶像素面积又称图像叶面积，是指图像中以像素为单位的叶子轮廓内部面积，本实施例在户外自然田中随机选取24个株系，每个株系包含3个叶子，每个叶子包含3到12张数量不等的多视角图像，将株系中每张多视角图像经模型生成后的平铺图图像与其一一对应的扫描图图像逐张进行叶像素面积误差计算，并按照株系进行归总分析；图9展示了测试集中部分多视角拍摄图、模型生成的平铺图、扫描图情况，实验结果如表1所示。

由随机选取的24个株系的生成图及与其扫描图像（Ground-truth）叶像素面积的平均误差值来看，本实施例的主干网络模型的大豆叶子平铺图在叶像素面积这个几何参数上与扫描图有高度近似值。

本实施例以扫描图像为例，说明叶像素面积的计算方法，轮廓可以理解为连接所有连续点（沿着边界）的曲线，既是形状分析和目标检测的有效工具，也是计算图像叶面积的好帮手。Opencv提供了一个名为contourArea的计算轮廓面积的函数，该函数利用格林公式计算轮廓像素点围成区域的面积。

设闭区域D由分段光滑的曲线L围成，函数P(x,y)和Q(x,y)在D上具有一阶连续偏导数，则有：

；/>

其中，L是D的取正向的边界曲线。

为了得到更高的精度，一般对图像二值化后再进行计算；把轮廓放大至像素级别，寻找轮廓的时候，注意，取的点为所在像素的中心位置而不是边线位置，然后把这些点一一连接起来构成了轮廓，contourArea函数计算这个轮廓内部的面积值，注意面积值并不等同于像素点的个数，而是根据几何方法算出来的数值，所以有小数。

经上述预处理后，扫描图像背景为纯灰色，直接将其二值化后使用contourArea函数进行面积计算是不行的，因为此时图像背景不是深黑色图像，findContours函数寻找轮廓不够准确，叶子轮廓存在断断续续、噪点的情况。

因此，使用grabCut函数净化背景为深黑色，有利于叶子轮廓闭合连续，这里为便于展示，用白色填充背景。由于预处理后的扫描图像背景非常干净，没有阴影和其他噪声噪点，这里不需要使用HSV背景净化法，大大节省时间。当准确查找出轮廓后，这时将轮廓信息送进contourArea函数就可以计算出叶像素面积。

S204、获取待处理的大豆叶子多视角图像，并进行预处理。

S205、将预处理后的大豆叶子多视角图像输入训练好的主干网络模型，生成大豆叶子正面的平铺图。

S206、利用大豆叶子正面的平铺图，得到叶像素面积。

S207、获取输入的叶子实际长度，根据叶像素面积和叶子实际长度，计算叶面积。

本实施例的步骤S204~S207主要通过大豆叶子平铺化图生成及其叶面积计算***的预处理模块和叶面积计算模块实现，如图3和图10所示，待处理的大豆叶子多视角图像是通过手机等设备拍摄的大豆图像，经过预处理后输入训练好的主干网络模型，可以输出一张与扫描图像近似的平铺图，以及与扫描图像叶像素面积高度近似的数值（平铺图的叶像素面积计算可以参考上述扫描图像的叶像素面积计算，即利用contourArea函数计算得到），可以使用户省时省力地借助该数值以及叶子实际长度（即图10中左上角部分的L’）准确算出大豆叶子叶面积（该叶面积为实际叶面积），可以为监测植株生长过程及育种专家培育出高产大豆的理想叶型提供技术支持。

本实施例中生成的平铺图都是256×256大小，且平铺图中的叶子都是水平朝向，叶轴点和叶尖点定格贴近图像边缘，因此图像叶长度可视作为256个像素，设图像叶长度为L，则L=256，经contourArea函数计算出来的叶像素面积为S。假设该叶子的实际长度为L’，实际叶面积为S’。叶子的轮廓形状类似于椭圆形，设一个椭圆在真实世界中的长轴长、短轴长、面积分别为a’、b’、S_C’，该椭圆在图像中的长轴长、短轴长、面积分别为a、b、S_C（单位为像素），则存在这样的一个关系：

；

；

由此得到：

；

因此，根据叶像素面积和叶子实际长度，计算叶面积，如下式：

；

应当注意，尽管以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

实施例2：

如图11所示，本实施例提供了一种大豆叶面积测算***，该***包括数据集构建单元1101、主干网络模型构建单元1102、模型训练单元1103、图像获取单元1104、平铺图生成单元1105、叶像素面积获取单元1106和叶面积计算单元1107，各个单元的具体功能如下：

数据集构建单元1101，用于构建大豆叶子单张多视角图像-单张扫描图配对数据集，划分出训练集。

主干网络模型构建单元1102，用于构建基于Swin Transformer的主干网络模型，所述主干网络模型包括第一提取模块、第二提取模块和生成模块，所述生成模块通过聚合第一提取模块提取的初级特征和第二提取模块提取的高级特征生成最终的图像。

模型训练单元1103，用于利用训练集对主干网络模型进行训练，得到训练好的主干网络模型。

图像获取单元1104，用于获取待处理的大豆叶子多视角图像，并进行预处理。

平铺图生成单元1105，用于将预处理后的大豆叶子多视角图像输入训练好的主干网络模型，生成大豆叶子正面的平铺图。

叶像素面积获取单元1106，用于利用大豆叶子正面的平铺图，得到叶像素面积，所述叶像素面积是指图像中以像素为单位的叶子轮廓内部面积。

叶面积计算单元1107，用于获取输入的叶子实际长度，根据叶像素面积和叶子实际长度，计算叶面积。

需要说明的是，本实施例提供的***仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例3：

本实施例提供了一种计算机设备，该计算机设备可以是计算机，如图12所示，其包括通过***总线1201连接的处理器1202、存储器、输入装置1203、显示器1204和网络接口1205，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质1206和内存储器1207，该非易失性存储介质1206存储有操作***、计算机程序和数据库，该内存储器1207为非易失性存储介质中的操作***和计算机程序的运行提供环境，处理器1202执行存储器存储的计算机程序时，实现上述实施例1的大豆叶面积测算方法。

实施例4：

本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时，实现上述实施例1的大豆叶面积测算方法。

需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。

上述计算机可读存储介质可以以一种或多种程序设计语言或其组合来编写用于执行本实施例的计算机程序，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Python、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN）连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

综上所述，本发明率先在大豆叶子平铺图生成领域使用了Swin Transformer主干网络模型，该模型能将图像的特征图分割成一个个小窗口，在窗口内部进行自注意力计算。同时，该模型中滑动窗口的自注意力机制使得窗口与窗口之间可以进行通信交互，网络可借此捕捉上下文信息，实现全局建模功能。具体而言，该模型能大幅度降低自注意力机制网络的计算复杂度和更方便构造多尺度的特征图，能够基于自注意力机制的图像特征提取算法以准确表达所拍摄叶子的特征，利用此特征可生成该叶子的平铺图像并由此准确快捷计算叶子的面积参数。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims

1.一种大豆叶面积测算方法，其特征在于，所述方法包括：

获取待处理的大豆叶子多视角图像，并进行预处理；

获取输入的叶子实际长度，根据叶像素面积和叶子实际长度，计算叶面积；

所述构建大豆叶子单张多视角图像-单张扫描图配对数据集，划分出训练集，具体包括：

根据大豆叶子单张多视角图像-单张扫描图配对数据集中的大豆叶子图像数据，划分出训练集；

所述对筛选和清洗后的图像进行预处理，具体包括：

2.根据权利要求1所述的大豆叶面积测算方法，其特征在于，所述第一提取模块包括第一卷积层，使用第一卷积层提取初级特征，并通过残差连接将初级特征传送到生成模块。

3.根据权利要求1所述的大豆叶面积测算方法，其特征在于，所述第二提取模块包括若干个残差Swin Transformer块和一个第二卷积层，若干个残差Swin Transformer块依次连接，且最后一个Swin Transformer块与第二卷积层连接，所述第二卷积层将卷积运算的归纳偏置引入主干网络模型；

4.根据权利要求1所述的大豆叶面积测算方法，其特征在于，所述主干网络模型的损失函数包括像素损失、感知损失和生成对抗网络损失，表示如下式：