CN117392382A - 一种基于多尺度密集实例检测的单木果树分割方法与*** - Google Patents
一种基于多尺度密集实例检测的单木果树分割方法与*** Download PDFInfo
- Publication number
- CN117392382A CN117392382A CN202311229623.1A CN202311229623A CN117392382A CN 117392382 A CN117392382 A CN 117392382A CN 202311229623 A CN202311229623 A CN 202311229623A CN 117392382 A CN117392382 A CN 117392382A
- Authority
- CN
- China
- Prior art keywords
- tree
- image
- segmentation
- detected
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 113
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims abstract description 17
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 11
- 238000005520 cutting process Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000002023 wood Substances 0.000 claims description 34
- 244000183278 Nephelium litchi Species 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 235000021016 apples Nutrition 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 3
- 244000141359 Malus pumila Species 0.000 claims 1
- 239000002420 orchard Substances 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 241000220225 Malus Species 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009418 agronomic effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度密集实例检测的单木果树分割方法与***，包括以下步骤：获取待检测区域图像，对其进行预处理，得到待检测区域正射影像图；采用分割一切模型半自动化识别待检测区域正射影像图的树木类别的矢量边界，得到单木分类图，并对单木分类图进行裁剪得到单木遥感影像数据集；构建单木分割模型，采用单木遥感影像数据集对单木分割模型进行训练，得到训练好的单木分割模型；将待检测区域的正射影像图输入至训练好的单木分割模型，输出单木分割结果，通过仿射变换获取单棵树木的树冠面积，并估计树木的果实数量。本申请与传统技术相比，能够克服果树分割样本标注困难以及模型对密集果树分割困难的问题，在密植型果园的表现良好。
Description
技术领域
本发明涉及植物表型智能化检测技术领域，更具体地，涉及一种基于多尺度密集实例检测的单木果树分割方法与***。
背景技术
近年来，随着中国数字经济的迅速发展，农业数字化已经成为中国数字化转型的重要组成部分，尤其是精准农业技术的应用。精准农业技术可以通过卫星遥感、激光测距等技术，以人工智能技术为依托，实现对农作物的精准化自动化监测管理，更好地利用耕地资源潜力、科学合理利用物资投入，以提高农作物产量和品质、降低生产成本、减少农业活动带来的污染。现阶段荔枝种植面积巨大，生长周期长，形态复杂，需要耗费大量人力物力来采集数据。而无人机可以稳定高效地采集数据，并通过人工智能技术对无人机影像进行分析，从而自动获得荔枝生长过程的阶段数据。这为农学专家提供了宝贵的数据支持，使他们能够更好地了解荔枝的生长情况，预测产量，优化种植方案，提高果实的品质和产量。此外，利用人工智能技术，可以对荔枝花芽、花穗、果实等进行分类和识别，以便更好地助长、管理和销售。
近年来，大数据的快速发展和高性能计算的普及促进了深度学习的蓬勃发展，在许多领域取得了显著成就。目前，深度学习结合各种机制和模块，已经在目标检测领域发展比较迅速，在荔枝检测任务中也有着不错的表现。深度学习算法能够通过神经网络学习到物体的特征，从而提高目标检测的精度和效率。同时，相关农业专家经过长期的实践与实验室分析，有着很好的管理经验和农业技术支持。他们可以提供关于荔枝生长和管理的宝贵经验，帮助开发更加有效的检测算法，从而更好地促进荔枝产业的发展。
以往关于单木分割的研究主要是针对于三维点云数据，而利用二维正射影像数据进行单木分割的研究较少。同时对于单木冠层轮廓提取的研究大多集中在森林或稀疏果园，以局部最大值滤波结果作为基于标记分水岭算法的种子点，该方法在密植型果园的表现并不理想。
现有技术公开了一种基于神经网络的复杂场景树木检测方法，该方法包括以下步骤：步骤1，构建树冠高度模型；步骤2，生成待检测样本；步骤3，神经网络树木检测。该方法的缺陷是，不适用于包括建筑等事物的复杂场景下树木信息的检测工作。
为此，结合以上需求和现有技术缺陷，本申请提出了一种基于多尺度密集实例检测的单木果树分割方法与***。
发明内容
本发明提供了一种基于多尺度密集实例检测的单木果树分割方法与***，引入基于Mask R-CNN的神经网络模型来检测包含建筑等事物的复杂场景下树木信息，提高该场景下树木检测精度，从弱监督的角度出发，大大提高了单木分割的精度和效果。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
本发明第一方面提供了一种基于多尺度密集实例检测的单木果树分割方法，本方法包括以下步骤：
S1、获取待检测区域图像，对其进行预处理，得到待检测区域正射影像图。
S2、采用分割一切模型半自动化识别待检测区域正射影像图的树木类别的矢量边界，得到单木分类图，并对单木分类图进行裁剪得到单木遥感影像数据集。
S3、构建单木分割模型，采用单木遥感影像数据集对单木分割模型进行训练，得到训练好的单木分割模型。
S4、将待检测区域的正射影像图输入至训练好的单木分割模型，输出单木分割结果，通过仿射变换获取单棵树木的树冠面积及其中心点坐标，并估计树木的果实数量。
进一步的，步骤S1中，所述获取待检测区域图像的方式为采用无人机对待检测区域进行拍摄，步骤S1的具体过程为：
S11、利用软件在预设的目标区域内生成航线，并设置旁向重叠率、航向重叠率以及航高，无人机根据上述设置的参数执行待检测区域飞行拍摄图像任务。
S12、对拍摄的待检测区域图像进行二维重建得到待检测区域的正射影像图。
进一步的，步骤S2的具体过程为：
S21、基于分割一切模型对待检测区域的正射影像图进行分割，选择树木目标并转换为矢量，测绘人员通过目视解译修正树木类别的矢量边界，得到单木分类图。
S22、将获取的单木分类图裁剪为预设尺寸的影像块对，采用随机采样的方式，按预设的比例采集样本，构建训练集、验证集与测试集，得到单木遥感影像数据集。
进一步的，步骤S3中所述单木分割模型包括有特征提取模块、卷积模块、领域自适应模块和计算模块，所述特征模块用于提取影像图的多层特征，并对获取的特征进行定位与分类；所述卷积模块为基于ROI候选框的卷积模块，用于进一步提取特征；所述领域自适应模块用于获取目标候选区域；所述计算模块为密集实例分割计算模块，以目标候选区域作为输入，用于预测实例。
进一步的，步骤S3中对所述单木分割模型进行训练的具体过程为：
S31、特征提取模块采用ResNet101残差组件，提取影像图的多层次特征，包括有底层空间特征和高层语义特征；同时采用空洞卷积金字塔池化层对高层语义特征进行定位和分类。
S32、基于ROI候选框的卷积模块包括有：卷积神经网络和残差连接，其中，卷积神经网络用于对输入数据进行特征提取，残差连接则用于增加网络的深度，并确保网络从输入数据中获取到足够的信息；所述卷积神经网络由多个卷积层和池化层组成，以提取出高层次的特征，所述残差连接将所述卷积神经网络的输出与前一层的输出连接，以生成更复杂的特征表示。
S33、领域自适应模块从卷积模块中提取目标候选区域，由若干递归的卷积层和池化层组成，用于生成若干候选区域，并通过非极大值抑制算法对冗余目标进行排除，得到目标候选区域。
S34、密集实例分割计算模块以目标候选区域作为输入，对于每个候选框bi，采取预测实例集合，并采用EMD损失函数确定预测标签与真实标签之间的差距。
S35、根据损失函数确定的预测标签与真实标签之间的差距，对所述单木分割模型的训练参数进行调整，重复迭代直至损失函数输出的预测标签与真实标签之间的差距低于预设的阈值；所述训练参数包括有：迭代次数、批量大小、优化器选择、初始学习率设置和权重衰减率设置。
进一步的，所述EMD损失函数具体为：
其中，π表示(1,2,...,K)的特定排列组合，第K个元素为πk，gπk代表πk的真值实例集合，代表具有置信度的标签框，/>代表具有相对坐标的检测框；Lcls(·)代表分类损失，yi表示样本i的标签，正类为1，负类为0；pi表示样本i预测为正类的概率；Lreg(·)代表回归框损失，B表示检测框，Bgt表示真实框。
进一步的，步骤S4的具体过程为：
S41、将待检测区域的无人机影像输入到单木分割模型中，获得影像中单棵树木的实例分割结果，包含单棵树木的目标检测矩形框以及像素级语义分割结果。
S42、获取单棵树木中心店像素坐标及树木树冠像素面积，利用正射影像控制点坐标进行仿射变换，得到树木中心点的经纬度坐标及树冠的真实面积大小。
根据上述技术手段，能够为无人机后续航向自动规划和树木产量估算提供数据来源。
进一步的，根据树冠的真实面积大小能够估算树木的果实数量，具体为：采用目标检测算法识别影像中存在的果实数量，根据拍摄视野范围和树冠的真实面积大小以及识别的果实数量在影像中所占像素的实际比例，能够计算得到单棵树木的果实数量，完成估产工作。
进一步的，所述拍摄视野范围根据如下公式求取：
其中，FOV为视野范围，WD为工作距离，M为靶面尺寸，f为焦距。
进一步的，单棵树木的果实数量由如下公式求取：
其中，Nt表示整个荔枝树小果数量，Nx表示影像中识别到的小果数量，At表示树冠面积，Ax表示影像视野实际范围大小。
本发明第二方面提供了一种基于多尺度密集实例检测的单木果树分割***，该***用于所述的一种基于多尺度密集实例检测的单木果树分割方法，包括有：图像获取模块、图像分割模块和图像处理模块。
所述图像获取模块获取待检测区域图像，对其进行预处理，得到待检测区域正射影像图并传输至图像分割模块；所述图像分割模块采用分割一切模型半自动化识别待检测区域正射影像图的树木类别的矢量边界，得到单木分类图，并采用单木分类图对单木分割模型进行训练；所述图像处理模块接收待检测区域的正射影像图，利用训练好的单木分割模型分析处理后输出单棵树木的树冠面积及其中心点坐标，并估计树木的果实数量。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供了一种基于多尺度密集实例检测的单木果树分割方法与***，训练好的单木分割模型能够将采集的正射影像图进行分割，并通过将待检测区域的正射影像图输入至训练好的单木分割模型，输出单木分割结果，通过仿射变换获取单棵树木的树冠面积及其中心点坐标，能够作为果树估产的重要依据，在密集型果园的单木分割表现良好。
附图说明
图1为本发明一种基于多尺度密集实例检测的单木果树分割方法的流程图。
图2为本发明一种实施例中从原始图像输出单木分类图的示意图。
图3为本发明中单木分割模型的的示意图。
图4为本发明一种实施例中第一待检测区域的单木分割结果图。
图5为本发明一种实施例中第二待检测区域的单木分割结果图。
图6为本发明一种实施例中第三待检测区域的单木分割结果图。
图7为本发明一种实施例中第四待检测区域的单木分割结果图。
图8为本发明一种实施例中第五待检测区域的单木分割结果图。
图9为本发明一种实施例中第六待检测区域的单木分割结果图。
图10为本发明一种基于多尺度密集实例检测的单木果树分割***的示意图。
图11为本发明一种实施例中应用于一种计算机设备的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
如图1所示，本发明提供了一种基于多尺度密集实例检测的单木果树分割方法，本方法包括以下步骤：
S1、获取待检测区域图像，对其进行预处理，得到待检测区域正射影像图。
S2、采用SAM(Segment Anything Model，分割一切模型)半自动化识别待检测区域正射影像图的树木类别的矢量边界，得到单木分类图，并对单木分类图进行裁剪得到单木遥感影像数据集。
S3、构建单木分割模型，采用单木遥感影像数据集对单木分割模型进行训练，得到训练好的单木分割模型。
S4、将待检测区域的正射影像图输入至训练好的单木分割模型，输出单木分割结果，通过仿射变换获取单棵树木的树冠面积及其中心点坐标，并估计树木的果实数量。
需要说明的是，本发明利用SAM快速扩充单木分割样本用于训练所构建的单木分割神经网络模型，得到的模型从多尺度角度出发，可用于果树的单木实例分割，同时基于单木分割目标框将目标框像素中心点坐标进行转换，得到真实经纬度坐标，用于快速自动航线规划。基于单木分割结果，利用正射影像空间分辨率计算树冠真实大小，同时将树冠宽度进行统计，从而作为荔枝估产的重要参数，为实际生产提供数据支持。
进一步的，步骤S1中，所述获取待检测区域图像的方式为采用无人机对待检测区域进行拍摄，步骤S1的具体过程为：
S11、利用软件在预设的目标区域内生成航线，并设置旁向重叠率、航向重叠率以及航高，无人机根据上述设置的参数执行待检测区域飞行拍摄图像任务。
S12、对拍摄的待检测区域图像进行二维重建得到待检测区域的正射影像图。
进一步的，步骤S2的具体过程为：
S21、基于分割一切模型对待检测区域的正射影像图进行分割，选择树木目标并转换为矢量，测绘人员通过目视解译修正树木类别的矢量边界，得到单木分类图。
S22、将获取的单木分类图裁剪为预设尺寸的影像块对，采用随机采样的方式，按预设的比例采集样本，构建训练集、验证集与测试集，得到单木遥感影像数据集。
在一个具体的实施例中，如图2所示，首先采用SAM对获取的正射影像图进行AI辅助标注，然后测绘专业人员通过目视解译，手动修正树木边界，实现半自动勾画单木边界。
进一步的，如图3所示，步骤S3中所述单木分割模型包括有特征提取模块、卷积模块、领域自适应模块和计算模块，所述特征模块用于提取影像图的多层特征，并对获取的特征进行定位与分类；所述卷积模块为基于ROI候选框的卷积模块，用于进一步提取特征；所述领域自适应模块用于获取目标候选区域；所述计算模块为密集实例分割计算模块，以目标候选区域作为输入，用于预测实例。
进一步的，步骤S3中对所述单木分割模型进行训练的具体过程为：
S31、特征提取模块采用ResNet101残差组件，提取影像图的多层次特征，包括有底层空间特征和高层语义特征；同时采用空洞卷积金字塔池化层对高层语义特征进行定位和分类。
S32、基于ROI候选框的卷积模块包括有：卷积神经网络(CNN)和残差连接，其中，卷积神经网络用于对输入数据进行特征提取，残差连接则用于增加网络的深度，并确保网络从输入数据中获取到足够的信息；所述卷积神经网络由多个卷积层和池化层组成，以提取出高层次的特征，所述残差连接将所述卷积神经网络的输出与前一层的输出连接，以生成更复杂的特征表示。
S33、领域自适应模块从卷积模块中提取目标候选区域，由若干递归的卷积层和池化层组成，用于生成若干候选区域，并通过非极大值抑制(NMS)算法对冗余目标进行排除，得到目标候选区域。
S34、密集实例分割计算模块以目标候选区域作为输入，对于每个候选框bi，采取预测实例集合，并采用EMD损失函数确定预测标签与真实标签之间的差距。
S35、根据损失函数确定的预测标签与真实标签之间的差距，对所述单木分割模型的训练参数进行调整，重复迭代直至损失函数输出的预测标签与真实标签之间的差距低于预设的阈值；所述训练参数包括有：迭代次数、批量大小、优化器选择、初始学习率设置和权重衰减率设置。
进一步的，所述EMD损失函数具体为：
其中，π表示(1,2,...,K)的特定排列组合，第K个元素为πk，gπk代表πk的真值实例集合，代表具有置信度的标签框，/>代表具有相对坐标的检测框；Lcls(·)代表分类损失，yi表示样本i的标签，正类为1，负类为0；pi表示样本i预测为正类的概率；Lreg(·)代表回归框损失，B表示检测框，Bgt表示真实框。
进一步的，步骤S4的具体过程为：
S41、将待检测区域的无人机影像输入到单木分割模型中，获得影像中单棵树木的实例分割结果，包含单棵树木的目标检测矩形框以及像素级语义分割结果。
S42、获取单棵树木中心店像素坐标及树木树冠像素面积，利用正射影像控制点坐标进行仿射变换，得到树木中心点的经纬度坐标及树冠的真实面积大小。
根据上述技术手段，能够为无人机后续航向自动规划和树木产量估算提供数据来源。
进一步的，根据树冠的真实面积大小能够估算树木的果实数量，具体为：采用目标检测算法识别影像中存在的果实数量，根据拍摄视野范围和树冠的真实面积大小以及识别的果实数量在影像中所占像素的实际比例，能够计算得到单棵树木的果实数量，完成估产工作。
进一步的，所述拍摄视野范围根据如下公式求取：
其中，FOV为视野范围，WD为工作距离，M为靶面尺寸，f为焦距。
进一步的，单棵树木的果实数量由如下公式求取：
其中，Nt表示整个荔枝树小果数量，Nx表示影像中识别到的小果数量，At表示树冠面积，Ax表示影像视野实际范围大小。
实施例2
基于上述实施例1，结合图1-图9，本实施例详细阐述本发明用于估算某种植园荔枝树产量的过程。
步骤1：拍摄研究区无人机影像，生成研究区正射影像图。
在无人机遥控器上选定目标区域自动生成航线，根据实际情况设置好无人机飞行参数。实施中无人机采集平台可使用DJI M30，操作简单便捷、飞行稳定、航拍性能高，利于在实际生产过程中进行推广。DJI M30相机具有4800万有效像素和84°相机视角，照片最高有效分辨率为8000*6000。无人机航高设置为200m，10倍变焦。旁向重叠率和航向重叠率设置为75％。采集目标区域影像后，导入影像数据选择二维重建任务，自动生成目标区域正射影像图。
步骤2：构建荔枝树的单木分割无人机遥感影像数据集。
如图2所示，首先是基于SAM的AI辅助标注。对于荔枝树的单木分割样本来说，需要使用多边形绘图工具手动勾画样本，无疑需要耗费巨大人力物力。而SAM接受了数百万张图像和超过十亿个掩码的训练，可为任何提示返回有效的分割掩码，从而加快标注扩充样本。具体来说，使用SAM对目标区域正射影像图进行分割，手动选择单木的分割结果，并使用ArcGIS软件将其单木分割结果转化为矢量。测绘专业人员通过目视解译，手动修正树木边界，实现半自动勾画单木边界，获得荔枝树的单木分类图。然后将分类图裁剪为1024*1024像素的影像对，采用随机采样方式将数据集按照70％，10％和20％的比例分为训练集、验证集和测试集，从而构建荔枝树的单木分割无人机遥感影像数据集。
步骤3：设计面向密集分割的荔枝树单木分割网络架构。
构建密集荔枝树单木分割网络框架，包括特征提取模块、基于ROI候选框的卷积模块、用于提高网络能力的领域自适应模块、以及用于密集实例分割计算模块，如图3所示；
特征提取模块采用ResNet101结构，提取影像的多层次特征包括底层空间特征和高层语义特征。然后采用空洞卷积金字塔池化层(ASPP)对高层语义特征进行预分类，得到特征图。ROI候选框卷积模块以特征图为输入，CNN部分提取出高层次的特征。残差连接则将CNN部分的输出与前一层的输出相连接，以生成更复杂的特征表示。
然后从ROI编码器中提取候选区域，这些候选区域是目标的可能性最大的区域，并通过非极大值抑制(NMS)算法进行排除，得到最终的目标候选区域，生成候选框。实例a和实例b是一个候选框预测的两个实例，对于每个候选框，不是预测单个目标，而是预测相关的基本真值实例集合。采用最小化两个集合之间的推土机距离(Earth Mover's Distance)作为网络模型的损失函数(EMD_loss)，推土机距离指的是当两个集合分布确定，分布距离确定，从一个集合转化到另一个集合的最优解的成本。公式如式(1)所示。
其中π表示(1,2,...,K)的特定排列组合，第K个元素为πk，gπk代表πk的真值实例集合，代表具有置信度的标签框，/>代表具有相对坐标的检测框；
Lcls(·)代表分类损失，yi表示样本i的标签，正类为1，负类为0；pi表示样本i预测为正类的概率；
Lreg(·)代表回归框损失，B表示检测框，Bgt表示真实框
步骤4：荔枝单木分割网络模型的训练。
用构建好的单木分割训练集和验证集，从模型的参数复杂度、损失函数、评估函数、预训练权重等方面考虑，选择合适的参数对网络模型进行训练。在具体的实施例中，设置的训练次数为1000，优化器为随机梯度下降SGD，初始学习率为0.01，训练批次大小为4，动量(momentum)设为0.9，用于权值优化，防止损失函数在训练过程中出现局部最小情况，没有达到全局最优解，权重衰减设置为0.0001。同时用构建的测试集对训练好的模型进行测试，防止模型过拟合。
步骤5：将待检测区域的无人机影像输入至训练好的模型中，实例分割单木，并获取树木中心点坐标和树冠面积。
将待检测区域的正射影像输入到单木分割模型中，获得影像中单木的实例分割结果。目标框上显示目标名称以及模型检测该目标的置信度得分。对于目标框的像素中心点坐标，利用正射影像转化为真实经纬度，可以便于后续无人机自动根据树木点坐标进行航线规划执行相应任务。具体来说，利用图像的仿射变换将二维平面转化为经纬度坐标。仿射变换是一种二维坐标(x,y)到二维坐标(u,v)的线性变换，是在向量空间中进行一次线性变换(乘以一个矩阵)和一次平移(加上一个向量)，变换到另一个向量空间的过程，其数学表达式如公式(2)所示：
其中a1、b1、a2、b2为线性变换参数，c1、c2为平移变换参数。
在正射影像上选定四个控制点，获取其在图像上的像素点坐标，求解仿射变换参数，然后利用上式将图像像素坐标转化为经纬度坐标，为自动航线规划提供精确位置。
对于实例分割提取的树冠像素，利用正射影像分辨率计算得到真实大小从而反映树冠的面积。在WGS84坐标系下进行投影转化，根据三角函数公式换算，经纬度相差1e-05°，实际距离相差约为1.1m。具体来说，本次研究生成的一幅正射影像空间分辨率为4.7257031e-07°，因此单个像素的实际距离为0.0472m，对于一棵检测到的荔枝树，若其树冠像素个数为5000，单个像素的实际面积则为4.72cm*4.72cm，那么计算可得其树冠的真实大小约为11m2。树冠大小是估算荔枝产量的重要参数。后期可以利用对果实的目标检测，识别到影像范围内的小果目标，根据比例范围预估整棵荔枝树的果实数量。
在光学仪器中，以光学仪器的镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角，称为视场角。视场角的大小决定了光学仪器的视野范围，视场角越大，视野就越大，光学倍率就越小。传感器尺寸一般以毫米为单位，是靶面的长和宽。以英尺为单位的一般为靶面的斜边长。像素尺寸是一个像素占的尺寸大小。像素尺寸和图像边长的乘积为传感器的边长，根据公式(3)利用相机内参求取相机视野范围。
其中FOV为视野范围，WD为工作距离，M为靶面尺寸，f为焦距
在对小果的检测任务中，相机靶面尺寸是1/2英寸，换算边长大小为6.4mm*4.8mm，飞行器航高25m，相机焦距75mm，根据上式即可计算得到相机所摄视野实际范围为2.1m*1.6m。
对于整棵荔枝树而言，根据单木分割的结果得到荔枝树树冠的像素大小，然后从正射影像中根据经纬度换算正射影像像素实际大小。最终可以根据影像中识别到的小果数量除以影像所占实际比例确认单棵荔枝树所挂小果数量，完成估产。公式(4)如下：
其中Nt表示整个荔枝树小果数量，Nx表示影像中识别到的小果数量，At表示树冠面积，Ax表示影像视野实际范围大小。
在一个具体的实施例中，如图4-图9，荔枝树密集度由低至高的情况下，本发明均能进行有效识别。通过对影像识别小果，统计小果数量得到平均一幅影像中小果数量为236颗，同时根据单木分割效果，估算得到研究区树冠面积平均为16m2，根据上式换算，预估此时一棵树的果实数量为1123颗，以20颗为一斤，单棵树木产量56.15斤，研究区共荔枝树213棵，因此估算荔枝总产量约为1.2万斤。因此该方法能够准确高效的持续检测园区内所有荔枝树的树冠大小，及时反映荔枝的生长状况。
实施例3
如图10所示，本发明还提供了一种基于多尺度密集实例检测的单木果树分割***，该***用于所述的一种基于多尺度密集实例检测的单木果树分割方法，包括有：图像获取模块、图像分割模块和图像处理模块。
所述图像获取模块获取待检测区域图像，对其进行预处理，得到待检测区域正射影像图并传输至图像分割模块；所述图像分割模块采用分割一切模型半自动化识别待检测区域正射影像图的树木类别的矢量边界，得到单木分类图，并采用单木分类图对单木分割模型进行训练；所述图像处理模块接收待检测区域的正射影像图，利用训练好的单木分割模型分析处理后输出单棵树木的树冠面积及其中心点坐标，并估计树木的果实数量。
在一个具体的实施例中，本发明能用于如图11所示的一种计算机设备，包括存储器、处理器，所述存储器中包括基于多尺度密集实例检测的单木果树分割程序，所述基于多尺度密集实例检测的单木果树分割程序被所述处理器执行时实现一种基于多尺度密集实例检测的单木果树分割方法。
在本申请所提供的实施例中，应该理解到，所揭露的***和方法，能够通过其它的方式实现。本领域普通技术人员能够理解：实现上述方法实施例的全部或部分步骤能够通过程序指令相关的硬件来完成，前述的程序能够存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种能够存储程序代码的介质。
或者，本发明上述实施例如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也能够存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分能够以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备。
执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种能够存储程序代码的介质。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。附图中描述结构位置关系的图标仅用于示例性说明，不能理解为对本发明的限制。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于多尺度密集实例检测的单木果树分割方法，其特征在于，包括以下步骤：
S1、获取待检测区域图像，对其进行预处理，得到待检测区域正射影像图；
S2、采用分割一切模型半自动化识别待检测区域正射影像图的树木类别的矢量边界，得到单木分类图，并对单木分类图进行裁剪得到单木遥感影像数据集；
S3、构建单木分割模型，采用单木遥感影像数据集对单木分割模型进行训练，得到训练好的单木分割模型；
S4、将待检测区域的正射影像图输入至训练好的单木分割模型，输出单木分割结果，通过仿射变换获取单棵树木的树冠面积及其中心点坐标，并估计树木的果实数量。
2.根据权利要求1所述的一种基于多尺度密集实例检测的单木果树分割方法，其特征在于，步骤S1中，所述获取待检测区域图像的方式为采用无人机对待检测区域进行拍摄，步骤S1的具体过程为：
S11、利用软件在预设的目标区域内生成航线，并设置旁向重叠率、航向重叠率以及航高，无人机根据上述设置的参数执行待检测区域飞行拍摄图像任务；
S12、对拍摄的待检测区域图像进行二维重建得到待检测区域的正射影像图。
3.根据权利要求2所述的一种基于多尺度密集实例检测的单木果树分割方法，其特征在于，步骤S2的具体过程为：
S21、基于分割一切模型对待检测区域的正射影像图进行分割，选择树木目标并转换为矢量，测绘人员通过目视解译修正树木类别的矢量边界，得到单木分类图；
S22、将获取的单木分类图裁剪为预设尺寸的影像块对，采用随机采样的方式，按预设的比例采集样本，构建训练集、验证集与测试集，得到单木遥感影像数据集。
4.根据权利要求3所述的一种基于多尺度密集实例检测的单木果树分割方法，其特征在于，步骤S3中所述单木分割模型包括有特征提取模块、卷积模块、领域自适应模块和计算模块，所述特征模块用于提取影像图的多层特征，并对获取的特征进行定位与分类；所述卷积模块为基于ROI候选框的卷积模块，用于进一步提取特征；所述领域自适应模块用于获取目标候选区域；所述计算模块为密集实例分割计算模块，以目标候选区域作为输入，用于预测实例。
5.根据权利要求4所述的一种基于多尺度密集实例检测的单木果树分割方法，其特征在于，步骤S3中对所述单木分割模型进行训练的具体过程为：
S31、特征提取模块采用ResNet101残差组件，提取影像图的多层次特征，包括有底层空间特征和高层语义特征；同时采用空洞卷积金字塔池化层对高层语义特征进行定位和分类；
S32、基于ROI候选框的卷积模块包括有：卷积神经网络和残差连接，其中，卷积神经网络用于对输入数据进行特征提取，残差连接则用于增加网络的深度，并确保网络从输入数据中获取到足够的信息；所述卷积神经网络由多个卷积层和池化层组成，以提取出高层次的特征，所述残差连接将所述卷积神经网络的输出与前一层的输出连接，以生成更复杂的特征表示；
S33、领域自适应模块从卷积模块中提取目标候选区域，由若干递归的卷积层和池化层组成，用于生成若干候选区域，并通过非极大值抑制算法对冗余目标进行排除，得到目标候选区域；
S34、密集实例分割计算模块以目标候选区域作为输入，对于每个候选框bi，采取预测实例集合，并采用EMD损失函数确定预测标签与真实标签之间的差距；
S35、根据损失函数确定的预测标签与真实标签之间的差距，对所述单木分割模型的训练参数进行调整，重复迭代直至损失函数输出的预测标签与真实标签之间的差距低于预设的阈值；所述训练参数包括有：迭代次数、批量大小、优化器选择、初始学习率设置和权重衰减率设置。
6.根据权利要求5所述的一种基于多尺度密集实例检测的单木果树分割方法，其特征在于，所述EMD损失函数具体为：
其中，π表示(1,2,...,K)的特定排列组合，第K个元素为πk，gπk代表πk的真值实例集合，代表具有置信度的标签框，/>代表具有相对坐标的检测框；Lcls(·)代表分类损失，yi表示样本i的标签，正类为1，负类为0；pi表示样本i预测为正类的概率；Lreg(·)代表回归框损失，B表示检测框，Bgt表示真实框。
7.根据权利要求1-6任一项所述的一种基于多尺度密集实例检测的单木果树分割方法，其特征在于，步骤S4的具体过程为：
S41、将待检测区域的无人机影像输入到单木分割模型中，获得影像中单棵树木的实例分割结果，包含单棵树木的目标检测矩形框以及像素级语义分割结果；
S42、获取单棵树木中心店像素坐标及树木树冠像素面积，利用正射影像控制点坐标进行仿射变换，得到树木中心点的经纬度坐标及树冠的真实面积大小。
8.根据权利要求7所述的一种基于多尺度密集实例检测的单木果树分割方法，其特征在于，根据树冠的真实面积大小能够估算树木的果实数量，具体为：采用目标检测算法识别影像中存在的果实数量，根据拍摄视野范围和树冠的真实面积大小以及识别的果实数量在影像中所占像素的实际比例，能够计算得到单棵树木的果实数量，完成估产工作。
9.根据权利要求8所述的一种基于多尺度密集实例检测的单木果树分割，其特征在于，所述拍摄视野范围根据如下公式求取：
其中，FOV为视野范围，WD为工作距离，M为靶面尺寸，f为焦距；
单棵树木的果实数量由如下公式求取：
其中，Nt表示整个荔枝树小果数量，Nx表示影像中识别到的小果数量，At表示树冠面积，Ax表示影像视野实际范围大小。
10.一种基于多尺度密集实例检测的单木果树分割***，该***用于权利要求1-9任一项所述的一种基于多尺度密集实例检测的单木果树分割方法，其特征在于，包括有：图像获取模块、图像分割模块和图像处理模块；
所述图像获取模块获取待检测区域图像，对其进行预处理，得到待检测区域正射影像图并传输至图像分割模块；所述图像分割模块采用分割一切模型半自动化识别待检测区域正射影像图的树木类别的矢量边界，得到单木分类图，并采用单木分类图对单木分割模型进行训练；所述图像处理模块接收待检测区域的正射影像图，利用训练好的单木分割模型分析处理后输出单棵树木的树冠面积及其中心点坐标，并估计树木的果实数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311229623.1A CN117392382A (zh) | 2023-09-21 | 2023-09-21 | 一种基于多尺度密集实例检测的单木果树分割方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311229623.1A CN117392382A (zh) | 2023-09-21 | 2023-09-21 | 一种基于多尺度密集实例检测的单木果树分割方法与*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117392382A true CN117392382A (zh) | 2024-01-12 |
Family
ID=89463961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311229623.1A Pending CN117392382A (zh) | 2023-09-21 | 2023-09-21 | 一种基于多尺度密集实例检测的单木果树分割方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117392382A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118154555A (zh) * | 2024-03-19 | 2024-06-07 | 武汉理工大学 | 一种基于标签高效学习的植物多器官ct图像表型解析方法 |
| CN118154555B (zh) * | 2024-03-19 | 2024-07-30 | 武汉理工大学 | 一种基于标签高效学习的植物多器官ct图像表型解析方法 |
-
2023
- 2023-09-21 CN CN202311229623.1A patent/CN117392382A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118154555A (zh) * | 2024-03-19 | 2024-06-07 | 武汉理工大学 | 一种基于标签高效学习的植物多器官ct图像表型解析方法 |
| CN118154555B (zh) * | 2024-03-19 | 2024-07-30 | 武汉理工大学 | 一种基于标签高效学习的植物多器官ct图像表型解析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378909B (zh) | 基于Faster R-CNN的面向激光点云的单木分割方法 | |
| CN110245709B (zh) | 基于深度学习和自注意力的3d点云数据语义分割方法 | |
| CN113705478B (zh) | 一种基于改进YOLOv5的红树林单木目标检测方法 | |
| CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN107918776B (zh) | 一种基于机器视觉的用地规划方法、***及电子设备 | |
| CN111553200A (zh) | 一种图像检测识别方法及装置 | |
| CN113591766B (zh) | 一种无人机多源遥感的树种识别方法 | |
| CN111985376A (zh) | 一种基于深度学习的遥感影像舰船轮廓提取方法 | |
| CN109146889A (zh) | 一种基于高分辨率遥感图像的农田边界提取方法 | |
| CN109029363A (zh) | 一种基于深度学习的目标测距方法 | |
| CN112819830A (zh) | 基于深度学习与机载激光点云的单株树冠分割方法 | |
| Zhou et al. | An integrated skeleton extraction and pruning method for spatial recognition of maize seedlings in MGV and UAV remote images | |
| CN110517311A (zh) | 基于叶片病斑面积的病虫害监测方法 | |
| CN111028255A (zh) | 基于先验信息与深度学习的农田区域预筛选方法及装置 | |
| CN114092487A (zh) | 目标果实实例分割方法及*** | |
| Liu et al. | Estimating maize seedling number with UAV RGB images and advanced image processing methods | |
| CN115880487A (zh) | 基于深度学习方法的林木激光点云枝叶分离方法 | |
| CN111046756A (zh) | 高分辨率遥感影像目标尺度特征的卷积神经网络检测方法 | |
| Zhou et al. | Individual tree crown segmentation based on aerial image using superpixel and topological features | |
| CN117576195A (zh) | 一种植物叶片形态识别方法 | |
| CN115115954A (zh) | 基于无人机遥感的松材线虫病疫区变色立木智能识别方法 | |
| CN115909096A (zh) | 无人机巡航管道隐患分析方法、装置及*** | |
| Jemaa et al. | Computer vision system for detecting orchard trees from UAV images | |
| CN113723833B (zh) | 造林实绩质量评价方法、***、终端设备及存储介质 | |
| CN117392382A (zh) | 一种基于多尺度密集实例检测的单木果树分割方法与*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |