CN112541508A - 果实分割识别方法及***、果实采摘机器人 - Google Patents
果实分割识别方法及***、果实采摘机器人 Download PDFInfo
- Publication number
- CN112541508A CN112541508A CN202011519247.6A CN202011519247A CN112541508A CN 112541508 A CN112541508 A CN 112541508A CN 202011519247 A CN202011519247 A CN 202011519247A CN 112541508 A CN112541508 A CN 112541508A
- Authority
- CN
- China
- Prior art keywords
- fruit
- network
- target
- segmentation
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 174
- 230000011218 segmentation Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000002420 orchard Substances 0.000 claims abstract description 23
- 230000005764 inhibitory process Effects 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 12
- 230000001629 suppression Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000008030 elimination Effects 0.000 claims description 8
- 238000003379 elimination reaction Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 5
- 230000001737 promoting effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种果实分割识别方法及***、果实采摘机器人，属于果实采摘机器人技术领域，标注果实图像中的目标果实的轮廓；提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征；将得到的特征图输送至区域候选网络，经非极大值抑制获取相同尺度的感兴趣区域；感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型进行分割识别。本发明实现了端到端的检测流程，且精度高、鲁棒性强，在存在各种干扰的果园环境下均能实现果实的有效分割，为推动苹果采摘机器人部署到实际应用打下基础。
Description
技术领域
本发明涉及果实采摘机器人技术领域，具体涉及一种果实分割识别方法及***、果实采摘机器人。
背景技术
果实采摘机器人的真正应用，对于推动果蔬产业的生产自动化与管理智能化具有重要意义，而视觉***作为其中最基础且重要的环节，能够在复杂果园环境下实现目标果实的精准分割，将直接关联到采摘机器人的作业质量与运行效率。自上世纪中叶智能采摘问世以来，目标果实的识别算法就吸引了众多国内外学者的关注，并已在机器学习和深度学习等技术范畴积累了一定的研究基础与成果，然而，目前的分割方法尚难以应对自然环境下存在的诸多干扰，比如果实重叠、枝叶遮挡、光照与天气变化、混合噪声及同色系背景等因素，极大限制了各模型的分割效果。因此，应进一步提升模型的检测精度与抗干扰能力，完善视觉***的高效性与稳定性。
而造成模型检测效果下降的主要原因，通常在于模型自身的特征提取能力不足，加之果园环境下存在的各种干扰，导致目标果实在形状、颜色、纹理等方面的特征发生缺失，难以支撑模型的后续步骤做出正确判断，从而误检、漏检目标果实。
发明内容
本发明的目的在于提供一种能有效提升模型对成簇或重叠目标果实的分割效果、有效提升模型对不同尺度目标果实的分割效果、提升模型对特征缺失目标果实的分割效果、可适应复杂果园环境下不同类型的目标果实识别的果实分割识别方法及***、果实采摘机器人，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种果实分割识别方法，包括：
步骤S110：采集果园环境下包含不同干扰的果实图像，并标注果实图像中的目标果实的轮廓；
步骤S120：提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征；
步骤S130：将步骤S120得到的特征图输送至区域候选网络，经非极大值抑制获取相同尺度的感兴趣区域；
步骤S140：相同尺度的感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；
步骤S150：计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型，对果园环境图像中的果实进行分割识别。
优选的，所述步骤S120具体包括：
步骤S121：标注后的果实图像分批输入到残差网络中，通过卷积操作进行连续下采样；
步骤S122：引入特征金字塔网络，通过自上至下以及横向连接整合残差网络中的各层特征表示；
步骤S123：采样特征金字塔网络中的各层特征图至相同尺度并整合，通过高斯非局部注意力机制聚合全图信息，将聚合后的的特征表示回采样并重新融合，得到平衡后的特征金字塔，输出平衡后的特征图。
优选的，所述步骤S130具体包括：
步骤S131：将平衡后的特征图输入到区域候选网络中，以特征图上每一个空间位置对应在原图上的坐标为中心，按照不同的尺寸与宽高比生成预定义锚框；
步骤S132：基于每一个锚框与所有标注框之间的交并比，判定正负样本，并生成区域候选网络的训练目标，通过分类分支与回归分支，对目标果实进行初步预测；
步骤S133：将生成的候选框通过边界剔除与非极大值抑制进行筛选，再按照置信度排序选择前N个候选框，按照一定比例选择正负样本并输入到RoI Align层采样至相同尺寸。
优选的，所述步骤S140具体包括：
步骤S141：将相同尺寸的感兴趣区域输入到两个全连接分支，分别输出每个候选框属于目标果实的概率向量，以及对应的边框偏移量；
步骤S142：与所述两个全连接分支并行一个全卷积网络实现目标果实掩膜预测，针对每个候选框分割出多维度的特征表示，并进行二值化，产生背景与前景的分割图。
优选的，所述步骤S150具体包括：
将果实置信度、边框坐标与分割掩膜与标注值之间的损失相加，得到最终的损失函数，利用随机梯度下降法进行反向传播，不断优化模型参数至稳定，拟合训练数据，得到识别模型。
第二方面，本发明提供一种果实分割识别***，包括：
采集模块，用于采集果园环境下包含不同干扰的果实图像，并标注果实图像中的目标果实的轮廓；
第一提取模块，用于提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征，得到特征图；
第二提取模块，用于结合区域候选网络，经非极大值抑制获取特征图中相同尺度的感兴趣区域；
预测模块，用于将相同尺度的感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；
识别模块，用于计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型，对果园环境图像中的果实进行分割识别。
优选的，所述第一提取模块包括：
采样单元，用于将标注后的果实图像结合到残差网络中，通过卷积操作进行连续下采样；
特征表示单元，用于引入特征金字塔网络，通过自上至下以及横向连接整合残差网络中的各层特征表示；
平衡单元，用于采样特征金字塔网络中的各层特征图至相同尺度并整合，通过高斯非局部注意力机制聚合全图信息，将聚合后的的特征表示回采样并重新融合，得到平衡后的特征金字塔，输出平衡后的特征图。
优选的，所述第二提取模块包括：
预定义单元，用于将平衡后的特征图结合区域候选网络中，以特征图上每一个空间位置对应在原图上的坐标为中心，按照不同的尺寸与宽高比生成预定义锚框；
初步预测单元，用于基于每一个锚框与所有标注框之间的交并比，判定正负样本，并生成区域候选网络的训练目标，通过分类分支与回归分支，对目标果实进行初步预测；
筛选单元，用于将生成的候选框通过边界剔除与非极大值抑制进行筛选，再按照置信度排序选择前N个候选框，按照一定比例选择正负样本并结合到RoI Align层采样至相同尺寸。
优选的，所述预测模块包括：
计算单元，用于将相同尺寸的感兴趣区域结合两个全连接分支，分别输出每个候选框属于目标果实的概率向量，以及对应的边框偏移量；
分割单元，用于与所述两个全连接分支并行一个全卷积网络实现目标果实掩膜预测，针对每个候选框分割出多维度的特征表示，并进行二值化，产生背景与前景的分割图。
第三方面，本发明提供一种果实采摘机器人，包括如上所述的果实分割识别***。
本发明有益效果：能够实现端到端的检测流程，且精度高、鲁棒性强，在果园环境存在的各种干扰下均能表现出很好的分割效果，为进一步推动苹果采摘机器人部署到实际应用打下基础。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的在不同时间段与不同干扰场景下采集到的苹果图像。
图2本发明实施例所述的对同一幅图像采用不同图像增强后的效果图。
图3为本发明实施例所述的分割架构的具体实施流程图。
图4为本发明实施例所述的特征获取阶段的具体实施流程图。
图5为本发明实施例所述的高斯非局部注意力机制示意图。
图6为本发明实施例所述的区域候选网络架构图。
图7为本发明实施例所述的训练好的网络在推断阶段的整体流程图。
图8为本发明实施例所述的复杂环境下目标果实的分割效果图
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本发明实施例1提供一种适用于苹果采摘机器人的目标果实精准定位与分割方法，用于苹果采摘机器人视觉***的目标果实精准定位与分割方法的包括以下步骤：
步骤1：图像采集与标注：果园环境下，采集包含不同干扰下目标果实的图像并采用labelme图像标注软件进行标注。
步骤2：图像特征获取：针对训练目标，为提升模型对不同类型目标果实的检测效果，设计用于特诊提取的骨干网络架构，对于输入图像X：
步骤2.1：首先经过残差网络(ResNet)的卷积与池化等下采样操作，逐渐丰富特征图上每一个空间位置的语义容量，将各层残差块输出的特征表示分别记为{F2,F3,F4,F5}；
步骤2.2：将{F2,F3,F4,F5}按照自顶向下与横向连接的架构进行融合，得到特征金字塔，分别记为{A2,A3,A4,A5}，并将每一层特征图分别用于后续操作，提升模型对不同尺度目标果实的识别效果；
步骤2.3：将{A2,A3,A4,A5}统一采样至A4尺寸并融合得到Aconcat，将融合后的输入至高斯非局部注意力机制得到A′concat，聚合全图特征的同时抑制干扰因素，再重新采样融合，得到最终平衡后的特征表示{P2,P3,P4,P5}。
步骤3：感兴趣区域生成：分别采用{P2,P3,P4,P5}中的每一层特征表示输入到区域候选网络(Region Proposal Networks,RPN)，在输入图片上生成预定义锚框并作初步调整，再经过筛选得到候选框，截取特征图上对应感兴趣区域(Region of Interest)，并通过RoI Align层采样至相同尺寸。
步骤4：检测结果预测：两个全连接分支分别预测果实置信度与边框偏移，并行的mask分支通过全卷积网络(Fully Convolutional Networks,FCN)产生分割掩膜。
步骤5：模型训练与优化：根据标注信息生成训练目标，并与模型产生的预测值计算损失，通过梯度反向传播算法更新模型参数，不断迭代优化。
在本发明实施例1中，适用于苹果采摘机器人的目标果实精准定位与分割方法，解决了果实采摘机器人视觉***难以应对自然环境下各种干扰的问题。该方法精度高、鲁棒性强，能够实现端到端的识别流程，适用于苹果采摘机器人的实际作业。
实施例2
本发明实施例2提供一种果实分割识别***，该果实分割识别***包括：
采集模块，用于采集果园环境下包含不同干扰的果实图像，并标注果实图像中的目标果实的轮廓；
第一提取模块，用于提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征，得到特征图；
第二提取模块，用于结合区域候选网络，经非极大值抑制获取特征图中相同尺度的感兴趣区域；
预测模块，用于将相同尺度的感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；
识别模块，用于计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型，对果园环境图像中的果实进行分割识别。
所述第一提取模块包括：采样单元，用于将标注后的果实图像结合到残差网络中，通过卷积操作进行连续下采样；特征表示单元，用于引入特征金字塔网络，通过自上至下以及横向连接整合残差网络中的各层特征表示；平衡单元，用于采样特征金字塔网络中的各层特征图至相同尺度并整合，通过高斯非局部注意力机制聚合全图信息，将聚合后的的特征表示回采样并重新融合，得到平衡后的特征金字塔，输出平衡后的特征图。
所述第二提取模块包括：预定义单元，用于将平衡后的特征图结合区域候选网络中，以特征图上每一个空间位置对应在原图上的坐标为中心，按照不同的尺寸与宽高比生成预定义锚框；初步预测单元，用于基于每一个锚框与所有标注框之间的交并比，判定正负样本，并生成区域候选网络的训练目标，通过分类分支与回归分支，对目标果实进行初步预测；筛选单元，用于将生成的候选框通过边界剔除与非极大值抑制进行筛选，再按照置信度排序选择前N个候选框，按照一定比例选择正负样本并结合到RoI Align层采样至相同尺寸。
所述预测模块包括：计算单元，用于将相同尺寸的感兴趣区域结合两个全连接分支，分别输出每个候选框属于目标果实的概率向量，以及对应的边框偏移量；分割单元，用于与所述两个全连接分支并行一个全卷积网络实现目标果实掩膜预测，针对每个候选框分割出多维度的特征表示，并进行二值化，产生背景与前景的分割图。
在本实施例2中，基于上述果实分割识别分***实现了果实分割识别方法，该果实分割识别方法包括如下步骤：
步骤S110：采集果园环境下包含不同干扰的果实图像，并标注果实图像中的目标果实的轮廓；
步骤S120：提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征；
步骤S130：将步骤S120得到的特征图输送至区域候选网络，经非极大值抑制获取相同尺度的感兴趣区域；
步骤S140：相同尺度的感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；
步骤S150：计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型，对果园环境图像中的果实进行分割识别。
在本实施例2中，所述步骤S120具体包括：
步骤S121：标注后的果实图像分批输入到残差网络中，通过卷积操作进行连续下采样；
步骤S122：引入特征金字塔网络，通过自上至下以及横向连接整合残差网络中的各层特征表示；
步骤S123：采样特征金字塔网络中的各层特征图至相同尺度并整合，通过高斯非局部注意力机制聚合全图信息，将聚合后的的特征表示回采样并重新融合，得到平衡后的特征金字塔，输出平衡后的特征图。
在本实施例2中，所述步骤S130具体包括：
步骤S131：将平衡后的特征图输入到区域候选网络中，以特征图上每一个空间位置对应在原图上的坐标为中心，按照不同的尺寸与宽高比生成预定义锚框；
步骤S132：基于每一个锚框与所有标注框之间的交并比，判定正负样本，并生成区域候选网络的训练目标，通过分类分支与回归分支，对目标果实进行初步预测；
步骤S133：将生成的候选框通过边界剔除与非极大值抑制进行筛选，再按照置信度排序选择前N个候选框，按照一定比例选择正负样本并输入到RoI Align层采样至相同尺寸。
在本实施例2中，所述步骤S140具体包括：
步骤S141：将相同尺寸的感兴趣区域输入到两个全连接分支，分别输出每个候选框属于目标果实的概率向量，以及对应的边框偏移量；
步骤S142：与所述两个全连接分支并行一个全卷积网络实现目标果实掩膜预测，针对每个候选框分割出多维度的特征表示，并进行二值化，产生背景与前景的分割图。
在本实施例2中，所述步骤S150具体包括：
将果实置信度、边框坐标与分割掩膜与标注值之间的损失相加，得到最终的损失函数，利用随机梯度下降法进行反向传播，不断优化模型参数至稳定，拟合训练数据，得到识别模型。
实施例3
本发明实施例3提供一种果实采摘机器人，该果实采摘机器人包括一种果实分割识别***，所述果实分割识别***可实现果实分割识别方法，所述果实分割识别方法包括如下步骤：
步骤1：数据集制作。复杂果园环境下采集包含不同干扰的图像并标注其中的目标果实的轮廓以制作数据集，备以后续模型的训练、验证与测试；
步骤2：特征获取。将图片输入到残差网络+特征金字塔网络+平衡特征金字塔的组合骨干架构，充分提取图像中小尺度与目标缺失果实的特征；
步骤3：感兴趣区域生成。将上述步骤中的各层特征图输送至区域候选网络，经过非极大值抑制等操作获取相同尺度的感兴趣区域；
步骤4：结果预测。嵌入三个并行分支，分别通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；
步骤5：模型优化。计算预测信息与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代训练并评估，最终使得模型趋于稳定。
步骤2所述的特征提取方法，包括以下步骤：
步骤2.1：图像以batch为单位输入到残差网络中，通过卷积等操作不断下采样，并逐渐丰富特征图中的语义容量；
步骤2.2：引入特征金字塔网络，通过自顶向下以及横向连接高效整合残差网络中的各层特征表示，提升模型对于不同尺度，尤其是小尺度目标果实的检测效果；
步骤2.3：采样金字塔中的各层特征图至相同尺度并整合，通过高斯非局部注意力机制聚合全图信息，抑制同色系背景等干扰，将精炼后的特征表示回采样并重新融合，得到平衡后的特征金字塔；
步骤3所述的感兴趣区域生成方法，包括以下步骤：
步骤3.1：采用平衡后的各层特征图输入到区域候选网络中，以特征图上每一个空间位置对应在原图上的坐标为中心，按照不同的尺寸与宽高比生成预定义锚框；
步骤3.2：基于每一个锚框与所有标注框之间的交并比，判定正负样本，并生成区域候选网络的训练目标，通过分类与回归两个分支，对目标果实进行初步预测；
步骤3.3：将生成的候选框通过边界剔除与非极大值抑制进行筛选，再按照置信度排序选择前N个候选框，按照一定比例选择正负样本并输入到RoI Align层采样至相同尺寸以备后续果实识别。
步骤4所述的目标果实预测方法，包括以下步骤：
步骤4.1：将相同尺寸的感兴趣区域输入到两个全连接分支，分别输出每个候选框属于目标果实的概率向量，以及对应的边框偏移量，以更加准确的回归目标检测框；
步骤4.2：与上述两个分支并行一个全卷积网络实现目标果实掩膜预测的任务，针对每个候选框分割出Km2维度的特征表示，测试时使用0.5作为阈值进行二值化，从而产生背景与前景的分割图。
步骤5所述的模型优化方法，包括：通过将上述过程中产生的五种损失相加，得到最终的损失函数，其中分类损失采用交叉熵损失函数计算，回归损失采样平滑L1损失计算，而对于掩码分支的损失，对每一个空间位置应用sigmoid，然后取RoI上所有像素的交叉熵的平均值。最后再通过随机梯度下降法进行反向传播，不断优化模型参数，拟合训练数据，得到识别模型。
在本实施例3中，利用上述果实采摘机器人进行果实采摘，需对复杂果园环境下的果实目标进行分割识别。在果园环境下，采集包含清晨、中午、夜间等不同时间段，重叠、遮挡、顺光、逆光、雨后等不同干扰下目标果实的图像，如图1(a)和图1(b)所示。并将采集后的图像进行雾化、亮度增强、对比度下降、高斯噪声、脉冲噪声、泊松噪声等图像增强处理，如图2所示。标注图像中的目标果实，制作数据集以备后续操作。
上述识别模型的整体架构如图3所示，可分为特征获取、RoIs生成、结果预测三个阶段。
1、特征获取阶段：
该阶段的具体实施流程如图4所示，对于输入图片X，将依次经过ResNet、FPN和BFP三个模块，借助三个模块的组合骨干架构，深度提取图像特征。其中：
ResNet提取特征：
卷积神经网络(Convolutional Neural Networks,CNN)的深度对模型的性能影响至关重要，而深层网络的训练通常又伴随梯度消失或***的问题，ResNet通过残差块的设计很好的解决了这一矛盾，通过卷积、池化、残差学习等技术逐渐丰富深层特征图的语义容量，并将各层残差块输出的特征表示分别记为{F2,F3,F4,F5}；
FPN融合特征：
由于ResNet经过不断的下采样操作，虽然F5上包含丰富的语义特征，但并不适合检测小尺度目标果实，对远景图像的检测效果较差。因此，将{F2,F3,F4,F5}按照自顶向下与横向连接的架构进行融合，得到特征金字塔，各层特征图分别记为{A2,A3,A4,A5}，并将每一层特征图分别用于后续操作，提升模型对不同尺度目标果实的识别效果。
BFP精炼特征：
将{A2,A3,A4,A5}通过插值或池化，将其统一采样至与A4相同的维度并融合，得到融合后的特征图Aconcat∈RC×H×W，如式(1)所示：
其中，Aconcat为融合后的特征图，R为实数，C\H\W为Aconcat的维度，分别表示通道数、空间上的高和宽。L为特征图的数量，即{A2,A3,A4,A5}共4层特征图，l∈{2,3,4,5},lmax＝5,lmin＝2。
上式中，L为特征金字塔中的特征图数量，lmin和lmax分别表示特征金字塔中最低层特征图与最高层特征图索引。得到Aconcat后，将其输入到高斯非局部注意力机制中，示意图如图5所示，对于最终输出的特征图E，其每一个空间位置Ei可表示为：
i为当前需要计算其与每一个空间位置之间关联度的特征点索引，f为计算两个空间位置之间关联相似度的方法，此处采用嵌入式高斯的方式来计算，如式(3)所示，其中，
为三个嵌入空间，采用三个1×1卷积实现，并最终通过C(x)正则化。
θ、φ、g是三个嵌入空间。
如图5所示，经过三个1×1卷积得到三个新的特征表示{B,C,D}∈RC×H×W,变换维度为RC×NRC×N，其中N＝H×W，再将B的转置与C相乘，得到关联程度矩阵S∈RN×N。
对于矩阵S上的每一个特征点Sij，代表的是第i个空间位置与第j个空间位置的关联程度，如式(4)所示：
得到相似度矩阵S后，将其与D作矩阵乘法并变换维度至RC×H×W，再与A进行像素级相加得到最后的特征表示E∈RC×H×W，如式(5):
由上式可以推断出，E融合了全图的上下文信息，并且能够通过相似度矩阵S，融合相似的特征信息，抑制干扰因素，从而对特征缺失果实也能起到很好的检测效果。接着对E重新采样并分别与{A2,A3,A4,A5}融合，得到最后的特征金字塔{P2,P3,P4,P5}
2、RoIs生成阶段：
对于Pl∈{P2,P3,P4,P5}，分别输入到只由1个3×3卷积接2个1×1卷积实现的RPN中置对应原图感受野的中，以Pl上每一个空间位心为中心，生成不同尺寸与宽高比的预定义锚框，并通过2个1×1卷积初步预测前/背景与边框偏移，如图6所示。将经过RPN得到的候选框进行边框剔除与非极大值抑制等操作，按照一定的采样比例保留正负样本的候选框，再按照式(6)，到指定特征层级k中提取感兴趣区域的特征，输入到RoI Align层采样至固定尺寸。
3、结果预测阶段
将上一阶段生成的固定尺寸的RoIs，输入到两个全连接分支分别产生果实的类别置信度和边框偏移，再并行一个FCN在每一个预测框中生成果实的分割掩膜。
4、模型训练与优化
本发明实施例3中，模型优化的思想是首先计算模型产生的预测值与根据标注信息生成的训练目标之间的损失，再使用梯度反向传播算法更新参数，不断重复的迭代训练，并在验证集上进行评估，得到最优模型，以供网络推断并分割图像中的目标果实，网络在推断阶段的流程图如图7所示。
整个模型的损失主要由两个多任务分支产生的多任务损失共同构成，分别由RPN与结果预测阶段产生，如式(7)所示：
Lfinal为最终将要进行梯度回传的总损失，其中，Lcls1和Lreg1由RPN的两个1×1卷积层产生的预测值和训练目标产生，Lcls2、Lreg2和Lmask由结果预测阶段产生。式(7)的5个损失函数中，Lcls1、Lcls2、Lmask采样交叉熵损失函数进行计算，Lreg1、Lreg2采用平滑L1损失函数进行计算。
训练RPN时，以锚框与真实框之间的交并比(Intersection over Union,IoU)作为判定正负样本的标准，若大于0.7，则视为正样本；若小于0.3，则视为负样本；若在0.3到0.7之间，则不参与训练。判定正负样本之后，按照正负样本1:1的比例随机采样，并按照与其对应的真实框信息，生成RPN的训练目标；训练结果预测阶段的三任务分支时，同样是首先以IoU阈值作为判定正负样本的标准，再按照一定比例(1:3)进行采样，最后生成对应的训练目标，计算其与预测值之间的损失来优化模型。模型的分割效果如图8所示。
综上所述，本发明实施例所述的用于果实采摘机器人的果实分割识别方法，在果园环境下采集包含不同干扰类型的RGB图像并标注其中的目标果实；将图像输入残差网络ResNet，接以特征金字塔融合不同层级的特征表示，再采样至相同尺寸进行合并，输送至高斯非局部注意力机制中抑制干扰，重新采样融合，得到平衡后的特征金字塔；采用金字塔中的各层特征图分别输入到区域候选模块，在输入图片上产生预定义锚框，并作初步调整，经过非极大值抑制筛选出候选框，在相应特征图上提取特征并通过Align层下采样至相同尺寸，得到感兴趣区域；最后通过两个全连接层产生类别置信度与边框坐标，再并行一个全卷积网络生成果实的分割掩膜。
Mask R-CNN作为目前最主流的实例分割算法，借助神经网络深度提取图像特征，拟合非线性数据，能有效提升模型对成簇或重叠目标果实的分割效果；特征金字塔网络(Feature Pyramid Networks,FPN)通过自顶向下与横向连接构建不同尺寸但同时具有高级语义信息的特征表示，能有效提升模型对不同尺度，尤其是小尺度目标果实的分割效果；高斯非局部注意力机制能够以极少量的参数嵌入网络，聚合全图中的相似特征信息，抑制干扰因素，能有效提升模型对特征缺失目标果实的分割效果。本发明实施例通过对以上技术设计融合，可适应复杂果园环境下不同类型的目标果实识别。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种果实分割识别方法，其特征在于，包括：
步骤S110：采集果园环境下包含不同干扰的果实图像，并标注果实图像中的目标果实的轮廓；
步骤S120：提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征；
步骤S130：将步骤S120得到的特征图输送至区域候选网络，经非极大值抑制获取相同尺度的感兴趣区域；
步骤S140：相同尺度的感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；
步骤S150：计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型，对果园环境图像中的果实进行分割识别。
2.根据权利要求1所述的果实分割识别方法，其特征在于，所述步骤S120具体包括：
步骤S121：标注后的果实图像分批输入到残差网络中，通过卷积操作进行连续下采样；
步骤S122：引入特征金字塔网络，通过自上至下以及横向连接整合残差网络中的各层特征表示；
步骤S123：采样特征金字塔网络中的各层特征图至相同尺度并整合，通过高斯非局部注意力机制聚合全图信息，将聚合后的的特征表示回采样并重新融合，得到平衡后的特征金字塔，输出平衡后的特征图。
3.根据权利要求2所述的果实分割识别方法，其特征在于，所述步骤S130具体包括：
步骤S131：将平衡后的特征图输入到区域候选网络中，以特征图上每一个空间位置对应在原图上的坐标为中心，按照不同的尺寸与宽高比生成预定义锚框；
步骤S132：基于每一个锚框与所有标注框之间的交并比，判定正负样本，并生成区域候选网络的训练目标，通过分类分支与回归分支，对目标果实进行初步预测；
步骤S133：将生成的候选框通过边界剔除与非极大值抑制进行筛选，再按照置信度排序选择前N个候选框，按照一定比例选择正负样本并输入到RoI Align层采样至相同尺寸。
4.根据权利要求3所述的果实分割识别方法，其特征在于，所述步骤S140具体包括：
步骤S141：将相同尺寸的感兴趣区域输入到两个全连接分支，分别输出每个候选框属于目标果实的概率向量，以及对应的边框偏移量；
步骤S142：与所述两个全连接分支并行一个全卷积网络实现目标果实掩膜预测，针对每个候选框分割出多维度的特征表示，并进行二值化，产生背景与前景的分割图。
5.根据权利要求4所述的果实分割识别方法，其特征在于，所述步骤S150具体包括：
将果实置信度、边框坐标与分割掩膜与标注值之间的损失相加，得到最终的损失函数，利用随机梯度下降法进行反向传播，不断优化模型参数至稳定，拟合训练数据，得到识别模型。
6.一种果实分割识别***，其特征在于，包括：
采集模块，用于采集果园环境下包含不同干扰的果实图像，并标注果实图像中的目标果实的轮廓；
第一提取模块，用于提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征，得到特征图；
第二提取模块，用于结合区域候选网络，经非极大值抑制获取特征图中相同尺度的感兴趣区域；
预测模块，用于将相同尺度的感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；
识别模块，用于计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型，对果园环境图像中的果实进行分割识别。
7.根据权利要求6所述的果实分割识别***，其特征在于，所述第一提取模块包括：
采样单元，用于将标注后的果实图像结合到残差网络中，通过卷积操作进行连续下采样；
特征表示单元，用于引入特征金字塔网络，通过自上至下以及横向连接整合残差网络中的各层特征表示；
平衡单元，用于采样特征金字塔网络中的各层特征图至相同尺度并整合，通过高斯非局部注意力机制聚合全图信息，将聚合后的的特征表示回采样并重新融合，得到平衡后的特征金字塔，输出平衡后的特征图。
8.根据权利要求7所述的果实分割识别***，其特征在于，所述第二提取模块包括：
预定义单元，用于将平衡后的特征图结合区域候选网络中，以特征图上每一个空间位置对应在原图上的坐标为中心，按照不同的尺寸与宽高比生成预定义锚框；
初步预测单元，用于基于每一个锚框与所有标注框之间的交并比，判定正负样本，并生成区域候选网络的训练目标，通过分类分支与回归分支，对目标果实进行初步预测；
筛选单元，用于将生成的候选框通过边界剔除与非极大值抑制进行筛选，再按照置信度排序选择前N个候选框，按照一定比例选择正负样本并结合到RoIAlign层采样至相同尺寸。
9.根据权利要求8所述的果实分割识别***，其特征在于，所述预测模块包括：
计算单元，用于将相同尺寸的感兴趣区域结合两个全连接分支，分别输出每个候选框属于目标果实的概率向量，以及对应的边框偏移量；
分割单元，用于与所述两个全连接分支并行一个全卷积网络实现目标果实掩膜预测，针对每个候选框分割出多维度的特征表示，并进行二值化，产生背景与前景的分割图。
10.一种果实采摘机器人，其特征在于，包括如权利要求6-8任一项所述的果实分割识别***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011519247.6A CN112541508A (zh) | 2020-12-21 | 2020-12-21 | 果实分割识别方法及***、果实采摘机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011519247.6A CN112541508A (zh) | 2020-12-21 | 2020-12-21 | 果实分割识别方法及***、果实采摘机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112541508A true CN112541508A (zh) | 2021-03-23 |
Family
ID=75019354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011519247.6A Pending CN112541508A (zh) | 2020-12-21 | 2020-12-21 | 果实分割识别方法及***、果实采摘机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541508A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113099847A (zh) * | 2021-05-25 | 2021-07-13 | 广东技术师范大学 | 一种基于果实三维参数预测模型的果实采摘方法 |
| CN113205085A (zh) * | 2021-07-05 | 2021-08-03 | 武汉华信数据***有限公司 | 一种图像识别方法和装置 |
| CN113283320A (zh) * | 2021-05-13 | 2021-08-20 | 桂林安维科技有限公司 | 一种基于通道特征聚合的行人重识别方法 |
| CN113343750A (zh) * | 2021-04-15 | 2021-09-03 | 山东师范大学 | 一种同色系目标果实检测方法及*** |
| CN113343749A (zh) * | 2021-04-13 | 2021-09-03 | 山东师范大学 | 基于D2Det模型的果实识别方法及*** |
| CN113343751A (zh) * | 2021-04-15 | 2021-09-03 | 山东师范大学 | 一种小目标果实的检测方法及*** |
| CN113344845A (zh) * | 2021-04-14 | 2021-09-03 | 山东师范大学 | 一种基于锚点集的目标果实分割方法及*** |
| CN113378813A (zh) * | 2021-05-28 | 2021-09-10 | 陕西大智慧医疗科技股份有限公司 | 基于注意力平衡特征金字塔的建模、目标检测方法及装置 |
| CN113592906A (zh) * | 2021-07-12 | 2021-11-02 | 华中科技大学 | 一种基于标注帧特征融合的长视频目标跟踪方法及*** |
| CN114004859A (zh) * | 2021-11-26 | 2022-02-01 | 山东大学 | 基于多视图融合网络的超声心动左心房图分割方法及*** |
| CN114511850A (zh) * | 2021-12-30 | 2022-05-17 | 广西慧云信息技术有限公司 | 一种阳光玫瑰葡萄果实大小粒图像识别方法 |
| CN114902872A (zh) * | 2022-04-26 | 2022-08-16 | 华南理工大学 | 一种机器人采摘果实的视觉引导方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109584248A (zh) * | 2018-11-20 | 2019-04-05 | 西安电子科技大学 | 基于特征融合和稠密连接网络的红外面目标实例分割方法 |
| CN110619632A (zh) * | 2019-09-18 | 2019-12-27 | 华南农业大学 | 一种基于Mask R-CNN的芒果实例对抗分割方法 |
| CN111667461A (zh) * | 2020-05-06 | 2020-09-15 | 青岛科技大学 | 一种输电线路异常目标检测方法 |
| CN112017154A (zh) * | 2020-07-08 | 2020-12-01 | 林智聪 | 基于Mask R-CNN模型的一种射线缺陷检测方法 |
-
2020
- 2020-12-21 CN CN202011519247.6A patent/CN112541508A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109584248A (zh) * | 2018-11-20 | 2019-04-05 | 西安电子科技大学 | 基于特征融合和稠密连接网络的红外面目标实例分割方法 |
| CN110619632A (zh) * | 2019-09-18 | 2019-12-27 | 华南农业大学 | 一种基于Mask R-CNN的芒果实例对抗分割方法 |
| CN111667461A (zh) * | 2020-05-06 | 2020-09-15 | 青岛科技大学 | 一种输电线路异常目标检测方法 |
| CN112017154A (zh) * | 2020-07-08 | 2020-12-01 | 林智聪 | 基于Mask R-CNN模型的一种射线缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIANGMIAO PANG ET AL.: "Libra R-CNN: Towards Balanced Learning for Object Detection", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| YANG YU ET AL.: "Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113343749A (zh) * | 2021-04-13 | 2021-09-03 | 山东师范大学 | 基于D2Det模型的果实识别方法及*** |
| CN113344845A (zh) * | 2021-04-14 | 2021-09-03 | 山东师范大学 | 一种基于锚点集的目标果实分割方法及*** |
| CN113343750A (zh) * | 2021-04-15 | 2021-09-03 | 山东师范大学 | 一种同色系目标果实检测方法及*** |
| CN113343751A (zh) * | 2021-04-15 | 2021-09-03 | 山东师范大学 | 一种小目标果实的检测方法及*** |
| CN113283320A (zh) * | 2021-05-13 | 2021-08-20 | 桂林安维科技有限公司 | 一种基于通道特征聚合的行人重识别方法 |
| CN113099847A (zh) * | 2021-05-25 | 2021-07-13 | 广东技术师范大学 | 一种基于果实三维参数预测模型的果实采摘方法 |
| CN113099847B (zh) * | 2021-05-25 | 2022-03-08 | 广东技术师范大学 | 一种基于果实三维参数预测模型的果实采摘方法 |
| CN113378813A (zh) * | 2021-05-28 | 2021-09-10 | 陕西大智慧医疗科技股份有限公司 | 基于注意力平衡特征金字塔的建模、目标检测方法及装置 |
| CN113205085A (zh) * | 2021-07-05 | 2021-08-03 | 武汉华信数据***有限公司 | 一种图像识别方法和装置 |
| CN113592906A (zh) * | 2021-07-12 | 2021-11-02 | 华中科技大学 | 一种基于标注帧特征融合的长视频目标跟踪方法及*** |
| CN113592906B (zh) * | 2021-07-12 | 2024-02-13 | 华中科技大学 | 一种基于标注帧特征融合的长视频目标跟踪方法及*** |
| CN114004859A (zh) * | 2021-11-26 | 2022-02-01 | 山东大学 | 基于多视图融合网络的超声心动左心房图分割方法及*** |
| CN114511850A (zh) * | 2021-12-30 | 2022-05-17 | 广西慧云信息技术有限公司 | 一种阳光玫瑰葡萄果实大小粒图像识别方法 |
| CN114511850B (zh) * | 2021-12-30 | 2024-05-14 | 广西慧云信息技术有限公司 | 一种阳光玫瑰葡萄果实大小粒图像识别方法 |
| CN114902872A (zh) * | 2022-04-26 | 2022-08-16 | 华南理工大学 | 一种机器人采摘果实的视觉引导方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112541508A (zh) | 果实分割识别方法及***、果实采摘机器人 | |
| CN113449680B (zh) | 一种基于知识蒸馏的多模小目标检测方法 | |
| CN110458844B (zh) | 一种低光照场景的语义分割方法 | |
| CN110929610B (zh) | 基于cnn模型和迁移学习的植物病害识别方法及*** | |
| CN114092832B (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
| CN103914705B (zh) | 一种基于多目标免疫克隆的高光谱图像分类和波段选择的方法 | |
| Zuo et al. | HF-FCN: Hierarchically fused fully convolutional network for robust building extraction | |
| Chen et al. | An improved Yolov3 based on dual path network for cherry tomatoes detection | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及*** | |
| CN111833322B (zh) | 一种基于改进YOLOv3的垃圾多目标检测方法 | |
| CN115049841A (zh) | 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法 | |
| CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
| CN111695640A (zh) | 地基云图识别模型训练方法及地基云图识别方法 | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、***、设备及存储介质 | |
| CN115393631A (zh) | 基于贝叶斯层图卷积神经网络的高光谱图像分类方法 | |
| CN117611932A (zh) | 基于双重伪标签细化和样本重加权的图像分类方法及*** | |
| Xiao et al. | Apple ripeness identification from digital images using transformers | |
| CN113536944A (zh) | 基于图像识别的配电线路巡检数据识别及分析方法 | |
| CN112818818A (zh) | 一种基于affpn的新型超高清遥感图像变化检测方法 | |
| Kong et al. | Detection model based on improved faster-RCNN in apple orchard environment | |
| Wang et al. | Strawberry ripeness classification method in facility environment based on red color ratio of fruit rind | |
| CN116563683A (zh) | 一种基于卷积神经网络和多层感知机的遥感影像场景分类方法 | |
| Jing et al. | Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks | |
| CN113657196B (zh) | Sar图像目标检测方法、装置、电子设备和存储介质 | |
| CN116012299A (zh) | 一种基于目标识别的复合绝缘子憎水性等级检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210323 |