CN113099847A - 一种基于果实三维参数预测模型的果实采摘方法 - Google Patents
一种基于果实三维参数预测模型的果实采摘方法 Download PDFInfo
- Publication number
- CN113099847A CN113099847A CN202110570385.5A CN202110570385A CN113099847A CN 113099847 A CN113099847 A CN 113099847A CN 202110570385 A CN202110570385 A CN 202110570385A CN 113099847 A CN113099847 A CN 113099847A
- Authority
- CN
- China
- Prior art keywords
- fruit
- range
- image
- picked
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/26—Devices for shaking trees or shrubs; Fruit catching devices to be used therewith
- A01D2046/268—Devices to shake the branches pneumatically powered
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Robotics (AREA)
- Environmental Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Business, Economics & Management (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Agronomy & Crop Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
Abstract
本申请揭示了一种基于果实三维参数预测模型的果实采摘方法，包括：对待采摘果实进行第一次图像采集处理，以得到第一图像；确定第一范围；控制机器手进行第一次移动处理；进行间断式气体喷射处理，以使待采摘果实受迫振动；进行多次第二次图像采集处理，以得到多幅第二图像；以所述第一图像为参照对象，筛选出偏移平衡位置最大的两幅指定第二图像；共同输入预设的果实三维参数预测模型中，从而得到预测三维参数；控制所述机器手进行第二次移动处理；对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，实现了对果实的精确智能采摘，并且不伤害果实与果树的目的。
Description
技术领域
本申请涉及到计算机领域，特别是涉及到一种基于果实三维参数预测模型的果实采摘方法、装置、计算机设备和存储介质。
背景技术
智能化采摘技术是自动化农业中果实采摘的重要技术，为了节省日渐高昂的人工成本，目前已经出现了一些自动化采摘技术，例如采用展开的塑料膜作为果实承接器，再采用振动发生器来振动果树树干，以使得果实脱落至塑料膜中。但是这些现有的自动化采摘技术智能化程度不足，并且无法避免果实的损伤问题，甚至有可能对果树本身造成伤害。因此，目前缺少对果实进行精确智能采摘，并且不伤害果实与果树的方案。
发明内容
本申请提出一种基于果实三维参数预测模型的果实采摘方法，包括以下步骤：
S1、采用预设的摄像头对待采摘果实进行第一次图像采集处理，以得到第一图像；
S2、根据预设的范围定位方法，以所述第一图像为依据，从而确定容纳有所述待采摘果实的第一范围；
S3、控制预设的机器手进行第一次移动处理，以将所述机器手移动至所述第一范围的外部，并从下方笼罩所述第一范围，同时保证所述机器手在移动过程中不进入所述第一范围；
S4、控制预设的气流喷射设备，对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动；
S5、在所述待采摘果实受迫振动过程中，采用预设的摄像头对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像；
S6、根据预设的图像筛选方法，以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像；
S7、将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；其中，所述果实三维参数预测模型基于预设的神经网络模型训练而成；
S8、根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理，以使所述机器手将笼罩范围缩小至第二范围；其中，所述第二范围小于所述第一范围；
S9、确定所述第一图像中果柄位置，并采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程。
进一步地，所述根据预设的范围定位方法，以所述第一图像为依据，从而确定容纳有所述待采摘果实的第一范围的步骤S2，包括：
S201、获取所述机器手在进行最大限度展开机械手指后的最大容纳范围；
S202、确定所述第一图像中的所述待采摘果实的中心位置，并以所述中心位置绘制所述最大容纳范围，以得到暂时范围；
S203、判断所述暂时范围是否完全容纳所述采摘果实；
S204、若所述暂时范围完全容纳所述采摘果实，则将所述暂时范围记为第一范围。
进一步地，所述控制预设的气流喷射设备，对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动的步骤S4，包括：
S401、控制预设的气流喷射设备，沿第一方向对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实在所述第一方向上受迫振动；其中，所述第一方向与所述摄像头的图像采集方向之间的角度不为0；
所述在所述待采摘果实受迫振动过程中，采用预设的摄像头对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像的步骤S5，包括：
S501、在所述待采摘果实受迫振动过程中，采用预设的光斑生成器，以在所述待采摘果实上投影出指定光斑；其中，所述光斑生成器投影所述指定光斑的投影方向与所述摄像头的图像采集方向平行；
S502、采用预设的摄像头对被投影指定光斑的待采摘果实进行多次第二次图像采集处理，以得到多幅带有光斑的第二图像。
进一步地，所述根据预设的图像筛选方法，以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像的步骤S6，包括：
S601、从所述第一图像中提取出特征点，并获取所述多幅带有光斑的第二图像中所述特征点的位置；
S602、以特征点为起点，指定光斑为终点，进行向量生成处理，从而得到与所述多幅带有光斑的第二图像分别对应的多个偏移衡量向量；
S603、以所述多个偏移衡量向量为依据，筛选出偏移平衡位置最大的两幅指定第二图像。
进一步地，所述将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；其中，所述果实三维参数预测模型基于预设的神经网络模型训练而成的步骤S7之前，包括：
S61、对长在树上的样本果实进行图像采集处理，以得到第一样本图像；
S62、采用预设的气流喷射设备，对所述样本果实进行间断式气体喷射处理，以使所述样本果实受迫振动；
S63、在所述样本果实处于两个最大振幅位置时，分别进行图像采集处理，以得到两个第二样本图像；
S64、对所述样本果实进行人工测量，以得到所述样本果实的三维参数；
S65、将所述第一样本图像和所述两个第二样本图像作为样本图像集，并在样本图像集标注上所述样本果实的三维参数；
S66、从所述样本图像集中划分出训练图像集和验证图像集，调用预设的神经网络模型，并将所述训练图像集输入神经网络模型中进行训练，以得到中间预测模型；
S67、采用所述验证图像集对所述中间预测模型进行验证处理，并判断验证处理的结果是否通过；
S68、若验证处理的结果通过，则将所述中间预测模型记为果实三维参数预测模型。
本申请提出一种基于果实三维参数预测模型的果实采摘装置，包括：
第一图像采集单元，用于采用预设的摄像头对待采摘果实进行第一次图像采集处理，以得到第一图像；
第一范围确定单元，用于根据预设的范围定位方法，以所述第一图像为依据，从而确定容纳有所述待采摘果实的第一范围；
第一次移动单元，用于控制预设的机器手进行第一次移动处理，以将所述机器手移动至所述第一范围的外部，并从下方笼罩所述第一范围，同时保证所述机器手在移动过程中不进入所述第一范围；
气体喷射单元，用于控制预设的气流喷射设备，对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动；
第二图像采集单元，用于在所述待采摘果实受迫振动过程中，采用预设的摄像头对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像；
第二图像筛选单元，用于根据预设的图像筛选方法，以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像；
预测三维参数获取单元，用于将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；其中，所述果实三维参数预测模型基于预设的神经网络模型训练而成；
第二次移动单元，用于根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理，以使所述机器手将笼罩范围缩小至第二范围；其中，所述第二范围小于所述第一范围；
果实采摘单元，用于确定所述第一图像中果柄位置，并采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程。
本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于果实三维参数预测模型的果实采摘方法、装置、计算机设备和存储介质，对待采摘果实进行第一次图像采集处理，以得到第一图像；确定容纳有所述待采摘果实的第一范围；控制预设的机器手进行第一次移动处理；对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动；对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像；以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像；将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理；采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程，实现了对果实的精确智能采摘，并且不伤害果实与果树的目的。
其中，本申请具有的优点包括：采用单一方向的图像，即可得到果实三维参数，借此能够实现果实的准确定位与采摘；本申请的方案，只需要一个摄像头，而不需要在多个方位同时布设摄像头来确定果实的三维空间位置(传统三维定位技术必须依赖多方向的摄像头采集到的多张图像，才能实现空间定位)，因此降低了成本，提高了实施便利性，提高了整体采摘效率。
附图说明
图1为本申请一实施例的基于果实三维参数预测模型的果实采摘方法的流程示意图；
图2为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种基于果实三维参数预测模型的果实采摘方法，包括以下步骤：
S1、采用预设的摄像头对待采摘果实进行第一次图像采集处理，以得到第一图像；
S2、根据预设的范围定位方法，以所述第一图像为依据，从而确定容纳有所述待采摘果实的第一范围；
S3、控制预设的机器手进行第一次移动处理，以将所述机器手移动至所述第一范围的外部，并从下方笼罩所述第一范围，同时保证所述机器手在移动过程中不进入所述第一范围；
S4、控制预设的气流喷射设备，对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动；
S5、在所述待采摘果实受迫振动过程中，采用预设的摄像头对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像；
S6、根据预设的图像筛选方法，以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像；
S7、将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；其中，所述果实三维参数预测模型基于预设的神经网络模型训练而成；
S8、根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理，以使所述机器手将笼罩范围缩小至第二范围；其中，所述第二范围小于所述第一范围；
S9、确定所述第一图像中果柄位置，并采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程。
本申请能够实现以单一方向的图像(包括第一图像和第二图像)，实现果实的三维定位，主要根据的原理在于：申请人发现，果实的受迫振动除了与施加的外力相关之外，还与果实的三维特性直接相关。其中，果实的三维特性指果实的三维尺寸、果实的形状等；当果实的类别确定时，其果实的形状也已确定(一般果实为圆形或者接近于圆形)，因此在外力相同的情况下，果实的受迫振动(振幅、频率等等)与果实的三维尺寸直接相关。本申请通过这个原理，先利用摄像头进行直接图像采集，以得到第一图像，那么就能够直接获得两个维度的参数，而剩下一个维度的参数根据上述原理，通过有监督学习方式训练得到的果实三维参数预测模型，即可预测得到，从而实现了无需多个摄像头也能进行三维精确定位并进行果实采摘的目的。
如上述步骤S1-S3所述，采用预设的摄像头对待采摘果实进行第一次图像采集处理，以得到第一图像；根据预设的范围定位方法，以所述第一图像为依据，从而确定容纳有所述待采摘果实的第一范围；控制预设的机器手进行第一次移动处理，以将所述机器手移动至所述第一范围的外部，并从下方笼罩所述第一范围，同时保证所述机器手在移动过程中不进入所述第一范围。
其中，预设的摄像头只有一个，并且只要在一个方向上进行图像采集处理，因此采集到的图像，无论是第一图像还是第二图像，都是在固定位置固定方向采集得到的。这种采集图像采集方式，优点在于速度快、成本低、无需考虑多个摄像头之间的角度配合问题，但也带来了一个问题：传统的三维定位技术，仅仅凭借一个方向的平面图像，是无法得到被拍摄对象的三维空间形状的；而本申请另外引入了振动因素，实现了利用单一方向的平面图像来确定果实的三维空间形状的目的。
再根据预设的范围定位方法，以所述第一图像为依据，从而确定容纳有所述待采摘果实的第一范围。其中，所述第一范围是较大的范围，其目的在于提高容错率。由于直接以第一图像为依据，是无法得到果实三维形状的，但却能得到果实在平面上的两个维度的相关数据，而果实一般是对称或者近乎对称的方式生长的，因此其在另一个空间维度的尺寸也与这两个维度的尺寸相近。在此基础上，对果实的可能三维尺寸进行一定比例的放大，就能够模糊确定第一范围了，而只要比例放大得较多，就能够保证即使果实生长较不规则，不会超出所述待采摘果实的第一范围。
在此需要提及的两点，第一，本申请为何不以果实在平面上的两个维度的相关数据，直接预测其在另一个空间维度的相关数据？这是因为果实的对称性生长是理想状态下的，虽然能够利用果实在平面上的两个维度的相关数据进行一定程度的预测，但这属于模糊预测，准确性低，因此这种方式不被本申请直接采用。第二，本申请为何不直接将机器手移至第一范围后，就直接进行果实采摘处理？这是因为，第一范围比较大，本申请的目的是实现无损伤或者低损伤的智能果实采摘，而直接利用第一范围作为果实承接范围，虽然相比于现有技术已经有一定程度上的改善，但是第一范围与果实的表面仍存在较大的距离，此时若进行直接采摘，果实掉落的过程中可能会造成一定程度的损伤，因此本申请也不直接采用这种方式进行采摘。
再控制预设的机器手进行第一次移动处理，以将所述机器手移动至所述第一范围的外部，并从下方笼罩所述第一范围，同时保证所述机器手在移动过程中不进入所述第一范围。为了避免机器手在移动过程中碰撞果实，因此所述机器手在移动过程中不进入所述第一范围。另外，所述机器手移动至所述第一范围的外部，并从下方笼罩所述第一范围，并未限定机器手与果实之间是否具有其他物体，例如是否存在树枝等。即，纵使机器手与果实之间存在其他物体，也不会影响本申请在后续步骤中的实施。
进一步地，所述根据预设的范围定位方法，以所述第一图像为依据，从而确定容纳有所述待采摘果实的第一范围的步骤S2，包括：
S201、获取所述机器手在进行最大限度展开机械手指后的最大容纳范围；
S202、确定所述第一图像中的所述待采摘果实的中心位置，并以所述中心位置绘制所述最大容纳范围，以得到暂时范围；
S203、判断所述暂时范围是否完全容纳所述采摘果实；
S204、若所述暂时范围完全容纳所述采摘果实，则将所述暂时范围记为第一范围。
从而以机器手的最大笼罩范围为依据，来确定第一范围的大小。第一范围的确定条件有两个，一个是必须容纳待采摘果实，另一个是需要与机器手相匹配。这里的第一个条件要求第一范围足够大，而第二个条件要求第一范围不能过大，因此，本申请通过获取所述机器手在进行最大限度展开机械手指后的最大容纳范围，再结合待采摘果实的中心，就能够确定恰当的第一范围。
如上述步骤S4-S6所述，控制预设的气流喷射设备，对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动；在所述待采摘果实受迫振动过程中，采用预设的摄像头对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像；根据预设的图像筛选方法，以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像。
气流喷射设备可采用任意可行设备，例如采用喷气喷头进行喷射。并且，由于此时还不能准确定位待采摘果实，因此是对第一范围进行气体喷射处理。另外，本申请的气体喷射处理是有其目的性的，即其需要使处于所述第一范围中的所述待采摘果实受迫振动，因此，必须使用间断式气体喷射处理。这是因为，若采用持续气体喷射处理，则待采摘果实会被吹向一侧，但待采摘果实无法下落以回到平衡位置，因此无法进行受迫振动。另外，间断式气体喷射处理的间断时间，可采用任意可行时间，但间断式气体喷射的喷射频率，优选小于等于待采摘果实的固有振动频率(受迫振动进行类周期性钟摆运动时的频率)。结合上文的描述，本申请进行间断式气体喷射处理，其实只需要满足一个条件，使待采摘果实能够尽量顺利的进行受迫振动运动。这是本申请中得以实施的一个重要部分，是由于申请人发现，待采摘果实在受迫振动时，其振动参数(例如振幅和振动频率)与待采摘果实本身(果实的重量、果实的形状等)直接相关，本申请利用这一点来预测待采摘果实的第三个维度参数。
在所述待采摘果实受迫振动过程中，采用预设的摄像头对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像。此时摄像头并未进行移动，其拍摄方向也未改变。同时，进行第二次图像采集处理的过程中，优选进行连续拍摄处理，以利于后续筛选出最合适的第二图像，以提高整体方***性。受迫振动的各个参数，实际上能够在多幅第二图像中表现出来，例如，振幅能够通过平衡位置的图像(即第一图像)与最大程度偏离平衡位置的第二图像之间的区别反应出来；或者，振幅能够通过两幅最大程度偏离平衡位置的第二图像之间的区别反应出来；振动频率也能够通过两幅最大程度偏离平衡位置的第二图像之间的图像采集时间差反应出来。因此，再根据预设的图像筛选方法，以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像。
进一步地，所述控制预设的气流喷射设备，对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动的步骤S4，包括：
S401、控制预设的气流喷射设备，沿第一方向对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实在所述第一方向上受迫振动；其中，所述第一方向与所述摄像头的图像采集方向之间的角度不为0；
所述在所述待采摘果实受迫振动过程中，采用预设的摄像头对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像的步骤S5，包括：
S501、在所述待采摘果实受迫振动过程中，采用预设的光斑生成器，以在所述待采摘果实上投影出指定光斑；其中，所述光斑生成器投影所述指定光斑的投影方向与所述摄像头的图像采集方向平行；
S502、采用预设的摄像头对被投影指定光斑的待采摘果实进行多次第二次图像采集处理，以得到多幅带有光斑的第二图像。
从而提高待采摘果实的三维参数的预测准确性，同时便于第二图像的采集与处理。其中，本申请虽然对待采摘果实的受迫振动方向没有限制，但是，若待采摘果实的受迫振动方向与摄像头的图像采集方向平行，那么摄像头采集到的第二图像与第一图像之间的差异性就小得多，并且第二图像之间的差异性也小得多，而第一图像和第二图像是三维参数预测的依据，因此会影响后续三维参数的预测准确性。因此，本申请对气体喷射角度进行了限制，反应在具体步骤中为，控制预设的气流喷射设备，沿第一方向对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实在所述第一方向上受迫振动；其中，所述第一方向与所述摄像头的图像采集方向之间的角度不为0。通过这种方式，使得气体喷射方向与摄像头的采集方向之间存在夹角，因此从摄像头的位置进行观测，受迫振动就更加明显。其中，所述第一方向与所述摄像头的图像采集方向之间的角度可为任意可行角度，当角度数值越大时，对于提高后续三维参数的预测准确性越有利，但需要调整气流喷射设备的位置与喷射方向；当角度数值越小时，虽然后续三维参数的预测准确性较差，但在本申请的方案实施时，几乎不需要调整气流喷射设备的位置与喷射方向(例如，当角度为0时，摄像头的位置与图像采集方向，分别与气流喷射设备的位置与喷射方向相同)，因此实施快速，成本下降。并且采用光斑生成器以投影出指定光斑，使得对于第二图像的处理有了明显的参照物，因此提高了图像处理速度与准确性。
进一步地，所述根据预设的图像筛选方法，以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像的步骤S6，包括：
S601、从所述第一图像中提取出特征点，并获取所述多幅带有光斑的第二图像中所述特征点的位置；
S602、以特征点为起点，指定光斑为终点，进行向量生成处理，从而得到与所述多幅带有光斑的第二图像分别对应的多个偏移衡量向量；
S603、以所述多个偏移衡量向量为依据，筛选出偏移平衡位置最大的两幅指定第二图像。
从而提高了指定第二图像的筛选速度与准确性。对于第一图像而言，其是静止图像，因此其中的特征点较为明显，可作为一个参照点。而对于第二图像而言，其是在受迫振动过程中采集得到的，高效确定偏移平衡位置的程度较为困难。而本申请借助指定光斑与特征点，生成偏移衡量向量，再借此筛选出偏移平衡位置最大的两幅指定第二图像。需要注意的是，偏移衡量向量并不一定需要与受迫振动的方向平行，因为受迫振动的过程中，会对特征点与指定光斑之间的距离进行放大，从而利于指定第二图像的筛选。
如上述步骤S7-S9所述，将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；其中，所述果实三维参数预测模型基于预设的神经网络模型训练而成；根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理，以使所述机器手将笼罩范围缩小至第二范围；其中，所述第二范围小于所述第一范围；确定所述第一图像中果柄位置，并采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程。
所述神经网络模型可采用任意可行模型，例如采用卷积神经网络模型等，训练过程可采用任意可行方法，例如采用有监督学***面内的两个维度数据的，而两幅指定第二图像还反应了待采摘果实的本征振动特性，而本征振动特性与待采摘果实的第三个维度数据直接相关，因此两幅指定第二图像是包含第三维度数据的，从而能够通过所述第一图像和所述两幅指定第二图像，预测出待采摘果实的三维参数。
进一步地，所述果实三维参数预测模型的训练过程可为任意可行过程，例如，所述将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；其中，所述果实三维参数预测模型基于预设的神经网络模型训练而成的步骤S7之前，包括：
S61、对长在树上的样本果实进行图像采集处理，以得到第一样本图像；
S62、采用预设的气流喷射设备，对所述样本果实进行间断式气体喷射处理，以使所述样本果实受迫振动；
S63、在所述样本果实处于两个最大振幅位置时，分别进行图像采集处理，以得到两个第二样本图像；
S64、对所述样本果实进行人工测量，以得到所述样本果实的三维参数；
S65、将所述第一样本图像和所述两个第二样本图像作为样本图像集，并在样本图像集标注上所述样本果实的三维参数；
S66、从所述样本图像集中划分出训练图像集和验证图像集，调用预设的神经网络模型，并将所述训练图像集输入神经网络模型中进行训练，以得到中间预测模型；
S67、采用所述验证图像集对所述中间预测模型进行验证处理，并判断验证处理的结果是否通过；
S68、若验证处理的结果通过，则将所述中间预测模型记为果实三维参数预测模型。
再根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理，以使所述机器手将笼罩范围缩小至第二范围；其中，所述第二范围小于所述第一范围。其中，由于有更精准的预测三维参数，因此能够缩小范围。而机器手的第二次移动，目的就在于缩小范围，以使得果实采摘后掉落的时间更短，被碰撞的可能性更小。并且，虽然在上文提及的是第二次移动处理，但由于有后续限定：使所述机器手将笼罩范围缩小至第二范围，因此所述机器手上预设的机械手指将对应收紧，以限制出更小的范围，并且由于已经确定了更准确的果实的三维参数，因此机器手的第二次移动过程(包括机器手指的收紧过程)不会碰触到待采摘果实。
再确定所述第一图像中果柄位置，并采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程。进一步地，所述机器手为柔性机器手，柔性机器手与果实的接触部分为柔性材料制成，从而进一步减少果实碰伤的可能。
本申请的基于果实三维参数预测模型的果实采摘方法，对待采摘果实进行第一次图像采集处理，以得到第一图像；确定容纳有所述待采摘果实的第一范围；控制预设的机器手进行第一次移动处理；对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动；对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像；以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像；将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理；采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程，实现了对果实的精确智能采摘，并且不伤害果实与果树的目的。
本申请实施例提供一种基于果实三维参数预测模型的果实采摘装置，包括：
第一图像采集单元，用于采用预设的摄像头对待采摘果实进行第一次图像采集处理，以得到第一图像；
第一范围确定单元，用于根据预设的范围定位方法，以所述第一图像为依据，从而确定容纳有所述待采摘果实的第一范围；
第一次移动单元，用于控制预设的机器手进行第一次移动处理，以将所述机器手移动至所述第一范围的外部，并从下方笼罩所述第一范围，同时保证所述机器手在移动过程中不进入所述第一范围；
气体喷射单元，用于控制预设的气流喷射设备，对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动；
第二图像采集单元，用于在所述待采摘果实受迫振动过程中，采用预设的摄像头对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像；
第二图像筛选单元，用于根据预设的图像筛选方法，以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像；
预测三维参数获取单元，用于将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；其中，所述果实三维参数预测模型基于预设的神经网络模型训练而成；
第二次移动单元，用于根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理，以使所述机器手将笼罩范围缩小至第二范围；其中，所述第二范围小于所述第一范围；
果实采摘单元，用于确定所述第一图像中果柄位置，并采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程。
其中上述单元分别用于执行的操作与前述实施方式的基于果实三维参数预测模型的果实采摘方法的步骤一一对应,在此不再赘述。
本申请的基于果实三维参数预测模型的果实采摘装置，对待采摘果实进行第一次图像采集处理，以得到第一图像；确定容纳有所述待采摘果实的第一范围；控制预设的机器手进行第一次移动处理；对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动；对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像；以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像；将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理；采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程，实现了对果实的精确智能采摘，并且不伤害果实与果树的目的。
参照图2，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于果实三维参数预测模型的果实采摘方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于果实三维参数预测模型的果实采摘方法。
上述处理器执行上述基于果实三维参数预测模型的果实采摘方法，其中所述方法包括的步骤分别与执行前述实施方式的基于果实三维参数预测模型的果实采摘方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备，对待采摘果实进行第一次图像采集处理，以得到第一图像；确定容纳有所述待采摘果实的第一范围；控制预设的机器手进行第一次移动处理；对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动；对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像；以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像；将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理；采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程，实现了对果实的精确智能采摘，并且不伤害果实与果树的目的。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于果实三维参数预测模型的果实采摘方法，其中所述方法包括的步骤分别与执行前述实施方式的基于果实三维参数预测模型的果实采摘方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质，对待采摘果实进行第一次图像采集处理，以得到第一图像；确定容纳有所述待采摘果实的第一范围；控制预设的机器手进行第一次移动处理；对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动；对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像；以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像；将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理；采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程，实现了对果实的精确智能采摘，并且不伤害果实与果树的目的。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序或指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (8)
1.一种基于果实三维参数预测模型的果实采摘方法，其特征在于，包括：
S1、采用预设的摄像头对待采摘果实进行第一次图像采集处理，以得到第一图像；
S2、根据预设的范围定位方法，以所述第一图像为依据，从而确定容纳有所述待采摘果实的第一范围；
S3、控制预设的机器手进行第一次移动处理，以将所述机器手移动至所述第一范围的外部，并从下方笼罩所述第一范围，同时保证所述机器手在移动过程中不进入所述第一范围；
S4、控制预设的气流喷射设备，对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动；
S5、在所述待采摘果实受迫振动过程中，采用预设的摄像头对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像；
S6、根据预设的图像筛选方法，以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像；
S7、将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；其中，所述果实三维参数预测模型基于预设的神经网络模型训练而成；
S8、根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理，以使所述机器手将笼罩范围缩小至第二范围；其中，所述第二范围小于所述第一范围；
S9、确定所述第一图像中果柄位置，并采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程。
2.根据权利要求1所述的基于果实三维参数预测模型的果实采摘方法，其特征在于，所述根据预设的范围定位方法，以所述第一图像为依据，从而确定容纳有所述待采摘果实的第一范围的步骤S2，包括：
S201、获取所述机器手在进行最大限度展开机械手指后的最大容纳范围；
S202、确定所述第一图像中的所述待采摘果实的中心位置，并以所述中心位置绘制所述最大容纳范围，以得到暂时范围；
S203、判断所述暂时范围是否完全容纳所述采摘果实；
S204、若所述暂时范围完全容纳所述采摘果实，则将所述暂时范围记为第一范围。
3.根据权利要求1所述的基于果实三维参数预测模型的果实采摘方法，其特征在于，所述控制预设的气流喷射设备，对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动的步骤S4，包括：
S401、控制预设的气流喷射设备，沿第一方向对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实在所述第一方向上受迫振动；其中，所述第一方向与所述摄像头的图像采集方向之间的角度不为0；
所述在所述待采摘果实受迫振动过程中，采用预设的摄像头对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像的步骤S5，包括：
S501、在所述待采摘果实受迫振动过程中，采用预设的光斑生成器，以在所述待采摘果实上投影出指定光斑；其中，所述光斑生成器投影所述指定光斑的投影方向与所述摄像头的图像采集方向平行；
S502、采用预设的摄像头对被投影指定光斑的待采摘果实进行多次第二次图像采集处理，以得到多幅带有光斑的第二图像。
4.根据权利要求3所述的基于果实三维参数预测模型的果实采摘方法，其特征在于，所述根据预设的图像筛选方法，以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像的步骤S6，包括：
S601、从所述第一图像中提取出特征点，并获取所述多幅带有光斑的第二图像中所述特征点的位置；
S602、以特征点为起点，指定光斑为终点，进行向量生成处理，从而得到与所述多幅带有光斑的第二图像分别对应的多个偏移衡量向量；
S603、以所述多个偏移衡量向量为依据，筛选出偏移平衡位置最大的两幅指定第二图像。
5.根据权利要求1所述的基于果实三维参数预测模型的果实采摘方法，其特征在于，所述将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；其中，所述果实三维参数预测模型基于预设的神经网络模型训练而成的步骤S7之前，包括：
S61、对长在树上的样本果实进行图像采集处理，以得到第一样本图像；
S62、采用预设的气流喷射设备，对所述样本果实进行间断式气体喷射处理，以使所述样本果实受迫振动；
S63、在所述样本果实处于两个最大振幅位置时，分别进行图像采集处理，以得到两个第二样本图像；
S64、对所述样本果实进行人工测量，以得到所述样本果实的三维参数；
S65、将所述第一样本图像和所述两个第二样本图像作为样本图像集，并在样本图像集标注上所述样本果实的三维参数；
S66、从所述样本图像集中划分出训练图像集和验证图像集，调用预设的神经网络模型，并将所述训练图像集输入神经网络模型中进行训练，以得到中间预测模型；
S67、采用所述验证图像集对所述中间预测模型进行验证处理，并判断验证处理的结果是否通过；
S68、若验证处理的结果通过，则将所述中间预测模型记为果实三维参数预测模型。
6.一种基于果实三维参数预测模型的果实采摘装置，其特征在于，包括：
第一图像采集单元，用于采用预设的摄像头对待采摘果实进行第一次图像采集处理，以得到第一图像；
第一范围确定单元，用于根据预设的范围定位方法，以所述第一图像为依据，从而确定容纳有所述待采摘果实的第一范围；
第一次移动单元，用于控制预设的机器手进行第一次移动处理，以将所述机器手移动至所述第一范围的外部，并从下方笼罩所述第一范围，同时保证所述机器手在移动过程中不进入所述第一范围；
气体喷射单元，用于控制预设的气流喷射设备，对所述第一范围进行间断式气体喷射处理，以使处于所述第一范围中的所述待采摘果实受迫振动；
第二图像采集单元，用于在所述待采摘果实受迫振动过程中，采用预设的摄像头对待采摘果实进行多次第二次图像采集处理，以得到多幅第二图像；
第二图像筛选单元，用于根据预设的图像筛选方法，以所述第一图像为参照对象，对所述多幅第二图像进行筛选处理，以筛选出偏移平衡位置最大的两幅指定第二图像；
预测三维参数获取单元，用于将所述第一图像和所述两幅指定第二图像，共同输入预设的果实三维参数预测模型中，从而得到所述果实三维参数预测模型输出的预测三维参数；其中，所述果实三维参数预测模型基于预设的神经网络模型训练而成；
第二次移动单元，用于根据所述预测三维参数，确定第二范围，并控制所述机器手进行第二次移动处理，以使所述机器手将笼罩范围缩小至第二范围；其中，所述第二范围小于所述第一范围；
果实采摘单元，用于确定所述第一图像中果柄位置，并采用预设的切割设备对所述果柄位置进行切割处理，以使所述待采摘果实掉落至所述机器手上，从而完成采摘过程。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110570385.5A CN113099847B (zh) | 2021-05-25 | 2021-05-25 | 一种基于果实三维参数预测模型的果实采摘方法 |
| US17/744,053 US11737393B2 (en) | 2021-05-25 | 2022-05-13 | Fruit picking method based on three-dimensional parameter prediction model for fruit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110570385.5A CN113099847B (zh) | 2021-05-25 | 2021-05-25 | 一种基于果实三维参数预测模型的果实采摘方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113099847A true CN113099847A (zh) | 2021-07-13 |
| CN113099847B CN113099847B (zh) | 2022-03-08 |
Family
ID=76723407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110570385.5A Active CN113099847B (zh) | 2021-05-25 | 2021-05-25 | 一种基于果实三维参数预测模型的果实采摘方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11737393B2 (zh) |
| CN (1) | CN113099847B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113997287A (zh) * | 2021-10-29 | 2022-02-01 | 广东技术师范大学 | 一种基于视觉伺服控制机器人的果实采摘方法 |
| CN114152189A (zh) * | 2021-11-09 | 2022-03-08 | 武汉大学 | 一种基于前馈神经网络的四象限探测器光斑定位方法 |
| CN114758243A (zh) * | 2022-04-29 | 2022-07-15 | 广东技术师范大学 | 基于补充训练与双类位置预测的茶叶采摘方法和装置 |
| CN115471728A (zh) * | 2022-10-12 | 2022-12-13 | 湖北工业大学 | 基于多阶几何约束整体匹配的果实快速三维定位方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230133026A1 (en) * | 2021-10-28 | 2023-05-04 | X Development Llc | Sparse and/or dense depth estimation from stereoscopic imaging |
| US11995859B2 (en) | 2021-10-28 | 2024-05-28 | Mineral Earth Sciences Llc | Sparse depth estimation from plant traits |
| CN115997560B (zh) * | 2022-12-30 | 2023-12-01 | 北京中科原动力科技有限公司 | 一种基于机械臂的果实采摘方法、***及装置 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101683037A (zh) * | 2008-09-26 | 2010-03-31 | 中国农业大学 | 一种果实采摘机器人的控制器 |
| CN101807247A (zh) * | 2010-03-22 | 2010-08-18 | 中国农业大学 | 果蔬采摘点微调定位方法 |
| JP2011115044A (ja) * | 2008-09-18 | 2011-06-16 | National Agriculture & Food Research Organization | 果菜類の果房収穫装置及び果菜類の選択収穫方法 |
| CN102113434A (zh) * | 2011-01-14 | 2011-07-06 | 江苏大学 | 一种果实振荡状况下采摘机器人的采摘方法 |
| CN202998870U (zh) * | 2013-01-18 | 2013-06-19 | 丽水学院 | 一种茶叶采摘*** |
| CN103727877A (zh) * | 2013-12-20 | 2014-04-16 | 北京农业信息技术研究中心 | 果实识别定位的方法、装置及*** |
| CN105027835A (zh) * | 2015-01-24 | 2015-11-11 | 无锡桑尼安科技有限公司 | 智能化果树采摘*** |
| CN108029340A (zh) * | 2017-12-05 | 2018-05-15 | 江苏科技大学 | 一种基于自适应神经网络的采摘机器人手臂及其控制方法 |
| CN108617264A (zh) * | 2018-05-03 | 2018-10-09 | 无锡智高点技术研发有限公司 | 一种果实自动采摘方法及机器人 |
| CN109729835A (zh) * | 2019-02-19 | 2019-05-10 | 广西师范大学 | 一种基于双目视觉的油茶果采摘***及控制方法 |
| CN109863874A (zh) * | 2019-01-30 | 2019-06-11 | 深圳大学 | 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质 |
| CN110892262A (zh) * | 2017-08-10 | 2020-03-17 | 洋马株式会社 | 果实生长发育监视***和果实生长发育监视方法 |
| CN111165176A (zh) * | 2020-03-20 | 2020-05-19 | 青岛农业大学 | 一种茶叶人工智能采摘机器人 |
| CN111783693A (zh) * | 2020-07-06 | 2020-10-16 | 深圳市多彩汇通实业有限公司 | 果蔬采摘机器人的智能识别方法 |
| CN111832542A (zh) * | 2020-08-15 | 2020-10-27 | 武汉易思达科技有限公司 | 三目视觉识别与定位方法及装置 |
| CN112243698A (zh) * | 2020-10-22 | 2021-01-22 | 安徽农业大学 | 一种基于多传感器融合技术的核桃自动化采摘及收集方法 |
| CN112329506A (zh) * | 2020-07-15 | 2021-02-05 | 宁夏工商职业技术学院（宁夏化工技工学校、宁夏机电工程学校、宁夏农业机械化学校） | 枸杞采摘机器人的果实识别方法及***、定位方法及*** |
| CN112541508A (zh) * | 2020-12-21 | 2021-03-23 | 山东师范大学 | 果实分割识别方法及***、果实采摘机器人 |
| CN112712128A (zh) * | 2021-01-11 | 2021-04-27 | 中南民族大学 | 基于神经网络的智能采摘方法、设备、存储介质及装置 |
| CN112734727A (zh) * | 2021-01-11 | 2021-04-30 | 安徽理工大学 | 一种基于改进深度神经网络的苹果采摘方法 |
| CN112771539A (zh) * | 2018-09-25 | 2021-05-07 | 马特波特公司 | 采用使用神经网络从二维图像预测的三维数据以用于3d建模应用 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5931614A (ja) * | 1982-08-11 | 1984-02-20 | 株式会社クボタ | 果実収穫装置 |
| US5426927A (en) * | 1994-07-26 | 1995-06-27 | Howard J. Greenwald | Automated fruit picker |
| ES2296452B2 (es) * | 2005-06-29 | 2009-12-04 | Universidad Politecnica De Madrid | Detector de pedunculos y tallos vegetales basado en la designacion optica con laser de linea. |
| US8306663B2 (en) * | 2009-05-13 | 2012-11-06 | Robotic Harvesting LLC | Robot with 3D grasping capability |
| AU2016324492B2 (en) * | 2015-09-18 | 2021-04-08 | Carnegie Mellon University | A self-guided blossom picking device |
| US11709493B2 (en) * | 2016-08-18 | 2023-07-25 | Tevel Aerobotics Technologies Ltd. | System and method for plantation agriculture tasks management and data collection |
| CN106683152B (zh) * | 2016-11-16 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 三维视觉效果模拟方法及装置 |
| US10617064B2 (en) * | 2017-12-27 | 2020-04-14 | X Development Llc | Plant phenotyping techniques using mechanical manipulation, and associated systems and methods |
| JP6744898B2 (ja) * | 2018-10-12 | 2020-08-19 | ソニーセミコンダクタソリューションズ株式会社 | 計測装置、計測方法、プログラム |
| US11877540B2 (en) * | 2018-11-14 | 2024-01-23 | Michael Bartrom | Tray and Trellis System for an Automated Farm with Robots Working on Plants |
| US10930065B2 (en) * | 2019-03-08 | 2021-02-23 | X Development Llc | Three-dimensional modeling with two dimensional data |
| KR102219315B1 (ko) * | 2019-05-20 | 2021-02-23 | 안동대학교 산학협력단 | 지면밀착식 원형 이동장치를 이용한 농산물 자동 수확로봇 |
| CN111328554B (zh) * | 2020-03-30 | 2021-05-25 | 皖西学院 | 一种草莓自动采摘机器人 |
| US20220030769A1 (en) * | 2020-07-29 | 2022-02-03 | 2GC Holdings, LLC | Software controlled plant trimmer |
| US20220110263A1 (en) * | 2020-10-12 | 2022-04-14 | Plan Apis LLC | Apparatuses and methods for managing agricultural crops |
| CN112197705A (zh) * | 2020-10-16 | 2021-01-08 | 中国农业科学院农业资源与农业区划研究所 | 一种基于视觉和激光测距的果实定位方法 |
| US20220167558A1 (en) * | 2020-11-30 | 2022-06-02 | International Business Machines Corporation | Locating picking points of anomalies |
| CN112772144A (zh) * | 2020-12-31 | 2021-05-11 | 西京学院 | 一种筒状末端苹果采摘机器手爪及使用方法 |
| CN113099845B (zh) * | 2021-04-15 | 2022-08-05 | 石家庄市农林科学研究院 | 一种番茄采摘用机器人及其精确采摘方法 |
-
2021
- 2021-05-25 CN CN202110570385.5A patent/CN113099847B/zh active Active
-
2022
- 2022-05-13 US US17/744,053 patent/US11737393B2/en active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011115044A (ja) * | 2008-09-18 | 2011-06-16 | National Agriculture & Food Research Organization | 果菜類の果房収穫装置及び果菜類の選択収穫方法 |
| CN101683037A (zh) * | 2008-09-26 | 2010-03-31 | 中国农业大学 | 一种果实采摘机器人的控制器 |
| CN101807247A (zh) * | 2010-03-22 | 2010-08-18 | 中国农业大学 | 果蔬采摘点微调定位方法 |
| CN102113434A (zh) * | 2011-01-14 | 2011-07-06 | 江苏大学 | 一种果实振荡状况下采摘机器人的采摘方法 |
| CN202998870U (zh) * | 2013-01-18 | 2013-06-19 | 丽水学院 | 一种茶叶采摘*** |
| CN103727877A (zh) * | 2013-12-20 | 2014-04-16 | 北京农业信息技术研究中心 | 果实识别定位的方法、装置及*** |
| CN105027835A (zh) * | 2015-01-24 | 2015-11-11 | 无锡桑尼安科技有限公司 | 智能化果树采摘*** |
| CN110892262A (zh) * | 2017-08-10 | 2020-03-17 | 洋马株式会社 | 果实生长发育监视***和果实生长发育监视方法 |
| CN108029340A (zh) * | 2017-12-05 | 2018-05-15 | 江苏科技大学 | 一种基于自适应神经网络的采摘机器人手臂及其控制方法 |
| CN108617264A (zh) * | 2018-05-03 | 2018-10-09 | 无锡智高点技术研发有限公司 | 一种果实自动采摘方法及机器人 |
| CN112771539A (zh) * | 2018-09-25 | 2021-05-07 | 马特波特公司 | 采用使用神经网络从二维图像预测的三维数据以用于3d建模应用 |
| CN109863874A (zh) * | 2019-01-30 | 2019-06-11 | 深圳大学 | 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质 |
| CN109729835A (zh) * | 2019-02-19 | 2019-05-10 | 广西师范大学 | 一种基于双目视觉的油茶果采摘***及控制方法 |
| CN111165176A (zh) * | 2020-03-20 | 2020-05-19 | 青岛农业大学 | 一种茶叶人工智能采摘机器人 |
| CN111783693A (zh) * | 2020-07-06 | 2020-10-16 | 深圳市多彩汇通实业有限公司 | 果蔬采摘机器人的智能识别方法 |
| CN112329506A (zh) * | 2020-07-15 | 2021-02-05 | 宁夏工商职业技术学院（宁夏化工技工学校、宁夏机电工程学校、宁夏农业机械化学校） | 枸杞采摘机器人的果实识别方法及***、定位方法及*** |
| CN111832542A (zh) * | 2020-08-15 | 2020-10-27 | 武汉易思达科技有限公司 | 三目视觉识别与定位方法及装置 |
| CN112243698A (zh) * | 2020-10-22 | 2021-01-22 | 安徽农业大学 | 一种基于多传感器融合技术的核桃自动化采摘及收集方法 |
| CN112541508A (zh) * | 2020-12-21 | 2021-03-23 | 山东师范大学 | 果实分割识别方法及***、果实采摘机器人 |
| CN112712128A (zh) * | 2021-01-11 | 2021-04-27 | 中南民族大学 | 基于神经网络的智能采摘方法、设备、存储介质及装置 |
| CN112734727A (zh) * | 2021-01-11 | 2021-04-30 | 安徽理工大学 | 一种基于改进深度神经网络的苹果采摘方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113997287A (zh) * | 2021-10-29 | 2022-02-01 | 广东技术师范大学 | 一种基于视觉伺服控制机器人的果实采摘方法 |
| US20230136427A1 (en) * | 2021-10-29 | 2023-05-04 | Guangdong Polytechnic Normal University | Fruit picking method based on visual servo control robot |
| US11678609B2 (en) * | 2021-10-29 | 2023-06-20 | Guangdong Polytechnic Normal University | Fruit picking method based on visual servo control robot |
| CN114152189A (zh) * | 2021-11-09 | 2022-03-08 | 武汉大学 | 一种基于前馈神经网络的四象限探测器光斑定位方法 |
| CN114758243A (zh) * | 2022-04-29 | 2022-07-15 | 广东技术师范大学 | 基于补充训练与双类位置预测的茶叶采摘方法和装置 |
| CN114758243B (zh) * | 2022-04-29 | 2022-11-11 | 广东技术师范大学 | 基于补充训练与双类位置预测的茶叶采摘方法和装置 |
| CN115471728A (zh) * | 2022-10-12 | 2022-12-13 | 湖北工业大学 | 基于多阶几何约束整体匹配的果实快速三维定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11737393B2 (en) | 2023-08-29 |
| CN113099847B (zh) | 2022-03-08 |
| US20220377980A1 (en) | 2022-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113099847B (zh) | 一种基于果实三维参数预测模型的果实采摘方法 | |
| Malik et al. | New particle swarm optimizer with sigmoid increasing inertia weight | |
| Carvalho et al. | Particle swarm optimization of neural network architectures andweights | |
| JP2021536068A (ja) | 物体姿勢推定方法および装置 | |
| Formato | Central force optimization: a new deterministic gradient-like optimization metaheuristic | |
| US10807234B2 (en) | Component supply device and machine learning device | |
| Saal et al. | Active estimation of object dynamics parameters with tactile sensors | |
| CN112407283B (zh) | 基于多层次协同的无人机喷施作业方法和装置 | |
| Chuan et al. | The standard particle swarm optimization algorithm convergence analysis and parameter selection | |
| Curtis et al. | Efficient and effective grasping of novel objects through learning and adapting a knowledge base | |
| Fu et al. | Active learning-based grasp for accurate industrial manipulation | |
| US11809521B2 (en) | Network modularization to learn high dimensional robot tasks | |
| CN112712128A (zh) | 基于神经网络的智能采摘方法、设备、存储介质及装置 | |
| Ghazali et al. | A data-driven neuroendocrine-PID controller for underactuated systems based on safe experimentation dynamics | |
| Spenrath et al. | Using neural networks for heuristic grasp planning in random bin picking | |
| Panda et al. | Reduction of linear time-invariant systems using Routh-approximation and PSO | |
| CN108280516B (zh) | 一种多组卷积神经网络之间互博智能进化的优化方法 | |
| Komasilovs et al. | Specification development of robotic system for pesticide spraying in greenhouse | |
| Ayas et al. | Parameter effect analysis of particle swarm optimization algorithm in PID controller design | |
| Hill et al. | A new neural network feature importance method: Application to mobile robots controllers gain tuning | |
| Kim et al. | Towards robotic tree manipulation: Leveraging graph representations | |
| Suzuki et al. | Casting control for hyper-flexible manipulation | |
| CN118322216A (zh) | 一种基于深度学习的机器人夹手自适应控制方法及*** | |
| CN113349020B (zh) | 一种设施蔬菜精准浇水的方法、装置和电子设备 | |
| Monorchio et al. | Transfer and Continual Supervised Learning for Robotic Grasping Through Grasping Features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |