CN111126296A - 水果定位方法及装置 - Google Patents
水果定位方法及装置 Download PDFInfo
- Publication number
- CN111126296A CN111126296A CN201911360139.6A CN201911360139A CN111126296A CN 111126296 A CN111126296 A CN 111126296A CN 201911360139 A CN201911360139 A CN 201911360139A CN 111126296 A CN111126296 A CN 111126296A
- Authority
- CN
- China
- Prior art keywords
- fruit
- point cloud
- data
- dimensional
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 263
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000011218 segmentation Effects 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 241001247821 Ziziphus Species 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 235000014443 Pyrus communis Nutrition 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的一种水果定位方法及装置，通过获取水果的二维图像数据和三维点云数据；根据所述二维图像数据和三维点云数据，获取水果区域点云数据；根据预设的椭球面拟合模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据；根据所述水果椭球面数据，获取水果在三维空间中的定位信息。本发明可以结合水果的二维图像以及三维点云来获取到水果在三维空间中的定位信息，可以详尽的描述水果在空间中的姿态，为自动采摘机器人提供了足够的信息，其定位结果为毫米级的，提高了对水果定位的准确性。
Description
技术领域
本发明涉及图像处理技术，尤其涉及一种水果定位方法及装置。
背景技术
随着水果的需求增加，各地都在大力发展水果业，所以每年的栽种面积也逐步增加。为了减少传统低效的人工采摘的劳动量，实现高效的自动采摘势在必行，而实现自动采摘的前提是识别和定位水果。
现有的技术常采用神经网络训练图像的方式对二维层面上的水果进行识别，然后根据识别信息来对水果进行定位，然后利用自动采摘机器人根据识别到的信息对水果进行采摘。
然而，现有技术中对水果的定位准确性较低。
发明内容
本发明实施例提供一种水果定位方法及装置，提高了对水果定位的准确性。
本发明实施例的第一方面，提供一种水果定位方法，包括：
获取水果的二维图像数据和三维点云数据；
根据所述二维图像数据和三维点云数据，获取水果区域点云数据；
根据预设的椭球面拟合模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据；
根据所述水果椭球面数据，获取水果在三维空间中的定位信息。
可选地，在第一方面的一种可能实现方式中，所述定位信息包括位置信息、尺寸信息和姿态角信息；
所述根据所述水果椭球面数据，获取水果在三维空间中的定位信息，包括：
根据所述水果椭球面数据，获取水果在三维空间中位置信息、尺寸信息和姿态角信息。
可选地，在第一方面的一种可能实现方式中，所述根据所述水果椭球面数据，获取水果在三维空间中位置信息、尺寸信息和姿态角信息，包括：
根据所述水果椭球面数据，获取水果椭球面特征值；
根据所述水果椭球面特征值，获取所述水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息。
可选地，在第一方面的一种可能实现方式中，所述根据所述水果椭球面数据，获取水果椭球面特征值，包括：
根据所述水果椭球面数据，获取水果的中心坐标、半轴长以及半轴长的姿态角；
所述根据所述水果椭球面特征值，获取所述水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息，包括：
根据所述中心坐标、所述半轴长以及所述半轴长的姿态角，获取所述水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息。
可选地，在第一方面的一种可能实现方式中，所述根据预设的椭球面拟合模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据，包括：
根据预设的随机抽样一致性RANSAC模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据。
可选地，在第一方面的一种可能实现方式中，所述根据所述二维图像数据和三维点云数据，获取水果区域点云数据，包括：
对所述二维图像数据进行颜色阈值分割处理，获取初步分割图像数据；
根据所述初步分割图像数据对所述三维点云数据进行分割处理，获取所述水果区域点云数据。
可选地，在第一方面的一种可能实现方式中，所述对所述二维图像数据进行颜色阈值分割处理，获取初步分割图像数据，包括：
将所述二维图像数据由RGB通道转换到HSV通道，获取所述水果与背景之间的最佳分割阈值；
根据所述最佳分割阈值对所述二维图像数据进行颜色阈值分割处理，获取所述初步分割图像数据。
可选地，在第一方面的一种可能实现方式中，所述根据所述初步分割图像数据对所述三维点云数据进行分割处理，获取所述水果区域点云数据，包括：
根据预设的色差提取模型和所述初步分割图像数据，对所述分割点云数据进行分割处理，获取水果区域点云数据。
本发明实施例的第二方面，提供一种水果定位装置，包括：
数据模块，用于获取水果的二维图像数据和三维点云数据；
提取模块，用于根据所述二维图像数据和三维点云数据，获取水果区域点云数据；
拟合模块，用于根据预设的椭球面拟合模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据；
定位模块，用于根据所述水果椭球面数据，获取水果在三维空间中的定位信息。
可选地，在第二方面的一种可能实现方式中，所述定位信息包括位置信息、尺寸信息和姿态角信息；
所述定位模块具体用于：
根据所述水果椭球面数据，获取水果在三维空间中位置信息、尺寸信息和姿态角信息。
可选地，在第二方面的一种可能实现方式中，所述定位模块具体用于：
根据所述水果椭球面数据，获取水果椭球面特征值；
根据所述水果椭球面特征值，获取所述水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息。
可选地，在第二方面的一种可能实现方式中，所述定位模块具体用于：
根据所述水果椭球面数据，获取水果的中心坐标、半轴长以及半轴长的姿态角；
所述根据所述水果椭球面特征值，所述定位模块具体用于：
根据所述中心坐标、所述半轴长以及所述半轴长的姿态角，获取所述水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息。
可选地，在第二方面的一种可能实现方式中，所述拟合模块具体用于：
根据预设的随机抽样一致性RANSAC模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据。
可选地，在第二方面的一种可能实现方式中，所述提取模块具体用于：
对所述二维图像数据进行颜色阈值分割处理，获取初步分割图像数据；
根据所述初步分割图像数据对所述三维点云数据进行分割处理，获取所述水果区域点云数据。
可选地，在第二方面的一种可能实现方式中，所述提取模块具体用于：
将所述二维图像数据由RGB通道转换到HSV通道，获取所述水果与背景之间的最佳分割阈值；
根据所述最佳分割阈值对所述二维图像数据进行颜色阈值分割处理，获取所述初步分割图像数据。
可选地，在第二方面的一种可能实现方式中，所述提取模块具体用于：
根据预设的色差提取模型和所述初步分割图像数据，对所述分割点云数据进行分割处理，获取水果区域点云数据。
本发明实施例的第三方面，提供一种水果定位设备，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能设计的所述方法。
本发明实施例的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。
本发明提供的一种水果定位方法及装置，通过获取水果的二维图像数据和三维点云数据；根据所述二维图像数据和三维点云数据，获取水果区域点云数据；根据预设的椭球面拟合模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据；根据所述水果椭球面数据，获取水果在三维空间中的定位信息。本发明可以结合水果的二维图像以及三维点云来获取到水果在三维空间中的定位信息，可以详尽的描述水果在空间中的姿态，为自动采摘机器人提供了足够的信息，其定位结果为毫米级的，提高了对水果定位的准确性。
附图说明
图1是本发明实施例提供的一种应用场景示意图；
图2是本发明实施例提供的一种水果定位方法的流程示意图；
图3是本发明实施例提供的一种获取水果区域点云数据的流程示意图；
图4是本发明实施例提供的一种HSV空间下灵武长枣的图像示意图；
图5是本发明实施例提供的一种HSV空间下H分量的颜色直方示意图；
图6是本发明实施例提供的一种HSV空间下S分量的颜色直方示意图；
图7是本发明实施例提供的一种灵武长枣经过阈值分割后的示意图；
图8是本发明实施例提供的一种水果区域点云数据的示意图；
图9是本发明实施例提供的一种拟合后的水果椭球面的示意图；
图10是本发明实施例提供的一种水果定位装置的结构示意图；
图11是本发明实施例提供的一种水果定位设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
随着水果的需求增加，各地都在大力发展水果业，所以每年的栽种面积也逐步增加。为了减少传统低效的人工采摘的劳动量，实现高效的自动采摘势在必行，而实现自动采摘的前提是识别和定位水果。现有的技术常采用神经网络训练图像的方式对二维层面上的水果进行识别，然后根据识别信息来对水果进行定位，然后利用自动采摘机器人根据识别到的信息对水果进行采摘。然而，采用神经网络在二维层面上对水果进行识别，都是基于二维层面上的，而自动采摘需要获取水果的三维坐标信息。对水果的定位不够准确，导致自动采摘时会频繁出错，因此，现有技术中对水果的定位准确性较低。
参见图1，是本发明实施例提供的一种应用场景示意图。其中，采集设备11可以是拍摄设备，例如可以是相机，用于采集水果的二维图像信息，服务器12用于接收采集设备11采集到的二维图像信息，对二维图像信息进行处理，例如可以是采用神经网络在二维层面上对水果进行识别，获取到水果的定位信息，然后传输给采摘设备13，采摘设备13根据定位信息对水果进行采摘。但是该方案是基于二维层面上的，而自动采摘需要获取水果的三维坐标信息，对水果的定位不够准确，导致自动采摘时会频繁出错，因此，现有技术中对水果的定位准确性较低。
参见图2，是本发明实施例提供的一种水果定位方法的流程示意图，图2所示方法的执行主体可以是软件和/或硬件装置。本申请的执行主体可以包括但不限于以下中的至少一个：用户设备、网络设备等。其中，用户设备可以包括但不限于计算机、智能手机、个人数字助理(Personal Digital Assistant，简称：PDA)及上述提及的电子设备等。网络设备可以包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机。本实施例对此不做限制。上述方法包括步骤S101至步骤S104，具体如下：
S101，获取水果的二维图像数据和三维点云数据。
具体地，可以采用采集设备来获取到水果的二维图像数据和三维点云数据，采集设备例如可以是相机、激光传感器或者其他采集设备。在实际应用中，可以采用的RGB(RGBcolor mode，简称：RGB)相机采集水果的二维图像数据，采用激光传感器来获取三维点云数据。
其中，二维图像数据例如可以是彩色二维图像，后续可以对彩色二维图像进行处理，来获取到其中的水果区域图像。
采用激光传感器来获取水果的三维点云数据原理如下，当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云，即三维点云数据。需要说明的是，三维点云数据可以是扫描待采集果林区域的获取到的数据，即三维点云数据里包含有水果区域数据以及果树区域数据，后续需要将其中的水果区域数据提取出来。
在实际应用中，水果例如可以是枣、苹果、梨子等水果。
S102，根据所述二维图像数据和三维点云数据，获取水果区域点云数据。
具体地，水果区域点云数据是水果所在的点云区域，可以采用二维图像数据来对三维点云数据进行提取处理，来获取到水果区域点云数据。
示例性的，参见图3，是本发明实施例提供的一种获取水果区域点云数据的流程示意图，包括步骤S21至步骤S22：
S21，对所述二维图像数据进行颜色阈值分割处理，获取初步分割图像数据。
具体地，初步分割图像数据是指将二维图像数据中的水果所在区域给分割出来，形成的初步分割图像数据。
示例性的，可以采用以下步骤获取初步分割图像数据，具体如下：
将所述二维图像数据由RGB色彩模式通道转换到HSV色彩模式(Hue,Saturation,Value，简称：HSV)通道，获取所述水果与背景之间的最佳分割阈值；根据所述最佳分割阈值对所述二维图像数据进行颜色阈值分割处理，获取所述初步分割图像数据。
其中，由于水果成熟后一般都是深红色，而在HSV颜色空间比RGB颜色空间在区分深红色上更加准确。参见图4，是本发明实施例提供的一种HSV空间下灵武长枣的图像示意图。由图中可以看出，在HSV空间下灵武长枣与背景的区分非常明显，可以提高水果提取的准确度，因此将采集的二维图像数据由RGB通道转换到HSV通道，然后找到最佳分割阈值对二维图像数据进行颜色阈值分割处理，获取所述初步分割图像数据。
在实际应用中，可以统计二维图像数据的颜色直方图，并将颜色分量值归一化到[0,1]，可以发现灵武长枣在H分量和S分量的值与背景区别较大。参见图5，是本发明实施例提供的一种HSV空间下H分量的颜色直方示意图。参见图6，是本发明实施例提供的一种HSV空间下S分量的颜色直方示意图。
以灵武长枣为例，分割灵武长枣的最佳阈值如下：H分量在[120,180]，S分量在[30,90]，然后可以采用以下公式分割图像：
上述公式中，result(i,j)代表分割后的图像在第i行、第j列的像素值，hsv(i,j)[0]、hsv(i,j)[1]指转化到HSV颜色空间后图像在第i行、第j列的H、S分量值。
参见图7，是本发明实施例提供的一种灵武长枣经过阈值分割后的示意图。可以发现，灵武长枣的轮廓已经被提取出来。
在实际应用中，在对二维图像数据进行颜色阈值分割处理之前，还可以包括对二维图像数据进行中值模糊的处理。可以理解，中值模糊的目的是为了获得更多的水果上的像素，进而获得更多的点云。相比较于背景而言，水果是很小的目标物，因此在由生成的三维点云中表示水果的点云是较少的。HSV空间下的阈值分割，往往会将水果边缘的部分像素错误的删除，这将影响后续表示水果点云的数量，进而对椭球面拟合过程造成不利的影响。为此，我们需要利用中值模糊，尽可能的将表示水果的点云像素包含分割出来。可以进一步提高后续对水果定位的准确性。
S22，根据所述初步分割图像数据对所述三维点云数据进行分割处理，获取所述水果区域点云数据。
具体地，在获取都初步分割图像数据后，可以利用初步分割出的图像，对激光传感器产生的三维点云数据进行分割，初步筛选出代表水果区域的点云，即上述的水果区域点云数据。参见图8，是本发明实施例提供的一种水果区域点云数据的示意图，图中用白色点表示点云。
示例性的，可以采用以下方式对三维点云数据进行分割：
根据预设的色差提取模型和所述初步分割图像数据，对所述分割点云数据进行分割处理，获取水果区域点云数据。可以理解，基于社色差法利用颜色信息从三维点云数据中去除背景提取出水果点云数据。
S103，根据预设的椭球面拟合模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据。
具体地，在获取到水果点云数据后，需要获取到水果的三维轮廓信息，然后根据该三维轮廓信息来实现水果在三维空间中的定位，其中的三维轮廓信息即上述的水果椭球面数据。
示例性的，所述根据预设的椭球面拟合模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据，包括：根据预设的随机抽样一致性RANSAC模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据。
在实际应用中，可以基于预设的随机抽样一致性RANSAC模型对水果点云进行椭球面拟合，获取水果椭球面。参见图9，是本发明实施例提供的一种拟合后的水果椭球面的示意图。采用最小二乘法拟合水果的外形的二次曲面方程，根据系数计算二次曲面不变量、判断二次曲面类型，求取到水果椭球面的参数。
其中，预设的随机抽样一致性RANSAC模型可以如下：
a11x2+a22y2+a33z2+a14x+a24y+a34z+a44+a12xy+a13xz+a23yz＝0
由于椭球面的a11肯定不为0，所以变形为
x2+a22y2+a33z2+a14x+a24y+a34z+a44+a12xy+a13xz+a23yz＝0
ei＝xi 2+a22yi 2+a33zi 2+a14xi+a24yi+a34zi+a44+a12xiyi+a13xizi+a23yizi
接下来可以优化搜索得目标函数为
这个求解过程可以是线性方程组得求解，用矩阵得形式表达描述为Ax＝v。其中：
x＝[a22,a33,a14,a24,a34,a44,a12,a13,a23]T
A和v为最小二乘法中通过偏导数求解的已知矩阵，从而求解出水果对应椭球面的9个参数。然后可以利用获取到的参数来获取水果的定位信息。
S104，根据所述水果椭球面数据，获取水果在三维空间中的定位信息。
具体地，水果椭球面数据可以是上述求取到的参数，然后根据求取到的参数来获取水果在三维空间中的定位信息。
其中，定位信息包括位置信息、尺寸信息和姿态角信息，可以理解，位置信息可以是坐标信息，尺寸信息可以是指水果的长度、宽度等尺寸信息，姿态角信息可以是指水果的在三维空间中的角度。
示例性的，所述根据所述水果椭球面数据，获取水果在三维空间中位置信息、尺寸信息和姿态角信息，包括：根据所述水果椭球面数据，获取水果椭球面特征值；根据所述水果椭球面特征值，获取所述水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息。其中，水果椭球面特征值可以是步骤S103中求取到的水果椭球面的9个参数，然后利用9个参数来获取水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息。
另一示例性的，可以根据所述水果椭球面数据，获取水果的中心坐标、半轴长以及半轴长的姿态角；根据所述中心坐标、所述半轴长以及所述半轴长的姿态角，获取所述水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息。
位置信息、尺寸信息和姿态角信息的具体求解过程如下：
位置信息：
根据上述公式求解x、y、z的值，根据x、y、z的值来获取位置信息。
尺寸信息：
其中，a、b、c为水果的三个半轴长，I表示二次曲面的不变量。根据上述公式求解a、b、c的值，根据a、b、c的值来获取尺寸信息。
姿态角信息：
令
则A3×3的特征向量分别为三个半轴的方向向量v1、v2、v3，根据方向向量可以组成一个旋转矩阵，而三个半轴的姿态角θx、θy、θz可以由旋转矩阵求解。
在获取到水果的位置信息、尺寸信息和姿态角信息后，可以详尽的描述灵武长枣在空间中的姿态，为自动采摘机器人提供了足够的信息，其定位结果为毫米级的，定位的精度高。
上述实施例提供的水果定位方法，通过获取水果的二维图像数据和三维点云数据；根据所述二维图像数据和三维点云数据，获取水果区域点云数据；根据预设的椭球面拟合模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据；根据所述水果椭球面数据，获取水果在三维空间中的定位信息。本发明可以结合水果的二维图像以及三维点云来获取到水果在三维空间中的定位信息，可以详尽的描述水果在空间中的姿态，为自动采摘机器人提供了足够的信息，其定位结果为毫米级的，提高了对水果定位的准确性。
参见图10，是本发明实施例提供的一种水果定位装置的结构示意图，该水果定位装置20，包括：
数据模块21，用于获取水果的二维图像数据和三维点云数据；
提取模块22，用于根据所述二维图像数据和三维点云数据，获取水果区域点云数据；
拟合模块23，用于根据预设的椭球面拟合模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据；
定位模块24，用于根据所述水果椭球面数据，获取水果在三维空间中的定位信息。
图10所示实施例的终端对应地可用于执行图2所示方法实施例中的步骤，其实现原理和技术效果类似，此处不再赘述。
可选地，所述定位信息包括位置信息、尺寸信息和姿态角信息；
所述定位模块24具体用于：
根据所述水果椭球面数据，获取水果在三维空间中位置信息、尺寸信息和姿态角信息。
可选地，所述定位模块24具体用于：
根据所述水果椭球面数据，获取水果椭球面特征值；
根据所述水果椭球面特征值，获取所述水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息。
可选地，所述定位模块24具体用于：
根据所述水果椭球面数据，获取水果的中心坐标、半轴长以及半轴长的姿态角；
所述根据所述水果椭球面特征值，所述定位模块具体用于：
根据所述中心坐标、所述半轴长以及所述半轴长的姿态角，获取所述水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息。
可选地，所述拟合模块23具体用于：
根据预设的随机抽样一致性RANSAC模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据。
可选地，所述提取模块22具体用于：
对所述二维图像数据进行颜色阈值分割处理，获取初步分割图像数据；
根据所述初步分割图像数据对所述三维点云数据进行分割处理，获取所述水果区域点云数据。
可选地，所述提取模块22具体用于：
将所述二维图像数据由RGB通道转换到HSV通道，获取所述水果与背景之间的最佳分割阈值；
根据所述最佳分割阈值对所述二维图像数据进行颜色阈值分割处理，获取所述初步分割图像数据。
可选地，所述提取模块22具体用于：
根据预设的色差提取模型和所述初步分割图像数据，对所述分割点云数据进行分割处理，获取水果区域点云数据。
参见图11，是本发明实施例提供的一种水果定位设备的硬件结构示意图，该水果定位设备30包括：处理器31、存储器32和计算机程序；其中
存储器32，用于存储所述计算机程序，该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。
处理器31，用于执行所述存储器存储的计算机程序，以实现上述方法中终端执行的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器32既可以是独立的，也可以跟处理器31集成在一起。
当所述存储器32是独立于处理器31之外的器件时，所述设备还可以包括：
总线33，用于连接所述存储器32和处理器31。
本发明还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
在上述设备的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种水果定位方法，其特征在于，包括：
获取水果的二维图像数据和三维点云数据；
根据所述二维图像数据和三维点云数据，获取水果区域点云数据；
根据预设的椭球面拟合模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据；
根据所述水果椭球面数据，获取水果在三维空间中的定位信息。
2.根据权利要求1所述的方法，其特征在于，所述定位信息包括位置信息、尺寸信息和姿态角信息；
所述根据所述水果椭球面数据，获取水果在三维空间中的定位信息，包括：
根据所述水果椭球面数据，获取水果在三维空间中位置信息、尺寸信息和姿态角信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述水果椭球面数据，获取水果在三维空间中位置信息、尺寸信息和姿态角信息，包括：
根据所述水果椭球面数据，获取水果椭球面特征值；
根据所述水果椭球面特征值，获取所述水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述水果椭球面数据，获取水果椭球面特征值，包括：
根据所述水果椭球面数据，获取水果的中心坐标、半轴长以及半轴长的姿态角；
所述根据所述水果椭球面特征值，获取所述水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息，包括：
根据所述中心坐标、所述半轴长以及所述半轴长的姿态角，获取所述水果在三维空间中的所述位置信息、所述尺寸信息和所述姿态角信息。
5.根据权利要求1-4所述的方法，其特征在于，所述根据预设的椭球面拟合模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据，包括：
根据预设的随机抽样一致性RANSAC模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据。
6.根据权利要求1所述的方法，其特征在于，所述根据所述二维图像数据和三维点云数据，获取水果区域点云数据，包括：
对所述二维图像数据进行颜色阈值分割处理，获取初步分割图像数据；
根据所述初步分割图像数据对所述三维点云数据进行分割处理，获取所述水果区域点云数据。
7.根据权利要求6所述的方法，其特征在于，所述对所述二维图像数据进行颜色阈值分割处理，获取初步分割图像数据，包括：
将所述二维图像数据由RGB通道转换到HSV通道，获取所述水果与背景之间的最佳分割阈值；
根据所述最佳分割阈值对所述二维图像数据进行颜色阈值分割处理，获取所述初步分割图像数据。
8.根据权利要求6或7所述的方法，其特征在于，所述根据所述初步分割图像数据对所述三维点云数据进行分割处理，获取所述水果区域点云数据，包括：
根据预设的色差提取模型和所述初步分割图像数据，对所述分割点云数据进行分割处理，获取水果区域点云数据。
9.一种水果定位装置，其特征在于，包括：
数据模块，用于获取水果的二维图像数据和三维点云数据；
提取模块，用于根据所述二维图像数据和三维点云数据，获取水果区域点云数据；
拟合模块，用于根据预设的椭球面拟合模型对所述水果区域点云数据进行拟合处理，获取水果椭球面数据；
定位模块，用于根据所述水果椭球面数据，获取水果在三维空间中的定位信息。
10.一种水果定位设备，其特征在于，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行权利要求1至8任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911360139.6A CN111126296A (zh) | 2019-12-25 | 2019-12-25 | 水果定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911360139.6A CN111126296A (zh) | 2019-12-25 | 2019-12-25 | 水果定位方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111126296A true CN111126296A (zh) | 2020-05-08 |
Family
ID=70502507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911360139.6A Pending CN111126296A (zh) | 2019-12-25 | 2019-12-25 | 水果定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111126296A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112136505A (zh) * | 2020-09-07 | 2020-12-29 | 华南农业大学 | 一种基于视觉选择注意机制的水果采摘顺序规划方法 |
| CN112541428A (zh) * | 2020-12-11 | 2021-03-23 | 深圳市优必选科技股份有限公司 | 足球识别方法、装置及机器人 |
| CN113689471A (zh) * | 2021-09-09 | 2021-11-23 | 中国联合网络通信集团有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200197A (zh) * | 2014-08-18 | 2014-12-10 | 北京邮电大学 | 三维人体行为识别方法及装置 |
| CN108491846A (zh) * | 2018-04-02 | 2018-09-04 | 湖南生物机电职业技术学院 | 成熟果实机器识别方法 |
| CN108960011A (zh) * | 2017-05-23 | 2018-12-07 | 湖南生物机电职业技术学院 | 部分遮挡的柑橘果实图像识别方法 |
| CN110110687A (zh) * | 2019-05-15 | 2019-08-09 | 江南大学 | 基于颜色信息和三维轮廓信息的树上水果自动识别方法 |
| CN110400322A (zh) * | 2019-07-30 | 2019-11-01 | 江南大学 | 基于颜色和三维几何信息的水果点云分割方法 |
| US20190362178A1 (en) * | 2017-11-21 | 2019-11-28 | Jiangnan University | Object Symmetry Axis Detection Method Based on RGB-D Camera |
-
2019
- 2019-12-25 CN CN201911360139.6A patent/CN111126296A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200197A (zh) * | 2014-08-18 | 2014-12-10 | 北京邮电大学 | 三维人体行为识别方法及装置 |
| CN108960011A (zh) * | 2017-05-23 | 2018-12-07 | 湖南生物机电职业技术学院 | 部分遮挡的柑橘果实图像识别方法 |
| US20190362178A1 (en) * | 2017-11-21 | 2019-11-28 | Jiangnan University | Object Symmetry Axis Detection Method Based on RGB-D Camera |
| CN108491846A (zh) * | 2018-04-02 | 2018-09-04 | 湖南生物机电职业技术学院 | 成熟果实机器识别方法 |
| CN110110687A (zh) * | 2019-05-15 | 2019-08-09 | 江南大学 | 基于颜色信息和三维轮廓信息的树上水果自动识别方法 |
| CN110400322A (zh) * | 2019-07-30 | 2019-11-01 | 江南大学 | 基于颜色和三维几何信息的水果点云分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| MIN HAN等: "Ellipsoid Fitting Using Variable Sample Consensus and Two-Ellipsoid-Bounding-Counting for Locating Lingwu Long Jujubes in a Natural Environment", 《IEEE ACCESS》 * |
| 麦春艳等: "基于RGB-D相机的果树三维重构与果实识别定位", 《农业机械学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112136505A (zh) * | 2020-09-07 | 2020-12-29 | 华南农业大学 | 一种基于视觉选择注意机制的水果采摘顺序规划方法 |
| CN112541428A (zh) * | 2020-12-11 | 2021-03-23 | 深圳市优必选科技股份有限公司 | 足球识别方法、装置及机器人 |
| CN112541428B (zh) * | 2020-12-11 | 2024-01-16 | 深圳市优必选科技股份有限公司 | 足球识别方法、装置及机器人 |
| CN113689471A (zh) * | 2021-09-09 | 2021-11-23 | 中国联合网络通信集团有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
| CN113689471B (zh) * | 2021-09-09 | 2023-08-18 | 中国联合网络通信集团有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344701B (zh) | 一种基于Kinect的动态手势识别方法 | |
| CN110070570B (zh) | 一种基于深度信息的障碍物检测***及方法 | |
| CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
| WO2018120038A1 (zh) | 一种目标检测的方法及装置 | |
| Chuang et al. | Automatic fish segmentation via double local thresholding for trawl-based underwater camera systems | |
| CN106709500B (zh) | 一种图像特征匹配的方法 | |
| CN111126296A (zh) | 水果定位方法及装置 | |
| US20200026941A1 (en) | Perspective distortion characteristic based facial image authentication method and storage and processing device thereof | |
| CN110148117B (zh) | 基于电力图像的电力设备缺陷识别方法、装置与存储介质 | |
| CN107862680A (zh) | 一种基于相关滤波器的目标跟踪优化方法 | |
| CN112116567A (zh) | 一种无参考图像质量评价方法、装置及存储介质 | |
| CN114310887A (zh) | 3d人腿识别方法、装置、计算机设备及存储介质 | |
| CN111161348A (zh) | 一种基于单目相机的物***姿估计方法、装置及设备 | |
| CN113723314A (zh) | 一种基于YOLOv3算法的甘蔗茎节识别方法 | |
| CN113011326A (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
| CN111062341B (zh) | 视频图像区域的分类方法、装置、设备及存储介质 | |
| WO2024016632A1 (zh) | 亮点定位方法、亮点定位装置、电子设备及存储介质 | |
| CN115861352A (zh) | 单目视觉、imu和激光雷达的数据融合和边缘提取方法 | |
| CN112541471B (zh) | 一种基于多特征融合的遮挡目标识别方法 | |
| CN113033256B (zh) | 一种指尖检测模型的训练方法和设备 | |
| CN114638891A (zh) | 基于图像和点云融合的目标检测定位方法与*** | |
| CN111523583A (zh) | 一种利用无人机对设备铭牌照片自动识别分类的方法 | |
| CN104794725B (zh) | 一种基于局部不变特征的遥感影像对象表达方法 | |
| CN112967398B (zh) | 一种三维数据重建方法、装置及电子设备 | |
| CN109583454A (zh) | 基于对抗神经网络的图像特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200508 |