CN110599507B - 一种番茄识别定位方法及*** - Google Patents
一种番茄识别定位方法及*** Download PDFInfo
- Publication number
- CN110599507B CN110599507B CN201810608651.7A CN201810608651A CN110599507B CN 110599507 B CN110599507 B CN 110599507B CN 201810608651 A CN201810608651 A CN 201810608651A CN 110599507 B CN110599507 B CN 110599507B
- Authority
- CN
- China
- Prior art keywords
- image
- tomato
- red
- tomatoes
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 240000003768 Solanum lycopersicum Species 0.000 title claims abstract description 360
- 235000007688 Lycopersicon esculentum Nutrition 0.000 title claims abstract description 357
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003709 image segmentation Methods 0.000 claims abstract description 69
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 230000000873 masking effect Effects 0.000 claims abstract description 33
- 238000005520 cutting process Methods 0.000 claims abstract description 18
- 238000003708 edge detection Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 20
- 230000000877 morphologic effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 240000008042 Zea mays Species 0.000 description 3
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 3
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 3
- 235000005822 corn Nutrition 0.000 description 3
- 230000005070 ripening Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种番茄识别定位方法及***，包括：获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对HSV图像进行掩模处理后，将HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的番茄图像；将去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像；对图像分割后的番茄图像进行边缘检测，确定番茄在图像分割后的番茄图像中的坐标位置；根据番茄在所述图像分割后的番茄图像中的坐标位置，获取番茄的点云数据，根据番茄的点云数据，确定番茄的实际位置。本发明提供的方法，消除了光线不均、枝干、叶片对果实的遮挡、以及果实之间的相互遮挡造成的阴影等对果实识别的影响。
Description
技术领域
本发明实施例涉及图像识别技术领域，尤其涉及一种番茄识别定位方法及***。
背景技术
番茄是人们生活中栽培最为普遍的蔬菜之一，但人工采摘劳动强度大、效率低，开发番茄自动采收设备可以极大降低采摘成本，有效改善生产现状。由于番茄生长环境背景复杂、果实簇生重叠，能否准确获取果实位置和采摘信息，成为制约番茄机器人采摘的一大瓶颈。
在现有技术中，对番茄识别与定位方面做了很多相关研究与应用，其中常用的方法为使用双目立体视觉技术进行定位，具体为使用的是两个CCD摄影机采集图像，利用视觉从图像中恢复番茄位置信息，从而达到利用机械视觉控制机械手的运动和定位，去达到采摘番茄果实的目的。另一种番茄识别方法为采用线结构光视觉主动探测手段，具体为基于(2R-G-B)色差模型的目标区域分割方法，凸显不同太阳光照条件下成熟果实与背景的色彩特征差异，根据灰度距离映射关系建立深度图像，据此进行重叠果实的区域分割和立体测量。另外，仇瑞承等在文献《基于RGB-D相机的玉米茎粗测量方法》中，以小喇叭口期玉米为观测对象，利用RGB-D相机获取田间玉米的彩色图像和深度图像，通过对图像的处理，可快速获取作物表型参数。
在现有技术中，对番茄的定位识别方法过于复杂，使用的相机设备昂贵，同时采用线结构光视觉主动探测手段，不能有效识别红色成熟果实，在图像处理方面，不能同时有效分割果实与背景、果实粘连部分。
发明内容
本发明实施例提供一种番茄识别定位方法及***，用以解决现有技术中对番茄的定位识别方法过于复杂，使用的相机设备昂贵，同时采用线结构光视觉主动探测手段，不能有效识别红色成熟果实，在图像处理方面，不能同时有效分割果实与背景、果实粘连部分的问题。
根据本发明的第一方面，提供一种番茄识别定位方法，包括：
获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对所述HSV图像进行掩模处理后，将所述HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的番茄图像；
将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像；
对所述图像分割后的番茄图像进行边缘检测，确定番茄在所述图像分割后的番茄图像中的坐标位置；
根据所述番茄在所述图像分割后的番茄图像中的坐标位置，获取所述番茄的点云数据，根据所述番茄的点云数据，确定所述番茄的实际位置。
其中，所述获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对所述HSV图像进行掩模处理后，将所述HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的番茄图像，具体包括：
将所述待检测图像转化为HSV图像转换为HSV图像，从中分离出H通道直方图、S通道直方图和V通道直方图；分别对所述H通道直方图、S通道直方图和V通道直方图在预设阈值上进行掩模处理，将进行掩模处理后的H通道直方图、S通道直方图和V通道直方图整合为RGB图像；对所述RGB图像通过形态学技术进行闭、开操作后，进行R、G、B掩蔽处理，进而整合获得去除背景后的番茄图像。
其中，所述将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像，具体包括：
将所述去除背景后的番茄图像转换为灰度图像，根据Sobel算子计算所述灰度图像的梯度幅值，获得所述灰度图像的梯度图像；通过分水岭算法对所述梯度图像进行切割，获得图像分割后的番茄图像。
其中，所述通过分水岭算法对所述梯度图像进行切割，获得图像分割后的番茄图像的步骤还包括：
对所述图像分割后的番茄图像进行形态学开闭重建运算和分水岭计算，获得二次分水岭算法计算的番茄图像，作为新的图像分割后的番茄图像。
其中，所述获得图像分割后的番茄图像的步骤之后，还包括：获取所述图像分割后的番茄图像中，所述番茄的个数。
其中，所述对所述图像分割后的番茄图像进行边缘检测，确定番茄在所述图像分割后的番茄图像中的坐标位置，具体包括：
将所述番茄的个数作为霍夫变换的圆检测输入参数，对所述分割后的番茄图像进行边缘检测，获得所述分割后的番茄图像的前景点；将所述分割后的番茄图像由x-y坐标系转换为a-b坐标系，根据所述前景点的坐标，获得所述分割后的番茄图像中番茄对应的圆心的点的坐标及番茄的半径；根据所述圆心的点的坐标及番茄的半径，获得所述番茄在所述图像分割后的番茄图像中的坐标位置。
其中，所述根据所述番茄在所述图像分割后的番茄图像中的坐标位置，获取所述番茄的点云数据，根据所述番茄的点云数据，确定所述番茄的实际位置，具体包括：
通过深度相机获取所述待检测图像对应的深度图像；通过所述番茄在所述图像分割后的番茄图像中的坐标位置和所述深度图像，获得所述番茄的点云数据；通过所述番茄的点云数据，确定所述番茄的实际位置。
根据本发明的第二方面，提供一种番茄识别定位***，包括：
果实提取模块，用于获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对所述HSV图像进行掩模处理后，将所述HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的番茄图像；
果实分离模块，用于将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像；
坐标确定模块，用于对所述图像分割后的番茄图像进行边缘检测，确定番茄在所述图像分割后的番茄图像中的坐标位置；
定位模块，用于根据所述番茄在所述图像分割后的番茄图像中的坐标位置，获取所述番茄的点云数据，根据所述番茄的点云数据，确定所述番茄的实际位置。
根据本发明的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所提供的方法的步骤。
根据本发明的第四方，提供一种番茄识别定位设备，包括：
至少一个处理器；以及与所述处理器连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述第一方面所提供的方法的步骤。
本发明实施例提供的番茄识别定位方法及设备，基于深度相机和原始RGB图像，实现了番茄在空间上的定位，为番茄果实快速准确采摘奠定基础，消除了光线不均、枝干、叶片对果实的遮挡、以及果实之间的相互遮挡造成的阴影等对果实识别的影响，实现了对成熟红色番茄的识别，相对于传统的双目相机，降低了番茄识别的成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种番茄识别定位方法的流程图；
图2为本发明实施例提供的一种番茄识别定位方法中，基于HSV的红色番茄果实提取流程示意图；
图3为本发明实施例提供的一种番茄识别定位方法中，番茄果实分离流程示意图；
图4为本发明实施例提供的一种番茄识别定位方法中，果实球心和半径计算流程示意图；
图5为本发明实施例提供的一种番茄识别定位方法中，番茄实际位置定位的流程示意图；
图6为本发明实施例提供的一种番茄识别定位***的结构示意图；
图7为本发明实施例提供的一种番茄识别定位设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，图1为本发明实施例提供的一种番茄识别定位方法的流程图，所提供的方法包括：
S1，获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对所述HSV图像进行掩模处理后，将所述HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的番茄图像。
具体的，在获取了包含番茄的待检测图像后，将待检测图像转化为HSV图像，对转化后的HSV图像进行掩模处理，具体步骤为从HSV图像中分离出H通道、S通道和V通道，将其中的H通道和S通道作为原始的颜色信息来计算图像的颜色信息显著性，把其中的V通道作为原始的亮度信息并由此计算亮度信息显著性，通过加权的颜色信息显著性和亮度信息显著性得到综合显著图。分别在H、S、V上应用选定的阈值进行掩模处理，随后将处理后的图像重新整合为RGB图像，并进行掩蔽处理，从而可以获得去除背景后的番茄图像。
S2，将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像。
具体的，番茄在成熟过程中，经常有果实触碰在一起，许多不同的图像处理算法无法检测到两个触碰的番茄。本实施例中，采用基于图形形态的分水岭分割方法，进行分水岭算法，对图像进行分水岭分割，保留重要的轮廓信息，正确分离连接的果实，实现图像分割，获得进行了图像分割后的番茄图像。
S3，对所述图像分割后的番茄图像进行边缘检测，确定番茄在所述图像分割后的番茄图像中的坐标位置。
具体的，在将番茄图像中的番茄进行了分割以后，进一步的还需要获得每一个番茄的中心点和半径数据，以供机械爪能够根据这些数值来进行番茄的抓取，因此，在本步骤中，通过霍夫变换来检测图像中番茄的圆心和半径，具体原理是首先对图像分割后的番茄图像进行边缘检测，获得图像中的边界点，即前景点，则其中前景点即为番茄的轮廓位置，则可以根据前景点的在图中的坐标位置，确定番茄在图中的圆心位置和番茄的半径大小，进而获得每个番茄在图像中的坐标位置。
S4，根据所述番茄在所述图像分割后的番茄图像中的坐标位置，获取所述番茄的点云数据，根据所述番茄的点云数据，确定所述番茄的实际位置。
具体的，在获得了每个番茄在图像中的坐标位置后，由于还不能确定番茄在图像中的深度信息，因此需要通过深度相机确认番茄在实际位置的深度信息，具体实施中，通过深度相机获得番茄在图像中的点云数据由于点云数据包含图像的深度信息，即相机与果实实际相隔距离，所以可根据获取的点云数据重建番茄三维模型，为番茄采摘提供定位信息。
通过此方法，基于深度相机和原始RGB图像，实现了番茄在空间上的定位，为番茄果实快速准确采摘奠定基础，消除了光线不均、枝干、叶片对果实的遮挡、以及果实之间的相互遮挡造成的阴影等对果实识别的影响，实现了对成熟红色番茄的识别，相对于传统的双目相机，降低了番茄识别的成本。
在上述实施例的基础上，所述获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对所述HSV图像进行掩模处理后，将所述HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的番茄图像，具体包括：
将所述待检测图像转化为HSV图像转换为HSV图像，从中分离出H通道直方图、S通道直方图和V通道直方图；
分别对所述H通道直方图、S通道直方图和V通道直方图在预设阈值上进行掩模处理，将进行掩模处理后的H通道直方图、S通道直方图和V通道直方图整合为RGB图像；
对所述RGB图像通过形态学技术进行闭、开操作后，进行R、G、B掩蔽处理，进而整合获得去除背景后的番茄图像。
具体的，在对待检测图像的背景消除步骤中，具体步骤如图2所示，HSV色彩空间是由色调(Hue)、饱和度(Saturation)和亮度(Value)三个分量组成。色调(H)表示不同的颜色，取值范围为0～360°；饱和度(S)表示颜色的深浅，通常取0％～100％；亮度(V)表示颜色的明暗程度，取值范围为0％(黑)到100％(白)。首先将待检测图像转换为HSV图像，从中分离出H通道、S通道和V通道，将其中的H通道和S通道作为原始的颜色信息来计算图像的颜色信息显著性，把其中的V通道作为原始的亮度信息并由此计算亮度信息显著性，通过加权的颜色信息显著性和亮度信息显著性得到综合显著图。本实施例中，先得到直方图，在此基础上，选择H、S和V分量的阈值，定义感兴趣的区域为0到1。在色相直方图中，0值为红色，为识别红色番茄，选取0.07为高色调H阈值，并使用Otsu算法检测红色；同样，在饱和度S直方图中，选取0.35为饱和度阈值；在亮度V直方图中，选取0.4为亮度阈值。然后分别在H、S、V上分别应用所选阈值，进行掩模处理，然后整合为RGB图像。此时图像中只剩下红色的番茄，之后运用形态学技术进行闭、开操作，再进行R、G、B掩蔽处理，将其整合后，最终得到去除背景后的红色番茄图像。
在上述实施例的基础上，所述将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像，具体包括：
将所述去除背景后的番茄图像转换为灰度图像，根据Sobel算子计算所述灰度图像的梯度幅值，获得所述灰度图像的梯度图像；
通过分水岭算法对所述梯度图像进行切割，获得图像分割后的番茄图像。
具体的，番茄在成熟过程中，经常有果实触碰在一起，许多不同的图像处理算法无法检测到两个触碰的番茄。本实施例中，采用分水岭算法对去除了背景的番茄图像进行分水岭算法计算。具体实施中，首先利用形态学的开闭重建运算对梯度图像进行滤波处理，消除图像中由非规则灰度扰动和噪声引起的局部极值；然后对图像进行分水岭分割，保留重要的轮廓信息；最后结合归一化积相关灰度匹配的算法进行相似性度量，通过基于图形的形态模板指导区域合并，将目标图形区域从图像自然背景中分离出来。
在上述实施例的基础上，所述通过分水岭算法对所述梯度图像进行切割，获得图像分割后的番茄图像的步骤还包括：
对所述图像分割后的番茄图像进行形态学开闭重建运算和分水岭计算，获得二次分水岭算法计算的番茄图像，作为新的图像分割后的番茄图像。
其中，所述获得图像分割后的番茄图像的步骤之后，还包括：获取所述图像分割后的番茄图像中，所述番茄的个数。
具体的，参考图3，在进行果实分离的步骤中，可以采用两次分水岭算法，来提升果实分割的准确性，具体实施中，对去除背景后的红色番茄图像，将图像转换为灰度图像，应用Sobel算子计算梯度幅值，检测水平边缘和垂直边缘，在梯度图像上进行第一次分水岭算法，然后采用形态学的开闭重建运算，移除斑点，使得图像平滑，为了得到良好的前景，对图像的区域极值进行修改，实现最大区域的检测。为了区分图像的背景和前景，提出改进的阈值法，背景像素被标记为黑色。运用欧几里德矩阵进行距离变换后，运用第二次分水岭算法获取山脊线，在第一次分水岭基础上，正确分离连接的水果，实现图像分割，并获取分割后果实个数N，作为下一步基于霍夫变换的果实定位的输入参数。
在上述实施例的基础上，所述对所述图像分割后的番茄图像进行边缘检测，确定番茄在所述图像分割后的番茄图像中的坐标位置，具体包括：
将所述番茄的个数作为霍夫变换的圆检测输入参数，对所述分割后的番茄图像进行边缘检测，获得所述分割后的番茄图像的前景点；
将所述分割后的番茄图像由x-y坐标系转换为a-b坐标系，根据所述前景点的坐标，获得所述分割后的番茄图像中番茄对应的圆心的点的坐标及番茄的半径；
根据所述圆心的点的坐标及番茄的半径，获得所述番茄在所述图像分割后的番茄图像中的坐标位置。
具体的，在番茄坐标计算过程中，如图4所示，将红色番茄果实分离获取的果实个数N作为霍夫变换的圆检测输入参数。应用霍夫变换检测圆心和半径的原理是：首先对输入图像进行边缘检测，获取边界点，即前景点。假如图像中存在圆形，那么其轮廓必定属于前景点。将圆形的一般性方程换一种方式表示，进行坐标变换。由x-y坐标系转换到a-b坐标系，那么x-y坐标系中圆形边界上的一点对应到a-b坐标系中即为一个圆。那x-y坐标系中一个圆形边界上有很多个点，对应到a-b坐标系中就会有很多个圆。由于原图像中这些点都在同一个圆形上，那么转换后a,b必定也满足a-b坐标系下的所有圆形的方程式。直观表现为这许多点对应的圆都会相交于一个点，那么这个交点就可能是圆心(a,b)。***部交点处圆的个数，取每一个局部最大值，就可以获得原图像中对应的圆形的圆心坐标(a,b)。一旦在某一个r下面检测到圆，那么r的值也就随之确定，最终获得番茄在图像中的坐标(a，b，r)。
在上述实施例的基础上，所述根据所述番茄在所述图像分割后的番茄图像中的坐标位置，获取所述番茄的点云数据，根据所述番茄的点云数据，确定所述番茄的实际位置，具体包括：
通过深度相机获取所述待检测图像对应的深度图像；
通过所述番茄在所述图像分割后的番茄图像中的坐标位置和所述深度图像，获得所述番茄的点云数据；
通过所述番茄的点云数据，确定所述番茄的实际位置。
具体的，获得番茄的实际位置的步骤聚参照图5所示，选用微软公司生产的Kinect2.0相机采集番茄植株信息，可以在采集到番茄植株的彩色RGB图像作为待检测图像，同时可以采集到番茄植株的深度信息；将RGB图像与深度信息进行匹配，根据彩色图像处理获得的红色番茄图像(a，b，r)坐标，获取对应的红色番茄的点云数据。由于点云数据包含图像的深度信息，即RGB-D相机与果实实际相隔距离，所以可根据获取的点云数据重建番茄三维模型，为番茄采摘提供定位信息。
综上所述，本发明实施例通过基于RGB-D相机的番茄识别与定位方法，消除了光线不均、枝干、叶片对果实的遮挡、以及果实之间的相互遮挡造成的阴影等对果实识别的影响，实现了对成熟红色番茄的识别，对采摘过程中对果实的保护等具有一定的意义，同时基于相对双目相机价格便宜的深度相机，对具有复杂背景、相互粘连的红色番茄果实实现快速识别，为番茄果实快速准确采摘奠定基础。
参考图6，图6为本发明实施例提供的一种番茄识别定位***的结构示意图，所提供的***包括：果实提取模块61，果实分离模块62，坐标确定模块63和定位模块64。
其中，果实提取模块61用于获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对所述HSV图像进行掩模处理后，将所述HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的番茄图像。
具体的，在获取了包含番茄的待检测图像后，将待检测图像转化为HSV图像，对转化后的HSV图像进行掩模处理，具体步骤为从HSV图像中分离出H通道、S通道和V通道，将其中的H通道和S通道作为原始的颜色信息来计算图像的颜色信息显著性，把其中的V通道作为原始的亮度信息并由此计算亮度信息显著性，通过加权的颜色信息显著性和亮度信息显著性得到综合显著图。分别在H、S、V上应用选定的阈值进行掩模处理，随后将处理后的图像重新整合为RGB图像，并进行掩蔽处理，从而可以获得去除背景后的番茄图像。
果实分离模块62用于将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像。
具体的，番茄在成熟过程中，经常有果实触碰在一起，许多不同的图像处理算法无法检测到两个触碰的番茄。本实施例中，采用基于图形形态的分水岭分割方法，进行分水岭算法，对图像进行分水岭分割，保留重要的轮廓信息，正确分离连接的果实，实现图像分割，获得进行了图像分割后的番茄图像。
坐标确定模块63用于对所述图像分割后的番茄图像进行边缘检测，确定番茄在所述图像分割后的番茄图像中的坐标位置；
具体的，在将番茄图像中的番茄进行了分割以后，进一步的还需要获得每一个番茄的中心点和半径数据，以供机械爪能够根据这些数值来进行番茄的抓取，因此，在本步骤中，通过霍夫变换来检测图像中番茄的圆心和半径，具体原理是首先对图像分割后的番茄图像进行边缘检测，获得图像中的边界点，即前景点，则其中前景点即为番茄的轮廓位置，则可以根据前景点的在图中的坐标位置，确定番茄在图中的圆心位置和番茄的半径大小，进而获得每个番茄在图像中的坐标位置。
定位模块64用于根据所述番茄在所述图像分割后的番茄图像中的坐标位置，获取所述番茄的点云数据，根据所述番茄的点云数据，确定所述番茄的实际位置。
具体的，在获得了每个番茄在图像中的坐标位置后，由于还不能确定番茄在图像中的深度信息，因此需要通过深度相机确认番茄在实际位置的深度信息，具体实施中，通过深度相机获得番茄在图像中的点云数据由于点云数据包含图像的深度信息，即相机与果实实际相隔距离，所以可根据获取的点云数据重建番茄三维模型，为番茄采摘提供定位信息。
通过此***，基于深度相机和原始RGB图像，实现了番茄在空间上的定位，为番茄果实快速准确采摘奠定基础，消除了光线不均、枝干、叶片对果实的遮挡、以及果实之间的相互遮挡造成的阴影等对果实识别的影响，实现了对成熟红色番茄的识别，相对于传统的双目相机，降低了番茄识别的成本。
图7示例了一种番茄识别定位设备的结构示意图，如图7所示，该服务器可以包括：处理器(processor)710、存储器(memory)730和总线740，其中，处理器710，存储器730通过总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行如下方法：获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对所述HSV图像进行掩模处理后，将所述HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的番茄图像；将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像；对所述图像分割后的番茄图像进行边缘检测，确定番茄在所述图像分割后的番茄图像中的坐标位置；根据所述番茄在所述图像分割后的番茄图像中的坐标位置，获取所述番茄的点云数据，根据所述番茄的点云数据，确定所述番茄的实际位置。
本实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对所述HSV图像进行掩模处理后，将所述HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的番茄图像；将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像；对所述图像分割后的番茄图像进行边缘检测，确定番茄在所述图像分割后的番茄图像中的坐标位置；根据所述番茄在所述图像分割后的番茄图像中的坐标位置，获取所述番茄的点云数据，根据所述番茄的点云数据，确定所述番茄的实际位置。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对所述HSV图像进行掩模处理后，将所述HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的番茄图像；将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像；对所述图像分割后的番茄图像进行边缘检测，确定番茄在所述图像分割后的番茄图像中的坐标位置；根据所述番茄在所述图像分割后的番茄图像中的坐标位置，获取所述番茄的点云数据，根据所述番茄的点云数据，确定所述番茄的实际位置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种番茄识别定位方法，其特征在于，包括：
获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对所述HSV图像进行掩模处理后，将所述HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的红色番茄图像；
将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像，获取所述图像分割后的番茄图像中，所述番茄的个数；
对所述图像分割后的番茄图像进行边缘检测，确定红色番茄在所述图像分割后的番茄图像中的坐标位置，具体包括：将所述番茄的个数作为霍夫变换的圆检测输入参数，对所述分割后的番茄图像进行边缘检测，获得所述分割后的番茄图像的前景点；
将所述分割后的番茄图像由x-y坐标系转换为a-b坐标系，根据所述前景点的坐标，获得所述分割后的番茄图像中番茄对应的圆心的点的坐标及番茄的半径；
根据所述圆心的点的坐标及番茄的半径，获得所述番茄在所述图像分割后的番茄图像中的坐标位置；
根据所述红色番茄在所述图像分割后的番茄图像中的坐标位置，获取所述红色番茄的点云数据，根据所述红色番茄的点云数据，确定所述红色番茄的实际位置，
其中，所述获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对所述HSV图像进行掩模处理后，将所述HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的红色番茄图像，具体包括：
将所述待检测图像转化为HSV图像，从中分离出H通道直方图、S通道直方图和V通道直方图；
分别对所述H通道直方图、S通道直方图和V通道直方图在预设阈值上进行掩模处理，将进行掩模处理后的H通道直方图、S通道直方图和V通道直方图整合为RGB图像；
对所述RGB图像通过形态学技术进行闭、开操作后，进行R、G、B掩蔽处理，进而整合获得去除背景后的红色番茄图像；
所述根据所述红色番茄在所述图像分割后的番茄图像中的坐标位置，获取所述红色番茄的点云数据，根据所述红色番茄的点云数据，确定所述红色番茄的实际位置，具体包括：
通过深度相机获取所述待检测图像对应的深度图像；
通过所述红色番茄在所述图像分割后的番茄图像中的坐标位置和所述深度图像，获得所述红色番茄的点云数据；
通过所述红色番茄的点云数据，确定所述红色番茄的实际位置；
所述将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像，具体包括：
将所述去除背景后的红色番茄图像转换为灰度图像，根据Sobel算子计算所述灰度图像的梯度幅值，获得所述灰度图像的梯度图像；
通过分水岭算法对所述梯度图像进行切割，获得图像分割后的番茄图像；
所述通过分水岭算法对所述梯度图像进行切割，获得图像分割后的番茄图像的步骤还包括：
对所述图像分割后的番茄图像进行形态学开闭重建运算和分水岭计算，获得二次分水岭算法计算的番茄图像，作为新的图像分割后的番茄图像。
2.一种番茄识别定位***，其特征在于，包括：
果实提取模块，用于获取包含番茄的待检测图像，将所述待检测图像转化为HSV图像，在对所述HSV图像进行掩模处理后，将所述HSV图像整合为RGB图像并进行掩蔽处理，获得去除背景后的红色番茄图像；
果实分离模块，用于将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像，获取所述图像分割后的番茄图像中，所述番茄的个数；
坐标确定模块，用于对所述图像分割后的番茄图像进行边缘检测，确定红色番茄在所述图像分割后的番茄图像中的坐标位置，具体包括：将所述番茄的个数作为霍夫变换的圆检测输入参数，对所述分割后的番茄图像进行边缘检测，获得所述分割后的番茄图像的前景点；
将所述分割后的番茄图像由x-y坐标系转换为a-b坐标系，根据所述前景点的坐标，获得所述分割后的番茄图像中番茄对应的圆心的点的坐标及番茄的半径；
根据所述圆心的点的坐标及番茄的半径，获得所述番茄在所述图像分割后的番茄图像中的坐标位置；
定位模块，用于根据所述红色番茄在所述图像分割后的番茄图像中的坐标位置，获取所述红色番茄的点云数据，根据所述红色番茄的点云数据，确定所述红色番茄的实际位置，
其中，所述果实提取模块具体包括：
将所述待检测图像转化为HSV图像，从中分离出H通道直方图、S通道直方图和V通道直方图；
分别对所述H通道直方图、S通道直方图和V通道直方图在预设阈值上进行掩模处理，将进行掩模处理后的H通道直方图、S通道直方图和V通道直方图整合为RGB图像；
对所述RGB图像通过形态学技术进行闭、开操作后，进行R、G、B掩蔽处理，进而整合获得去除背景后的红色番茄图像；
所述根据所述红色番茄在所述图像分割后的番茄图像中的坐标位置，获取所述红色番茄的点云数据，根据所述红色番茄的点云数据，确定所述红色番茄的实际位置，具体包括：
通过深度相机获取所述待检测图像对应的深度图像；
通过所述红色番茄在所述图像分割后的番茄图像中的坐标位置和所述深度图像，获得所述红色番茄的点云数据；
通过所述红色番茄的点云数据，确定所述红色番茄的实际位置；
所述将所述去除背景后的红色番茄图像，通过分水岭算法进行切割，获得图像分割后的番茄图像，具体包括：
将所述去除背景后的红色番茄图像转换为灰度图像，根据Sobel算子计算所述灰度图像的梯度幅值，获得所述灰度图像的梯度图像；
通过分水岭算法对所述梯度图像进行切割，获得图像分割后的番茄图像；所述通过分水岭算法对所述梯度图像进行切割，获得图像分割后的番茄图像的步骤还包括：
对所述图像分割后的番茄图像进行形态学开闭重建运算和分水岭计算，获得二次分水岭算法计算的番茄图像，作为新的图像分割后的番茄图像。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1所述的方法的步骤。
4.一种番茄识别定位设备，其特征在于，包括：
至少一个处理器；以及与所述处理器连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810608651.7A CN110599507B (zh) | 2018-06-13 | 2018-06-13 | 一种番茄识别定位方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810608651.7A CN110599507B (zh) | 2018-06-13 | 2018-06-13 | 一种番茄识别定位方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110599507A CN110599507A (zh) | 2019-12-20 |
| CN110599507B true CN110599507B (zh) | 2022-04-22 |
Family
ID=68849635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810608651.7A Active CN110599507B (zh) | 2018-06-13 | 2018-06-13 | 一种番茄识别定位方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599507B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112021016A (zh) * | 2020-09-07 | 2020-12-04 | 江苏农林职业技术学院 | 草莓疏花疏果*** |
| CN112132153B (zh) * | 2020-09-22 | 2022-09-09 | 山东大学 | 基于聚类和形态学处理的番茄果实识别方法及*** |
| CN112529922A (zh) * | 2020-11-18 | 2021-03-19 | 南京农业大学 | 一种开放环境下多色叶片rgb图像背景精确分离的方法 |
| CN112580646A (zh) * | 2020-12-08 | 2021-03-30 | 北京农业智能装备技术研究中心 | 番茄果实成熟度分割方法及采摘机器人 |
| CN114260895B (zh) * | 2021-12-22 | 2023-08-22 | 江苏大学 | 一种采摘机器人机械臂抓取避障方向确定的方法及其*** |
| CN116778474A (zh) * | 2023-06-02 | 2023-09-19 | 河南农业大学 | 一种番茄果实智能表型分析仪 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101106716A (zh) * | 2007-08-21 | 2008-01-16 | 北京大学软件与微电子学院 | 一种分水岭图象分割处理方法 |
| CN102968782A (zh) * | 2012-09-12 | 2013-03-13 | 苏州大学 | 一种彩色图像中显著对象的自动抠取方法 |
| CN104700404A (zh) * | 2015-03-02 | 2015-06-10 | 中国农业大学 | 一种果实定位识别方法 |
| CN106067181A (zh) * | 2016-05-30 | 2016-11-02 | 湖南生物机电职业技术学院 | 柑橘果实颜色多重分形描述及分级方法 |
| CN107392963A (zh) * | 2017-06-28 | 2017-11-24 | 北京航空航天大学 | 一种用于软式自主空中加油的仿鹰眼运动目标定位方法 |
-
2018
- 2018-06-13 CN CN201810608651.7A patent/CN110599507B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101106716A (zh) * | 2007-08-21 | 2008-01-16 | 北京大学软件与微电子学院 | 一种分水岭图象分割处理方法 |
| CN102968782A (zh) * | 2012-09-12 | 2013-03-13 | 苏州大学 | 一种彩色图像中显著对象的自动抠取方法 |
| CN104700404A (zh) * | 2015-03-02 | 2015-06-10 | 中国农业大学 | 一种果实定位识别方法 |
| CN106067181A (zh) * | 2016-05-30 | 2016-11-02 | 湖南生物机电职业技术学院 | 柑橘果实颜色多重分形描述及分级方法 |
| CN107392963A (zh) * | 2017-06-28 | 2017-11-24 | 北京航空航天大学 | 一种用于软式自主空中加油的仿鹰眼运动目标定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| 图像算法：分水岭分割程序实现;第一江山临;《百度经验》;20171228;第1-8页 * |
| 温室绿熟番茄机器视觉检测方法;李寒等;《农业工程学报》;20170228;第33卷;第328-334页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110599507A (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599507B (zh) | 一种番茄识别定位方法及*** | |
| Dias et al. | Multispecies fruit flower detection using a refined semantic segmentation network | |
| Dorj et al. | An yield estimation in citrus orchards via fruit detection and counting using image processing | |
| Liu et al. | A method of segmenting apples at night based on color and position information | |
| Zhao et al. | On-tree fruit recognition using texture properties and color data | |
| Xiong et al. | The recognition of litchi clusters and the calculation of picking point in a nocturnal natural environment | |
| Zhuang et al. | Computer vision-based localisation of picking points for automatic litchi harvesting applications towards natural scenarios | |
| Tong et al. | Skewness correction and quality evaluation of plug seedling images based on Canny operator and Hough transform | |
| Liu et al. | Detection of citrus fruit and tree trunks in natural environments using a multi-elliptical boundary model | |
| Devi et al. | Image processing system for automatic segmentation and yield prediction of fruits using open CV | |
| Feng et al. | A separating method of adjacent apples based on machine vision and chain code information | |
| Revathi et al. | Homogenous segmentation based edge detection techniques for proficient identification of the cotton leaf spot diseases | |
| Li et al. | An improved binocular localization method for apple based on fruit detection using deep learning | |
| Raut et al. | Review on leaf disease detection using image processing techniques | |
| Changhui et al. | Overlapped fruit recognition for citrus harvesting robot in natural scenes | |
| Zhang et al. | Yield estimation of citrus fruit using rapid image processing in natural background | |
| Choudhary et al. | Image processing algorithm for fruit identification | |
| Tran et al. | Automatic dragon fruit counting using adaptive thresholds for image segmentation and shape analysis | |
| Zhao et al. | Automatic sweet pepper detection based on point cloud images using subtractive clustering | |
| CN107239761B (zh) | 基于骨架角点检测的果树拉枝效果评价方法 | |
| CN111369497B (zh) | 一种行走式树上果实连续计数方法及装置 | |
| Chhabra et al. | Automated detection of fully and partially riped mango by machine vision | |
| Mohammed Amean et al. | Automatic plant branch segmentation and classification using vesselness measure | |
| Huang et al. | Mango surface defect detection based on HALCON | |
| Kanwal et al. | Overlapped apple fruit yield estimation using pixel classification and hough transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |