CN201600330U

CN201600330U - 成熟菠萝识别与定位***

Info

Publication number: CN201600330U
Application number: CN2009202461327U
Authority: CN
Inventors: 汪懋华; 李斌; 李莉; 高瑞
Original assignee: China Agricultural University
Current assignee: China Agricultural University
Priority date: 2009-09-23
Filing date: 2009-09-23
Publication date: 2010-10-06
Anticipated expiration: 2019-09-23

Abstract

本实用新型实施例提供一种成熟菠萝识别与定位***，包括：用于对成熟菠萝进行图像采集的两个摄像头，所述两个摄像头设置分别在双目云台两侧，所述双目云台设置在三角架上；还包括用于对所述两个摄像头采集到的成熟菠萝图像进行处理、以实现对所述成熟菠萝进行识别与定位的的图像处理设备，所述图像处理设备与所述两个摄像头连接。本实用新型实施例通过图像处理设备自动实现对成熟菠萝的识别与定位，为通过控制***实现对成熟菠萝的采摘提供了很好的条件，能够大大减少人们的劳动量，提高劳动效率。

Description

成熟菠萝识别与定位***

技术领域

本实用新型实施例涉及计算机识别与定位技术领域，尤其涉及一种成熟菠萝识别与定位***。

背景技术

近些年，国内外的很多专家学者对果蔬采收机器人进行了大量的研究。其中果蔬采收机器人的视觉***即识别与定位***的作用是识别待采果蔬并获取其具***置信息，以备后续控制***根据位置信息，驱动机械臂和末端执行器移动到采摘的位置，对果蔬进行采收。因此果蔬的识别和定位***是实现果蔬采收自动化的一项非常重要的工作。

菠萝种植在我国南方地区，种植面积非常广，在菠萝采收季节，人们面临着天气炎热、在田间去一颗颗的对成熟菠萝进行识别和定位采摘，其劳动强度是非常之大。如果能够设计一套成熟菠萝的识别与定位***，然后采用现有的控制***根据定位得到的成熟菠萝的位置信息，对成熟菠萝进行采摘，便可以大大地减少人们的劳动量。因此，如何对成熟菠萝的识别与定位成为亟待解决的技术问题。

实用新型内容

本实用新型实施例提供一种成熟菠萝识别与定位***，用以弥补现有技术的不足，能够自动识别成熟菠萝并进行三维定位，有助于通过控制***实现对成熟菠萝的采摘，能够有效地减少人们的劳动量。

本实用新型实施例提供一种成熟菠萝识别与定位***，包括：用于对成熟菠萝进行图像采集的两个摄像头，所述两个摄像头设置分别在双目云台两侧，所述双目云台设置在三角架上，还包括用于对所述两个摄像头采集到的成熟菠萝图像进行处理、以实现对所述成熟菠萝进行识别与定位的的图像处理设备，所述图像处理设备与所述两个摄像头连接。

本实用新型实施例的成熟菠萝识别与定位***，通过图像处理设备自动实现对成熟菠萝的识别与定位，通过本实用新型实施例的方案为通过控制***实现对成熟菠萝的采摘提供了很好的条件，大大减少了人们的劳动量，提高了劳动效率。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本实用新型实施例提供的成熟菠萝识别与定位***的结构示意图；

图2为本实用新型实施例提供的成熟菠萝识别与定位***的图像处理设备的结构示意图；

图3为本实用新型实施例提供的成熟菠萝识别与定位***的实现步骤流程图。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本实用新型保护的范围。

下面结合附图和具体实施例进一步说明本实用新型实施例的技术方案。

图1为本实用新型实施例提供的成熟菠萝识别与定位***的结构示意图；如图1所示，包括：用于对成熟菠萝进行图像采集的两个摄像头10，两个摄像头10设置分别在双目云台11两侧，双目云台11设置在三角架12上，用于对两个摄像头10采集到的成熟菠萝图像进行处理、以实现对所述成熟菠萝进行识别与定位的图像处理设备13，图像处理设备13与两个摄像头10连接。

本实施例为了减低该成熟菠萝识别与定位***的成本，使得该***能够得到广泛的推广使用，其中两个摄像头10均采用互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，以下简称CMOS)摄像头，且由于菠萝是单株生长，具有个头大，果眼清晰等特性，这里的两个摄像头10的像素可以不高于130万像素，便可以准确采集到成熟菠萝的图像，通常可以选取两个摄像头10的像素相等。

图2为本实用新型实施例提供的成熟菠萝识别与定位***的图像处理设备的结构示意图；如图2所示，本实施例的菠萝识别与定位***中的图像处理设备13可以具体包括：接收模块131、预处理模块132、分割处理模块133、共轭匹配模块134、定位模块135和校正模块136。

其中：接收模块131用于接收两个摄像头10采集到的所述成熟菠萝图像；需要注意的是，当第一次采集成熟菠萝图像，需要对两个摄像头10进行参数设置。

预处理模块132用于对两个摄像头10采集到的所述成熟菠萝图像进行预处理，这里的预处理包括对所述成熟菠萝图像进行中值滤波，腐蚀等预处理，以消除图像噪声；

分割处理模块133用于对预处理后的所述成熟菠萝图像进行分割，实现对成熟菠萝的识别和对所述成熟菠萝果实图像的提取，并计算和标记所述成熟菠萝果实图像的形心；

共轭匹配模块134用于对两个摄像头10分别采集到的所述成熟菠萝图像进行分割后的所述成熟菠萝果实图像进行共轭匹配；分割处理模块133是对每个摄像头的每帧图像做处理，最终标记出成熟菠萝果实图像的形心，然而两个摄像头10都在时刻对成熟菠萝图像进行采集，需要确定两个摄像头采集到的成熟菠萝图像是否为同一个成熟菠萝的图像，这里采用共轭匹配的方法，获取到两个摄像头10指代的同一个成熟菠萝图像。

定位模块135用于根据匹配后的所述成熟菠萝果实图像的形心点，运用三角测距原理，获取所述成熟菠萝果实图像的形心点的三维信息；该模块根据共轭匹配模块134获取到的成熟菠萝图像，并根据分割处理模块133计算出的成熟菠萝果实的形心，然后运用三角测距原理，便可得到成熟菠萝果实图像的形心点的在空间中的三维信息，即空间坐标。

校正模块136用于根据获取到的所述成熟菠萝果实图像的形心点的三维信息得到的计算值、以及根据多个所述计算值和与所述计算值分别对应的实际值运用人工神经网络进行训练得到的预测关系，实现对所述成熟菠萝定位。该模块采用了一种特殊的处理方式，即利用人工神经网络进行训练得到的预测关系，这里预测关系通过如下方式得到：根据定位模块135获取的成熟菠萝果实的形心点的三维信息得到相应的三维计算值，然后通过测量得到与所述相应计算值对应的实际值，通过多次对计算值和与实际值通过人工神经网络进行训练，以克服计算值与实际值之间的误差，便得到一个预测关系，这样以后每次获取到一个成熟菠萝果实图像的形心点的三维信息的计算值，便可以根据预测关系获取成熟菠萝的较准确的空间位置信息，以实现对成熟菠萝的准确定位。

需要说明的是，本实施例中的图像处理设备13中还包括标定模块(图中未绘出)，用于对双目云台11上设置的两个摄像头进行标定的标定模块。

需要说明的是，本实施例的菠萝识别与定位***中的图像处理设备13中的分割处理模块133，具体地可以包括四个单元(图中未绘出)，其中：第一单元用于从预处理后的所述成熟菠萝图像中获取一条经过所述菠萝成熟果实区域和经过包括菠萝青叶、土地的背景区域的区分线；即从预处理的消除噪声的成熟菠萝图像中选取一条经过成熟菠萝果实和菠萝青叶、土地、深黄色枯叶等背景区域的区分线。

第二单元用于以所述区分线为水平参考线，分别绘制所述成熟菠萝图像中所述菠萝成熟果实区域和所述背景区域的红色、绿色和蓝色的分量曲线；

具体地，第二单元以上述第一单元获取的区分线作为水平参考线，分别绘制经过区分线的成熟菠萝和各背景区域的红色、绿色和蓝色的分量曲线。

第三单元用于根据公式H(i，j)＝10×(r(i，j)-g(i，j))/b(i，j)获取一对比线，并选取H(i，j)＞5&H(i，j)＜40区域，以识别并对所述成熟菠萝果实图像进行提取，其中H(i，j)表示以所述成熟菠萝图像中所述水平参考线的左端点为原点，横坐标为i，纵坐标为j的所述对比线对应的值；r(i，j)表示横坐标为i，纵坐标为j的红色分量曲线对应的值，g(i，j)表示横坐标为i，纵坐标为j的绿色分量曲线对应的值，b(i，j)表示横坐标为i，纵坐标为j的蓝色分量曲线对应的值；

具体地，首先在预处理后的成熟菠萝图像中，以水平参考线即上述所述区分线的左端点为原点，然后根据公式H(i，j)＝10×(r(i，j)-g(i，j))/b(i，j)获取一对比线，并选取H(i，j)＞5&H(i，j)＜40区域，便可以识别到黄色的成熟菠萝果实图像，突出了成熟菠萝果实区域，抑制背景区域，实现对成熟菠萝果实区域的提取；上述公式为对成熟菠萝图像经过多次试验得到的能够清晰获取成熟菠萝果实的关系式，若在对比线H(i，j)在H(i，j)＞5&H(i，j)＜40区域内，观察不到成熟菠萝果实图像，说明此位置处没有成熟菠萝，可能是此位置处的菠萝不成熟或者此位置处根本没有菠萝。其中数字10表示对结果放大十倍，以方便识别与提取。这里主要利用成熟菠萝为黄颜色，在颜色上与青叶、土地等背景色有很大的区别，根据成熟菠萝颜色与背景颜色的区别找到适用于突出成熟菠萝图像，抑制背景区域的R、G、B分量曲线的公式H(i，j)＝10×(r(i，j)-g(i，j))/b(i，j)，并设置阈值H(i，j)＞5&H(i，j)＜40实现对成熟菠萝的成功提取。

第四单元用于计算和标记所述成熟菠萝果实图像的形心。该单元主要对第三单元做中提取到的成熟菠萝果实图像进行计算标记其形心，以便后续对成熟菠萝的具体定位。

本实施例的菠萝识别与定位***，能够自动识别和定位成熟菠萝图像，有助于通过控制***实现对成熟菠萝的采摘工作，大大地减少了人们的工作量；而且该***通过采用不高于130万像素的CMOS摄像头，价格低廉，有效地保证了该***的低成本，有助于推广和使用。

以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

上述实施例中的图像处理设备可以采用计算机实体来实现，具体地，图像处理设备中的各模块以及模块中包括的单元可以通过相应的计算机软件来实现。

图3为本实用新型实施例提供的一种成熟菠萝识别与定位***的实现步骤流程图；如图3所示，本实施例中采用计算机来实现图像处理设备的功能为例，详细说明采用本实用新型的技术方案实现对成熟菠萝的识别与定位过程。

步骤100、***的搭建；

具体地，将两个摄像头10分别设置在双目云台11的两侧，具体的两个摄像头10可以是对称的设置在双目云台11的两侧，双目云台11设置在三角架12上；图像处理设备13采用一台计算机实体来实现，计算机与两个摄像头10均有连接，以实现对成熟菠萝的是识别与定位。这里的摄像头10可以采用像素不高于130万的CMOS摄像头，市场价格在RMB 100元/个左右，有效地保证整个***的低成本，当在XP操作***下，本实施例的摄像头10不需安装驱动，即插即用，使用非常方便。

步骤101、摄像头的标定；

具体地，采用现有的标定方法，在图像采集窗口，对制作的棋盘格分别采用了基于C++和Opencv 1.1的自动标定方法和基于Matlab标定工具箱的两种方法进行了试验。发现基于C++和Opencv 1.1的自动标定方法对于CMOS摄像头拍摄的图像存在有一定的误差，而Matlab标定工具箱的标定效果则相对较好。因此，本实施例优选Matlab标定工具箱对两个摄像头进行标定，实现上述实施例标定模块的功能，通过该步骤标定后可以获得两个摄像头10的各个参数，以便于后续对成熟菠萝的定位。

步骤102、成熟菠萝图像的采集；

在XP***下，完成了基于Vc编程环境，调用Opencv库函数的双目图像采集，并在打开摄像头过程中，实现了摄像头参数的选择设置。

步骤103、成熟菠萝图像的预处理；

具体地，采用图像处理软件，对两个摄像头10采集到的菠萝图像进行中值滤波，腐蚀等预处理，以有效地去除图像中的噪声，实现预处理模块132的功能。

步骤104、成熟菠萝果实图像的分割；

具体地，这里采用图像处理软件实现分割处理模块133及其包括的四个单元的功能，以对成熟菠萝果实图像的分割提取，详细参考上述实施例，在此不再赘述。在提取到成熟菠萝果实图像后，需要对该果实图像计算并能标记形心，以便于后续对成熟菠萝果实的定位。

步骤105、共轭成熟菠萝果实图像的匹配；

上述步骤103和步骤104的具体处理都是针对其中一个摄像头采集到的图像，为了准确地对成熟菠萝图像的定位，需要对两个摄像头中表示采集到的同一个成熟菠萝果实图像进行共轭匹配；具体对共轭图像分别进行灰度的运算，实现了图像兴趣点的快速检测、良好的兴趣点周围区域的特征描述，然后根据这些特征，对两个摄像头采集到的成熟波罗果实图像进行快速匹配，实现共轭匹配模块134的功能。

步骤106、成熟菠萝果实图像的定位；

具体地，根据对两个摄像头采集到的成熟菠萝果实图像进行共轭匹配后，获取匹配的成熟菠萝果实图像的形心，然后运用三角测距原理，采用下面的公式，计算成熟菠萝果实形心的三维信息，即该成熟菠萝果实形心空间具体坐标x，y，z。

\{\begin{matrix} x = z X_{l} / f \\ y = z Y_{l} / f \\ z = \frac{f_{l} (f_{r} t_{x} - X_{r} t_{z})}{X_{r} (r_{7} X_{l} + r_{8} Y_{l} + f_{l} r_{9}) - f_{r} (r_{1} X_{l} + r_{2} Y_{l} + f_{l} r_{3})} \\ = \frac{f_{l} (f_{r} t_{y} - Y_{r} t_{z})}{X_{r} (r_{7} X_{l} + r_{8} Y_{l} + f_{l} r_{9}) - f_{r} (r_{4} X_{l} + r_{5} Y_{l} + f_{l} r_{6})} \end{matrix}

其中：x，y，z分别表示成熟菠萝果实形心的空间上的x方向的坐标值，y方向的坐标值，z方向的坐标值；

f，tx，ty，tz，r1，r2，r3，r4，r5，r6，r7，r8，r9分别为摄像头的内外参数，在进行标定的时候，均已经通过矩阵形式求出。

其中：f为两个摄像头的焦距，本实用新型实施例约定两摄像头的焦距近似相等，实际计算中可以取两者的平均值；

若以左摄像头为世界坐标系的原点，右摄像头相对于左摄像头有一个平移矩阵，其中tx，ty，tz，分别为x，y，z方向上的平移量；

若以左摄像头为世界坐标系的原点，右摄像头相对于左摄像头的旋转矩阵，为一个3×3矩阵，其中r1，r2，r3，r4，r5，r6，r7，r8，r9分别表示旋转矩阵中的9个数值；因为上述公式中的参数前述步骤均能够得到，根据上述公式便可以得到成熟菠萝果实的形心坐标，初步实现对成熟菠萝果实的定位，实现了定位模块135的功能。

步骤107、对定位得到的位置信息进行校正；

具体地，通常采用一个运用人工神经网络训练得到的一个预测关系进行校正，对计算得到的成熟菠萝果实的形心位位置坐标进行校正。所述预测关系是通过以下方式得到：针对多次通过三角测距原理获得的成熟菠萝果实形心坐标的计算值，分别现场测距获取相应的成熟菠萝果实形心坐标的实际值，然后通过人工神经网络进行训练，便得到一个用来校正误差的预测关系。这样，以后每得到一个成熟菠萝果实形心坐标的计算值，便可根据预测关系对该计算值进行校正，便可得到一个比较准确的成熟菠萝果实形心坐标的校正值，实现了校正模块136的功能。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

结合本申请中所公开的实施例描述的各示例的模块或单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本实用新型的范围。

最后应说明的是：以上实施例仅用以说明本实用新型的技术方案，而非对其限制；尽管参照前述实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本实用新型各实施例技术方案的精神和范围。

Claims

1.一种成熟菠萝识别与定位***，其特征在于，包括：

用于对成熟菠萝进行图像采集的两个摄像头，所述两个摄像头分别设置在双目云台两侧，所述双目云台设置在三角架上；

用于对所述两个摄像头采集到的成熟菠萝图像进行处理、以实现对所述成熟菠萝进行识别与定位的图像处理设备，所述图像处理设备与所述两个摄像头连接。

2.根据权利要求1所述的成熟菠萝识别与定位***，其特征在于，所述两个摄像头均采用互补金属氧化物半导体摄像头。

3.根据权利要求1或2所述的成熟菠萝识别与定位***，其特征在于，所述两个摄像头的像素不高于130万像素。

4.根据权利要求3所述的成熟菠萝识别与定位***，其特征在于，所述两个摄像头的像素相等。