CN104036492B - 一种基于斑点提取与邻近点向量法的水果图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于斑点提取与邻近点向量法的水果图像匹配方法。获取水果的左、右侧面图像：进行斑点提取，分别采用极值点检测法、Harris角点检测法、Canny边缘检测法得到左图斑点集和右图斑点集；对其中每一个点进行匹配判断，得到待选匹配点集；对待选匹配点集进行误匹配点剔除，筛选得到正确的匹配点集；完成水果图像的匹配。本发明通过斑点提取以及对斑点进行向量法判断使得水果图像匹配取得了优良的稳定性、精确性和实时性。

Description

一种基于斑点提取与邻近点向量法的水果图像匹配方法

技术领域

本发明涉及一种水果图像匹配方法，尤其是涉及图像处理技术领域的一种基于斑点提取与邻近点向量法的水果图像匹配方法。

背景技术

图像匹配是指通过一定的匹配方法在两幅或多幅图像之间识别同一个点。近年来，图像匹配己成为物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对等图像分析处理领域的关键技术和研究热点。

水果表面信息的获取是水果的大小、形状、表面颜色和表面缺陷等品质指标检测的基础。表面颜色和表面缺陷检测的准确度依赖于水果完整表面图像的获取，图像拼接技术是实现水果完整表面图像获取的关键，而图像匹配技术是图像拼接技术的基础。

SIFT(Scale Invariant Feature Transform)方法是David Lowe于1999年提出的局部特征描述子(David.G.Lowe.Object recognition from local scale-invariantfeatures.International Conference on Computer Vision,Corfu,Greece,1999:1150-1157)，并于2004年进行了更深入的发展和完善(David.G.Lowe.Distinctiveimage features from scale-invariant keypoints[J].International Journal of ComputerVision,2004,60(2):91-110)。提取的SIFT特征向量对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。

但是水果的在线检测与分级对方法要求较高，一方面，SIFT方法为提高匹配适应性造成了该方法的复杂性，因此计算量大、耗时长，原SIFT方法无法满足在线要求；另一方面，常用的误匹配点剔除方法RANSAC方法(Chum O,Matas J.Optimal randomized RANSAC[J].IEEE Trans.On Pattern Analysis andMachine Intelligence,2008,30(8):1472-1482)的基本假设是样本中包含正确数据(inliers，可以被模型描述的数据)，也包含异常数据(Outliers，偏离正常范围很远、无法适应数学模型的数据)，即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的，而水果编码颜色特征差异较小使得基于SIFT方法的水果图像匹配无法稳定地得到匹配点，一次匹配得到的匹配点数为0到多个，因此无法采用该类方法进行水果图像的误匹配点剔除。

发明内容

为了解决背景技术中存在的问题，本发明提出一种基于斑点提取与邻近点向量法的水果图像匹配方法。

本发明解决其技术问题所采用的技术方案是包括如下步骤：

1)获取水果侧面图像：

将水果放置在水果托盘上，使得水果的花萼果梗连线与水平面基本垂直，从水果侧面采集一幅左侧面图像，再以水果的花萼果梗连线为轴，旋转水果60°后再采集一幅右侧面图像；

2)进行斑点提取，得到左图斑点集和右图斑点集；

3)对步骤2)得到的左、右图斑点集的每一个点进行匹配判断，得到待选匹配点集；

4)对步骤3)得到的待选匹配点集中每一对待选匹配点进行误匹配点剔除，筛选得到正确的匹配点；

5)完成水果图像的匹配。

所述的步骤2)中进行斑点提取包括以下具体步骤：

2.1)极值点检测：

首先将左侧面图像和右侧面图像按以下公式(1)进行计算，得到初始高斯左图、初始高斯右图：

L(x，y，σ)＝G(x，y，σ)*I(x，y) (1)

其中，L(x，y，σ)为计算得到的初始高斯图像，I(x，y)为待计算的侧面图像，G(x，y，σ)的表达式为以下公式(2)：

$G(x,y,\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}---\left(2\right)$

其中，σ——尺度坐标，x、y分别为左侧面图像或者右侧面图像的横纵坐标；

然后将初始高斯左图、初始高斯右图放大一倍，得到第一层高斯左图和第一层高斯右图；再将第一层高斯左图和第一层高斯右图按上述公式(1)再计算，得到第二层高斯左图和第二层高斯右图；

最后将第二层高斯左图减去第一层高斯左图得到的图像得到高斯差分左图，将第二层高斯右图减去第一层高斯右图得到的图像得到高斯差分右图；

对于高斯差分左图和高斯差分右图中每一个像素点p，如果像素点p的灰度值均小于或均大于以像素点p为中心的3×3邻域中其余各个像素点的灰度值，则将像素点p标记为极值点；

对高斯差分左图和高斯差分右图的每一个像素点进行遍历，分别得到左图高斯差分极值点集和右图高斯差分极值点集；

2.2)Harris角点检测：

对步骤1)得到的左侧面图像和右侧面图像分别进行Harris角点检测，分别得到左图Harris角点集和右图Harris角点集；

2.3)Canny边缘检测：

将步骤1)得到的左侧面图像和右侧面图像分别进行Canny边缘检测，得到左图边缘图像和右图边缘图像，对左图边缘图像和右图边缘图像进行一次形态学膨胀运算，再对形态学膨胀运算后得到的图像作轮廓提取并填充所有轮廓，剔除其中面积大于100个像素点的轮廓后再做一次形态学腐蚀运算，然后再对形态学腐蚀运算后得到的图像作轮廓提取并将所有轮廓中心点坐标输出，分别得到左图轮廓中心点集和右图轮廓中心点集；

然后将左图高斯差分极值点集、左图Harris角点集和左图轮廓中心点集进行合并，对于坐标重复的点，保留其中一个并剔除其余坐标重复的点，得到左图斑点集；将右图高斯差分极值点集、右图Harris角点集和右图轮廓中心点集进行合并，对于坐标重复的点，保留其中一个并剔除其余坐标重复的点，得到右图斑点集。

所述的步骤3)中对左图斑点集的每一个点与右图斑点集的每一个点进行匹配判断包括以下具体步骤：

3.1)以左图斑点集中的待选点A为中心，选择70×70的矩形区域，搜索左图斑点集中处于该矩形区域内与待选点A距离最近的点，记为点B，并计算待选点A到点B的向量，记为

3.2)搜索右图斑点集中与待选点A纵坐标差在6个像素点以内的待选点A’，以待选点A’为中心，选择70×70的矩形区域，搜索右图斑点集中处于该矩形区域内与点B纵坐标差在6个像素点以内的点且与待选点A’最近的点，记为点B’，计算待选点A’到点B’的向量若找不到该点B’则舍弃待选点A与待选点A’作为一对匹配点，并结束对待选点A与待选点A’匹配判断的余下步骤；

3.3)搜索左图斑点集中处于以待选点A为中心的70×70矩形区域内与待选点A距离次近的点，记为点C，计算待选点A到点C的向量若找不到该点C则舍弃待选点A与待选点A’作为一对匹配点，并结束对待选点A与待选点A’匹配判断的余下步骤；

3.4)搜索右图斑点集中处于以待选点A’为中心的70×70矩形区域内与点C纵坐标差在6个像素点以内的点且与待选点A’最近的点，记为点C’，并计算待选点A’到点C’的向量若找不到该点C’则舍弃待选点A与待选点A’作为一对匹配点，并结束对待选点A与待选点A’匹配判断的余下步骤；

3.5)采用公式(3)分别计算向量与向量的夹角α和向量与向量的夹角β，采用公式(4)计算向量与向量的模值之差dis₁和向量与向量的模值之差dis₂：

$m\left(\stackrel{\→}{MN}\right)=\sqrt{a^2+b^2}---\left(4\right)$

其中，向量a,b分别为向量的横纵坐标，向量c,d分别为向量的横纵坐标；

若向量与向量的夹角α<15°且与向量的模值之差dis₁<8且向量与向量的夹角β<18°且向量与向量的模值之差dis₂<10，则将待选点A与待选点A’作为一对待选匹配点，并结束对待选点A与右图斑点集中剩余点的匹配判断，否则舍弃待选点A与待选点A’作为一对待选匹配点。

所述的步骤4)中进行误匹配点剔除具体采用以下步骤：

4.1)边缘点剔除：

待选匹配点集中某一对待选匹配点在左侧面图像和右侧面图像中分别为待选匹配点P和待选匹配点P’，并以待选匹配点P和待选匹配点P’为中心，分别选取20×20的矩形区域，若两个矩形区域内任何一个矩形区域内存在红、绿、蓝三分量值均大于200的像素点，则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点；

4.2)进行第一轮向量判断：

4.2.1)若上述得到待选匹配点集中匹配点的对数小于3，则直接进行步骤4.3)；

4.2.2)左侧面图像中，以待选匹配点P为中心，选择70×70的矩形区域，搜索该矩形区域内与点P距离最近的待选匹配点，记为待选匹配点Q，计算待选匹配点P到待选匹配点Q的向量

若找不到该待选匹配点Q则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点，并结束对待选匹配点P与待选匹配点P’的余下判断步骤；

4.2.3)与左侧面图像中待选匹配点Q对应的右侧面图像中待选匹配点为Q’，计算待选匹配点P’到待选匹配点Q’的向量

4.2.4)左侧面图像中，搜索以待选匹配点P为中心的70×70矩形区域内与待选匹配点P距离次近的待选匹配点，记为待选匹配点R，计算待选匹配点P到待选匹配点R的向量

若找不到该待选匹配点R则舍弃待选匹配点P和待选匹配点P’作为一对匹配点，并结束对待选匹配点P与待选匹配点P’的余下判断步骤；

4.2.5)与左侧面图像中待选匹配点R对应的右侧面图像中待选匹配点为R’，计算待选匹配点P’到待选匹配点R’的向量

4.2.6)采用公式(3)分别计算向量与向量的夹角ρ和向量与向量的夹角μ，采用公式(4)计算向量与向量的模值之差dis₃和向量与向量的模值之差dis₄；

4.2.7)若满足向量与向量的夹角ρ<15°且向量与向量的模值之差dis₃<8，或满足向量与向量的夹角μ<18°且向量与向量的模值之差dis₄<10，则继续进行下面步骤，否则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点；

4.3)第二轮向量判断；

对步骤4.2.7)得到的待选匹配点P和待选匹配点P’重复上述步骤4.2.1)～4.2.6)，再次得到向量与向量的夹角ρ、向量与向量的模值之差dis₃、向量与向量的夹角μ、向量与向量的模值之差dis₄，如果满足向量与向量的夹角ρ<15°且向量与向量的模值之差dis₃<8且向量与向量的夹角μ<18°且向量与向量的模值之差dis₄<10，该对待选匹配点P和待选匹配点P’为正确的匹配点，否则舍弃待选匹配点P和待选匹配点P’作为一对正确匹配点。

所述的水果为蛇果。

所述的左侧面图像和右侧面图像的分辨率均为0.146mm/pixel。

本发明的有益之处是：

本发明通过斑点提取以及对斑点进行向量法判断使得水果图像匹配获得了优良的稳定性、精确性和实时性。

附图说明

图1是本发明的匹配方法主要流程图。

图2是本发明实施例的两幅水果原始图像。

图3是本发明实施例的第一层高斯左图和第二层高斯左图。

图4是本发明实施例的高斯差分左图。

图5是本发明实施例基于高斯差分图像极值点检测得到的斑点坐标图。

图6是本发明实施例基于Harris角点检测得到的斑点坐标图。

图7是本发明实施例基于Canny边缘检测获取斑点坐标的步骤。

图8是本发明实施例基于Canny边缘检测得到的斑点坐标图。

图9是本发明实施例斑点匹配过程中最近点与次近点选取示意图。

图10是本发明实施例斑点匹配判断过程实现图。

图11是本发明实施例边缘点剔除示意图。

图12是本发明实施例误匹配点剔除过程实现图。

图13是本发明实施例获得的匹配点图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1所示，本发明方法包括如下步骤：

1)获取水果侧面图像：

将水果放置在水果托盘上，使得水果的花萼果梗连线与水平面基本垂直，从水果侧面采集一幅左侧面图像，再以水果的花萼果梗连线为轴，旋转水果60°后再采集一幅右侧面图像。

2)进行斑点提取，斑点提取包括以下三个方法，得到左图斑点集和右图斑点集：

2.1)极值点检测：

首先将左侧面图像和右侧面图像按以下公式(1)进行计算，得到初始高斯左图、初始高斯右图：

L(x，y，σ)＝G(x，y，σ)*I(x，y) (1)

其中，L(x，y，σ)为计算得到的初始高斯图像，I(x，y)为待计算的侧面图像，G(x，y，σ)的表达式为以下公式(2)：

$G(x,y,\mathrm{\&sigma;})=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\&sigma;}}^2}---\left(2\right)$

其中，σ——尺度坐标，x、y分别为左侧面图像或者右侧面图像的横纵坐标；

然后将初始高斯左图、初始高斯右图放大一倍，得到第一层高斯左图和第一层高斯右图；再将第一层高斯左图和第一层高斯右图按上述公式(1)再计算，得到第二层高斯左图和第二层高斯右图；

最后将第二层高斯左图减去第一层高斯左图得到的图像得到高斯差分左图，将第二层高斯右图减去第一层高斯右图得到的图像得到高斯差分右图；

对于高斯差分左图和高斯差分右图中每一个像素点p，如果像素点p的灰度值均小于或均大于以像素点p为中心的3×3邻域中其余各个像素点的灰度值，则将像素点p标记为极值点；

对高斯差分左图和高斯差分右图的每一个像素点进行遍历，分别得到左图高斯差分极值点集和右图高斯差分极值点集。

2.2)Harris角点检测：

对步骤1)得到的左侧面图像和右侧面图像分别进行Harris角点检测(ChrisHarris,Mike Stephens,A Combined Corner and Edge Detector,4th Alvey VisionConference,1988,pp147-151)，分别得到左图Harris角点集和右图Harris角点集。

2.3)Canny边缘检测：

将步骤1)得到的左侧面图像和右侧面图像分别进行Canny边缘检测(Canny,J.，A Computational Approach To Edge Detection,IEEE Trans.Pattern Analysisand Machine Intelligence,8:679-714,1986.)，得到左图边缘图像和右图边缘图像，对左图边缘图像和右图边缘图像再进行一次形态学膨胀运算(Rafael C.Gonzalez,Richard E.Woods,Digital Image Processing,Third Edition,2010,pp402-442)，再对形态学膨胀运算后得到的图像作轮廓提取并填充所有轮廓，剔除其中面积大于100个像素点的轮廓后再做一次形态学腐蚀运算(Rafael C.Gonzalez,Richard E.Woods,Digital Image Processing,Third Edition,2010,pp402-442)，然后再对形态学腐蚀运算后得到的图像作轮廓提取并将所有轮廓中心点坐标输出，分别得到左图轮廓中心点集和右图轮廓中心点集；

然后将左图高斯差分极值点集、左图Harris角点集和左图轮廓中心点集进行合并，对于坐标重复的点，保留其中一个并剔除其余坐标重复的点，得到左图斑点集；将右图高斯差分极值点集、右图Harris角点集和右图轮廓中心点集进行合并，对于坐标重复的点，保留其中一个并剔除其余坐标重复的点，得到右图斑点集。

3)进行斑点匹配，对步骤2)得到的左图斑点集的每一个点与右图斑点集的每一个点进行匹配判断包括以下具体步骤：

3.1)以左图斑点集中的待选点A为中心，选择70×70的矩形区域，搜索左图斑点集中处于该矩形区域内与待选点A距离最近的点，记为点B，并计算待选点A到点B的向量，记为

3.2)搜索右图斑点集中与待选点A纵坐标差在6个像素点以内的待选点A’，以待选点A’为中心，选择70×70的矩形区域，搜索右图斑点集中处于该矩形区域内与点B纵坐标差在6个像素点以内的点且与待选点A’最近的点，记为点B’，计算待选点A’到点B’的向量

若找不到该点B’则舍弃待选点A与待选点A’作为一对匹配点，并结束对点待选A与待选点A’匹配判断的余下步骤；

3.3)搜索左图斑点集中处于以待选点A为中心的70×70矩形区域内与待选点A距离次近的点，记为点C，计算待选点A到点C的向量若找不到该点C则舍弃待选点A与待选点A’作为一对匹配点，并结束对点A与点A’匹配判断的的余下步骤。

3.4)搜索右图斑点集中处于以待选点A’为中心的70×70矩形区域内与点C纵坐标差在6个像素点以内的点且与待选点A’最近的点，记为点C’，并计算待选点A’到点C’的向量若找不到该点C’则舍弃待选点A与待选点A’作为一对匹配点，并结束对待选点A与待选点A’匹配判断的余下步骤。

3.5)采用公式(3)分别计算向量与向量的夹角α和向量与向量的夹角β，采用公式(4)计算向量与向量的模值之差dis₁和向量与向量的模值之差dis₂：

$m\left(\stackrel{\&RightArrow;}{MN}\right)=\sqrt{a^2+b^2}---\left(4\right)$

其中向量a,b分别为向量的横纵坐标，向量c,d分别为向量的横纵坐标；代入时，向量向量分别为向量和向量

若向量与向量的夹角α<15°且与向量的模值之差dis₁<8且向量与向量的夹角β<18°且向量与向量的模值之差dis₂<10，则将待选点A与待选点A’作为一对待选匹配点，并结束对待选点A与右图斑点集中剩余点的匹配判断，否则舍弃待选点A与待选点A’作为一对待选匹配点。

4)误匹配点剔除，对步骤3)得到的待选匹配点集中每一对待选匹配点按以下步骤分别进行筛选，得到正确的匹配点：

4.1)边缘点剔除：

待选匹配点集中某一对待选匹配点在左侧面图像和右侧面图像中分别为待选匹配点P和待选匹配点P’，并以待选匹配点P和待选匹配点P’为中心，分别选取20×20的矩形区域，若两个矩形区域内任何一个矩形区域内存在红、绿、蓝三分量值均大于200的像素点，则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点。

4.2)进行第一轮向量判断：

4.2.1)若上述得到待选匹配点集中匹配点的对数小于3，则直接进行步骤4.3)；

4.2.2)左侧面图像中，以待选匹配点P为中心，选择70×70的矩形区域；

搜索该矩形区域内与点P距离最近的待选匹配点，记为待选匹配点Q，计算待选匹配点P到待选匹配点Q的向量

若找不到该待选匹配点Q则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点，并结束对待选匹配点P与待选匹配点P’的余下判断步骤；

4.2.3)与左侧面图像中待选匹配点Q对应的右侧面图像中待选匹配点为Q’，计算待选匹配点P’到待选匹配点Q’的向量

4.2.4)左侧面图像中，搜索以待选匹配点P为中心的70×70矩形区域内与待选匹配点P距离次近的待选匹配点，记为待选匹配点R，计算待选匹配点P到待选匹配点R的向量

若找不到该待选匹配点R则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点，并结束对待选匹配点P与待选匹配点P’的余下判断步骤；

4.2.5)与左侧面图像中待选匹配点R对应的右侧面图像中待选匹配点为R’，计算待选匹配点P’到待选匹配点R’的向量

4.2.6)采用公式(3)分别计算向量与向量的夹角ρ和向量与向量的夹角μ，采用公式(4)分别计算向量与向量的模值之差dis₃和向量与向量的模值之差dis₄；

代入时，公式(3)和公式(4)中的向量向量分别为向量和向量

4.2.7)若满足向量与向量的夹角ρ<15°且向量与向量的模值之差dis₃<8，或满足向量与向量的夹角μ<18°且向量与向量的模值之差dis₄<10，则继续进行下面步骤，否则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点；

4.3)第二轮向量判断；

对步骤4.2.7)得到的待选匹配点P和待选匹配点P’重复上述步骤4.2.1)～4.2.6)，再次得到向量与向量的夹角ρ、向量与向量的模值之差dis₃、向量与向量的夹角μ、向量与向量的模值之差dis₄，如果满足向量与向量的夹角ρ<15°且向量与向量的模值之差dis₃<8且向量与向量的夹角μ<18°且向量与向量的模值之差dis₄<10，该对待选匹配点P和待选匹配点P’为正确的匹配点，否则舍弃。

5)完成水果图像的匹配。

所述的水果为蛇果。

所述的左侧面图像和右侧面图像的分辨率均为0.146mm/pixel。

左侧面图像和右侧面图像获取时，可调节物距为970mm，调节相机的变焦镜头使得焦距为25mm，相机CCD尺寸为1/3英寸，使得采集到的图像分辨率为0.146mm/pixel。

本发明的实施例采用蛇果作为实验对象，具体为：

步骤(1)，原始图像获取得到的左侧面图像和右侧面图像如图2所示。

步骤(2)，斑点提取。

2.1)极值点检测。

生成4层的高斯图像。首先将左侧面图像和右侧面图像按公式(1)计算，此处取σ＝0.5，得到初始高斯左图、初始高斯右图，通过上采样将得到的初始高斯左图、初始高斯右图放大一倍，得到第一层高斯左图和第一层高斯右图；再将第一层高斯左图和第一层高斯右图按公式(1)计算，此时取σ＝1，得到第二层高斯左图和第二层高斯右图。得到的第一层高斯左图和第二层高斯左图分别如图3的左右两图所示。最后得到的高斯差分左图如图4所示。

然后标记极值点；对高斯差分左图和高斯差分右图进行遍历，分别得到左图高斯差分极值点集和右图高斯差分极值点集，左图高斯差分极值点集坐标如图5所示。

2.2)将左侧面图像和右侧面图像分别进行Harris角点检测，分别得到左图Harris角点集和右图Harris角点集，左图Harris角点集坐标如图6所示。

2.3)如图7所示，将左侧面图像和右侧面图像分别进行Canny边缘检测及其相关运算，分别得到左图轮廓中心点集和右图轮廓中心点集，左图轮廓中心点集坐标如图8所示。

然后进行点集合并，得到左图斑点集和右图斑点集。

步骤(3)，斑点匹配，如图9所示，对步骤(2)得到的左图斑点集和右图斑点集中每一个点进行匹配判断，其中判断过程的实现效果如图10所示。

步骤(4)，误匹配点剔除。对步骤(3)得到的待选匹配点集中每一对待选匹配点分别进行筛选：

4.1)边缘点剔除。如图11所示，记待选匹配点集中在左图和右图中的待选匹配点分别为P和P’，并以P和P’为中心，分别选取20×20的矩形区域，考察两个矩形区域内是否存在红、绿、蓝三分量值均大于200的点。图11的左图中，位于左下角的待选匹配点靠近水果边缘，其矩形区域内存在白色背景，该白色背景的红、绿、蓝三分量值均大于200，因此舍弃该对匹配点为正确的匹配点；

4.2)依次进行第一轮向量判断和第二轮向量判断。

步骤(5)，遍历待选匹配点集得到正确的匹配点集。

上述过程中待选匹配点判断过程的实现效果如图12所示，本发明方法最终得到的匹配点示意图如图13所示。

通过实验验证，结果显示，匹配成功率达到100％，误匹配点率为4.4％。对于图像分辨率为0.15mm/pixel的水果图像，整个匹配流程总用时为0.53秒。

由此本发明提出通过斑点提取以及对斑点进行向量法判断进行水果图像匹配，使得水果图像匹配获得了优良的稳定性、精确性和实时性。并且通过试验验证了本发明匹配点计算方法的可靠性。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (5)

1.一种基于斑点提取与邻近点向量法的水果图像匹配方法，其特征在于包括如下步骤：

1)获取水果侧面图像：

将水果放置在水果托盘上，使得水果的花萼果梗连线与水平面基本垂直，从水果侧面采集一幅左侧面图像，再以水果的花萼果梗连线为轴，旋转水果60°后再采集一幅右侧面图像；

2)进行斑点提取，得到左图斑点集和右图斑点集；

所述的步骤2)中进行斑点提取包括以下具体步骤：

2.1)极值点检测：

首先将左侧面图像和右侧面图像按以下公式(1)进行计算，得到初始高斯左图、初始高斯右图：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

其中，L(x,y,σ)为计算得到的初始高斯图像，I(x,y)为待计算的侧面图像，G(x,y,σ)的表达式为以下公式(2)：

$G(x,y,\mathrm{\&sigma;})=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\&sigma;}}^2}---\left(2\right)$

其中，σ——尺度坐标，x、y分别为左侧面图像或者右侧面图像的横纵坐标；

然后将初始高斯左图、初始高斯右图放大一倍，得到第一层高斯左图和第一层高斯右图；再将第一层高斯左图和第一层高斯右图按上述公式(1)再计算，得到第二层高斯左图和第二层高斯右图；

最后将第二层高斯左图减去第一层高斯左图得到的图像得到高斯差分左图，将第二层高斯右图减去第一层高斯右图得到的图像得到高斯差分右图；

对于高斯差分左图和高斯差分右图中每一个像素点p，如果像素点p的灰度值均小于或均大于以像素点p为中心的3×3邻域中其余各个像素点的灰度值，则将像素点p标记为极值点；

对高斯差分左图和高斯差分右图的每一个像素点进行遍历，分别得到左图高斯差分极值点集和右图高斯差分极值点集；

2.2)Harris角点检测：

对步骤1)得到的左侧面图像和右侧面图像分别进行Harris角点检测，分别得到左图Harris角点集和右图Harris角点集；

2.3)Canny边缘检测：

将步骤1)得到的左侧面图像和右侧面图像分别进行Canny边缘检测，得到左图边缘图像和右图边缘图像，对左图边缘图像和右图边缘图像进行一次形态学膨胀运算，再对形态学膨胀运算后得到的图像作轮廓提取并填充所有轮廓，剔除其中面积大于100个像素点的轮廓后再做一次形态学腐蚀运算，然后再对形态学腐蚀运算后得到的图像作轮廓提取并将所有轮廓中心点坐标输出，分别得到左图轮廓中心点集和右图轮廓中心点集；

然后将左图高斯差分极值点集、左图Harris角点集和左图轮廓中心点集进行合并，对于坐标重复的点，保留其中一个并剔除其余坐标重复的点，得到左图斑点集；将右图高斯差分极值点集、右图Harris角点集和右图轮廓中心点集进行合并，对于坐标重复的点，保留其中一个并剔除其余坐标重复的点，得到右图斑点集；

3)对步骤2)得到的左、右图斑点集的每一个点进行匹配判断，得到待选匹配点集；

4)对步骤3)得到的待选匹配点集中每一对待选匹配点进行误匹配点剔除，筛选得到正确的匹配点；

5)完成水果图像的匹配。

2.根据权利要求1所述的一种基于斑点提取与邻近点向量法的水果图像匹配方法，其特征在于：所述的步骤3)中对左图斑点集的每一个点与右图斑点集的每一个点进行匹配判断包括以下具体步骤：

3.1)以左图斑点集中的待选点A为中心，选择70×70的矩形区域，搜索左图斑点集中处于该矩形区域内与待选点A距离最近的点，记为点B，并计算待选点A到点B的向量，记为

3.2)搜索右图斑点集中与待选点A纵坐标差在6个像素点以内的待选点A’，以待选点A’为中心，选择70×70的矩形区域，搜索右图斑点集中处于该矩形区域内与点B纵坐标差在6个像素点以内的点且与待选点A’最近的点，记为点B’，计算待选点A’到点B’的向量若找不到该点B’则舍弃待选点A与待选点A’作为一对匹配点，并结束对待选点A与待选点A’匹配判断的余下步骤；

3.3)搜索左图斑点集中处于以待选点A为中心的70×70矩形区域内与待选点A距离次近的点，记为点C，计算待选点A到点C的向量若找不到该点C则舍弃待选点A与待选点A’作为一对匹配点，并结束对待选点A与待选点A’匹配判断的余下步骤；

3.4)搜索右图斑点集中处于以待选点A’为中心的70×70矩形区域内与点C纵坐标差在6个像素点以内的点且与待选点A’最近的点，记为点C’，并计算待选点A’到点C’的向量若找不到该点C’则舍弃待选点A与待选点A’作为一对匹配点，并结束对待选点A与待选点A’匹配判断的余下步骤；

3.5)采用公式(3)分别计算向量与向量的夹角α和向量与向量的夹角β，采用公式(4)计算向量与向量的模值之差dis₁和向量与向量的模值之差dis₂：

$\mathrm{\&theta;}(\stackrel{\&RightArrow;}{MN},\stackrel{\&RightArrow;}{MN})=arccos\left(\frac{ac+bd}{\sqrt{(a^2+b^2)*(c^2+d^2)}}\right)\left(3\right)$

$m\left(\stackrel{\&RightArrow;}{MN}\right)=\sqrt{a^2+b^2}---\left(4\right)$

其中，向量a,b分别为向量的横纵坐标，向量c,d分别为向量的横纵坐标；

若向量与向量的夹角α<15°且与向量的模值之差dis₁<8且向量与向量的夹角β<18°且向量与向量的模值之差dis₂<10，则将待选点A与待选点A’作为一对待选匹配点，并结束对待选点A与右图斑点集中剩余点的匹配判断，否则舍弃待选点A与待选点A’作为一对待选匹配点。

3.根据权利要求1所述的一种基于斑点提取与邻近点向量法的水果图像匹配方法，其特征在于：所述的步骤4)中进行误匹配点剔除具体采用以下步骤：

4.1)边缘点剔除：

待选匹配点集中某一对待选匹配点在左侧面图像和右侧面图像中分别为待选匹配点P和待选匹配点P’，并以待选匹配点P和待选匹配点P’为中心，分别选取20×20的矩形区域，若两个矩形区域内任何一个矩形区域内存在红、绿、蓝三分量值均大于200的像素点，则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点；

4.2)进行第一轮向量判断：

4.2.1)若上述得到待选匹配点集中匹配点的对数小于3，则直接进行步骤4.3)；

4.2.2)左侧面图像中，以待选匹配点P为中心，选择70×70的矩形区域，搜索该70×70的矩形区域内与点P距离最近的待选匹配点，记为待选匹配点Q，计算待选匹配点P到待选匹配点Q的向量

若找不到该待选匹配点Q则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点，并结束对待选匹配点P与待选匹配点P’的余下判断步骤；

4.2.3)与左侧面图像中待选匹配点Q对应的右侧面图像中待选匹配点为Q’，计算待选匹配点P’到待选匹配点Q’的向量

4.2.4)左侧面图像中，搜索以待选匹配点P为中心的70×70矩形区域内与待选匹配点P距离次近的待选匹配点，记为待选匹配点R，计算待选匹配点P到待选匹配点R的向量

若找不到该待选匹配点R则舍弃待选匹配点P和待选匹配点P’作为一对匹配点，并结束对待选匹配点P与待选匹配点P’的余下判断步骤；

4.2.5)与左侧面图像中待选匹配点R对应的右侧面图像中待选匹配点为R’，计算待选匹配点P’到待选匹配点R’的向量

4.2.6)采用公式(3)分别计算向量与向量的夹角ρ和向量与向量的夹角μ，采用公式(4)计算向量与向量的模值之差dis₃和向量与向量的模值之差dis₄；

4.2.7)若满足向量与向量的夹角ρ<15°且向量与向量的模值之差dis₃<8，或满足向量与向量的夹角μ<18°且向量与向量的模值之差dis₄<10，则继续进行下面步骤，否则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点；

4.3)第二轮向量判断；

对步骤4.2.7)得到的待选匹配点P和待选匹配点P’重复上述步骤4.2.1)～4.2.6)，再次得到向量与向量的夹角ρ、向量与向量的模值之差dis₃、向量与向量的夹角μ、向量与向量的模值之差dis₄，如果满足向量与向量的夹角ρ<15°且向量与向量的模值之差dis₃<8且向量与向量的夹角μ<18°且向量与向量的模值之差dis₄<10，该对待选匹配点P和待选匹配点P’为正确的匹配点，否则舍弃待选匹配点P和待选匹配点P’作为一对正确匹配点。

4.根据权利要求1所述的一种基于斑点提取与邻近点向量法的水果图像匹配方法，其特征在于：所述的水果为蛇果。

5.根据权利要求1所述的一种基于斑点提取与邻近点向量法的水果图像匹配方法，其特征在于：所述的左侧面图像和右侧面图像的分辨率均为0.146mm/pixel。