CN104036492B - 一种基于斑点提取与邻近点向量法的水果图像匹配方法 - Google Patents
一种基于斑点提取与邻近点向量法的水果图像匹配方法 Download PDFInfo
- Publication number
- CN104036492B CN104036492B CN201410215892.7A CN201410215892A CN104036492B CN 104036492 B CN104036492 B CN 104036492B CN 201410215892 A CN201410215892 A CN 201410215892A CN 104036492 B CN104036492 B CN 104036492B
- Authority
- CN
- China
- Prior art keywords
- point
- vector
- match point
- reconnaissance
- match
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000008569 process Effects 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000008878 coupling Effects 0.000 claims abstract description 20
- 238000010168 coupling process Methods 0.000 claims abstract description 20
- 238000005859 coupling reaction Methods 0.000 claims abstract description 20
- 238000012216 screening Methods 0.000 claims abstract description 3
- 239000000284 extract Substances 0.000 claims description 10
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 241001164374 Calyx Species 0.000 claims description 6
- 230000010339 dilation Effects 0.000 claims description 6
- 230000003628 erosive effect Effects 0.000 claims description 6
- 239000012141 concentrate Substances 0.000 claims description 5
- 235000006596 Salacca edulis Nutrition 0.000 claims description 4
- 244000208345 Salacca edulis Species 0.000 claims description 4
- 238000013459 approach Methods 0.000 abstract description 3
- 238000003708 edge detection Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于斑点提取与邻近点向量法的水果图像匹配方法。获取水果的左、右侧面图像:进行斑点提取,分别采用极值点检测法、Harris角点检测法、Canny边缘检测法得到左图斑点集和右图斑点集;对其中每一个点进行匹配判断,得到待选匹配点集;对待选匹配点集进行误匹配点剔除,筛选得到正确的匹配点集;完成水果图像的匹配。本发明通过斑点提取以及对斑点进行向量法判断使得水果图像匹配取得了优良的稳定性、精确性和实时性。
Description
技术领域
本发明涉及一种水果图像匹配方法,尤其是涉及图像处理技术领域的一种基于斑点提取与邻近点向量法的水果图像匹配方法。
背景技术
图像匹配是指通过一定的匹配方法在两幅或多幅图像之间识别同一个点。近年来,图像匹配己成为物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对等图像分析处理领域的关键技术和研究热点。
水果表面信息的获取是水果的大小、形状、表面颜色和表面缺陷等品质指标检测的基础。表面颜色和表面缺陷检测的准确度依赖于水果完整表面图像的获取,图像拼接技术是实现水果完整表面图像获取的关键,而图像匹配技术是图像拼接技术的基础。
SIFT(Scale Invariant Feature Transform)方法是David Lowe于1999年提出的局部特征描述子(David.G.Lowe.Object recognition from local scale-invariantfeatures.International Conference on Computer Vision,Corfu,Greece,1999:1150-1157),并于2004年进行了更深入的发展和完善(David.G.Lowe.Distinctiveimage features from scale-invariant keypoints[J].International Journal of ComputerVision,2004,60(2):91-110)。提取的SIFT特征向量对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性。
但是水果的在线检测与分级对方法要求较高,一方面,SIFT方法为提高匹配适应性造成了该方法的复杂性,因此计算量大、耗时长,原SIFT方法无法满足在线要求;另一方面,常用的误匹配点剔除方法RANSAC方法(Chum O,Matas J.Optimal randomized RANSAC[J].IEEE Trans.On Pattern Analysis andMachine Intelligence,2008,30(8):1472-1482)的基本假设是样本中包含正确数据(inliers,可以被模型描述的数据),也包含异常数据(Outliers,偏离正常范围很远、无法适应数学模型的数据),即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的,而水果编码颜色特征差异较小使得基于SIFT方法的水果图像匹配无法稳定地得到匹配点,一次匹配得到的匹配点数为0到多个,因此无法采用该类方法进行水果图像的误匹配点剔除。
发明内容
为了解决背景技术中存在的问题,本发明提出一种基于斑点提取与邻近点向量法的水果图像匹配方法。
本发明解决其技术问题所采用的技术方案是包括如下步骤:
1)获取水果侧面图像:
将水果放置在水果托盘上,使得水果的花萼果梗连线与水平面基本垂直,从水果侧面采集一幅左侧面图像,再以水果的花萼果梗连线为轴,旋转水果60°后再采集一幅右侧面图像;
2)进行斑点提取,得到左图斑点集和右图斑点集;
3)对步骤2)得到的左、右图斑点集的每一个点进行匹配判断,得到待选匹配点集;
4)对步骤3)得到的待选匹配点集中每一对待选匹配点进行误匹配点剔除,筛选得到正确的匹配点;
5)完成水果图像的匹配。
所述的步骤2)中进行斑点提取包括以下具体步骤:
2.1)极值点检测:
首先将左侧面图像和右侧面图像按以下公式(1)进行计算,得到初始高斯左图、初始高斯右图:
L(x,y,σ)=G(x,y,σ)*I(x,y) (1)
其中,L(x,y,σ)为计算得到的初始高斯图像,I(x,y)为待计算的侧面图像,G(x,y,σ)的表达式为以下公式(2):
其中,σ——尺度坐标,x、y分别为左侧面图像或者右侧面图像的横纵坐标;
然后将初始高斯左图、初始高斯右图放大一倍,得到第一层高斯左图和第一层高斯右图;再将第一层高斯左图和第一层高斯右图按上述公式(1)再计算,得到第二层高斯左图和第二层高斯右图;
最后将第二层高斯左图减去第一层高斯左图得到的图像得到高斯差分左图,将第二层高斯右图减去第一层高斯右图得到的图像得到高斯差分右图;
对于高斯差分左图和高斯差分右图中每一个像素点p,如果像素点p的灰度值均小于或均大于以像素点p为中心的3×3邻域中其余各个像素点的灰度值,则将像素点p标记为极值点;
对高斯差分左图和高斯差分右图的每一个像素点进行遍历,分别得到左图高斯差分极值点集和右图高斯差分极值点集;
2.2)Harris角点检测:
对步骤1)得到的左侧面图像和右侧面图像分别进行Harris角点检测,分别得到左图Harris角点集和右图Harris角点集;
2.3)Canny边缘检测:
将步骤1)得到的左侧面图像和右侧面图像分别进行Canny边缘检测,得到左图边缘图像和右图边缘图像,对左图边缘图像和右图边缘图像进行一次形态学膨胀运算,再对形态学膨胀运算后得到的图像作轮廓提取并填充所有轮廓,剔除其中面积大于100个像素点的轮廓后再做一次形态学腐蚀运算,然后再对形态学腐蚀运算后得到的图像作轮廓提取并将所有轮廓中心点坐标输出,分别得到左图轮廓中心点集和右图轮廓中心点集;
然后将左图高斯差分极值点集、左图Harris角点集和左图轮廓中心点集进行合并,对于坐标重复的点,保留其中一个并剔除其余坐标重复的点,得到左图斑点集;将右图高斯差分极值点集、右图Harris角点集和右图轮廓中心点集进行合并,对于坐标重复的点,保留其中一个并剔除其余坐标重复的点,得到右图斑点集。
所述的步骤3)中对左图斑点集的每一个点与右图斑点集的每一个点进行匹配判断包括以下具体步骤:
3.1)以左图斑点集中的待选点A为中心,选择70×70的矩形区域,搜索左图斑点集中处于该矩形区域内与待选点A距离最近的点,记为点B,并计算待选点A到点B的向量,记为
3.2)搜索右图斑点集中与待选点A纵坐标差在6个像素点以内的待选点A’,以待选点A’为中心,选择70×70的矩形区域,搜索右图斑点集中处于该矩形区域内与点B纵坐标差在6个像素点以内的点且与待选点A’最近的点,记为点B’,计算待选点A’到点B’的向量若找不到该点B’则舍弃待选点A与待选点A’作为一对匹配点,并结束对待选点A与待选点A’匹配判断的余下步骤;
3.3)搜索左图斑点集中处于以待选点A为中心的70×70矩形区域内与待选点A距离次近的点,记为点C,计算待选点A到点C的向量若找不到该点C则舍弃待选点A与待选点A’作为一对匹配点,并结束对待选点A与待选点A’匹配判断的余下步骤;
3.4)搜索右图斑点集中处于以待选点A’为中心的70×70矩形区域内与点C纵坐标差在6个像素点以内的点且与待选点A’最近的点,记为点C’,并计算待选点A’到点C’的向量若找不到该点C’则舍弃待选点A与待选点A’作为一对匹配点,并结束对待选点A与待选点A’匹配判断的余下步骤;
3.5)采用公式(3)分别计算向量与向量的夹角α和向量与向量的夹角β,采用公式(4)计算向量与向量的模值之差dis1和向量与向量的模值之差dis2:
其中,向量a,b分别为向量的横纵坐标,向量c,d分别为向量的横纵坐标;
若向量与向量的夹角α<15°且与向量的模值之差dis1<8且向量与向量的夹角β<18°且向量与向量的模值之差dis2<10,则将待选点A与待选点A’作为一对待选匹配点,并结束对待选点A与右图斑点集中剩余点的匹配判断,否则舍弃待选点A与待选点A’作为一对待选匹配点。
所述的步骤4)中进行误匹配点剔除具体采用以下步骤:
4.1)边缘点剔除:
待选匹配点集中某一对待选匹配点在左侧面图像和右侧面图像中分别为待选匹配点P和待选匹配点P’,并以待选匹配点P和待选匹配点P’为中心,分别选取20×20的矩形区域,若两个矩形区域内任何一个矩形区域内存在红、绿、蓝三分量值均大于200的像素点,则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点;
4.2)进行第一轮向量判断:
4.2.1)若上述得到待选匹配点集中匹配点的对数小于3,则直接进行步骤4.3);
4.2.2)左侧面图像中,以待选匹配点P为中心,选择70×70的矩形区域,搜索该矩形区域内与点P距离最近的待选匹配点,记为待选匹配点Q,计算待选匹配点P到待选匹配点Q的向量
若找不到该待选匹配点Q则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点,并结束对待选匹配点P与待选匹配点P’的余下判断步骤;
4.2.3)与左侧面图像中待选匹配点Q对应的右侧面图像中待选匹配点为Q’,计算待选匹配点P’到待选匹配点Q’的向量
4.2.4)左侧面图像中,搜索以待选匹配点P为中心的70×70矩形区域内与待选匹配点P距离次近的待选匹配点,记为待选匹配点R,计算待选匹配点P到待选匹配点R的向量
若找不到该待选匹配点R则舍弃待选匹配点P和待选匹配点P’作为一对匹配点,并结束对待选匹配点P与待选匹配点P’的余下判断步骤;
4.2.5)与左侧面图像中待选匹配点R对应的右侧面图像中待选匹配点为R’,计算待选匹配点P’到待选匹配点R’的向量
4.2.6)采用公式(3)分别计算向量与向量的夹角ρ和向量与向量的夹角μ,采用公式(4)计算向量与向量的模值之差dis3和向量与向量的模值之差dis4;
4.2.7)若满足向量与向量的夹角ρ<15°且向量与向量的模值之差dis3<8,或满足向量与向量的夹角μ<18°且向量与向量的模值之差dis4<10,则继续进行下面步骤,否则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点;
4.3)第二轮向量判断;
对步骤4.2.7)得到的待选匹配点P和待选匹配点P’重复上述步骤4.2.1)~4.2.6),再次得到向量与向量的夹角ρ、向量与向量的模值之差dis3、向量与向量的夹角μ、向量与向量的模值之差dis4,如果满足向量与向量的夹角ρ<15°且向量与向量的模值之差dis3<8且向量与向量的夹角μ<18°且向量与向量的模值之差dis4<10,该对待选匹配点P和待选匹配点P’为正确的匹配点,否则舍弃待选匹配点P和待选匹配点P’作为一对正确匹配点。
所述的水果为蛇果。
所述的左侧面图像和右侧面图像的分辨率均为0.146mm/pixel。
本发明的有益之处是:
本发明通过斑点提取以及对斑点进行向量法判断使得水果图像匹配获得了优良的稳定性、精确性和实时性。
附图说明
图1是本发明的匹配方法主要流程图。
图2是本发明实施例的两幅水果原始图像。
图3是本发明实施例的第一层高斯左图和第二层高斯左图。
图4是本发明实施例的高斯差分左图。
图5是本发明实施例基于高斯差分图像极值点检测得到的斑点坐标图。
图6是本发明实施例基于Harris角点检测得到的斑点坐标图。
图7是本发明实施例基于Canny边缘检测获取斑点坐标的步骤。
图8是本发明实施例基于Canny边缘检测得到的斑点坐标图。
图9是本发明实施例斑点匹配过程中最近点与次近点选取示意图。
图10是本发明实施例斑点匹配判断过程实现图。
图11是本发明实施例边缘点剔除示意图。
图12是本发明实施例误匹配点剔除过程实现图。
图13是本发明实施例获得的匹配点图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
如图1所示,本发明方法包括如下步骤:
1)获取水果侧面图像:
将水果放置在水果托盘上,使得水果的花萼果梗连线与水平面基本垂直,从水果侧面采集一幅左侧面图像,再以水果的花萼果梗连线为轴,旋转水果60°后再采集一幅右侧面图像。
2)进行斑点提取,斑点提取包括以下三个方法,得到左图斑点集和右图斑点集:
2.1)极值点检测:
首先将左侧面图像和右侧面图像按以下公式(1)进行计算,得到初始高斯左图、初始高斯右图:
L(x,y,σ)=G(x,y,σ)*I(x,y) (1)
其中,L(x,y,σ)为计算得到的初始高斯图像,I(x,y)为待计算的侧面图像,G(x,y,σ)的表达式为以下公式(2):
其中,σ——尺度坐标,x、y分别为左侧面图像或者右侧面图像的横纵坐标;
然后将初始高斯左图、初始高斯右图放大一倍,得到第一层高斯左图和第一层高斯右图;再将第一层高斯左图和第一层高斯右图按上述公式(1)再计算,得到第二层高斯左图和第二层高斯右图;
最后将第二层高斯左图减去第一层高斯左图得到的图像得到高斯差分左图,将第二层高斯右图减去第一层高斯右图得到的图像得到高斯差分右图;
对于高斯差分左图和高斯差分右图中每一个像素点p,如果像素点p的灰度值均小于或均大于以像素点p为中心的3×3邻域中其余各个像素点的灰度值,则将像素点p标记为极值点;
对高斯差分左图和高斯差分右图的每一个像素点进行遍历,分别得到左图高斯差分极值点集和右图高斯差分极值点集。
2.2)Harris角点检测:
对步骤1)得到的左侧面图像和右侧面图像分别进行Harris角点检测(ChrisHarris,Mike Stephens,A Combined Corner and Edge Detector,4th Alvey VisionConference,1988,pp147-151),分别得到左图Harris角点集和右图Harris角点集。
2.3)Canny边缘检测:
将步骤1)得到的左侧面图像和右侧面图像分别进行Canny边缘检测(Canny,J.,A Computational Approach To Edge Detection,IEEE Trans.Pattern Analysisand Machine Intelligence,8:679-714,1986.),得到左图边缘图像和右图边缘图像,对左图边缘图像和右图边缘图像再进行一次形态学膨胀运算(Rafael C.Gonzalez,Richard E.Woods,Digital Image Processing,Third Edition,2010,pp402-442),再对形态学膨胀运算后得到的图像作轮廓提取并填充所有轮廓,剔除其中面积大于100个像素点的轮廓后再做一次形态学腐蚀运算(Rafael C.Gonzalez,Richard E.Woods,Digital Image Processing,Third Edition,2010,pp402-442),然后再对形态学腐蚀运算后得到的图像作轮廓提取并将所有轮廓中心点坐标输出,分别得到左图轮廓中心点集和右图轮廓中心点集;
然后将左图高斯差分极值点集、左图Harris角点集和左图轮廓中心点集进行合并,对于坐标重复的点,保留其中一个并剔除其余坐标重复的点,得到左图斑点集;将右图高斯差分极值点集、右图Harris角点集和右图轮廓中心点集进行合并,对于坐标重复的点,保留其中一个并剔除其余坐标重复的点,得到右图斑点集。
3)进行斑点匹配,对步骤2)得到的左图斑点集的每一个点与右图斑点集的每一个点进行匹配判断包括以下具体步骤:
3.1)以左图斑点集中的待选点A为中心,选择70×70的矩形区域,搜索左图斑点集中处于该矩形区域内与待选点A距离最近的点,记为点B,并计算待选点A到点B的向量,记为
3.2)搜索右图斑点集中与待选点A纵坐标差在6个像素点以内的待选点A’,以待选点A’为中心,选择70×70的矩形区域,搜索右图斑点集中处于该矩形区域内与点B纵坐标差在6个像素点以内的点且与待选点A’最近的点,记为点B’,计算待选点A’到点B’的向量
若找不到该点B’则舍弃待选点A与待选点A’作为一对匹配点,并结束对点待选A与待选点A’匹配判断的余下步骤;
3.3)搜索左图斑点集中处于以待选点A为中心的70×70矩形区域内与待选点A距离次近的点,记为点C,计算待选点A到点C的向量若找不到该点C则舍弃待选点A与待选点A’作为一对匹配点,并结束对点A与点A’匹配判断的的余下步骤。
3.4)搜索右图斑点集中处于以待选点A’为中心的70×70矩形区域内与点C纵坐标差在6个像素点以内的点且与待选点A’最近的点,记为点C’,并计算待选点A’到点C’的向量若找不到该点C’则舍弃待选点A与待选点A’作为一对匹配点,并结束对待选点A与待选点A’匹配判断的余下步骤。
3.5)采用公式(3)分别计算向量与向量的夹角α和向量与向量的夹角β,采用公式(4)计算向量与向量的模值之差dis1和向量与向量的模值之差dis2:
其中向量a,b分别为向量的横纵坐标,向量c,d分别为向量的横纵坐标;代入时,向量向量分别为向量和向量
若向量与向量的夹角α<15°且与向量的模值之差dis1<8且向量与向量的夹角β<18°且向量与向量的模值之差dis2<10,则将待选点A与待选点A’作为一对待选匹配点,并结束对待选点A与右图斑点集中剩余点的匹配判断,否则舍弃待选点A与待选点A’作为一对待选匹配点。
4)误匹配点剔除,对步骤3)得到的待选匹配点集中每一对待选匹配点按以下步骤分别进行筛选,得到正确的匹配点:
4.1)边缘点剔除:
待选匹配点集中某一对待选匹配点在左侧面图像和右侧面图像中分别为待选匹配点P和待选匹配点P’,并以待选匹配点P和待选匹配点P’为中心,分别选取20×20的矩形区域,若两个矩形区域内任何一个矩形区域内存在红、绿、蓝三分量值均大于200的像素点,则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点。
4.2)进行第一轮向量判断:
4.2.1)若上述得到待选匹配点集中匹配点的对数小于3,则直接进行步骤4.3);
4.2.2)左侧面图像中,以待选匹配点P为中心,选择70×70的矩形区域;
搜索该矩形区域内与点P距离最近的待选匹配点,记为待选匹配点Q,计算待选匹配点P到待选匹配点Q的向量
若找不到该待选匹配点Q则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点,并结束对待选匹配点P与待选匹配点P’的余下判断步骤;
4.2.3)与左侧面图像中待选匹配点Q对应的右侧面图像中待选匹配点为Q’,计算待选匹配点P’到待选匹配点Q’的向量
4.2.4)左侧面图像中,搜索以待选匹配点P为中心的70×70矩形区域内与待选匹配点P距离次近的待选匹配点,记为待选匹配点R,计算待选匹配点P到待选匹配点R的向量
若找不到该待选匹配点R则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点,并结束对待选匹配点P与待选匹配点P’的余下判断步骤;
4.2.5)与左侧面图像中待选匹配点R对应的右侧面图像中待选匹配点为R’,计算待选匹配点P’到待选匹配点R’的向量
4.2.6)采用公式(3)分别计算向量与向量的夹角ρ和向量与向量的夹角μ,采用公式(4)分别计算向量与向量的模值之差dis3和向量与向量的模值之差dis4;
代入时,公式(3)和公式(4)中的向量向量分别为向量和向量
4.2.7)若满足向量与向量的夹角ρ<15°且向量与向量的模值之差dis3<8,或满足向量与向量的夹角μ<18°且向量与向量的模值之差dis4<10,则继续进行下面步骤,否则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点;
4.3)第二轮向量判断;
对步骤4.2.7)得到的待选匹配点P和待选匹配点P’重复上述步骤4.2.1)~4.2.6),再次得到向量与向量的夹角ρ、向量与向量的模值之差dis3、向量与向量的夹角μ、向量与向量的模值之差dis4,如果满足向量与向量的夹角ρ<15°且向量与向量的模值之差dis3<8且向量与向量的夹角μ<18°且向量与向量的模值之差dis4<10,该对待选匹配点P和待选匹配点P’为正确的匹配点,否则舍弃。
5)完成水果图像的匹配。
所述的水果为蛇果。
所述的左侧面图像和右侧面图像的分辨率均为0.146mm/pixel。
左侧面图像和右侧面图像获取时,可调节物距为970mm,调节相机的变焦镜头使得焦距为25mm,相机CCD尺寸为1/3英寸,使得采集到的图像分辨率为0.146mm/pixel。
本发明的实施例采用蛇果作为实验对象,具体为:
步骤(1),原始图像获取得到的左侧面图像和右侧面图像如图2所示。
步骤(2),斑点提取。
2.1)极值点检测。
生成4层的高斯图像。首先将左侧面图像和右侧面图像按公式(1)计算,此处取σ=0.5,得到初始高斯左图、初始高斯右图,通过上采样将得到的初始高斯左图、初始高斯右图放大一倍,得到第一层高斯左图和第一层高斯右图;再将第一层高斯左图和第一层高斯右图按公式(1)计算,此时取σ=1,得到第二层高斯左图和第二层高斯右图。得到的第一层高斯左图和第二层高斯左图分别如图3的左右两图所示。最后得到的高斯差分左图如图4所示。
然后标记极值点;对高斯差分左图和高斯差分右图进行遍历,分别得到左图高斯差分极值点集和右图高斯差分极值点集,左图高斯差分极值点集坐标如图5所示。
2.2)将左侧面图像和右侧面图像分别进行Harris角点检测,分别得到左图Harris角点集和右图Harris角点集,左图Harris角点集坐标如图6所示。
2.3)如图7所示,将左侧面图像和右侧面图像分别进行Canny边缘检测及其相关运算,分别得到左图轮廓中心点集和右图轮廓中心点集,左图轮廓中心点集坐标如图8所示。
然后进行点集合并,得到左图斑点集和右图斑点集。
步骤(3),斑点匹配,如图9所示,对步骤(2)得到的左图斑点集和右图斑点集中每一个点进行匹配判断,其中判断过程的实现效果如图10所示。
步骤(4),误匹配点剔除。对步骤(3)得到的待选匹配点集中每一对待选匹配点分别进行筛选:
4.1)边缘点剔除。如图11所示,记待选匹配点集中在左图和右图中的待选匹配点分别为P和P’,并以P和P’为中心,分别选取20×20的矩形区域,考察两个矩形区域内是否存在红、绿、蓝三分量值均大于200的点。图11的左图中,位于左下角的待选匹配点靠近水果边缘,其矩形区域内存在白色背景,该白色背景的红、绿、蓝三分量值均大于200,因此舍弃该对匹配点为正确的匹配点;
4.2)依次进行第一轮向量判断和第二轮向量判断。
步骤(5),遍历待选匹配点集得到正确的匹配点集。
上述过程中待选匹配点判断过程的实现效果如图12所示,本发明方法最终得到的匹配点示意图如图13所示。
通过实验验证,结果显示,匹配成功率达到100%,误匹配点率为4.4%。对于图像分辨率为0.15mm/pixel的水果图像,整个匹配流程总用时为0.53秒。
由此本发明提出通过斑点提取以及对斑点进行向量法判断进行水果图像匹配,使得水果图像匹配获得了优良的稳定性、精确性和实时性。并且通过试验验证了本发明匹配点计算方法的可靠性。
上述具体实施方式用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明作出的任何修改和改变,都落入本发明的保护范围。
Claims (5)
1.一种基于斑点提取与邻近点向量法的水果图像匹配方法,其特征在于包括如下步骤:
1)获取水果侧面图像:
将水果放置在水果托盘上,使得水果的花萼果梗连线与水平面基本垂直,从水果侧面采集一幅左侧面图像,再以水果的花萼果梗连线为轴,旋转水果60°后再采集一幅右侧面图像;
2)进行斑点提取,得到左图斑点集和右图斑点集;
所述的步骤2)中进行斑点提取包括以下具体步骤:
2.1)极值点检测:
首先将左侧面图像和右侧面图像按以下公式(1)进行计算,得到初始高斯左图、初始高斯右图:
L(x,y,σ)=G(x,y,σ)*I(x,y) (1)
其中,L(x,y,σ)为计算得到的初始高斯图像,I(x,y)为待计算的侧面图像,G(x,y,σ)的表达式为以下公式(2):
其中,σ——尺度坐标,x、y分别为左侧面图像或者右侧面图像的横纵坐标;
然后将初始高斯左图、初始高斯右图放大一倍,得到第一层高斯左图和第一层高斯右图;再将第一层高斯左图和第一层高斯右图按上述公式(1)再计算,得到第二层高斯左图和第二层高斯右图;
最后将第二层高斯左图减去第一层高斯左图得到的图像得到高斯差分左图,将第二层高斯右图减去第一层高斯右图得到的图像得到高斯差分右图;
对于高斯差分左图和高斯差分右图中每一个像素点p,如果像素点p的灰度值均小于或均大于以像素点p为中心的3×3邻域中其余各个像素点的灰度值,则将像素点p标记为极值点;
对高斯差分左图和高斯差分右图的每一个像素点进行遍历,分别得到左图高斯差分极值点集和右图高斯差分极值点集;
2.2)Harris角点检测:
对步骤1)得到的左侧面图像和右侧面图像分别进行Harris角点检测,分别得到左图Harris角点集和右图Harris角点集;
2.3)Canny边缘检测:
将步骤1)得到的左侧面图像和右侧面图像分别进行Canny边缘检测,得到左图边缘图像和右图边缘图像,对左图边缘图像和右图边缘图像进行一次形态学膨胀运算,再对形态学膨胀运算后得到的图像作轮廓提取并填充所有轮廓,剔除其中面积大于100个像素点的轮廓后再做一次形态学腐蚀运算,然后再对形态学腐蚀运算后得到的图像作轮廓提取并将所有轮廓中心点坐标输出,分别得到左图轮廓中心点集和右图轮廓中心点集;
然后将左图高斯差分极值点集、左图Harris角点集和左图轮廓中心点集进行合并,对于坐标重复的点,保留其中一个并剔除其余坐标重复的点,得到左图斑点集;将右图高斯差分极值点集、右图Harris角点集和右图轮廓中心点集进行合并,对于坐标重复的点,保留其中一个并剔除其余坐标重复的点,得到右图斑点集;
3)对步骤2)得到的左、右图斑点集的每一个点进行匹配判断,得到待选匹配点集;
4)对步骤3)得到的待选匹配点集中每一对待选匹配点进行误匹配点剔除,筛选得到正确的匹配点;
5)完成水果图像的匹配。
2.根据权利要求1所述的一种基于斑点提取与邻近点向量法的水果图像匹配方法,其特征在于:所述的步骤3)中对左图斑点集的每一个点与右图斑点集的每一个点进行匹配判断包括以下具体步骤:
3.1)以左图斑点集中的待选点A为中心,选择70×70的矩形区域,搜索左图斑点集中处于该矩形区域内与待选点A距离最近的点,记为点B,并计算待选点A到点B的向量,记为
3.2)搜索右图斑点集中与待选点A纵坐标差在6个像素点以内的待选点A’,以待选点A’为中心,选择70×70的矩形区域,搜索右图斑点集中处于该矩形区域内与点B纵坐标差在6个像素点以内的点且与待选点A’最近的点,记为点B’,计算待选点A’到点B’的向量若找不到该点B’则舍弃待选点A与待选点A’作为一对匹配点,并结束对待选点A与待选点A’匹配判断的余下步骤;
3.3)搜索左图斑点集中处于以待选点A为中心的70×70矩形区域内与待选点A距离次近的点,记为点C,计算待选点A到点C的向量若找不到该点C则舍弃待选点A与待选点A’作为一对匹配点,并结束对待选点A与待选点A’匹配判断的余下步骤;
3.4)搜索右图斑点集中处于以待选点A’为中心的70×70矩形区域内与点C纵坐标差在6个像素点以内的点且与待选点A’最近的点,记为点C’,并计算待选点A’到点C’的向量若找不到该点C’则舍弃待选点A与待选点A’作为一对匹配点,并结束对待选点A与待选点A’匹配判断的余下步骤;
3.5)采用公式(3)分别计算向量与向量的夹角α和向量与向量的夹角β,采用公式(4)计算向量与向量的模值之差dis1和向量与向量的模值之差dis2:
其中,向量a,b分别为向量的横纵坐标,向量c,d分别为向量的横纵坐标;
若向量与向量的夹角α<15°且与向量的模值之差dis1<8且向量与向量的夹角β<18°且向量与向量的模值之差dis2<10,则将待选点A与待选点A’作为一对待选匹配点,并结束对待选点A与右图斑点集中剩余点的匹配判断,否则舍弃待选点A与待选点A’作为一对待选匹配点。
3.根据权利要求1所述的一种基于斑点提取与邻近点向量法的水果图像匹配方法,其特征在于:所述的步骤4)中进行误匹配点剔除具体采用以下步骤:
4.1)边缘点剔除:
待选匹配点集中某一对待选匹配点在左侧面图像和右侧面图像中分别为待选匹配点P和待选匹配点P’,并以待选匹配点P和待选匹配点P’为中心,分别选取20×20的矩形区域,若两个矩形区域内任何一个矩形区域内存在红、绿、蓝三分量值均大于200的像素点,则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点;
4.2)进行第一轮向量判断:
4.2.1)若上述得到待选匹配点集中匹配点的对数小于3,则直接进行步骤4.3);
4.2.2)左侧面图像中,以待选匹配点P为中心,选择70×70的矩形区域,搜索该70×70的矩形区域内与点P距离最近的待选匹配点,记为待选匹配点Q,计算待选匹配点P到待选匹配点Q的向量
若找不到该待选匹配点Q则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点,并结束对待选匹配点P与待选匹配点P’的余下判断步骤;
4.2.3)与左侧面图像中待选匹配点Q对应的右侧面图像中待选匹配点为Q’,计算待选匹配点P’到待选匹配点Q’的向量
4.2.4)左侧面图像中,搜索以待选匹配点P为中心的70×70矩形区域内与待选匹配点P距离次近的待选匹配点,记为待选匹配点R,计算待选匹配点P到待选匹配点R的向量
若找不到该待选匹配点R则舍弃待选匹配点P和待选匹配点P’作为一对匹配点,并结束对待选匹配点P与待选匹配点P’的余下判断步骤;
4.2.5)与左侧面图像中待选匹配点R对应的右侧面图像中待选匹配点为R’,计算待选匹配点P’到待选匹配点R’的向量
4.2.6)采用公式(3)分别计算向量与向量的夹角ρ和向量与向量的夹角μ,采用公式(4)计算向量与向量的模值之差dis3和向量与向量的模值之差dis4;
4.2.7)若满足向量与向量的夹角ρ<15°且向量与向量的模值之差dis3<8,或满足向量与向量的夹角μ<18°且向量与向量的模值之差dis4<10,则继续进行下面步骤,否则舍弃待选匹配点P和待选匹配点P’作为一对正确的匹配点;
4.3)第二轮向量判断;
对步骤4.2.7)得到的待选匹配点P和待选匹配点P’重复上述步骤4.2.1)~4.2.6),再次得到向量与向量的夹角ρ、向量与向量的模值之差dis3、向量与向量的夹角μ、向量与向量的模值之差dis4,如果满足向量与向量的夹角ρ<15°且向量与向量的模值之差dis3<8且向量与向量的夹角μ<18°且向量与向量的模值之差dis4<10,该对待选匹配点P和待选匹配点P’为正确的匹配点,否则舍弃待选匹配点P和待选匹配点P’作为一对正确匹配点。
4.根据权利要求1所述的一种基于斑点提取与邻近点向量法的水果图像匹配方法,其特征在于:所述的水果为蛇果。
5.根据权利要求1所述的一种基于斑点提取与邻近点向量法的水果图像匹配方法,其特征在于:所述的左侧面图像和右侧面图像的分辨率均为0.146mm/pixel。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410215892.7A CN104036492B (zh) | 2014-05-21 | 2014-05-21 | 一种基于斑点提取与邻近点向量法的水果图像匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410215892.7A CN104036492B (zh) | 2014-05-21 | 2014-05-21 | 一种基于斑点提取与邻近点向量法的水果图像匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104036492A CN104036492A (zh) | 2014-09-10 |
CN104036492B true CN104036492B (zh) | 2016-08-31 |
Family
ID=51467251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410215892.7A Active CN104036492B (zh) | 2014-05-21 | 2014-05-21 | 一种基于斑点提取与邻近点向量法的水果图像匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104036492B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247953B (zh) * | 2017-05-31 | 2020-05-19 | 大连理工大学 | 一种基于边缘率的特征点类型选择方法 |
CN113109240B (zh) * | 2021-04-08 | 2022-09-09 | 国家粮食和物资储备局标准质量中心 | 一种计算机实施的粮食不完善粒测定方法和*** |
CN113177925B (zh) * | 2021-05-11 | 2022-11-11 | 昆明理工大学 | 一种无损检测水果表面缺陷的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177435A (zh) * | 2013-04-10 | 2013-06-26 | 浙江大学 | 一种基于机器视觉的苹果表面无冗余信息图像处理方法 |
CN103336946A (zh) * | 2013-06-17 | 2013-10-02 | 浙江大学 | 一种基于双目立体视觉的成簇状番茄识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09218024A (ja) * | 1996-02-13 | 1997-08-19 | Daido Denki Kogyo Kk | 青果物表面凹凸検査方法 |
-
2014
- 2014-05-21 CN CN201410215892.7A patent/CN104036492B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177435A (zh) * | 2013-04-10 | 2013-06-26 | 浙江大学 | 一种基于机器视觉的苹果表面无冗余信息图像处理方法 |
CN103336946A (zh) * | 2013-06-17 | 2013-10-02 | 浙江大学 | 一种基于双目立体视觉的成簇状番茄识别方法 |
Non-Patent Citations (2)
Title |
---|
Image fusion of visible and thermal images for fruit detection;D.M.Bulanon et al;《Biosystems Engineering》;20090531;第103卷(第1期);12-22 * |
基于立体视觉的遮挡柑橘识别与空间匹配研究;李玉良;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》;20071105(第05期);B024-144 * |
Also Published As
Publication number | Publication date |
---|---|
CN104036492A (zh) | 2014-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103679636B (zh) | 基于点、线双重特征的快速图像拼接方法 | |
CN106485275B (zh) | 一种实现盖板玻璃与液晶屏定位贴合的方法 | |
CN106446750B (zh) | 一种条形码读取方法及装置 | |
CN108982508A (zh) | 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法 | |
CN105335725B (zh) | 一种基于特征融合的步态识别身份认证方法 | |
CN102542275B (zh) | 一种证件照背景自动识别方法及其*** | |
CN107203990A (zh) | 一种基于模板匹配与图像质量评估的标贴破损检测方法 | |
Wang et al. | Edge extraction by merging 3D point cloud and 2D image data | |
CN110765992B (zh) | ***鉴别方法、介质、设备及装置 | |
CN106504262A (zh) | 一种多特征融合的小瓷砖智能定位方法 | |
CN104123529A (zh) | 人手检测方法及*** | |
CN102930268A (zh) | 一种用于污染及多视角情况下DataMatrix码的精确定位方法 | |
CN104794721A (zh) | 一种基于多尺度斑点检测的快速视盘定位方法 | |
CN107784667A (zh) | 基于并行的全球海洋中尺度涡快速识别算法 | |
CN104091325A (zh) | 汽车仪表盘视觉检测中基于尺度不变特征变换的图像roi定位方法及装置 | |
CN107392929A (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
CN105741281B (zh) | 基于邻域离散度的图像边缘检测方法 | |
CN108154147A (zh) | 基于视觉注意模型的感兴趣区域检测方法 | |
CN109389165A (zh) | 基于巡检机器人的变压器油位计识别方法 | |
CN104036492B (zh) | 一种基于斑点提取与邻近点向量法的水果图像匹配方法 | |
CN111861866A (zh) | 一种变电站设备巡检图像全景重建方法 | |
CN102074017A (zh) | 一种杠铃中心点检测及跟踪的方法和装置 | |
CN115861274A (zh) | 一种融合三维点云与二维图像的裂缝检测方法 | |
CN108733749A (zh) | 一种基于草图的图像检索方法 | |
CN104036494B (zh) | 一种用于水果图像的快速匹配计算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210521 Address after: 310012 room 1102, block B, Lishui digital building, 153 Lianchuang street, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou nuotian Intelligent Technology Co.,Ltd. Address before: 310058 Yuhang Tang Road, Xihu District, Hangzhou, Zhejiang 866 Patentee before: ZHEJIANG University |
|
TR01 | Transfer of patent right |