CN110174065A - 基于正交双目机器视觉的水果大小无损检测方法 - Google Patents
基于正交双目机器视觉的水果大小无损检测方法 Download PDFInfo
- Publication number
- CN110174065A CN110174065A CN201910520317.0A CN201910520317A CN110174065A CN 110174065 A CN110174065 A CN 110174065A CN 201910520317 A CN201910520317 A CN 201910520317A CN 110174065 A CN110174065 A CN 110174065A
- Authority
- CN
- China
- Prior art keywords
- fruit
- image
- len
- machine vision
- industrial camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 131
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 230000007246 mechanism Effects 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 14
- 238000011946 reduction process Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000001105 regulatory effect Effects 0.000 claims description 8
- 238000011049 filling Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000004513 sizing Methods 0.000 claims description 3
- 241001310793 Podium Species 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 8
- 230000007547 defect Effects 0.000 description 7
- 238000013178 mathematical model Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007596 consolidation process Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000009659 non-destructive testing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000207199 Citrus Species 0.000 description 1
- 241000220324 Pyrus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 235000021017 pears Nutrition 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
基于正交双目机器视觉的水果大小无损检测方法，采用中轴线处于正交的两个工业相机对物体进行图像采集，而后通过MATLAB算法对采集的图像进行预处理、特征量提取、合理算法计算，得到俯视标准轮廓图与侧视标准轮廓图，对侧视标准轮廓图数据处理，得到最大果径面至水果底部的距离，称为果径面高度，对俯视标准轮廓图数据处理，得到计算果径，结合果径面高度，引入高度比例系数k，对计算果径进行修正，即得到误差较小的水果直径，而后对比国家水果分级标准，以实现水果大小的无损测量，有着标准化、效率高、精度高、损伤检测的特点，具有重要的研究意义。
Description
技术领域
本发明涉及水果检测技术领域，尤其涉及一种基于正交双目机器视觉的水果大小无损检测方法。
背景技术
目前，国内对水果大小分级主要依靠人工结合机械实现，通过人工肉眼判断或者用游标卡尺测量其最大轴向直径作为水果的果径，由于水果果形存在较大差异，最大轴向直径不好把握，人工分级误差非常大，且在分级过程中，工作繁琐，效率较低，易对水果果实造成较严重的损害，同时存在较强的主观因素，此类分级方法已不能满足水果分级的需要。
近年来，检测方法逐渐转向机器视觉方向，可实现无损检测，且具有高效率，高准确性的特点，现如今机器视觉技术广泛运用于产品分级，如鸡蛋、柑橘、梨等，而对于水果这种品种繁多，大小形状不一、结构较复杂的水果研究较少。
采用机器视觉检测物体的特征信息及分级的研究众多，张庆怡等通过机器视觉技术实现苹果大小和腐烂面积的检测【张庆怡,顾宝兴,姬长英,等.苹果在线分级***设计与试验[J]．华南农业大学学报，2017，38( 4) : 117-124．】；李龙等在基于机器视觉苹果外观品质检测中，对苹果运动状态下的图像进行提取和合成，随后对图像进行高斯滤波，大律法二值化以及轮廓提取处理，并轮廓进行圆拟合处理，利用拟合圆直径得到该苹果的大小【李龙，彭彦昆,李永玉. 水果内外品质在线无损检测分级***设计与试验[J]. 农业工程学报，2018，34(9)：267-275.】；陈艳军等设计了一套基于机器视觉技术的苹果分选***，通过扫描提取轮廓，提出了以苹果轮廓线上两点之间的最大距离作为分级标准和以苹果最大横截面直径【陈艳军,张俊熊,李伟,任永新,谭豫之.基于机器视觉的苹果最大横截面直径分级方法[J].农业工程学报,2012,28(2)：284-288】；黄辰等借助机器视觉技术动态采集苹果传输过程中的实时图像提出改进的三层Canny边缘检测算法来提取苹果轮廓【黄辰,费继友.基于图像特征融合的苹果在线分级方法[J].农业工程学报,2017,33(1)：285-291】；赵娟等设计了一套基于机器视觉技术检测水果外观缺陷的***，该***主要包括单通道在线传送装置、图像采集装置及分选装置，利用数字处理方法分析苹果表面的缺陷，提出利用面积比来判断水果缺陷大小，苹果表面缺陷的总检测正确率为92.5%【赵娟, 彭彦昆,SAGARDHAKAL等.基于机器视觉的苹果外观缺陷在线检测[J]. 农业机械学报, 2013, 44(1): 260-263.】；牛晓颖等介绍了水果内外部品质检测的近红外、机器视觉和信息融合技术，近红外技术用于水果成熟度、坚实度、可溶性固形物和内部缺陷等内部品质的检测，机器视觉用于水果大小、形状、颜色、表面缺陷等外部品质的检测【牛晓颖、贡东军、王艳伟等基于近红外光谱和化学计量学的李果实成熟度鉴别方法研究[J]. 现代食品科技,2014,30(12):230-234】；张玉华等介绍了水果内外部品质检测的近红外、机器视觉和信息融合技术，近红外技术用于水果成熟度、坚实度、可溶性固形物和内部缺陷等内部品质的检测，机器视觉用于水果大小、形状、颜色、表面缺陷等外部品质的检测【张玉华、孟一、张明岗等基于近红外、机器视觉及信息融合的水果综合品质检测[J].食品工业,2018,39(11):247-250】虽然机器视觉检测水果的特征参数已有众多研究，但大多都侧重于算法，对于分级最重要的要素水果大小检测、颜色研究极少，少有的对于水果大小检测的研究，精度不高。
发明内容
本发明所解决的技术问题在于提供一种基于正交双目机器视觉的水果大小无损检测方法，以解决上述背景技术中的缺点。
本发明所解决的技术问题采用以下技术方案来实现：
基于正交双目机器视觉的水果大小无损检测方法，具体步骤如下：
步骤S100）：搭建单目机器视觉***
单目机器视觉***包括工业相机、相机高度调整机构、非镜面圆柱体、升降平台、光箱、计算机及刻度尺，其中，工业相机、相机高度调整机构、非镜面圆柱体、升降平台及用于测量距离的刻度尺分别置于光箱内，且位于工业相机正下方的非镜面圆柱体置于升降平台上，工业相机安装在相机高度调整机构上端，相机高度调整机构底端与升降平台底端处于同一水平线，内置有图像处理***的计算机与工业相机连接；
步骤S200）: 标定单目机器视觉***
单目机器视觉***搭建完成后，将升降平台调节至最低点，并对其进行尺寸标定，以得到初始位置比例；
步骤S300）:采集物体图像
工业相机实时抓取获取非镜面圆柱体图像信息；
步骤S400）:利用MATLAB算法进行图像处理和合理算法计算
图像处理***基于MATLAB算法进行图像处理流程如下：
读取彩色图像；
图像灰度化：通过对彩色图像进行B分量提取，得到包含丰富圆柱表面信息的灰度图；
二值化处理：通过二值化处理，区分检测对象与背景，采用graythresh函数，使用最大类间方差法找到最佳阈值，取最佳阈值进行二值化处理，以得到理想的二值化效果图；
降噪处理：对二值化效果图进行降噪处理，运用bwlabel函数，采用8连通方式寻找区域方法，利用相同大小的矩阵、连通区域数量，输出最大连通区域，有效地去除噪声，使检测对象信息更为准确；
轮廓提取：运用腐蚀、膨胀等的数学模型，直接对降噪后的图像进行运算，经过膨胀操作后物体边界会向外部扩张，***变清晰，可准确、快速提取目标轮廓，经过图像预处理，已得到噪声较少的二值图，因此直接对图像进行腐蚀等运算即可得到标准轮廓图；
MATLAB算法处理：将提取标准轮廓图的特征量作为像素点数值，并多次计算相邻两个像素点的距离，求得两点距离的平均值，再按步骤S200）得到的初始位置比例进行计算，以实现像素坐标到实际坐标的转化，计算非镜面圆柱体直径；
步骤S500）: 测定高度比例系数k
调节升降平台，依次将升降平台高度递增0.1cm，在重复上述步骤S300）～步骤S400），以得到对应高度的非镜面圆柱体直径，进行多次实验后，将所得数据拟合，获得高度比例系数k；
步骤S600）:搭建双目机器视觉采集***
所述双目机器视觉***包括正向工业相机、密封箱体、待测水果、前向水果横向中心位置检测机构、传送带、后向水果横向中心位置检测机构、侧向工业相机、显示处理机及电机，待测水果置于设置在密封箱体底板上的传送带上，传送带与电机连接，前向水果横向中心位置检测机构和后向水果横向中心位置检测机构设置在传送带两侧，由电机控制传送带转动，经前向水果横向中心位置检测机构与后向水果横向中心位置检测机构检测后将待测水果输送到准确的待拍照位置；在密封箱体的上部安装有正向工业相机，在密封箱体的右侧安装有侧向工业相机，且正向工业相机与侧向工业相机的中轴线正交；内置有图像采集模块的正向工业相机与侧向工业相机分别通过千兆通信数据线连接显示处理机，显示处理机内置有对图像实时进行处理的图像处理模块；
步骤S700）:利用中轴线处于正交的正向工业相机和侧向工业相机实时抓取待测水果的正面、侧面图像，以获取非镜面圆柱体图像信息；
步骤S800）: MATLAB算法处理
图像处理模块基于MATLAB算法进行图像处理流程如下：
a）获取待测水果的俯视、侧视标准轮廓图
读取彩色图像；
图像灰度化：通过对彩色图像进行B分量提取，得到包含丰富圆柱表面信息的灰度图；
二值化处理：通过二值化处理，区分检测对象与背景，采用graythresh函数，使用最大类间方差法找到最佳阈值，取最佳阈值进行二值化处理，以得到理想的二值化效果图；
降噪处理：对二值化效果图进行降噪处理，运用bwlabel函数，采用8连通方式寻找区域方法，利用相同大小的矩阵、连通区域数量，输出最大连通区域，有效地去除噪声，使检测对象信息更为准确；
轮廓提取：运用腐蚀、膨胀等的数学模型，直接对降噪后的图像进行运算，经过膨胀操作后物体边界会向外部扩张，***变清晰，可准确、快速提取目标轮廓，经过图像预处理，已得到噪声较少的二值图，因此直接对图像进行腐蚀等运算即可得到俯视标准轮廓图与侧视标准轮廓图；
b）对侧视标准轮廓图数据处理，得到最大果径面至水果底部的距离，以下称为果径面高度；
c）对俯视标准轮廓图数据处理，得到计算果径，结合果径面高度，引入高度比例系数k，对计算果径进行修正，即得到误差较小的水果直径。
在本发明中，所述步骤S200）工作原理如下：
在刻度尺上取两点，两点间长度为L，采集非镜面圆柱体图片，读取此两点之间的像素
坐标差值，则在距升降平台距离为0时，像素坐标与实际坐标的初始位置比例A为：。
在本发明中，所述步骤S500）中，对所测得的数据进行分析处理，升降平台高度H为横轴，取高度比例系数k为纵轴，其中，高度比例系数k=计算直径/实际直径，将数据进行Polynomial拟合，得到具体高度比例系数k=0.1007*H+0.9264。
在本发明中，工业相机上安装有用于补光的环形LED无极调光光源。
在本发明中，正向工业相机与侧向工业相机上分别安装有用于补光的光源，且光源为无极调光灯源。
在本发明中，密封箱体采用黑色材质制成，使背景色简单化，易于与待测水果区分，便于图像处理得到完整的水果轮廓图。
有益效果：本发明利用基于正交双目机器视觉获得水果的俯视图像、侧视图像，结合MATLAB算法对俯视图像、侧视图像进行图像处理，从而提取出圆形水果的果径大小，对比国家水果分级标准，进而实现对水果大小的无损测量；同时对流水线作业提供有效参考，有着标准化、效率高、精度高、无损伤检测的特点，具有重要的研究意义。
附图说明
图1为本发明的较佳实施例的流程图。
图2为本发明的较佳实施例中的单目机器视觉***结构示意图。
图3为本发明的较佳实施例中的高度比例系数测定试验试验数据Polynomial拟合曲线图。
图4为本发明的较佳实施例中的双目机器视觉***结构示意图。
图5～8为本发明的较佳实施例中的图像处理模块基于MATLAB算法进行图像处理状态示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
参见图1～图8的基于正交双目机器视觉的水果大小无损检测方法，具体步骤如下：
步骤S100）:搭建单目机器视觉***
单目机器视觉***包括工业相机A1、环形LED无极调光光源A2、相机高度调整机构A3、非镜面圆柱体（高2cm、直径5.95cm）A4、升降平台A5、光箱A6、计算机A7及刻度尺A8，其中，工业相机A1、环形LED无极调光光源A2、相机高度调整机构A3、非镜面圆柱体A4、升降平台A5及刻度尺A8分别置于光箱A6内，且位于工业相机A1正下方的非镜面圆柱体A4置于升降平台A5上，工业相机A1安装在相机高度调整机构A3上端，相机高度调整机构A3底端与升降平台A5底端处于同一水平线，计算机A7与工业相机A1连接；
步骤S200）: 标定单目机器视觉***
单目机器视觉***搭建完成后，将升降平台A5调节至最低点，并对其进行尺寸标定，以得到初始位置比例；
步骤S300）:采集物体图像
工业相机A1为高清免驱500万像素工业相机，采用高清300万像素1/2C接口手动变焦6-12mm相机镜头，实时抓取图像，获取非镜面圆柱体A4信息；
步骤S400）:利用MATLAB算法进行图像处理和合理算法计算
计算机A7内置有图像处理***，图像处理***基于MATLAB算法进行图像处理流程如下：
读取彩色图像；
图像灰度化：通过对彩色图像进行B分量提取，得到包含丰富圆柱表面信息的灰度图；
二值化处理：通过二值化处理，区分检测对象与背景，采用graythresh函数，使用最大类间方差法找到最佳阈值，取最佳阈值进行二值化处理，以得到理想的二值化效果图；
降噪处理：对二值化效果图进行降噪处理，运用bwlabel函数，采用8连通方式寻找区域方法，利用相同大小的矩阵、连通区域数量，输出最大连通区域，有效地去除噪声，使检测对象信息更为准确；
轮廓提取：运用腐蚀、膨胀等的数学模型，直接对降噪后的图像进行运算，经过膨胀操作后物体边界会向外部扩张，***变清晰，可准确、快速提取目标轮廓，经过图像预处理，已得到噪声较少的二值图，因此直接对图像进行腐蚀等运算即可得到标准轮廓图；
MATLAB算法处理：将提取标准轮廓图的特征量作为像素点数值，并多次计算相邻两个像素点的距离，求得两点距离的平均值，再按步骤S200）得到的初始位置比例进行计算，以实现像素坐标到实际坐标的转化，计算非镜面圆柱体A4直径；
步骤S500）: 测定高度比例系数k
调节升降平台A5，依次将升降平台A5高度递增0.1cm，在重复上述步骤S300）～步骤S400），以得到对应高度的非镜面圆柱体A4直径，进行多次实验后，将所得实验数据线性拟合，获得高度比例系数k；
步骤S600）:搭建双目机器视觉采集***
所述双目机器视觉***包括正向工业相机B1、正向光源B2、密封箱体B3、待测水果B4、前向水果横向中心位置检测机构B5、传送带B6、后向水果横向中心位置检测机构B7、侧向光源B8、侧向工业相机B9、显示处理机B10及电机B11，待测水果B4置于设置在密封箱体B3底板上的传送带B6上，传送带B6与电机B11连接，前向水果横向中心位置检测机构B5和后向水果横向中心位置检测机构B7设置在传送带B6两侧，由电机B11控制传送带B6转动，经前向水果横向中心位置检测机构B5与后向水果横向中心位置检测机构B7检测后将待测水果B4输送到准确的待拍照位置；在密封箱体B3的上部安装有正向工业相机B1，在密封箱体B3的右侧安装有侧向工业相机B9，且正向工业相机B1与侧向工业相机B9的中轴线正交；正向工业相机B1上安装有正向光源B2，侧向工业相机B9上安装有侧向光源B8，且内置有图像采集模块的正向工业相机B1与侧向工业相机B9分别通过千兆通信数据线连接显示处理机B10，显示处理机B10内置有图像处理模块，对图像实时进行处理；
密封箱体B3采用黑色材质制成，使背景色简单化，易于与待测水果B4区分，便于图像处理得到完整的水果轮廓图，正向光源B2与侧向光源B8采用无极调光灯源，实现无极调光，能更好地获取最适光照强度，提供良好的检测光环境，内径28mm、60mm，用于补光配合，以获取更清晰的图像；所述正向工业相机B1和侧向工业相机B9采用高清免驱500万像素工业相机，镜头为高清300万像素1/2C接口手动变焦6-12mm相机镜头；
正向工业相机B1和侧向工业相机B9的焦距、物距等参数均调节至与步骤S100）的工业相机A1相同；
前向水果横向中心位置检测机构B5和后向水果横向中心位置检测机构B7上分别设置有触碰传感器，用于检测待测水果B4的位置；
且后向水果横向中心位置检测机构B7位于相机拍照中心点下方；
步骤S700）:利用中轴线处于正交的正向工业相机B1和侧向工业相机B9实时抓取待测水果B4的正面、侧面图像，以获取非镜面圆柱体A4图像信息；
步骤S800）: MATLAB算法处理
显示处理机B10内置有图像处理模块，图像处理模块基于MATLAB算法进行图像处理流程如下：
a）获取待测水果B4的俯视、侧视标准轮廓图
读取彩色图像；
图像灰度化：通过对彩色图像进行B分量提取，得到包含丰富圆柱表面信息的灰度图；
二值化处理：通过二值化处理，区分检测对象与背景，采用graythresh函数，使用最大类间方差法找到最佳阈值，取最佳阈值进行二值化处理，以得到理想的二值化效果图；
降噪处理：对二值化效果图进行降噪处理，运用bwlabel函数，采用8连通方式寻找区域方法，利用相同大小的矩阵、连通区域数量，输出最大连通区域，有效地去除噪声，使检测对象信息更为准确；
轮廓提取：运用腐蚀、膨胀等的数学模型，直接对降噪后的图像进行运算，经过膨胀操作后物体边界会向外部扩张，***变清晰，可准确、快速提取目标轮廓，经过图像预处理，已得到噪声较少的二值图，因此直接对图像进行腐蚀等运算即可得到俯视标准轮廓图与侧视标准轮廓图；
b）对侧视标准轮廓图数据处理，得到最大果径面至水果底部的距离，以下称为果径面高度；
c）对俯视标准轮廓图数据处理，得到计算果径，结合果径面高度，引入高度比例系数k，对计算果径进行修正，即得到误差较小的水果直径。
在本实施例中，所述步骤S200）工作原理如下：
在刻度尺A8上取两点，两点间长度为L，采集非镜面圆柱体图片，读取此两点之间的像
素坐标差值，则在距升降平台A5距离为0时，像素坐标与实际坐标的初始位置比例A
为：；
所述步骤S400）过程代码如下:
I=3.6*imread(' cylinder.jpg')；
BColor=I(:,:,3)； %提取b分量
level = graythresh(BColor)； %计算最佳阈值level
BW = im2bw(BColor,level)； %灰度图转换为二值图
%选择最大连通分量，有效去除噪音区域
[label,count,num]=bwlabel2(BW);
idx=find(num==max(num));
amxlabel=(label==idx);
fill=imfill(amxlabel,'holes')； %孔洞填充、去噪点
se=ones(3)； %腐蚀所用的结构元
erode=imerode2(fill,se,1)； %对图像进行1次腐蚀
edge=fill-erode； %获得图像连续边界
figure,imshow(edge)，title('轮廓图')；
[x,y]=find(edge==1)； %BW2为要处理的二值化矩阵
M=[x,y];N=[x,y]；
len=fix(length(M)/2)； %fix截0取整
k=1； S(1,len*len)=0； %预分配内存提高运算速度
for i=1:len，
le=fix(len/2)；
for j=le:(2*len)，
k=k+1；
S(k)=sqrt((M(i,1)-N(j,1))^2+(M(i,2)-N(j,2))^2)；
end
end
P=sort(S(:),'descend')； %将S矩阵从大到小排列 其中S(:)表示矩阵S的所有元素
d0=mean(P(1:20000))； %平均前20000个数字
A=188.667； %直径，按188.667：1计算
d=d0/A
所述步骤S500）中，对所测得的数据进行分析处理，升降平台A5高度H为横轴，取高度比例系数k为纵轴，其中，高度比例系数k=计算直径/实际直径，将数据进行Polynomial拟合，得到具体高度比例系数k=0.1007*H+0.9264；
所述步骤S800）中，计算最大果径面高度H：首先，以竖直方向计算各点之间的距离，找出最大距离，最大距离两点的连线，在三维中可形成一个面，即为水果的最大果径面，最大果径面与最低面的距离即为最大果径面高度H，具体代码如下：
[x,y]=find(edge==1)；
M=[x,y];N=[x,y]；
len=fix(length(M)/2)；
k=1; S(1,len*len)=0；
%找出果径面
p=0；
for g=1:len，
for i=1:len，
if M(g,1)==N(i,1)，
S(k)=abs(M(g,2)-N(i,2))；
if S(k)>p
p=M(g,1)；
end
k=k+1；
end
end
end
%求各点与果径面的距离
k2=1； S2(1,len)=0；
len2=length(M)；
for g=1:len2，
S2(k2)=abs(M(p,1)-N(g,1))；
k2=k2+1；
end
d0=max(S2)；
A=188.667；
d=d0/ A；
H=d/2；
结合最大果径面高度，引入高度比例系数k，对计算果径进行修正，具体代码如下：
[x,y]=find(edge==1);
M=[x,y];N=[x,y];
len=fix(length(M)/2);
k=1; S(1,len*len)=0;
for i=1:len,
le=fix(len/2);
for j=le:(2*len),
k=k+1;
S(k)=sqrt((M(i,1)-N(j,1))^2+(M(i,2)-N(j,2))^2);
end
end
P=sort(S(:),'descend');
d0=mean(P(1:20000));
d=d0/188.667;
k=0.1007*H+0.9264;
d=d/k。
Claims (8)
1.基于正交双目机器视觉的水果大小无损检测方法，其特征在于，具体步骤如下：
步骤S100）：搭建单目机器视觉***
单目机器视觉***包括工业相机、相机高度调整机构、非镜面圆柱体、升降平台、光箱、计算机及刻度尺，其中，工业相机、相机高度调整机构、非镜面圆柱体、升降平台及用于测量距离的刻度尺分别置于光箱内，且位于工业相机正下方的非镜面圆柱体置于升降平台上，工业相机安装在相机高度调整机构上端，相机高度调整机构底端与升降平台底端处于同一水平线，内置有图像处理***的计算机与工业相机连接；
步骤S200）: 标定单目机器视觉***
单目机器视觉***搭建完成后，将升降平台调节至最低点，并对其进行尺寸标定，以得到初始位置比例；
步骤S300）:采集物体图像
工业相机实时抓取获取非镜面圆柱体图像信息；
步骤S400）:利用MATLAB算法进行图像处理和合理算法计算
图像处理***基于MATLAB算法进行图像处理流程如下：
读取彩色图像；
图像灰度化：通过对彩色图像进行B分量提取，得到灰度图；
二值化处理：通过二值化处理，得到二值化效果图；
降噪处理：对二值化效果图进行降噪处理；
轮廓提取：对降噪后的二值化效果图提取轮廓，得到标准轮廓图；
MATLAB算法处理：将提取标准轮廓图的特征量作为像素点数值，并多次计算相邻两个像素点的距离，求得两点距离的平均值，再按步骤S200）得到的初始位置比例进行计算，得到非镜面圆柱体直径；
所述步骤S400）过程代码如下:
I=3.6*imread(' cylinder.jpg')；
BColor=I(:,:,3)； %提取b分量
level = graythresh(BColor)； %计算最佳阈值level
BW = im2bw(BColor,level)； %灰度图转换为二值图
%选择最大连通分量，有效去除噪音区域
[label,count,num]=bwlabel2(BW);
idx=find(num==max(num));
amxlabel=(label==idx);
fill=imfill(amxlabel,'holes')； %孔洞填充、去噪点
se=ones(3)； %腐蚀所用的结构元
erode=imerode2(fill,se,1)； %对图像进行1次腐蚀
edge=fill-erode； %获得图像连续边界
figure,imshow(edge)，title('轮廓图')；
[x,y]=find(edge==1)； %BW2为要处理的二值化矩阵
M=[x,y];N=[x,y]；
len=fix(length(M)/2)； %fix截0取整
k=1； S(1,len*len)=0； %预分配内存提高运算速度
for i=1:len，
le=fix(len/2)；
for j=le:(2*len)，
k=k+1；
S(k)=sqrt((M(i,1)-N(j,1))^2+(M(i,2)-N(j,2))^2)；
end
end
P=sort(S(:),'descend')； %将S矩阵从大到小排列 其中S(:)表示矩阵S的所有元素
d0=mean(P(1:20000))； %平均前20000个数字
A=188.667； %直径，按188.667：1计算
d=d0/A
步骤S500）: 测定高度比例系数k
调节升降平台，依次将升降平台高度递增0.1cm，在重复上述步骤S300）～步骤S400），以得到对应高度的非镜面圆柱体直径，进行多次实验后，对所测得的数据进行分析处理，升降平台高度H为横轴，取高度比例系数k为纵轴，其中，高度比例系数k=计算直径/实际直径，而后对所得实验数据进行Polynomial拟合，获得高度比例系数k=0.1007*H+0.9264；
步骤S600）:搭建双目机器视觉采集***
所述双目机器视觉***包括正向工业相机、密封箱体、待测水果、前向水果横向中心位置检测机构、传送带、后向水果横向中心位置检测机构、侧向工业相机、显示处理机及电机，待测水果置于设置在密封箱体底板上的传送带上，传送带与电机连接，前向水果横向中心位置检测机构和后向水果横向中心位置检测机构设置在传送带两侧；在密封箱体的上部安装有正向工业相机，在密封箱体的右侧安装有侧向工业相机，且正向工业相机与侧向工业相机的中轴线正交；内置有图像采集模块的正向工业相机与侧向工业相机分别连接显示处理机，显示处理机内置有对图像实时进行处理的图像处理模块；
步骤S700）:利用中轴线处于正交的正向工业相机和侧向工业相机实时抓取待测水果的正面、侧面图像，以获取非镜面圆柱体图像信息；
步骤S800）: MATLAB算法处理
图像处理模块基于MATLAB算法进行图像处理流程如下：
a）获取待测水果的俯视、侧视标准轮廓图
读取彩色图像；
图像灰度化：通过对彩色图像进行B分量提取，得到灰度图；
二值化处理：通过二值化处理，得到二值化效果图；
降噪处理：对二值化效果图进行降噪处理；
轮廓提取：对降噪后的二值化效果图提取轮廓，得到俯视标准轮廓图与侧视标准轮廓图；
b）对侧视标准轮廓图数据处理，得到最大果径面至水果底部的距离，称为果径面高度；
c）对俯视标准轮廓图数据处理，得到计算果径，结合果径面高度，引入高度比例系数k，对计算果径进行修正，即得到误差较小的水果直径，具体代码如下：
[x,y]=find(edge==1);
M=[x,y];N=[x,y];
len=fix(length(M)/2);
k=1; S(1,len*len)=0;
for i=1:len,
le=fix(len/2);
for j=le:(2*len),
k=k+1;
S(k)=sqrt((M(i,1)-N(j,1))^2+(M(i,2)-N(j,2))^2);
end
end
P=sort(S(:),'descend');
d0=mean(P(1:20000));
d=d0/188.667;
k=0.1007*H+0.9264;
d=d/k。
2.根据权利要求1所述的基于正交双目机器视觉的水果大小无损检测方法，其特征在于，正向工业相机与侧向工业相机上分别安装有用于补光的光源，且光源为无极调光灯源。
3.根据权利要求1所述的基于正交双目机器视觉的水果大小无损检测方法，其特征在于，密封箱体采用黑色材质制成。
4.根据权利要求1所述的基于正交双目机器视觉的水果大小无损检测方法，其特征在于，工业相机上安装有用于补光的环形LED无极调光光源。
5.根据权利要求1所述的基于正交双目机器视觉的水果大小无损检测方法，其特征在于，前向水果横向中心位置检测机构和后向水果横向中心位置检测机构上分别设置有触碰传感器。
6.根据权利要求1所述的基于正交双目机器视觉的水果大小无损检测方法，其特征在于，后向水果横向中心位置检测机构位于相机拍照中心点下方。
7.根据权利要求1所述的基于正交双目机器视觉的水果大小无损检测方法，其特征在于，所述步骤S200）中得到初始位置比例A工作原理如下：
在刻度尺上取两点，两点间长度为L，采集非镜面圆柱体图片，读取此两点之间的像素坐标差值，则在距升降平台距离为0时，像素坐标与实际坐标的初始位置比例A为：。
8.根据权利要求1所述的基于正交双目机器视觉的水果大小无损检测方法，其特征在于，所述步骤S800）中，计算最大果径面高度H：首先，以竖直方向计算各点之间的距离，找出最大距离，最大距离两点的连线，在三维中形成一个面，即为水果的最大果径面，最大果径面与最低面的距离即为最大果径面高度H，具体代码如下：
[x,y]=find(edge==1)；
M=[x,y];N=[x,y]；
len=fix(length(M)/2)；
k=1; S(1,len*len)=0；
%找出果径面
p=0；
for g=1:len，
for i=1:len，
if M(g,1)==N(i,1)，
S(k)=abs(M(g,2)-N(i,2))；
if S(k)>p
p=M(g,1)；
end
k=k+1；
end
end
end
%求各点与果径面的距离
k2=1； S2(1,len)=0；
len2=length(M)；
for g=1:len2，
S2(k2)=abs(M(p,1)-N(g,1))；
k2=k2+1；
end
d0=max(S2)；
A=188.667；
d=d0/ A；
H=d/2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910520317.0A CN110174065B (zh) | 2019-06-17 | 2019-06-17 | 基于正交双目机器视觉的水果大小无损检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910520317.0A CN110174065B (zh) | 2019-06-17 | 2019-06-17 | 基于正交双目机器视觉的水果大小无损检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110174065A true CN110174065A (zh) | 2019-08-27 |
| CN110174065B CN110174065B (zh) | 2021-02-26 |
Family
ID=67698500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910520317.0A Active CN110174065B (zh) | 2019-06-17 | 2019-06-17 | 基于正交双目机器视觉的水果大小无损检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110174065B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110146516A (zh) * | 2019-06-17 | 2019-08-20 | 湖南农业大学 | 基于正交双目机器视觉的水果分级装置 |
| CN110823136A (zh) * | 2019-11-26 | 2020-02-21 | 湖南农业大学 | 一种快速估算油菜角果表面积的新方法 |
| CN112461135A (zh) * | 2020-10-10 | 2021-03-09 | 华南农业大学 | 一种石斛生长参数无损在线测定装置及其测定方法 |
| CN112556606A (zh) * | 2020-12-24 | 2021-03-26 | 宁夏农林科学院农业经济与信息技术研究所（宁夏农业科技图书馆） | 基于双目视觉的自走式枸杞果实测量方法及装置 |
| CN112683190A (zh) * | 2020-10-27 | 2021-04-20 | 广东奥普特科技股份有限公司 | 一种透明体内置物深度检测方法及其检测*** |
| CN117422757A (zh) * | 2023-10-31 | 2024-01-19 | 安徽唯嵩光电科技有限公司 | 一种果蔬大小分选方法、装置、计算机设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES8608152A1 (es) * | 1985-05-29 | 1986-06-16 | Texpa Engeneering S A | Procedimiento optoelectronico para medir tamanos y formas defrutos, hortalizas y objetos diversos |
| JP2001228087A (ja) * | 2000-02-16 | 2001-08-24 | Yanmar Agricult Equip Co Ltd | 非破壊品質判定装置 |
| CN1371466A (zh) * | 1999-06-28 | 2002-09-25 | 果树栽培材料公司 | 用于如水果产品的自动分类的分析方法和装置 |
| KR20050074831A (ko) * | 2004-01-14 | 2005-07-19 | (주)스펙트라 사이언스 | 과일선별기용 분급대의 완충장치 |
| CN1737547A (zh) * | 2004-08-17 | 2006-02-22 | 水果栽培材料公司 | 具有双向成像装置的用于光学分析水果等产品的设备 |
| CN101949686A (zh) * | 2010-08-02 | 2011-01-19 | 扬州福尔喜果蔬汁机械有限公司 | 水果内外综合品质在线无损检测方法及装置 |
| CN201876242U (zh) * | 2010-05-26 | 2011-06-22 | 华中农业大学 | 一种水果图像获取装置 |
| CN102896093A (zh) * | 2012-11-13 | 2013-01-30 | 潍坊永昱电控科技有限公司 | 一种led晶片自动分选机 |
| CN105203543A (zh) * | 2015-09-22 | 2015-12-30 | 华中农业大学 | 基于机器视觉的整箱红提葡萄果粒大小分级装置及其方法 |
| CN105562361A (zh) * | 2015-12-23 | 2016-05-11 | 西安工程大学 | 一种织物分拣机器人自主分拣方法 |
| CN108076832A (zh) * | 2017-12-30 | 2018-05-29 | 浙江工贸职业技术学院 | 一种柑橘采摘机器人 |
| CN108491892A (zh) * | 2018-04-05 | 2018-09-04 | 聊城大学 | 基于机器视觉的水果分拣*** |
| CN109590231A (zh) * | 2018-12-19 | 2019-04-09 | 上海易持自动***有限公司 | 一种非规则形状物料图像测量检控装置及方法 |
-
2019
- 2019-06-17 CN CN201910520317.0A patent/CN110174065B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES8608152A1 (es) * | 1985-05-29 | 1986-06-16 | Texpa Engeneering S A | Procedimiento optoelectronico para medir tamanos y formas defrutos, hortalizas y objetos diversos |
| CN1371466A (zh) * | 1999-06-28 | 2002-09-25 | 果树栽培材料公司 | 用于如水果产品的自动分类的分析方法和装置 |
| JP2001228087A (ja) * | 2000-02-16 | 2001-08-24 | Yanmar Agricult Equip Co Ltd | 非破壊品質判定装置 |
| KR20050074831A (ko) * | 2004-01-14 | 2005-07-19 | (주)스펙트라 사이언스 | 과일선별기용 분급대의 완충장치 |
| CN1737547A (zh) * | 2004-08-17 | 2006-02-22 | 水果栽培材料公司 | 具有双向成像装置的用于光学分析水果等产品的设备 |
| CN201876242U (zh) * | 2010-05-26 | 2011-06-22 | 华中农业大学 | 一种水果图像获取装置 |
| CN101949686A (zh) * | 2010-08-02 | 2011-01-19 | 扬州福尔喜果蔬汁机械有限公司 | 水果内外综合品质在线无损检测方法及装置 |
| CN102896093A (zh) * | 2012-11-13 | 2013-01-30 | 潍坊永昱电控科技有限公司 | 一种led晶片自动分选机 |
| CN105203543A (zh) * | 2015-09-22 | 2015-12-30 | 华中农业大学 | 基于机器视觉的整箱红提葡萄果粒大小分级装置及其方法 |
| CN105562361A (zh) * | 2015-12-23 | 2016-05-11 | 西安工程大学 | 一种织物分拣机器人自主分拣方法 |
| CN108076832A (zh) * | 2017-12-30 | 2018-05-29 | 浙江工贸职业技术学院 | 一种柑橘采摘机器人 |
| CN108491892A (zh) * | 2018-04-05 | 2018-09-04 | 聊城大学 | 基于机器视觉的水果分拣*** |
| CN109590231A (zh) * | 2018-12-19 | 2019-04-09 | 上海易持自动***有限公司 | 一种非规则形状物料图像测量检控装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘新庭等: "基于最小外接圆直径的苹果分级研究", 《中国农学通报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110146516A (zh) * | 2019-06-17 | 2019-08-20 | 湖南农业大学 | 基于正交双目机器视觉的水果分级装置 |
| CN110146516B (zh) * | 2019-06-17 | 2024-04-02 | 湖南农业大学 | 基于正交双目机器视觉的水果分级装置 |
| CN110823136A (zh) * | 2019-11-26 | 2020-02-21 | 湖南农业大学 | 一种快速估算油菜角果表面积的新方法 |
| CN110823136B (zh) * | 2019-11-26 | 2022-07-19 | 湖南农业大学 | 一种快速估算油菜角果表面积的方法 |
| CN112461135A (zh) * | 2020-10-10 | 2021-03-09 | 华南农业大学 | 一种石斛生长参数无损在线测定装置及其测定方法 |
| CN112683190A (zh) * | 2020-10-27 | 2021-04-20 | 广东奥普特科技股份有限公司 | 一种透明体内置物深度检测方法及其检测*** |
| CN112556606A (zh) * | 2020-12-24 | 2021-03-26 | 宁夏农林科学院农业经济与信息技术研究所（宁夏农业科技图书馆） | 基于双目视觉的自走式枸杞果实测量方法及装置 |
| CN117422757A (zh) * | 2023-10-31 | 2024-01-19 | 安徽唯嵩光电科技有限公司 | 一种果蔬大小分选方法、装置、计算机设备及存储介质 |
| CN117422757B (zh) * | 2023-10-31 | 2024-05-03 | 安徽唯嵩光电科技有限公司 | 一种果蔬大小分选方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110174065B (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110174065A (zh) | 基于正交双目机器视觉的水果大小无损检测方法 | |
| CN110146516A (zh) | 基于正交双目机器视觉的水果分级装置 | |
| CN111751253B (zh) | 一种混凝土骨料检测模型的形成方法及质量检测方法 | |
| CN210071686U (zh) | 基于正交双目机器视觉的水果分级装置 | |
| CN110403232B (zh) | 一种基于二级算法的烟支质量检测方法 | |
| CN101949686A (zh) | 水果内外综合品质在线无损检测方法及装置 | |
| CN104204777A (zh) | 用于测量结晶硅铸造的单晶晶片的晶体分数的工艺和装置 | |
| CN115184368B (zh) | 一种铸件缺陷检测控制*** | |
| CN109211110A (zh) | 一种基于机器视觉的平板类工件尺寸检测***及方法 | |
| CN102441581A (zh) | 基于机器视觉的型钢断面尺寸在线检测的装置及方法 | |
| CN104197836A (zh) | 基于机器视觉的汽车门锁装配尺寸检测方法 | |
| Fan et al. | Development of auto defect classification system on porosity powder metallurgy products | |
| CN106248680A (zh) | 一种基于机器视觉的电机换向器质量检测***及检测方法 | |
| CN201094003Y (zh) | 基于机器视觉的瓷砖检测专用装置 | |
| CN109461156A (zh) | 基于视觉的螺纹密封塞装配检测方法 | |
| CN106546185A (zh) | 一种基于机器视觉检测的轮廓质量检测方法 | |
| CN109622404B (zh) | 一种基于机器视觉的微工件自动分拣***及方法 | |
| CN112676195B (zh) | 基于线阵cmos相机的实木地板的颜色分选装置及方法 | |
| Thong et al. | Mango sorting mechanical system combines image processing | |
| Armingol et al. | Statistical pattern modeling in vision-based quality control systems | |
| CN205620320U (zh) | 基于多管脚的缺陷检测装置 | |
| CN115060742A (zh) | 一种基于视觉边缘计算的印刷电路板缺陷检测***及方法 | |
| KR20230075148A (ko) | 제품 표면의 품질 검사를 수행하기 위한 장치 및 방법 | |
| CN104165696A (zh) | 一种材料表面颜色特征在线自动检测方法 | |
| CN109632815A (zh) | 表面缺陷在线检测***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |