CN112767304A - 一种基于视觉的太阳花模组位置和方向检测方法 - Google Patents

一种基于视觉的太阳花模组位置和方向检测方法 Download PDF

Info

Publication number
CN112767304A
CN112767304A CN202011397186.0A CN202011397186A CN112767304A CN 112767304 A CN112767304 A CN 112767304A CN 202011397186 A CN202011397186 A CN 202011397186A CN 112767304 A CN112767304 A CN 112767304A
Authority
CN
China
Prior art keywords
image
sunflower
module
vision
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011397186.0A
Other languages
English (en)
Other versions
CN112767304B (zh
Inventor
曹衍龙
薛小杰
杨将新
曹彦鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Industrial Technology Research Institute of ZJU
Original Assignee
Shandong Industrial Technology Research Institute of ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Industrial Technology Research Institute of ZJU filed Critical Shandong Industrial Technology Research Institute of ZJU
Priority to CN202011397186.0A priority Critical patent/CN112767304B/zh
Publication of CN112767304A publication Critical patent/CN112767304A/zh
Application granted granted Critical
Publication of CN112767304B publication Critical patent/CN112767304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于检测方法技术领域，特别是涉及一种基于视觉的太阳花模组位置和方向检测方法。一种基于视觉的太阳花模组位置和方向检测方法，包括以下步骤：S1、整层模组位置识别；S2、单个模组位置识别，在步骤S1识别到12个孔洞位置后进行；S3、方向识别，实现太阳花模组方向的寻找。本发明提供了一种通过图像处理检测太阳花模组的位置方向，实现太阳花放置时能对准传感器，便于后续灌胶工序执行的基于视觉的太阳花模组位置和方向检测方法。

Description

一种基于视觉的太阳花模组位置和方向检测方法
技术领域
本发明属于检测方法技术领域，特别是涉及一种基于视觉的太阳花模组位置和方向检测方法。
背景技术
随着国内人工成本不断攀升，企业和工厂对于机器换人的需求愈加迫切。我国是制造大国，其中工业制造离不开机器的辅助，自动化程度愈高，我国在制造领域优势就愈明显。
视觉引导机器人是将机器视觉技术应用在机器人上，实现机器人的智能化。机器视觉是通过图像传感器等装置采集目标的图像信号，在图像处理***中将图像转化成数字信号进行解析，得到目标的特征信息，如像素分布、颜色、亮度等。
在路灯生产过程中，由于生产线上料时需要根据模组散热器的位置来确定机械臂的抓取位置，而批量模组堆成垛时，无法直接判断当前位置，因此需要机器视觉技术辅助实现模组的定位检测。
发明内容
本发明的目的在于提供一种通过图像处理检测太阳花模组的位置方向，实现太阳花放置时能对准传感器，便于后续灌胶工序执行的基于视觉的太阳花模组位置和方向检测方法。
为了达到上述的目的，本发明采取以下技术方案：
一种基于视觉的太阳花模组位置和方向检测方法，包括以下步骤：
S1、整层模组位置识别，包括以下步骤：
S11、拍照，相机拍摄整层太阳花模组；
S12、预处理，对步骤S11所得的照片进行直方图均衡化和中值滤波去除噪点处理；
S13、阈值分割，对步骤S12所得的图片通过阈值分割形成二值化图像；
S14、腐蚀，对步骤S13所得的图像通过腐蚀形成闭合孔洞；
S15、判断并返回数据，对步骤S14所得的图像通过判断孔洞轮廓的面积和圆形度找到目标区域；
S2、单个模组位置识别，在步骤S1识别到12个孔洞位置后，进行以下步骤：
S21、拍照，相机拍摄单个太阳花模组；
S22、预处理，对步骤S21所得的照片进行中值滤波去除噪点；
S23、检测，对步骤S22所得的图像中的太阳花模组进行霍夫圆检测；
S24、找最小圆，对步骤S23所得的图像遍历所有圆找出最小圆并返回圆心位置及半径；
S3、方向识别，实现太阳花模组方向的寻找，包括以下步骤：
S31、突出图像边缘，对步骤S21获得的图像利用灰度图与腐蚀图的差来表示图像的边缘轮廓；
S32、掩膜处理，用于展现最大缺口，将步骤S24所得的最小圆圆心位置设为圆心位置并与待处理图像相乘，得到ROI图像；
S33、边缘检测，对步骤S32所得的图像采用Canny边缘检测算法进行识别以检测出实际边缘；
S34、膨胀处理，对步骤S33所得的图像中高亮部分进行膨胀；
S35、寻找最大轮廓，对步骤S34所得的图像中所有轮廓进行遍历并得到最大轮廓；
S36、凸包和凸缺陷检测，对步骤S35所得的最大轮廓的图像进行凸包和凸缺陷检测，以得到凸缺陷区域的特征量；
S37、确定最大开口，计算步骤S36所得的特征量并进行比较，找到太阳花模组的开口方向。
其中，Canny边缘检测算法是John F.Canny于1986年开发出来的一个多级边缘检测算法。通常情况下边缘检测的目的是在保留原有图像属性的情况下，显著减少图像的数据规模。有多种算法可以进行边缘检测，虽然Canny算法年代久远，但可以说它是边缘检测的一种标准算法，而且仍在研究中广泛使用。
在采用上述技术方案的基础上，本发明还可采用以下进一步的技术方案：
所述步骤S11还包括：相机随机械臂运动到整层太阳花模组上方1米处，触发相机拍照；
所述步骤S14中腐蚀的卷积核大小为120*120。
所述步骤S12还包括：
S121、直方图均衡化，对步骤S11所得的照片进行直方图均衡化处理以增强图像对比度；
S122、中值滤波，对步骤S121所得的图像进行中值滤波处理以消除图像噪点。
所述步骤S13还包括：对步骤S12所得的图片进行总像素数及灰度值出现的概率的计算，并对图像进行二值化处理，大于阈值的令像素值为255，小于阈值的为0。
所述步骤S15还包括：
S151、检测步骤S14所得的图像中的所有轮廓并保存到容器中，计算轮廓的面积及周长并以此计算出圆形度，若面积满足大于12500且小于92500、圆形度满足大于0.65，则判断为轮廓是目标区域；
S152、遍历步骤S151所得的所有满足条件的目标区域，找到包围该轮廓的最小圆，返回最小圆圆心位置及半径。
所述步骤S21中还包括：相机在机械臂的带动下依次移动至每个圆的圆心位置并拍照，拍摄图像为灰度图；
所述步骤S22中采用3*3的卷积核进行中值滤波。
所述步骤S34中膨胀的卷积核为19*19。
所述步骤S35还包括：查找到所有步骤S34所得图像中的轮廓并依次存储到容器中，遍历所有轮廓查找到最大值。
所述步骤S36中的特征量包括起始点、结束点、距离最远点、最远点到凸缺陷的距离。
所述步骤S37中还包括：计算每一个凸缺陷的起始点和结束点的距离，并存储到容器中，对计算所得的距离进行比较以找到最大距离所在区域，该区域为太阳花模组的开口方向。
本发明具有以下技术特点：
本发明通过自动识别太阳花模组的位置和方向，便于抓取并旋转到指定方向，可实现太阳花放置时能对准传感器，便于后续灌胶工序执行。本发明的方法精度高、过程严密、出错率极低。
附图说明
图1为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S11所得图像。
图2为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S121的灰度直方图。
图3为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S121所得图像。
图4为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S122所得图像。
图5为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S13所得图像。
图6为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S14所得图像。
图7为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S21所得图像。
图8为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S22所得图像。
图9为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S23所得图像。
图10为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S31所得图像。
图11为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S32所得掩膜图像。
图12为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S32所得ROI图像。
图13为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S33所得图像。
图14为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S34所得图像。
图15为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S35所得图像。
图16为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S36所得最大轮廓凸包图。
图17为本发明一种基于视觉的太阳花模组位置和方向检测方法的步骤S36所得最大轮廓凸缺陷图。
图18为本发明一种基于视觉的太阳花模组位置和方向检测方法的流程图。
图19为本发明一种基于视觉的太阳花模组位置和方向检测方法的太阳花模组结构示意图。
具体实施方式
以下具体实施例是对本发明提供的方法与技术方案的进一步说明，但不应理解成对本发明的限制。
实施例一，如图18和19所示，一种基于视觉的太阳花模组位置和方向检测方法，包括以下步骤：
S1、整层模组位置识别，包括以下步骤：
S11、拍照，相机随机械臂运动至整层模组上方1m处，触发相机拍照。相机选型由检测单个模组的位置和方向得出，在工作台的拍摄效果如图1所示。
S12、预处理，对步骤S11所得的照片进行直方图均衡化和中值滤波去除噪点处理，包括以下步骤：
S121、直方图均衡化，对步骤S11所得的照片进行直方图均衡化处理以增强图像对比度。
直方图均衡化是通过某种灰度映射使输入图像转换为在每一灰度级上都有近似相同的像素点数的输出图像，如图1所示，可以看出图像整体偏暗，细节不突出，因此先使用直方图均衡化增加图像对比度，便于看到图像细节。灰度直方图是一个二维图像，如图2所示，横坐标是图像中各个像素点的灰度级别，纵坐标为具有各个灰度级别的像素在图像中出现的次数或者频率。
具体地，首先假设图像灰度范围为0～1且连续，此时图像的归一化直方图即为概率密度函数。
p(x)，0≤x≤1
由概率密度函数的性质，可得：
Figure BDA0002815629560000061
设转换前图像概率密度函数为pr(r)，转换后图像概率密度函数为ps(s)，转换函数的映射关系为s＝f(r)。其中，r和s分别为输入图像和输出图像在任一点的灰度值。则由概率论得：
Figure BDA0002815629560000062
如果想使转换后的概率密度函数ps(s)＝1，0≤s≤1(即直方图是均匀的)则必须满足：
Figure BDA0002815629560000063
等式两边对r积分，可得：
Figure BDA0002815629560000064
对于灰度值在[0，255]的情况，需要乘以最大灰度值Dmax，此时，灰度均衡的转换公式为
Figure BDA0002815629560000065
其中，DB为转换后的灰度值，DA为转换前的灰度值。
S122、中值滤波，对步骤S121所得的图像进行中值滤波处理以消除图像噪点。
经过直方图均衡化后可以看出，图像噪点明显，因此采用中值滤波消除图像噪点，便于图像的后续处理。中值滤波是一种统计排序滤波器，对于原图像中某点，中值滤波以改点为中心的邻域内的所有像素的统计排序的中值作为该点的响应。
本实施例中采用3*3的中值滤波器，扫过图像每一个像素，排在第5位的值替换原像素值。这种方法相对于线性滤波器能够更好地排除椒盐噪声影响，因为线性滤波器需要将噪点计算在内，但在中值滤波中，噪点直接被忽略掉。
S13、阈值分割，对步骤S12所得的图片通过阈值分割形成二值化图，此处用基于最大类间方差法进行阈值分割。
可以看出，目标区域的灰度值与周围黑色圆环部分差异巨大，因此可以使用阈值分割来过滤出目标区域。但由于光照不均匀，如在右侧强光下，黑色区域灰度值较其他同类区域有明显变化，因此不能对所有拍摄到图像使用统一阈值进行分割。
具体地，如图5所示，计算总的像素数及各灰度值出现的概率。遍历图像，统计灰度为i的像素数，记录为ni，i的范围是0～255，总的像素数
Figure BDA0002815629560000071
各灰度值出现的概率为
Figure BDA0002815629560000072
把图像中的像素用阈值T分为两类，A1和A2，A1是由灰度值在0～T-1的像素组成，概率为
Figure BDA0002815629560000073
平均灰度
Figure BDA0002815629560000074
其中μ是整幅图像的平均灰度。A2是由灰度值在T～255的像素组成，概率为
Figure BDA0002815629560000075
平均灰度
Figure BDA0002815629560000076
则
Figure BDA0002815629560000077
A1和A2两个区域的总方差σ＝P1P2(μ1-μ2)2。通过计算，求出使得σ最大的T值。对图像进行二值化，大于阈值的令像素值为255，小于阈值的为0。
S14、腐蚀，对步骤S13所得的图像通过腐蚀形成闭合孔洞。
如图6所示，对二值化后的图进行腐蚀，获得圆形目标的闭合区域。腐蚀的卷积核大小为120*120。
S15、判断并返回数据，对步骤S14所得的图像通过判断孔洞轮廓的面积和圆形度找到目标区域。
S151、检测步骤S14所得的图像中的所有轮廓并保存到容器中。
轮廓形状判断方法可以根据等周定理，在周界长度相等的封闭几何形状中，圆形的面积最大。用不等式可以表达为：4πS≤L^2。式中，S为曲线包围的面积，L为封闭曲线的周长。定义圆形度为4πS/L^2。轮廓的面积S通过连通域所占的像素数量可以求出。
对于轮廓i，计算其面积S及周长L，从而计算出圆形度R＝4πS/L2，若S能够满足12500＜S＜92500，同时R满足R＞0.65，则认为该轮廓是圆形，即目标区域。
S152、遍历步骤S151所得的所有满足条件的目标区域，找到包围该轮廓的最小圆，返回最小圆圆心位置及半径。
S2、单个模组位置识别，在步骤S1识别到12个孔洞位置后，进行以下步骤：
S21、拍照，相机拍摄单个太阳花模组。
识别12个孔洞的位置后，相机在机械臂的带动下依次移动至每个圆的圆心位置并拍照。
具体地，相机选型：分辨率计算：检测精度为0.1mm，太阳花模组直径为160mm，因此视野大小最好200*200mm左右，得到最小分辨率400万，由于实际应用一般会选择计算值的3-5倍来确保精度，则实际分辨率至少为1200万。
因此最终选择大恒图像的型号为MER-1220-32U3M-C，分辨率为1220万像素的GigE工业相机。
拍摄图像为灰度图，在模组上方20cm的工作位置拍摄效果如图7所示。
S22、预处理，对步骤S21所得的照片进行中值滤波去除噪点。如图8所示，使用3*3的卷积核进行中值滤波，具体地如步骤S1中所述。
S23、检测，对步骤S22所得的图像中的太阳花模组进行霍夫圆检测。
对太阳花模组进行霍夫圆检测，进行试验后确定圆和圆心的最小距离为45，圆半径最小值为200，最大值为250。检测后的效果如图9所示。
S24、找最小圆，对步骤S23所得的图像遍历所有圆找出最小圆并返回圆心位置及半径。
可以看出，经过霍夫圆检测后，所有圆围绕目标区域，最小的圆即为所求。因此遍历所有找到的圆R1，R2...Rn，找出最小圆Ri，返回其圆心位置(xi，yi)和半径ri。
至此，找到了单个太阳花模组的位置，并进行下述步骤来寻找太阳花模组的方向。
S3、方向识别，与步骤S2同步进行，实现太阳花模组方向的寻找，包括以下步骤：
S31、突出图像边缘，对步骤S21获得的图像利用灰度图与腐蚀图的差来表示图像的边缘轮廓。
为减少不必要的噪声，获得图像的清晰轮廓，将团块的边缘突出出来，利用灰度图与腐蚀图的差来表示图像的内部梯度，即图像的边缘轮廓。如图10所示，内部梯度是形态学梯度的一种，是用原图像减去腐蚀之后的图像得到差值图像，称为图像的内部梯度。
S32、掩膜处理，用于展现最大缺口，将步骤S24所得的最小圆圆心位置设为圆心位置并与待处理图像相乘，得到ROI图像。
为了将最大缺口展现出来，并且去掉多余的太阳花，取图像中心区域，为后续寻找最大开口做准备。掩膜操作可以提取ROI区域，制作掩模时，如图11所示，圆心位置即为霍夫圆检测后的最小圆圆心位置(xi，yi)。将与待处理图像相乘,如图12所示，得到ROI图像，ROI内图像值保持不变,外侧像素值置为0。
S33、边缘检测，如图13所示，对步骤S32所得的图像采用Canny边缘检测算法进行识别以检测出实际边缘。
为了识别出图像的边缘，使用Canny边缘检测算法可以尽可能的检测出实际边缘，同时尽可能地减少噪声产生的误报。
具体地，消除噪声，使用高斯平滑滤波器卷积降噪
计算梯度幅值和方向图像的边缘可以指向不同方向，因此经典Canny算法用了四个梯度算子来分别计算水平，垂直和对角线方向的梯度。但是通常都不用四个梯度算子来分别计算四个方向。本文采用Sobel算子计算水平和垂直梯度。
Figure BDA0002815629560000091
Figure BDA0002815629560000092
A是原图像像素矩阵。
最终得到梯度幅值
Figure BDA0002815629560000101
梯度方向
Figure BDA0002815629560000102
非极大值抑制，非极大值抑制是一种边缘细化方法。通常得出来的梯度边缘不止一个像素宽，而是多个像素宽，因此这样的梯度图还是很“模糊”。非极大值抑制能帮助保留局部最大梯度而抑制所有其他梯度值。这意味着只保留了梯度变化中最锐利的位置。算法：1)比较当前点的梯度强度和正负梯度方向点的梯度强度。2)如果当前点的梯度强度和同方向的其他点的梯度强度相比较是最大，保留其值。否则抑制，即设为0。比如当前点的方向指向正上方90°方向，那它需要和垂直方向，它的正上方和正下方的像素比较。
滞后阈值。滞后阈值需要两个阈值，高阈值和低阈值：1)若某一像素位置的幅值超过高阈值，该像素保留为边缘像素。2)若某一像素位置的幅值小于低阈值，该像素被排除。3)若幅值在两个阈值之间，则像素仅仅在连接到一个高于高阈值的像素时被保留。一般高低阈值比在2:1到3:1之间。本实施例中，高阈值59、低阈值13时效果比较好。
S34、膨胀处理，对步骤S33所得的图像中高亮部分进行膨胀。
因为处理后的边缘出现很多断点，因此采用膨胀处理。膨胀就是图像中的高亮部分进行膨胀，如图14所示，拥有比原图更大的高亮区域。膨胀的卷积核为19*19。
S35、寻找最大轮廓，对步骤S34所得的图像中所有轮廓进行遍历并得到最大轮廓。
目前图像中有若干轮廓，需要找到最大轮廓来进行凸包和凸缺陷检测。一个轮廓一般对应一系列的点，也就是图像中的一条曲线。首先需要查找所有轮廓C1，C2...Cn，依次存储到容器中，然后遍历所有轮廓，查找最大值Ci，可以得到最大轮廓，如图15所示。
S36、凸包和凸缺陷检测，对步骤S35所得的最大轮廓的图像进行凸包和凸缺陷检测，以得到凸缺陷区域的特征量。
如图16所示的最大轮廓凸包图和如图17所示的最大轮廓凸缺陷图，可以看出最大轮廓包含很多缺口和凸起。为了得到最大开口，进而得到太阳花方向，对图像进行凸包和凸缺陷检测。
凸包和凸缺陷检测可以很好地理解物体的形状或轮廓。对于给定的二维平面点集，凸包就是将最外层的点连接起来构成的凸多边形，它是能包含点集中所有点的。凸缺陷指的是一段轮廓中凹进去的部分，每个凸缺陷区域有四个特征量：起始点，结束点，距离最远点，最远点到凸缺陷的距离。
S37、确定最大开口，计算步骤S36所得的特征量并进行比较，找到太阳花模组的开口方向。
计算每一个凸缺陷的起始点和结束点的距离L1，L2...Ln，存储到容器中，对这些距离进行比较，找到最大距离Li，Li所在区域即为太阳花模组的开口方向。
以上实施例的说明只是用于帮助理解本发明方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求保护范围内。

Claims (10)

1.一种基于视觉的太阳花模组位置和方向检测方法，其特征在于包括以下步骤：
S1、整层模组位置识别，包括以下步骤：
S11、拍照，相机拍摄整层太阳花模组；
S12、预处理，对步骤S11所得的照片进行直方图均衡化和中值滤波去除噪点处理；
S13、阈值分割，对步骤S12所得的图片通过阈值分割形成二值化图像；
S14、腐蚀，对步骤S13所得的图像通过腐蚀形成闭合孔洞；
S15、判断并返回数据，对步骤S14所得的图像通过判断孔洞轮廓的面积和圆形度找到目标区域；
S2、单个模组位置识别，在步骤S1识别到12个孔洞位置后，进行以下步骤：
S21、拍照，相机拍摄单个太阳花模组；
S22、预处理，对步骤S21所得的照片进行中值滤波去除噪点；
S23、检测，对步骤S22所得的图像中的太阳花模组进行霍夫圆检测；
S24、找最小圆，对步骤S23所得的图像遍历所有圆找出最小圆并返回圆心位置及半径；以及
S3、方向识别，实现太阳花模组方向的寻找，包括以下步骤：
S31、突出图像边缘，对步骤S21获得的图像利用灰度图与腐蚀图的差来表示图像的边缘轮廓；
S32、掩膜处理，用于展现最大缺口，将步骤S24所得的最小圆圆心位置设为圆心位置并与待处理图像相乘，得到ROI图像；
S33、边缘检测，对步骤S32所得的图像采用Canny边缘检测算法进行识别以检测出实际边缘；
S34、膨胀处理，对步骤S33所得的图像中高亮部分进行膨胀；
S35、寻找最大轮廓，对步骤S34所得的图像中所有轮廓进行遍历并得到最大轮廓；
S36、凸包和凸缺陷检测，对步骤S35所得的最大轮廓的图像进行凸包和凸缺陷检测，以得到凸缺陷区域的特征量；
S37、确定最大开口，计算步骤S36所得的特征量并进行比较，找到太阳花模组的开口方向。
2.根据权利要求1所述的一种基于视觉的太阳花模组位置和方向检测方法，其特征在于所述步骤S11还包括：相机随机械臂运动到整层太阳花模组上方1米处，触发相机拍照；
所述步骤S14中腐蚀的卷积核大小为120*120。
3.根据权利要求1所述的一种基于视觉的太阳花模组位置和方向检测方法，其特征在于所述步骤S12还包括：
S121、直方图均衡化，对步骤S11所得的照片进行直方图均衡化处理以增强图像对比度；
S122、中值滤波，对步骤S121所得的图像进行中值滤波处理以消除图像噪点。
4.根据权利要求1所述的一种基于视觉的太阳花模组位置和方向检测方法，其特征在于所述步骤S13还包括：对步骤S12所得的图片进行总像素数及灰度值出现的概率的计算，并对图像进行二值化处理，大于阈值的令像素值为255，小于阈值的为0。
5.根据权利要求1所述的一种基于视觉的太阳花模组位置和方向检测方法，其特征在于所述步骤S15还包括：
S151、检测步骤S14所得的图像中的所有轮廓并保存到容器中，计算轮廓的面积及周长并以此计算出圆形度，若面积满足大于12500且小于92500、圆形度满足大于0.65，则判断为轮廓是目标区域；
S152、遍历步骤S151所得的所有满足条件的目标区域，找到包围该轮廓的最小圆，返回最小圆圆心位置及半径。
6.根据权利要求1所述的一种基于视觉的太阳花模组位置和方向检测方法，其特征在于所述步骤S21中还包括：相机在机械臂的带动下依次移动至每个圆的圆心位置并拍照，拍摄图像为灰度图；
所述步骤S22中采用3*3的卷积核进行中值滤波。
7.根据权利要求1所述的一种基于视觉的太阳花模组位置和方向检测方法，其特征在于所述步骤S34中膨胀的卷积核为19*19。
8.根据权利要求1所述的一种基于视觉的太阳花模组位置和方向检测方法，其特征在于所述步骤S35还包括：查找到所有步骤S34所得图像中的轮廓并依次存储到容器中，遍历所有轮廓查找到最大值。
9.根据权利要求1所述的一种基于视觉的太阳花模组位置和方向检测方法，其特征在于所述步骤S36中的特征量包括起始点、结束点、距离最远点、最远点到凸缺陷的距离。
10.根据权利要求9所述的一种基于视觉的太阳花模组位置和方向检测方法，其特征在于所述步骤S37中还包括：计算每一个凸缺陷的起始点和结束点的距离，并存储到容器中，对计算所得的距离进行比较以找到最大距离所在区域，该区域为太阳花模组的开口方向。
CN202011397186.0A 2020-12-04 2020-12-04 一种基于视觉的太阳花模组位置和方向检测方法 Active CN112767304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011397186.0A CN112767304B (zh) 2020-12-04 2020-12-04 一种基于视觉的太阳花模组位置和方向检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011397186.0A CN112767304B (zh) 2020-12-04 2020-12-04 一种基于视觉的太阳花模组位置和方向检测方法

Publications (2)

Publication Number Publication Date
CN112767304A true CN112767304A (zh) 2021-05-07
CN112767304B CN112767304B (zh) 2023-02-28

Family

ID=75693407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011397186.0A Active CN112767304B (zh) 2020-12-04 2020-12-04 一种基于视觉的太阳花模组位置和方向检测方法

Country Status (1)

Country Link
CN (1) CN112767304B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615252A (zh) * 2008-06-25 2009-12-30 中国科学院自动化研究所 一种自适应图像文本信息提取方法
CN103208002A (zh) * 2013-04-10 2013-07-17 桂林电子科技大学 基于手轮廓特征的手势识别控制方法和***
CN104647893A (zh) * 2015-02-09 2015-05-27 西安科赛图像科技有限责任公司 一种基于十字线的印刷套印误差检测方法
CN106409711A (zh) * 2016-09-12 2017-02-15 佛山市南海区广工大数控装备协同创新研究院 一种太阳能硅晶片缺陷检测***及方法
CN106802113A (zh) * 2016-12-23 2017-06-06 西安交通大学 基于多弹孔模式识别算法的智能报靶***和方法
CN106855951A (zh) * 2016-12-16 2017-06-16 陕西科技大学 一种基于计算机视觉的粮种品质检测方法
CN107766784A (zh) * 2016-08-20 2018-03-06 宋坤骏 一种新型视频人数统计算法
CN108573476A (zh) * 2018-03-14 2018-09-25 浙江大学山东工业技术研究院 基于视觉的太阳花模组表面螺钉孔位置检测方法
CN108596925A (zh) * 2018-03-14 2018-09-28 浙江大学山东工业技术研究院 基于视觉的太阳花模组表面螺钉孔位置图像处理方法
CN110288619A (zh) * 2018-03-14 2019-09-27 浙江大学山东工业技术研究院 基于视觉的太阳花模组表面螺钉孔位置检测方法
CN110503633A (zh) * 2019-07-29 2019-11-26 西安理工大学 一种基于图像差分的贴花陶瓷盘表面缺陷检测方法
CN110866903A (zh) * 2019-11-08 2020-03-06 北京工业大学 基于霍夫圆变换技术的乒乓球识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615252A (zh) * 2008-06-25 2009-12-30 中国科学院自动化研究所 一种自适应图像文本信息提取方法
CN103208002A (zh) * 2013-04-10 2013-07-17 桂林电子科技大学 基于手轮廓特征的手势识别控制方法和***
CN104647893A (zh) * 2015-02-09 2015-05-27 西安科赛图像科技有限责任公司 一种基于十字线的印刷套印误差检测方法
CN107766784A (zh) * 2016-08-20 2018-03-06 宋坤骏 一种新型视频人数统计算法
CN106409711A (zh) * 2016-09-12 2017-02-15 佛山市南海区广工大数控装备协同创新研究院 一种太阳能硅晶片缺陷检测***及方法
CN106855951A (zh) * 2016-12-16 2017-06-16 陕西科技大学 一种基于计算机视觉的粮种品质检测方法
CN106802113A (zh) * 2016-12-23 2017-06-06 西安交通大学 基于多弹孔模式识别算法的智能报靶***和方法
CN108573476A (zh) * 2018-03-14 2018-09-25 浙江大学山东工业技术研究院 基于视觉的太阳花模组表面螺钉孔位置检测方法
CN108596925A (zh) * 2018-03-14 2018-09-28 浙江大学山东工业技术研究院 基于视觉的太阳花模组表面螺钉孔位置图像处理方法
CN110288619A (zh) * 2018-03-14 2019-09-27 浙江大学山东工业技术研究院 基于视觉的太阳花模组表面螺钉孔位置检测方法
CN110503633A (zh) * 2019-07-29 2019-11-26 西安理工大学 一种基于图像差分的贴花陶瓷盘表面缺陷检测方法
CN110866903A (zh) * 2019-11-08 2020-03-06 北京工业大学 基于霍夫圆变换技术的乒乓球识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张钰婷，邵勇，顾桂鹏，昝鹏: "基于机器视觉的齿轮缺陷检测方法研究", 《工业控制计算机》 *
陈治杉: "基于机器视觉的晶圆缺陷检测***分析与设计", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Also Published As

Publication number Publication date
CN112767304B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN109141232B (zh) 一种基于机器视觉的盘类铸件在线检测方法
CN110163853B (zh) 一种边缘缺陷的检测方法
CN110286124B (zh) 基于机器视觉的耐火砖测量***
CN109632808B (zh) 棱边缺陷检测方法、装置、电子设备及存储介质
CN114549981A (zh) 一种基于深度学习的智能巡检指针式仪表识别及读数方法
WO2021109697A1 (zh) 字符分割方法、装置以及计算机可读存储介质
CN116777907A (zh) 一种钣金件质量检测方法
CN112734761B (zh) 工业品图像边界轮廓提取方法
CN102441581A (zh) 基于机器视觉的型钢断面尺寸在线检测的装置及方法
CN106780526A (zh) 一种铁氧体圆片表面裂痕识别方法
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及***
CN116109637B (zh) 基于视觉的涡轮增压器叶轮外观缺陷检测的***及其方法
CN115100191A (zh) 基于工业检测的金属铸件缺陷识别方法
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN112669286A (zh) 基于红外热像的外墙外保温***缺陷识别与损伤程度评价方法
CN110544235A (zh) 一种基于微分几何的柔性电路板图像区域识别方法
CN113522786A (zh) 船舶零部件抓取与分拣的视觉检测方法、***及装置
CN115100174A (zh) 一种船舶钣金件漆面缺陷检测方法
CN113252103A (zh) 一种基于matlab图像识别技术计算物料堆体积及质量的方法
CN112102278A (zh) 一种基于计算机视觉的金属工件加工面缺陷检测方法
CN115587966A (zh) 一种在光照不均匀条件下零件有无缺漏的检测方法及***
CN113781413B (zh) 一种基于Hough梯度法的电解电容定位方法
CN112767304B (zh) 一种基于视觉的太阳花模组位置和方向检测方法
CN112184619A (zh) 一种基于深度学习的金属部件表面缺陷检测方法
CN112561875A (zh) 一种基于人工智能的光伏电池板粗栅检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant