CN110490865B - 基于螺柱高反光特性的螺柱点云分割方法 - Google Patents

基于螺柱高反光特性的螺柱点云分割方法 Download PDF

Info

Publication number
CN110490865B
CN110490865B CN201910779707.XA CN201910779707A CN110490865B CN 110490865 B CN110490865 B CN 110490865B CN 201910779707 A CN201910779707 A CN 201910779707A CN 110490865 B CN110490865 B CN 110490865B
Authority
CN
China
Prior art keywords
stud
point cloud
area
image
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910779707.XA
Other languages
English (en)
Other versions
CN110490865A (zh
Inventor
孙博
郭磊
邢威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yi Si Si Hangzhou Technology Co ltd
Original Assignee
Isvision Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isvision Hangzhou Technology Co Ltd filed Critical Isvision Hangzhou Technology Co Ltd
Priority to CN201910779707.XA priority Critical patent/CN110490865B/zh
Publication of CN110490865A publication Critical patent/CN110490865A/zh
Application granted granted Critical
Publication of CN110490865B publication Critical patent/CN110490865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于螺柱高反光特性的螺柱点云分割方法，包括如下步骤：1)分别采集待测螺柱所在区域的灰度图及相移图；2)对灰度图进行二值化，筛选出过曝区域，得到二值图；3)对二值图进行多次膨胀运算，使单个过曝区域的边缘能形成一个单连通区域；获取单连通区域轮廓的最小外接矩形；4)利用相移图测量最小外接矩形区域内的三维点云，再对获得的点云分别进行圆柱分割，输出分割结果，分割成功，其对应的最小外接矩形内存在螺柱，反之无螺柱。该方法利用螺柱的高反光区域对螺柱进行初步定位，再通过后续计算能快速、准确的分割出螺柱点云数据。

Description

基于螺柱高反光特性的螺柱点云分割方法
技术领域
本发明涉及视觉检测领域，具体涉及一种基于螺柱高反光特性的螺柱点云分割方法。
背景技术
制造领域中通常需要对螺柱的位姿进行检测，以确定螺柱的焊接位置及是否螺柱垂直于焊接平面。在图像平面较难给出螺柱所在的空间信息，故需要通过三维扫描仪获取待测螺柱的三维点云数据，从而计算出螺柱的空间位姿。
在三维空间中计算螺柱的空间位姿时，需要分割出螺柱的点云数据才可进行相应的计算。目前螺柱点云分割，主要基于以下三种方式：一是点云配准；二是直接将螺柱视为圆柱，采用ransac方法进行分割；三是从图像中直接分割出螺柱所在区域，设为感兴趣区域，测量结果仅输出感兴趣区域内点云。
采用点云配准方法时，需提前获得完整的螺柱点云数据，以汽车制造领域来说，每辆车上会采用多种型号的螺柱，点云配准运算巨大，需要耗费较长完成配准，无法满足制造业高效率测量需求。
采用ransac方法对点云进行分割时，只能将螺柱视为圆柱进行分割，但是实际获得的螺柱点云，因为螺柱自身的高反光特性，获得的点云数据较少，极其容易出现分割错误的情况出现。
采用图像分割对点云进行分割时，受螺柱反光特性影响，图像干扰非常强烈，导致图像分割算法通常失效，分割成功率较低，无法满足螺柱测量可靠性需求。
发明内容
为了解决上述技术问题，本发明提供一种基于螺柱高反光特性的螺柱点云分割方法，其利用螺柱的高反光区域对螺柱进行初步定位，再通过后续计算准确分割出螺柱点云数据。
为此，本发明的技术方案如下：
一种基于螺柱高反光特性的螺柱点云分割方法，包括如下步骤：
1)分别采集待测螺柱所在区域的灰度图及相移图；
2)对所述灰度图进行二值化，筛选出过曝区域，得到二值图；
3)对所述二值图进行多次膨胀运算，使单个过曝区域的边缘能形成一个单连通区域；获取所述单连通区域轮廓的最小外接矩形；
4)利用所述相移图测量所述最小外接矩形区域内的三维点云，再对获得的点云分别进行圆柱分割，输出分割结果，分割成功，其对应的最小外接矩形内存在螺柱，反之无螺柱。
进一步，步骤2)进行二值化时，阈值设定为230～250。
进一步，还包括步骤5)利用分割出的点云，计算螺柱与底板之间的位姿。
本发明提供的方法利用了螺柱的高反光特性对螺柱进行粗定位，以其为基准进行膨胀运算，确定螺柱位置。此种方法克服了常规图像处理时认为过曝区域是干扰、会影响最终检测结果的偏见。
附图说明
图1为具体实施方式得到的待测螺柱区域灰度图；
图2为具体实施方式得到的二值图；
图3为具体实施方式对二值图进行膨胀运算输出的结果图；
图4为具体实施方式对各连通区域做最小外接矩形后输出的结果；
图5(a)、5(b)、5(c)和5(d)分别为具体实施方式中分别测量四个曝光区域的三维点云得到的结果图；
图6(a)和6(b)为具体实施方式最终输出的分割结果。
具体实施方式
以下结合附图和具体实施方式对本发明的技术方案进行详细描述。
一种基于螺柱高反光特性的螺柱点云分割方法，包括如下步骤：
1)分别采集待测螺柱所在区域的灰度图(如图1所示)及相移图；灰度图用来提取螺柱，相移图用来测量被测物表面的三维点云；
2)对所述灰度图进行二值化，筛选出过曝区域，得到二值图；此方法利用螺柱自身的高反光特性，在灰度图中将螺柱分割出来；螺柱的高反光特性使螺柱无论从何角度拍摄，螺柱自身都会存在过曝区域；
二值化时，阈值可设置为230～250，图2是阈值设置为245时输出的结果；
3)二值化后的图像白色区域并不连续，都是以小区域形式存在，故需要对二值化后的图形进行形态学处理，使其变为邻近的白色区域变为一个整体。故对此二值图进行多次膨胀运算，使单个过曝区域的边缘能形成一个单连通区域(如图3所示)；获取所述单连通区域轮廓的最小外接矩形(如图4所示)；
4)利用所述相移图测量所述最小外接矩形区域内的三维点云(如图5所示)，再对获得的点云分别进行圆柱分割，输出分割结果(如图6所示)，分割成功，其对应的最小外接矩形内存在螺柱，反之无螺柱。
利用分割出的点云，计算螺柱与底板之间的位姿，图6中的计算结果为：大螺柱与底板间的夹角为89.076°，交点坐标为(-10.205，-17.258，218.002)，小螺柱与底板间的夹角为88.989°，交点坐标为(12.803，-0.864，215.944)。
该方法利用螺柱的高反光特性对螺柱进行粗定位，以其为基准进行膨胀运算，确定螺柱位置。此种方法克服了常规图像处理时认为过曝区域是干扰、会影响最终检测结果的偏见。检测结果准确、具体实施方式中检测过程仅耗费了0.156s。
前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims (3)

1.一种基于螺柱高反光特性的螺柱点云分割方法，其特征在于包括如下步骤：
1)分别采集待测螺柱所在区域的灰度图及相移图；
2)对所述灰度图进行二值化，筛选出过曝区域，得到二值图；
3)对所述二值图进行多次膨胀运算，使单个过曝区域的边缘能形成一个单连通区域；获取所述单连通区域轮廓的最小外接矩形；
4)利用所述相移图测量所述最小外接矩形内的区域的三维点云，再对获得的点云分别进行圆柱分割，输出分割结果，分割成功，其对应的最小外接矩形内存在螺柱，反之无螺柱。
2.如权利要求1所述基于螺柱高反光特性的螺柱点云分割方法，其特征在于：步骤2)进行二值化时，阈值设定为230～250。
3.如权利要求1所述基于螺柱高反光特性的螺柱点云分割方法，其特征在于：还包括步骤5)利用分割出的点云，计算螺柱与底板之间的位姿。
CN201910779707.XA 2019-08-22 2019-08-22 基于螺柱高反光特性的螺柱点云分割方法 Active CN110490865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910779707.XA CN110490865B (zh) 2019-08-22 2019-08-22 基于螺柱高反光特性的螺柱点云分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910779707.XA CN110490865B (zh) 2019-08-22 2019-08-22 基于螺柱高反光特性的螺柱点云分割方法

Publications (2)

Publication Number Publication Date
CN110490865A CN110490865A (zh) 2019-11-22
CN110490865B true CN110490865B (zh) 2022-04-01

Family

ID=68552828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910779707.XA Active CN110490865B (zh) 2019-08-22 2019-08-22 基于螺柱高反光特性的螺柱点云分割方法

Country Status (1)

Country Link
CN (1) CN110490865B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808131B (zh) * 2021-11-16 2022-01-25 成都数联云算科技有限公司 一种连接器缺陷识别方法及***及装置及介质
CN114511575B (zh) * 2022-01-26 2024-07-19 浙江大学 基于图像分割定位辅助点云配准的高反光物体的抓取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345743A (zh) * 2013-06-18 2013-10-09 宁波成电泰克电子信息技术发展有限公司 一种用于电池尾端智能探伤的图像分割算法
CN109583304A (zh) * 2018-10-23 2019-04-05 宁波盈芯信息科技有限公司 一种基于结构光模组的快速3d人脸点云生成方法及装置
CN109615657A (zh) * 2018-12-03 2019-04-12 易思维（天津）科技有限公司 基于点云数据的含螺纹目标物位姿的计算方法
CN109631847A (zh) * 2018-12-03 2019-04-16 易思维（天津）科技有限公司 一种基于点云数据的含螺纹目标物位姿的计算方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345743A (zh) * 2013-06-18 2013-10-09 宁波成电泰克电子信息技术发展有限公司 一种用于电池尾端智能探伤的图像分割算法
CN109583304A (zh) * 2018-10-23 2019-04-05 宁波盈芯信息科技有限公司 一种基于结构光模组的快速3d人脸点云生成方法及装置
CN109615657A (zh) * 2018-12-03 2019-04-12 易思维（天津）科技有限公司 基于点云数据的含螺纹目标物位姿的计算方法
CN109631847A (zh) * 2018-12-03 2019-04-16 易思维（天津）科技有限公司 一种基于点云数据的含螺纹目标物位姿的计算方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于视觉信息的索道钢丝绳检测算法研究;陈晓亮;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151215;正文第3.2.2节 *
螺柱分拣***中视觉识别技术研究;刘哲;《万方数据知识服务平台》;20150730;正文第3章 *

Also Published As

Publication number Publication date
CN110490865A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN107507167B (zh) 一种基于点云平面轮廓匹配的货物托盘检测方法及***
CN103761534B (zh) 一种用于qfp元件视觉定位的检测方法
US10115035B2 (en) Vision system and analytical method for planar surface segmentation
EP3176751B1 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
CN109685760B (zh) 一种基于matlab的slm粉床铺粉图像凸包凹陷缺陷检测方法
CN110502983B (zh) 一种检测高速公路中障碍物的方法、装置及计算机设备
CN107239742A (zh) 一种仪表指针刻度值计算方法
CN110490865B (zh) 基于螺柱高反光特性的螺柱点云分割方法
CN113490965A (zh) 图像跟踪处理方法、装置、计算机设备和存储介质
CN111160477B (zh) 一种基于特征点检测的图像模板匹配方法
Yogeswaran et al. 3d surface analysis for automated detection of deformations on automotive body panels
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN107274446B (zh) 一种利用法向一致性的尖锐几何边缘点识别方法
CN115294527A (zh) 一种基于计算机视觉的地铁隧道破损检测方法
CN112991327B (zh) 基于机器视觉的钢格网焊接***、方法和终端设备
US6829382B2 (en) Structure-guided automatic alignment for image processing
CN105374045B (zh) 一种基于形态学的图像特定形状尺寸目标快速分割方法
CN112802022B (zh) 智能检测缺陷玻璃图像的方法、电子设备以及存储介质
US12023722B2 (en) Stamping line defect quality monitoring systems and methods of monitoring stamping line defects
Zhou et al. An adaptive clustering method detecting the surface defects on linear guide rails
Buck et al. Enhanced ship detection from overhead imagery
JP2002140713A (ja) 画像処理方法およびその装置
CN109191489B (zh) 一种飞行器着陆标志的检测跟踪方法与***
Kröger et al. Performance evaluation on contour extraction using Hough transform and RANSAC for multi-sensor data fusion applications in industrial food inspection
CN115760898A (zh) 一种混合高斯域下道路抛洒物的世界坐标定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 495, building 3, 1197 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province 310051

Patentee after: Yi Si Si (Hangzhou) Technology Co.,Ltd.

Address before: Room 495, building 3, 1197 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province 310051

Patentee before: ISVISION (HANGZHOU) TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder