CN110490865A - 基于螺柱高反光特性的螺柱点云分割方法 - Google Patents
基于螺柱高反光特性的螺柱点云分割方法 Download PDFInfo
- Publication number
- CN110490865A CN110490865A CN201910779707.XA CN201910779707A CN110490865A CN 110490865 A CN110490865 A CN 110490865A CN 201910779707 A CN201910779707 A CN 201910779707A CN 110490865 A CN110490865 A CN 110490865A
- Authority
- CN
- China
- Prior art keywords
- stud
- point cloud
- region
- high light
- carried out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000010363 phase shift Effects 0.000 claims abstract description 9
- 230000010339 dilation Effects 0.000 claims abstract description 7
- 238000005259 measurement Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于螺柱高反光特性的螺柱点云分割方法，包括如下步骤：1)分别采集待测螺柱所在区域的灰度图及相移图；2)对灰度图进行二值化，筛选出过曝区域，得到二值图；3)对二值图进行多次膨胀运算，使单个过曝区域的边缘能形成一个单连通区域；获取单连通区域轮廓的最小外接矩形；4)利用相移图测量最小外接矩形区域内的三维点云，再对获得的点云分别进行圆柱分割，输出分割结果，分割成功，其对应的最小外接矩形内存在螺柱，反之无螺柱。该方法利用螺柱的高反光区域对螺柱进行初步定位，再通过后续计算能快速、准确的分割出螺柱点云数据。
Description
技术领域
本发明涉及视觉检测领域，具体涉及一种基于螺柱高反光特性的螺柱点云分割方法。
背景技术
制造领域中通常需要对螺柱的位姿进行检测，以确定螺柱的焊接位置及是否螺柱垂直于焊接平面。在图像平面较难给出螺柱所在的空间信息，故需要通过三维扫描仪获取待测螺柱的三维点云数据，从而计算出螺柱的空间位姿。
在三维空间中计算螺柱的空间位姿时，需要分割出螺柱的点云数据才可进行相应的计算。目前螺柱点云分割，主要基于以下三种方式：一是点云配准；二是直接将螺柱视为圆柱，采用ransac方法进行分割；三是从图像中直接分割出螺柱所在区域，设为感兴趣区域，测量结果仅输出感兴趣区域内点云。
采用点云配准方法时，需提前获得完整的螺柱点云数据，以汽车制造领域来说，每辆车上会采用多种型号的螺柱，点云配准运算巨大，需要耗费较长完成配准，无法满足制造业高效率测量需求。
采用ransac方法对点云进行分割时，只能将螺柱视为圆柱进行分割，但是实际获得的螺柱点云，因为螺柱自身的高反光特性，获得的点云数据较少，极其容易出现分割错误的情况出现。
采用图像分割对点云进行分割时，受螺柱反光特性影响，图像干扰非常强烈，导致图像分割算法通常失效，分割成功率较低，无法满足螺柱测量可靠性需求。
发明内容
为了解决上述技术问题，本发明提供一种基于螺柱高反光特性的螺柱点云分割方法，其利用螺柱的高反光区域对螺柱进行初步定位，再通过后续计算准确分割出螺柱点云数据。
为此，本发明的技术方案如下：
一种基于螺柱高反光特性的螺柱点云分割方法，包括如下步骤：
1)分别采集待测螺柱所在区域的灰度图及相移图；
2)对所述灰度图进行二值化，筛选出过曝区域，得到二值图；
3)对所述二值图进行多次膨胀运算，使单个过曝区域的边缘能形成一个单连通区域；获取所述单连通区域轮廓的最小外接矩形；
4)利用所述相移图测量所述最小外接矩形区域内的三维点云，再对获得的点云分别进行圆柱分割，输出分割结果，分割成功，其对应的最小外接矩形内存在螺柱，反之无螺柱。
进一步，步骤2)进行二值化时，阈值设定为230～250。
进一步，还包括步骤5)利用分割出的点云，计算螺柱与底板之间的位姿。
本发明提供的方法利用了螺柱的高反光特性对螺柱进行粗定位，以其为基准进行膨胀运算，确定螺柱位置。此种方法克服了常规图像处理时认为过曝区域是干扰、会影响最终检测结果的偏见。
附图说明
图1为具体实施方式得到的待测螺柱区域灰度图；
图2为具体实施方式得到的二值图；
图3为具体实施方式对二值图进行膨胀运算输出的结果图；
图4为具体实施方式对各连通区域做最小外接矩形后输出的结果；
图5(a)、5(b)、5(c)和5(d)分别为具体实施方式中分别测量四个曝光区域的三维点云得到的结果图；
图6(a)和6(b)为具体实施方式最终输出的分割结果。
具体实施方式
以下结合附图和具体实施方式对本发明的技术方案进行详细描述。
一种基于螺柱高反光特性的螺柱点云分割方法，包括如下步骤：
1)分别采集待测螺柱所在区域的灰度图(如图1所示)及相移图；灰度图用来提取螺柱，相移图用来测量被测物表面的三维点云；
2)对所述灰度图进行二值化，筛选出过曝区域，得到二值图；此方法利用螺柱自身的高反光特性，在灰度图中将螺柱分割出来；螺柱的高反光特性使螺柱无论从何角度拍摄，螺柱自身都会存在过曝区域；
二值化时，阈值可设置为230～250，图2是阈值设置为245时输出的结果；
3)二值化后的图像白色区域并不连续，都是以小区域形式存在，故需要对二值化后的图形进行形态学处理，使其变为邻近的白色区域变为一个整体。故对此二值图进行多次膨胀运算，使单个过曝区域的边缘能形成一个单连通区域(如图3所示)；获取所述单连通区域轮廓的最小外接矩形(如图4所示)；
4)利用所述相移图测量所述最小外接矩形区域内的三维点云(如图5所示)，再对获得的点云分别进行圆柱分割，输出分割结果(如图6所示)，分割成功，其对应的最小外接矩形内存在螺柱，反之无螺柱。
利用分割出的点云，计算螺柱与底板之间的位姿，图6中的计算结果为：大螺柱与底板间的夹角为89.076°，交点坐标为(-10.205，-17.258，218.002)，小螺柱与底板间的夹角为88.989°，交点坐标为(12.803，-0.864，215.944)。
该方法利用螺柱的高反光特性对螺柱进行粗定位，以其为基准进行膨胀运算，确定螺柱位置。此种方法克服了常规图像处理时认为过曝区域是干扰、会影响最终检测结果的偏见。检测结果准确、具体实施方式中检测过程仅耗费了0.156s。
前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。
Claims (3)
1.一种基于螺柱高反光特性的螺柱点云分割方法，其特征在于包括如下步骤：
1)分别采集待测螺柱所在区域的灰度图及相移图；
2)对所述灰度图进行二值化，筛选出过曝区域，得到二值图；
3)对所述二值图进行多次膨胀运算，使单个过曝区域的边缘能形成一个单连通区域；获取所述单连通区域轮廓的最小外接矩形；
4)利用所述相移图测量所述最小外接矩形内的区域的三维点云，再对获得的点云分别进行圆柱分割，输出分割结果，分割成功，其对应的最小外接矩形内存在螺柱，反之无螺柱。
2.如权利要求1所述基于螺柱高反光特性的螺柱点云分割方法，其特征在于：步骤2)进行二值化时，阈值设定为230～250。
3.如权利要求1所述基于螺柱高反光特性的螺柱点云分割方法，其特征在于：还包括步骤5)利用分割出的点云，计算螺柱与底板之间的位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910779707.XA CN110490865B (zh) | 2019-08-22 | 2019-08-22 | 基于螺柱高反光特性的螺柱点云分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910779707.XA CN110490865B (zh) | 2019-08-22 | 2019-08-22 | 基于螺柱高反光特性的螺柱点云分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110490865A true CN110490865A (zh) | 2019-11-22 |
| CN110490865B CN110490865B (zh) | 2022-04-01 |
Family
ID=68552828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910779707.XA Active CN110490865B (zh) | 2019-08-22 | 2019-08-22 | 基于螺柱高反光特性的螺柱点云分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110490865B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808131A (zh) * | 2021-11-16 | 2021-12-17 | 成都数联云算科技有限公司 | 一种连接器缺陷识别方法及***及装置及介质 |
| CN114511575A (zh) * | 2022-01-26 | 2022-05-17 | 浙江大学 | 基于图像分割定位辅助点云配准的高反光物体的抓取方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345743A (zh) * | 2013-06-18 | 2013-10-09 | 宁波成电泰克电子信息技术发展有限公司 | 一种用于电池尾端智能探伤的图像分割算法 |
| US20190096086A1 (en) * | 2017-09-22 | 2019-03-28 | Zoox, Inc. | Three-Dimensional Bounding Box From Two-Dimensional Image and Point Cloud Data |
| CN109583304A (zh) * | 2018-10-23 | 2019-04-05 | 宁波盈芯信息科技有限公司 | 一种基于结构光模组的快速3d人脸点云生成方法及装置 |
| CN109615657A (zh) * | 2018-12-03 | 2019-04-12 | 易思维（天津）科技有限公司 | 基于点云数据的含螺纹目标物位姿的计算方法 |
| CN109631847A (zh) * | 2018-12-03 | 2019-04-16 | 易思维（天津）科技有限公司 | 一种基于点云数据的含螺纹目标物位姿的计算方法 |
-
2019
- 2019-08-22 CN CN201910779707.XA patent/CN110490865B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345743A (zh) * | 2013-06-18 | 2013-10-09 | 宁波成电泰克电子信息技术发展有限公司 | 一种用于电池尾端智能探伤的图像分割算法 |
| US20190096086A1 (en) * | 2017-09-22 | 2019-03-28 | Zoox, Inc. | Three-Dimensional Bounding Box From Two-Dimensional Image and Point Cloud Data |
| CN109583304A (zh) * | 2018-10-23 | 2019-04-05 | 宁波盈芯信息科技有限公司 | 一种基于结构光模组的快速3d人脸点云生成方法及装置 |
| CN109615657A (zh) * | 2018-12-03 | 2019-04-12 | 易思维（天津）科技有限公司 | 基于点云数据的含螺纹目标物位姿的计算方法 |
| CN109631847A (zh) * | 2018-12-03 | 2019-04-16 | 易思维（天津）科技有限公司 | 一种基于点云数据的含螺纹目标物位姿的计算方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘哲: "螺柱分拣***中视觉识别技术研究", 《万方数据知识服务平台》 * |
| 陈晓亮: "基于视觉信息的索道钢丝绳检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808131A (zh) * | 2021-11-16 | 2021-12-17 | 成都数联云算科技有限公司 | 一种连接器缺陷识别方法及***及装置及介质 |
| CN113808131B (zh) * | 2021-11-16 | 2022-01-25 | 成都数联云算科技有限公司 | 一种连接器缺陷识别方法及***及装置及介质 |
| CN114511575A (zh) * | 2022-01-26 | 2022-05-17 | 浙江大学 | 基于图像分割定位辅助点云配准的高反光物体的抓取方法 |
| CN114511575B (zh) * | 2022-01-26 | 2024-07-19 | 浙江大学 | 基于图像分割定位辅助点云配准的高反光物体的抓取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110490865B (zh) | 2022-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103047943B (zh) | 基于单投射编码结构光的车门外板形状尺寸检测方法 | |
| CN106600622B (zh) | 一种基于超体素的点云数据分割方法 | |
| CN108132017B (zh) | 一种基于激光视觉***的平面焊缝特征点提取方法 | |
| CN103761534B (zh) | 一种用于qfp元件视觉定位的检测方法 | |
| US9858659B2 (en) | Pattern inspecting and measuring device and program | |
| CN104915963B (zh) | 一种用于plcc元件的检测与定位方法 | |
| CN108918526B (zh) | 一种柔性ic封装基板线路的缺口缺陷检测方法 | |
| CN106340044B (zh) | 摄像机外参自动标定方法及标定装置 | |
| CN102496161B (zh) | 一种印刷电路板图像的轮廓提取方法 | |
| Tazir et al. | CICP: Cluster Iterative Closest Point for sparse–dense point cloud registration | |
| CN107239742B (zh) | 一种仪表指针刻度值计算方法 | |
| CN109544599B (zh) | 一种基于相机位姿估计的三维点云配准方法 | |
| CN105095822B (zh) | 一种汉信码特征图形检测方法及*** | |
| CN103727930A (zh) | 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法 | |
| CN105335973A (zh) | 运用于带钢加工生产线的视觉处理方法 | |
| CN105023265A (zh) | 鱼眼镜头下的棋盘格角点自动检测方法 | |
| CN110298891A (zh) | 相机外参精度自动评估的方法及装置 | |
| CN103512558A (zh) | 一种锥形目标双目视频位姿测量方法及靶标图案 | |
| Du et al. | Vision-based lane line detection for autonomous vehicle navigation and guidance | |
| CN110490865A (zh) | 基于螺柱高反光特性的螺柱点云分割方法 | |
| CN115861351A (zh) | 边缘检测方法、缺陷检测方法及检测装置 | |
| CN105354816A (zh) | 一种电子元件定位方法及装置 | |
| Tao et al. | A high-accuracy circular hole measurement method based on multi-camera system | |
| WO2020209046A1 (ja) | 物体検出装置 | |
| CN104573635A (zh) | 一种基于三维重建的微小高度识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 495, building 3, 1197 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province 310051 Patentee after: Yi Si Si (Hangzhou) Technology Co.,Ltd. Address before: Room 495, building 3, 1197 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province 310051 Patentee before: ISVISION (HANGZHOU) TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |