CN117110319B - 基于3d成像的球体表面缺陷检测方法和检测*** - Google Patents

基于3d成像的球体表面缺陷检测方法和检测*** Download PDF

Info

Publication number
CN117110319B
CN117110319B CN202311369143.5A CN202311369143A CN117110319B CN 117110319 B CN117110319 B CN 117110319B CN 202311369143 A CN202311369143 A CN 202311369143A CN 117110319 B CN117110319 B CN 117110319B
Authority
CN
China
Prior art keywords
point cloud
sphere
detection
point
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311369143.5A
Other languages
English (en)
Other versions
CN117110319A (zh
Inventor
徐健
刘大双
陆振
王迎春
史文杰
周美兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huiding Zhilian Equipment Technology Jiangsu Co ltd
Original Assignee
Huiding Zhilian Equipment Technology Jiangsu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huiding Zhilian Equipment Technology Jiangsu Co ltd filed Critical Huiding Zhilian Equipment Technology Jiangsu Co ltd
Priority to CN202311369143.5A priority Critical patent/CN117110319B/zh
Publication of CN117110319A publication Critical patent/CN117110319A/zh
Application granted granted Critical
Publication of CN117110319B publication Critical patent/CN117110319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/951—Balls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E30/00—Energy generation of nuclear origin
    • Y02E30/30—Nuclear fission reactors

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种基于3D成像的球体表面缺陷检测方法和检测***，其中所述检测方法包括如下步骤：（a）扫描待测球体的上半球表面和下半球表面，以获取到对应所述待测球体的上半球3D深度图像和下半球3D深度图像；（b）基于获取的所述上半球3D深度图像和所述下半球3D深度图像拼接得到对应于待测球体的3D点云模型；以及（c）结合拼接前的3D点云图像和拼接后的点云模型判断待测球体表面是否存在缺陷。

Description

基于3D成像的球体表面缺陷检测方法和检测***
技术领域
本发明涉及机器视觉检测技术领域，尤其涉及一种基于3D成像的球体表面缺陷检测方法和检测***。
背景技术
汽车由数以万计零部件组装而成，零部件是汽车发展的基础和重要组成部分，其产品质量优劣直接影响整车性能的优劣。因表面缺陷检测能够帮助企业更好地掌握产品质量分布状况，寻找质量薄弱环节，降低产品质量波动，形成生产和质量提升的闭环控制，故近些年企业对零部件的外观品质要求愈发的高。
目前主流的表面缺陷检测方法包括基于传统机理的表面缺陷检测方法和基于机器视觉的表面缺陷检测方法。其中，第一类检测方法又可分为涡流检测、交流电磁场检测、漏磁检测等，该方法主要利用高灵敏度的机电技术或者光学技术，通过对获取的电信号或磁信号信息进行分析和处理，实现表面缺陷的无损检测。涡流检测主要适用于导电材料表面及近表面的检测，但其对待测表面的状态要求较高，粗糙度较大时检测效果不佳，且对于脏污、轻微划痕的识别率不高；交流电磁场检测仅适用于高导磁率的铁磁性材料，设备成本高，可检测缺陷种类有限；漏磁检测其在检测完成后需进行退磁，操作繁琐，且难以准确区分缺陷的种类。
第二类基于机器视觉的缺陷检测方法，该技术是实现自动化、智能化及精密化的有效手段，其可靠性高、检测速度快、成本低以及适用范围广。现有的机器视觉主要以2D图像处理为主，但随着制造工艺越来越复杂，其对表面缺陷检测的精度和稳定性要求也愈发的高，有时仅依靠RGB信息无法完成检测要求。基于分析和处理产品深度信息的3D缺陷检测技术利用计算机视觉技术和3D成像技术，能够更准确地检测和分析产品表面的缺陷。对于检测对象为石墨球体，2D拍摄时表面脏污图像特征会呈现黑色，与凹凸缺陷特征对比度不高，容易造成误判。使用3D相机取图缺陷需要有一定深度，脏污的干扰对检测不会造成误判。
发明内容
本申请的一个主要优势在于提供一种基于3D成像的球体表面缺陷检测方法和检测***，其中该检测方法适用于球体的表面划痕、脏污等缺陷检测，可以有效把控产品质量，改善生产工艺，减少人工成本以及避免经济损失。
本申请的另一个优势在于提供一种基于3D成像的球体表面缺陷检测方法和检测***，其中该检测方法基于3D成像原理检测石墨球体表面的凹凸缺陷，该检测方法可以在较短时间内获取大量有效数据信息，并且测量精度高、速度快、适应性强。
本申请的另一个优势在于提供一种基于3D成像的球体表面缺陷检测方法和检测***，其中该检测方法是一种基于3D成像原理的石墨球表面缺陷检测方法，以实现对球体表面缺陷的高效、精准检测。
本申请的另一个优势在于提供一种基于3D成像的球体表面缺陷检测方法和检测***，其中该检测方法属于无接触式检测方案，避免了接触式取点对待测工件表面的损伤和对产品的二次伤害。
本申请的另一个优势在于提供一种基于3D成像的球体表面缺陷检测方法和检测***，其中该检测***采用了旋转式与双工位相结合的图像采集方式，每个工件采集时间小于2s，缩短了整体检测时间。
本申请的另一个优势在于提供一种基于3D成像的球体表面缺陷检测方法和检测***，其中该检测方法通过利用基于3D成像技术的检测方案，在确保测量精度的前提下，对被测表面的适应性更强，进而***的稳定性、抗干扰能力得以增强。
因此，根据本发明的第一方面，提出一种基于3D成像的球体表面缺陷检测方法，所述检测方法包括如下步骤：
（a）扫描待测球体的上半球表面和下半球表面，以获取到对应所述待测球体的上半球3D深度图像和下半球3D深度图像；
（b）基于获取的所述上半球3D深度图像和所述下半球3D深度图像拼接得到对应于待测球体的3D点云模型；以及
（c）结合拼接前的3D点云图像和拼接后的点云模型判断待测球体表面是否存在缺陷。
根据本申请的一个实施例，在所述检测方法的步骤（a）中，通过3D相机拍摄待测球体的上半球表面，其中3D相机的扫描视野覆盖所述待测球体的整个半球，并且在采集三维信息的过程中，待测球体需要沿着过球心的旋转轴做自转运动，以获取所述上半球3D点云图像和所述下半球3D点云图像。
根据本申请的一个实施例，在所述检测方法的步骤（a）中，在第一检测工位上采集完待测球体三维信息后，上下地翻转所述待测球体，并输送至第二检测工位，以完成下半部分三维信息的获取。
根据本申请的一个实施例，所述检测方法的步骤（b）进一步包括如下步骤：
（b.1）将获取的上半球3D深度图像和所述下半球3D深度图像转化为对应的多片3D点云图像；和
（b.2）基于第一片3D点云图像位置移动其它3D点云图像，以实现3D点云图像的拼接。
根据本申请的一个实施例，在所述检测方法的步骤（b.2）中，整理第一片3D点云图像的起止点坐标，并将该坐标平移到整体图像的理论位置。
根据本申请的一个实施例，在所述检测方法的步骤（b.2）中，对第一片3D点云图像和其它点云图像进行平移匹配和角度差计算，根据计算结果将剩余其它3D点云图像旋转一定角度完成3D点云的拼接。
根据本申请的一个实施例，所述检测方法的步骤（c）进一步包括如下步骤：
（c.1）在拼接前的3D点云图像中抓取异于周围深度的疑似点，经过坐标转换后将该疑似点定位到拼接后的3D点云图像中；
（c.2）在疑似点的周围选取特定范围的像素区域，对该区域构建空间平面，将疑似点投影到该空间平面得到投影点，其中投影点与原疑似点构成检测向量；以及
（c.3）计算疑似点的法向量与检测向量的夹角，当夹角小于90°时，判断为凹陷面，反之则为凸面。
根据本申请的一个实施例，在疑似点的周围选取100x100的像素区域。
根据本申请的一个实施例，在所述检测方法的步骤（c.1）中，粗略获取疑似点，其中该步骤进一步包括：
（c.1.1）基于3D点云数据拟合理论球体，并获取球心和半径R；
（c.1.2）计算3D点云上每个点到拟合球心的距离d；以及
（c.1.3）距离d与半径R相比， |d-R|>thresh的全部列为疑似点。
根据本申请的一个实施例，在所述检测方法的步骤（c）中，对疑似点进行过滤判断，其中将疑似点连接成片，并计算其面积，过滤掉面积小的疑似点；对于面积大的疑似点，如果|d-R|平缓过度的区域属于球度不好，但非磕碰划痕，也进行过滤。
根据本申请的一个实施例，在所述检测方法的步骤（c）中，过滤方法统计法向量的梯度，梯度小则为平缓，否则识别为磕碰划痕。
根据本申请的另一方面，本申请进一步提供一种基于3D成像的球体表面缺陷检测***，包括：
第一检测工位、第二检测工位、第一扫描机构、第二扫描机构、翻转输送机构以及处理器，其中待测球体可被放置在所述第一检测工位和所述第二检测工位，所述翻转输送机构用于将待测球体从所述第一检测工位翻转并运送至所述第二检测工位，所述第一扫描机构用于获取所述待测球体的上半球深度图像，所述第二扫描机构用于获取所述待测球体的下半球深度图像，所述处理器将所述第一扫描机构和所述第二扫描机构获取的深度图像拼接成对应于待测球体的球体3D点云模型；并结合所述球体点云模型判断是否存在凹凸缺陷。
根据本申请的一个实施例，所述第一扫描机构和所述第二扫描机构具有中心扫描轴线，其中所述第一扫描机构和所述第二扫描机构倾斜45°安装在所述第一检测工位和所述第二检测工位的一侧。
根据本申请的一个实施例，所述第一检测工位和所述第二检测工位可沿一个中心轴线旋转运动，所述第一检测工位和所述第二检测工位承载着待测球体沿着过球心的旋转轴做自转运动。
根据本申请的一个实施例，所述处理器包括信息转化单元、点云拼接单元以及缺陷检测单元，其中所述信息转化单元将所述第一扫描机构和所述第二扫描机构扫描得到的半球图像转化为对应的上半球3D点云图像和下半球3D点云图像；所述点云拼接单元对所述上半球3D点云图像和所述下半球3D点云图像进行整理和拼接，得到对应于待测球体的点云模型；所述缺陷检测单元结合拼接前和拼接后的点云图像判断是否存在凹凸缺陷。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明和附图得以充分体现。
附图说明
以下将结合附图和实施例来对本发明的技术方案作进一步的详细描述。在附图中，除非另有说明，相同的附图标记用于表示相同的部件。其中：
图1是根据本发明第一较佳实施例的一种基于3D成像的球体表面缺陷检测方法的步骤示意图。
图2是根据本发明上述第一较佳实施例的一种基于3D成像的球体表面缺陷检测***的示意图。
图3是待测球体摆放在所述基于3D成像的球体表面缺陷检测***的示意图。
图4是根据本发明上述第一较佳实施例的所述基于3D成像的球体表面缺陷检测***检测场景示意图。
图5是根据本发明上述第一较佳实施例的所述基于3D成像的球体表面缺陷检测***的扫描所述球体表面的示意图。
图6A和图6B是根据本发明上述第一较佳实施例的所述基于3D成像的球体表面缺陷检测方法获取的拼接前的点云示意图。
图7是根据本发明上述第一较佳实施例的所述基于3D成像的球体表面缺陷检测方法获取的拼接后的示意图。
图8是根据本发明上述第一较佳实施例的所述基于3D成像的球体表面缺陷检测方法的拼接原理示意图。
具体实施方式
需要指出，附图示出的实施例仅作为示例用于具体和形象地解释和说明本发明的构思，其在尺寸结构方面既不必然按照比例绘制，也不构成对本发明构思的限制。
在本说明书中提到或者可能提到的上、下、左、右、前、后、正面、背面、顶部、底部等方位用语是相对于各个附图中所示的构造进行定义的，它们是相对的概念，因此有可能会根据其所处不同位置、不同使用状态而进行相应地变化。所以，也不应当将这些或者其他的方位用语解释为限制性用语。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、 “横向”、 “上”、“下”、 “前”、 “后”、 “左”、 “右”、 “竖直”、 “水平”、 “顶”、 “底”、 “内”、 “外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
参照本申请说明书附图之图1至图8所示，依照本申请第一较佳实施例的一种基于3D成像的球体表面缺陷检测方法和检测***在接下来的描述中被阐明。为了便于描述以下将所述基于3D成像的球体表面缺陷检测***简称为检测***，将基于3D成像的球体表面缺陷检测方法简称为检测方法。
所述检测***包括第一检测工位10、第二检测工位20、第一扫描机构30、第二扫描机构40、翻转输送机构50以及处理器60，其中待测的球体可被放置在所述第一检测工位10和所述第二检测工位20，所述翻转输送机构50用于将待测的球体从所述第一检测工位10翻转并运送至所述第二检测工位20，所述第一扫描机构30与所述第一检测工位10相对，用于扫描处于所述第一检测工位10时的所述待测球体，并获取对应所述待测球体的上半球扫描信息；所述第二扫描机构40与所述第二检测工位20相对，当所述待测球体被所述翻转输送机构50翻转并输送至所述第二检测工位20时，所述第二扫描机构40扫描翻转后的待测球体，并获取对应所述待测球体的下半球扫描信息。
优选地，在本申请的该优选实施例中，所述第一扫描结构30和所述第二扫描机构40被实施为3D相机，其中所述第一扫描机构30和所述第二扫描结构40扫描得到的半球扫描信息为3D深度图像或3D点云图像。
简言之，在本申请的该优选实施例中，当所述待测的球体在所述第一检测工位10时，所述第一扫描机构30扫描所述待测的球体的上半部分，以获取对应上半球3D深度图像；在第一扫描机构30扫描结束后，所述翻转输送机构50将待测的球体上下翻转180°，并输送至所述第二检测工位20，所述第二扫描机构40扫描所述待测球体的下半部分，以获取对应下半球体的3D深度图像。
所述第一扫描机构30和所述第二扫描机构40与所述处理器60相通信地连接，所述第一扫描机构30获取的上半球3D深度图像和所述第二扫描机构40获取的下半球3D深度图像被传输至所述处理器60，所述处理器60对获取的所述上半球3D深度图像信息和下半球3D深度图像进行拼接处理，即将获取的所述上半球3D深度图像和下半球3D深度图像拼接成对应于待测球体的球体3D点云模型；所述处理器60结合所述球体点云模型判断是否存在凹凸缺陷。
作为示例的，在本申请的该优选实施例中，待测的球体为石墨球，其表面为石墨材料。
所述检测***进一步包括上料机构70和下料机构80，其中所述上料机构70用于将待测的球体输送至所述第一检测工位10，当检测完成后，球体经由下料机构80向外输送。
需要说明的是，在本申请的该优选实施例中，所述上料机构70、所述下料机构80、所述第一检测工位10、所述第二检测工位20以及翻转输送机构50与所述待测球体接触的部分均设有相交软性材料，避免挤压碰撞破坏待测球体的表面。
由于双相机单工位的同时采集容易造成激光互相干涉，影响成像质量，故本申请该优选实施例的所述检测***采用双工位的取图方式，每个工位分别负责采集半个球体的表面三维信息。所述第一扫描机构30和所述第二扫描机构40具有中心扫描轴线，其中所述第一扫描机构30和所述第二扫描机构40倾斜45°安装在所述第一检测工位10和所述第二检测工位20的一侧，其分别可以扫描视野可以覆盖整个半球。
所述第一扫描机构30的扫描视野可以覆盖待测球体的上半球部分，所述第二扫描机构40的扫描视野可以覆盖待测球体的下半球部分。所述第一扫描机构30和所述第二扫描机构40的中心扫描轴线正对待测球体的球心，并且所述第一扫描机构30和所述第二扫描机构40的中心扫描轴线与水平方向的夹角呈45°。
所述第一检测工位10和所述第二检测工位20可沿一个中心轴线旋转运动，所述第一检测工位10和所述第二检测工位20承载着待测的球体沿着过球心的旋转轴做自转运动，若旋转轴偏离球心，后续拼接后的图像容易变形。
如图4和图5所示，在所述第一检测工位10或所述第二检测工位20时，所述第一扫描机构30和所述第二扫描机构40对待测球体单次扫描（拍摄）获取对应于所述待测球体的一张3D图像，其中该3D图像对应于该待测球体表面的3D图像信息。所述待测球体随所述第一检测工位10或所述第二检测工作20转动，并且在转动过程中由所述第一扫描机构30和所述第二扫描机构40对所述待测球体持续扫描（拍摄）并获取对应所述待测球体的多个3D图像。
值得一提的是，所述第一扫描机构30和/或所述第二扫描机构40单次扫描或拍摄时的扫描线宽大于等于待测球体的半径，即在扫描时所述第一扫描机构30或第二扫描机构40的扫描视场能够覆盖所述待测球体的半个球体。
简言之，待测的球体从上料机构经由抓手抓取后放置在第一检测工位10上，在其上半部分三维信息采集完成后翻转180°，通过所述翻转输送机构50运输至第二检测工位20完成下半部分的三维信息获取，此时采集到的球体上下表面的3D图像信息采集工作已完成。
值得一提的是，本申请该优选实施例的检测***可在5s内完成对球体的360°检测，并且在球体的运输过程中维持原始表面状态。
所述处理器60将采集到的球体上下表面的3D图像信息转化成为多片3D点云图像，并将3D点云图像进行拼接，以获取对应于待测球体的3D点云模型，再基于获取的3D点云模型判断球体表面是否存在缺陷。
所述处理器60包括信息转化单元61、点云拼接单元62以及缺陷检测单元63，其中所述信息转化单元61将所述第一扫描机构30和所述第二扫描机构40扫描得到的半球图像转化为对应的上半球3D点云图像和下半球3D点云图像；所述点云拼接单元62对所述上半球3D点云图像和所述下半球3D点云图像进行整理和拼接，得到对应于待测球体的点云模型；所述缺陷检测单元63结合拼接前和拼接后的点云图像判断是否存在凹凸缺陷。
详细地说，所述第一扫描机构30经扫描得到的上半球3D图像信息和所述第二扫描机构40经扫描得到的下半球3D图像信息是多个带有深度信息的图片。所述信息转化单元61将所述第一扫描机构30和所述第二扫描机构40扫描得到的带有深度信息的图片转化为3D点云图像，由于此时的3D点云图像是碎片化的，而且对应的仅仅是待测球体的部分表面。因此，所述点云拼接单元62整理第一片点云的起止点坐标，将该坐标平移到整体图像的理论位置，并对获取的各点云图像进行平移匹配和角度差计算，根据计算结果将第二片点云图像旋转一定角度完成两片点云图像的拼接。依据该旋转拼接原理对剩余点云图像做变换处理，以获取拟合后的石墨球体点云模型。
所述缺陷检测单元63结合拼接前和拼接后的点云图像判断是否存在凹凸缺陷。首先，所述缺陷检测单元63在拼接前的点云图像中抓取异于周围深度的疑似点，经过坐标转换后将疑似点定位到拼接后的点云图像中；然后，所述缺陷检测单元63在疑似点的周围选取特定范围（比如100*100）的像素区域，对该区域构建空间平面，将疑似点投影到该平面上，投影点与原疑似点构成检测向量；最后，所述缺陷检测单元63计算疑似点的法向量与检测向量的夹角，当夹角小于90°时，判断为凹陷面，反之则为凸面。
如图1所示，依照本申请的另一方面的一种基于3D成像的球体表面缺陷检测方法在接下来的描述中被阐明。所述基于3D成像的球体表面缺陷检测方法包括如下步骤：
（a）扫描待测球体的上半球表面和下半球表面，以获取到对应所述待测球体的上半球3D深度图像和下半球3D深度图像；
（b）基于获取的所述上半球3D深度图像和所述下半球3D深度图像拼接得到对应于待测球体的3D点云模型；以及
（c）结合拼接前的3D点云图像和拼接后的点云模型判断待测球体表面是否存在缺陷。
在本申请该优选实施例的所述检测方法的步骤（a）中，通过3D相机拍摄待测球体的上半球表面，其中3D相机的扫描视野覆盖所述待测球体的整个半球，并且在采集三维信息的过程中，待测球体需要沿着过球心的旋转轴做自转运动，以获取所述上半球3D点云图像和所述下半球3D点云图像。
在本申请该优选实施例的所述检测方法的步骤（a）中，在第一检测工位上采集完待测球体三维信息后，上下地翻转所述待测球体，并输送至第二检测工位，以完成下半部分三维信息的获取。
在本申请该优选实施例的所述检测方法的步骤（b）进一步包括如下步骤：
（b.1）将获取的上半球3D深度图像和所述下半球3D深度图像转化为对应的多片3D点云图像；和
（b.2）基于第一片3D点云图像位置移动其它3D点云图像，以实现3D点云图像的拼接。
具体地，在本申请该优选实施例的所述检测方法的步骤（b.2）中，整理第一片3D点云图像的起止点坐标，并将该坐标平移到整体图像的理论位置。需要说明的是，上述的理论位置其实指世界坐标系，而3D相机拍摄时相机坐标系，因为相机是倾斜安装的，两个坐标系会相差一个旋转平移变换。因此，需要将相机拍摄法向量与旋转轴垂直平面的夹角进行标定，来确定两个坐标系的旋转矩阵。
具体地，在本申请该优选实施例的所述检测方法的步骤（b.2）中，对第一片3D点云图像和剩余其它点云图像进行平移匹配和角度差计算，根据计算结果将剩余其它3D点云图像旋转一定角度完成3D点云的拼接。在本申请中，点云移动是从相机坐标系变换到世界坐标系，比如对于P0点(x0,y0,z0) 按平移向量T 即(x’,y’,z’)方向平移，得到P1点(x1,y1,z1)=(x0+x’,y0+y’,z0+z’)。
由于相机是按照默认直线方向扫描组成点云/深度图的，在扫描过程中对待测球体进行旋转进行成像的，每一行3D点云图像需要单独依次进行以下处理：其中第n行点(云)平移回第一行位置；每行点拟合出圆，得到圆心；顺时针绕圆心旋转β角；按照经过圆心的z轴旋转(n-1)*α角。
需要说明的是，对剩余3D点云图像进行旋转运算可以理解为 Pts1 = R* Pts0，其中Pts0为原始点云，Pts1 为旋转后的点云，其中 Pts0，Pts1都是矩阵，其每一列为一个点的坐标(x,y,z)^T，(^T表示矩阵转置). R为旋转矩阵.已知旋转角度及旋转轴/>，计算初始旋转矩阵/>，公式如下所示：
。
本申请该优选实施例的所述检测方法的步骤（c）进一步包括如下步骤：
（c.1）在拼接前的3D点云图像中抓取异于周围深度的疑似点，经过坐标转换后将该疑似点定位到拼接后的3D点云图像中；
（c.2）在疑似点的周围选取特定范围的像素区域，对该区域构建空间平面，将疑似点投影到该空间平面得到投影点，其中投影点与原疑似点构成检测向量；以及
（c.3）计算疑似点的法向量与检测向量的夹角，当夹角小于90°时，判断为凹陷面，反之则为凸面。
需要说明的是，在本申请该优选实施例的所述检测方法的步骤（c.1）中，从3D相机获取的深度图(一个二维图像,每个像素点值对应z值，x,y方向点间隔固定)，假设此图为m行n列(1,2,…,m行,1,2,…,n列)，则第i行j列对应的点云中点序号为(i-1)*n+j；反之，点云上序号为k的点对应到图像为k 除n 的商作为行号，k除n的余数作为列号。
作为示例的，在本申请的该优选实施例中，在疑似点的周围选取100x100的像素区域。
在本申请该优选实施例的所述检测方法的步骤（c.1）中，粗略获取疑似点，其中该步骤进一步包括：
（c.1.1）基于3D点云数据拟合理论球体，并获取球心和半径R；
（c.1.2）计算3D点云上每个点到拟合球心的距离d；以及
（c.1.3）距离d与半径R相比， |d-R|>thresh的全部列为疑似点。
在本申请该优选实施例的所述检测方法的步骤（c）中，对疑似点进行过滤判断，其中将疑似点连接成片，并计算其面积，过滤掉面积小的疑似点；对于面积大的疑似点，如果|d-R|平缓过度的区域属于球度不好，但非磕碰划痕，也进行过滤。
值得一提的是，在本申请该优选实施例的所述检测方法的步骤（c）中，过滤方法统计法向量的梯度，梯度小则为平缓，否则识别为磕碰划痕。
本发明的技术范围不仅仅局限于上述说明中的内容，本领域技术人员可以在不脱离本发明技术思想的前提下，对上述实施例进行多种变形和修改，而这些变形和修改均属于本发明的保护范围。

Claims (6)

1.一种基于3D成像的球体表面缺陷检测方法，其特征在于，其中所述检测方法包括如下步骤：
（a）扫描待测球体的上半球表面和下半球表面，以获取到对应所述待测球体的上半球3D深度图像和下半球3D深度图像；
（b）基于获取的所述上半球3D深度图像和所述下半球3D深度图像拼接得到对应于待测球体的3D点云模型；以及
（c）结合拼接前的3D点云图像和拼接后的点云模型判断待测球体表面是否存在缺陷；其中在所述步骤（a）中，通过3D相机拍摄待测球体的上半球表面，其中3D相机的扫描视野覆盖所述待测球体的整个半球，并且在采集三维信息的过程中，待测球体需要沿着过球心的旋转轴做自转运动，以获取所述上半球3D点云图像和所述下半球3D点云图像；在第一检测工位上采集完待测球体三维信息后，上下地翻转所述待测球体，并输送至第二检测工位，以完成下半部分三维信息的获取；其中所述步骤（b）进一步包括如下步骤：
（b.1）将获取的上半球3D深度图像和所述下半球3D深度图像转化为对应的多片3D点云图像；和
（b.2）基于第一片3D点云图像位置移动其它3D点云图像，以实现3D点云图像的拼接；其中所述步骤（c）进一步包括如下步骤：
（c.1）在拼接前的3D点云图像中抓取异于周围深度的疑似点，经过坐标转换后将该疑似点定位到拼接后的3D点云图像中；
（c.2）在疑似点的周围选取像素区域，对该区域构建空间平面，将疑似点投影到该空间平面得到投影点，其中投影点与原疑似点构成检测向量；以及
（c.3）计算疑似点的法向量与检测向量的夹角，当夹角小于90°时，判断为凹陷面，反之则为凸面。
2.根据权利要求1所述的检测方法，其特征在于，在所述检测方法的步骤（b.2）中，整理第一片3D点云图像的起止点坐标，并将该坐标平移到整体图像的理论位置。
3.根据权利要求2所述的检测方法，其特征在于，在所述检测方法的步骤（b.2）中，对第一片3D点云图像和其它点云图像进行平移匹配和角度差计算，根据计算结果将剩余其它3D点云图像旋转一定角度完成3D点云的拼接。
4.根据权利要求3所述的检测方法，其特征在于，在疑似点的周围选取100x100的像素区域。
5.根据权利要求3所述的检测方法，其特征在于，在所述检测方法的步骤（c.1）中，粗略获取疑似点，其中该步骤进一步包括：
（c.1.1）基于3D点云数据拟合理论球体，并获取球心和半径R；
（c.1.2）计算3D点云上每个点到拟合球心的距离d；以及
（c.1.3）距离d与半径R相比，|d-R|>thresh的全部列为疑似点。
6.根据权利要求1至5任一所述的基于3D成像的球体表面缺陷检测方法的检测***，其特征在于，其中所述检测***包括：
第一检测工位、第二检测工位、第一扫描机构、第二扫描机构、翻转输送机构以及处理器，其中待测球体可被放置在所述第一检测工位和所述第二检测工位，所述翻转输送机构用于将待测球体从所述第一检测工位翻转并运送至所述第二检测工位，所述第一扫描机构用于获取所述待测球体的上半球深度图像，所述第二扫描机构用于获取所述待测球体的下半球深度图像，所述处理器将所述第一扫描机构和所述第二扫描机构获取的深度图像拼接成对应于待测球体的球体3D点云模型；并结合所述球体点云模型判断是否存在凹凸缺陷；其中所述第一扫描机构和所述第二扫描机构具有中心扫描轴线，其中所述第一扫描机构和所述第二扫描机构倾斜45°安装在所述第一检测工位和所述第二检测工位的一侧；其中所述第一检测工位和所述第二检测工位可沿一个中心轴线旋转运动，所述第一检测工位和所述第二检测工位承载着待测球体沿着过球心的旋转轴做自转运动；其中所述处理器包括信息转化单元、点云拼接单元以及缺陷检测单元，其中所述信息转化单元将所述第一扫描机构和所述第二扫描机构扫描得到的半球图像转化为对应的上半球3D点云图像和下半球3D点云图像；所述点云拼接单元对所述上半球3D点云图像和所述下半球3D点云图像进行整理和拼接，得到对应于待测球体的点云模型；所述缺陷检测单元结合拼接前和拼接后的点云图像判断是否存在凹凸缺陷。
CN202311369143.5A 2023-10-23 2023-10-23 基于3d成像的球体表面缺陷检测方法和检测*** Active CN117110319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311369143.5A CN117110319B (zh) 2023-10-23 2023-10-23 基于3d成像的球体表面缺陷检测方法和检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311369143.5A CN117110319B (zh) 2023-10-23 2023-10-23 基于3d成像的球体表面缺陷检测方法和检测***

Publications (2)

Publication Number Publication Date
CN117110319A CN117110319A (zh) 2023-11-24
CN117110319B true CN117110319B (zh) 2024-01-26

Family

ID=88805907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311369143.5A Active CN117110319B (zh) 2023-10-23 2023-10-23 基于3d成像的球体表面缺陷检测方法和检测***

Country Status (1)

Country Link
CN (1) CN117110319B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651752A (zh) * 2016-09-27 2017-05-10 深圳市速腾聚创科技有限公司 三维点云数据配准方法及拼接方法
CN112581457A (zh) * 2020-12-23 2021-03-30 武汉理工大学 一种基于三维点云的管道内表面检测方法及装置
CN114279361A (zh) * 2021-12-27 2022-04-05 哈尔滨工业大学芜湖机器人产业技术研究院 一种筒形零件内壁缺陷尺寸三维测量***及其测量方法
CN115326835A (zh) * 2022-10-13 2022-11-11 汇鼎智联装备科技(江苏)有限公司 圆筒内表面检测方法、可视化方法以及检测***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016041456A1 (zh) * 2014-09-18 2016-03-24 浙江大学 球面光学元件表面缺陷评价***及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651752A (zh) * 2016-09-27 2017-05-10 深圳市速腾聚创科技有限公司 三维点云数据配准方法及拼接方法
CN112581457A (zh) * 2020-12-23 2021-03-30 武汉理工大学 一种基于三维点云的管道内表面检测方法及装置
CN114279361A (zh) * 2021-12-27 2022-04-05 哈尔滨工业大学芜湖机器人产业技术研究院 一种筒形零件内壁缺陷尺寸三维测量***及其测量方法
CN115326835A (zh) * 2022-10-13 2022-11-11 汇鼎智联装备科技(江苏)有限公司 圆筒内表面检测方法、可视化方法以及检测***

Also Published As

Publication number Publication date
CN117110319A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN106651752B (zh) 三维点云数据配准方法及拼接方法
CN108844459B (zh) 一种叶片数字化样板检测***的标定方法及装置
US20240177382A1 (en) Systems and Methods for Stitching Sequential Images of an Object
CN112161619B (zh) 位姿检测方法、三维扫描路径规划方法和检测***
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
WO2020144784A1 (ja) 画像処理装置、作業ロボット、基板検査装置および検体検査装置
CN110136047B (zh) 一种车载单目图像中静止目标三维信息获取方法
CN113884510B (zh) 一种3d玻璃盖板外观图像的采集方法
CN113702384A (zh) 一种回转构件表面缺陷检测装置、检测方法及标定方法
Ozeki et al. Real-time range measurement device for three-dimensional object recognition
CN117110319B (zh) 基于3d成像的球体表面缺陷检测方法和检测***
CN112257536B (zh) 一种空间与物体三维信息采集匹配设备及方法
CN115326835B (zh) 圆筒内表面检测方法、可视化方法以及检测***
CN100582653C (zh) 一种采用多束光确定位置姿态的***和方法
Petković et al. A note on geometric calibration of multiple cameras and projectors
CN109815966A (zh) 一种基于改进sift算法的移动机器人视觉里程计实现方法
CN112304250B (zh) 一种移动物体之间的三维匹配设备及方法
CN108709892A (zh) 检测***及其方法
CN108204982A (zh) 多视角影像撷取装置及多视角影像检测设备
CN108564626A (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
CN107024184A (zh) 光学检测***与应用其的光学检测方法
CN103900488A (zh) 一种3d扫描技术
Chen et al. Automated robot-based large-scale 3D surface imaging
CN214767039U (zh) 一种板材检测装置
CN117825398A (zh) 一种基于梯度信息的镜面、类镜面物体表面缺陷的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant