CN113393441B - 一种基于机器视觉的分层制造缺陷检测方法 - Google Patents
一种基于机器视觉的分层制造缺陷检测方法 Download PDFInfo
- Publication number
- CN113393441B CN113393441B CN202110661409.8A CN202110661409A CN113393441B CN 113393441 B CN113393441 B CN 113393441B CN 202110661409 A CN202110661409 A CN 202110661409A CN 113393441 B CN113393441 B CN 113393441B
- Authority
- CN
- China
- Prior art keywords
- point
- image
- camera
- model
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 39
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000007639 printing Methods 0.000 claims abstract description 14
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000011049 filling Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 3
- 238000011068 loading method Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 abstract description 13
- 239000011229 interlayer Substances 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000003475 lamination Methods 0.000 abstract description 4
- 238000012797 qualification Methods 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000012216 screening Methods 0.000 abstract 1
- 239000000654 additive Substances 0.000 description 12
- 230000000996 additive effect Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 5
- 238000010146 3D printing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的分层制造缺陷检测方法。根据层积结构模型与层内进度及层间进度信息，生成当前进度下的数字孪生点云模型，并基于点间位置关系、点云连续性以及层积结构与相机之间的相对关系，由凸包变换从离散点云中筛选出视域可见点，通过单目标定获取的映射关系构建相机线性模型，将可见点云进行投影并进行图像处理得到理论匹配图；通过计算理论匹配图与畸变矫正后的层积结构实际图像的相似度，实现打印过程中层积结构的缺陷检测。本发明通过生成打印过程中相机视角下的理论图像作为模板来进行层积制造结构的缺陷检测，能够有效减少误检率，提高检测准确度，提高层积制造制件的合格率。
Description
技术领域
本发明涉及增材制造领域的缺陷检测方法，尤其是涉及增材制造过程中的一种基于机器视觉的分层制造缺陷检测方法。
背景技术
增材制造是一种依赖于数字模型文件的先进制造技术，其过程不同于传统的等材制造和减材制造过程，增材制造过程需要新生成一系列的层积结构，例如分层结构、填充结构和支撑结构。随着增材制造技术的不断发展，对于增材制造过程中制件的质量进行检测也逐渐成为一个重要的课题。美国托莱多大学研究团队(Sanaei N,Fatemi A,PhanN.Defect characteristics and analysis of their variability in metal L-PBFadditive manufacturing[J].Materials&Design,2019,182:108091.)对于金属增材制造过程中制件缺陷的产生原因以及分布进行研究，指出制件缺陷的产生以及分布与制件制造方向、制件层厚、制造材料等多种因素有关。增材制造制件的形态多样性以及影响制件状态的因素复杂性使得对其进行缺陷检测的难度增加。
另一方面，现有的基于机器视觉的产品表面缺陷检测***，通常仅利用图像处理技术对所采集的图像进行处理并进行缺陷检测。美国宾夕法尼亚州立大学(Gobert C,Reutzel E W,Petrich J,et al.Application of supervised machine learning fordefect detection during metallic powder bed fusion additive manufacturingusing high resolution imaging[J].Additive Manufacturing,2018,21:517-528.)课题组基于监督学习技术，通过采集制件制造过程中的图像，提取多维度视觉特征并利用二分类器对提取特征进行评估以判断是否存在缺陷。虽然基于各类图像处理方法在某些情况下能够取得较为理想的检测效果，但由于相机镜头、成像芯片等因素的影响，所采集的图像往往存在畸变，导致现实中的结构信息在图像中显示时存在一定偏差，这会对于缺陷检测过程造成极大的影响。仅仅根据机器视觉***所采集实际图像的处理结果，难以精确确定制件的缺陷，其中的主要原因是实际图像存在畸变且缺少与实际图像相匹配以进行检测的理论图像。
日本东京理科大学研究团队(Nagata F,Tokuno K,Mitarai K,et al.Defectdetection method using deep convolutional neural network,support vectormachine and template matching techniques[J].Artificial Life and Robotics,2019,24(4):512-519.)结合模板匹配、支持向量机以及卷积神经网络技术对增材制造过程中的层切平面缺陷进行检测，该方法对于单层层切平面图像检测效果较好，但在实际采集图像中已打印层积结构的存在会影响实际的检测效果。
综上所述，在现有的视觉表面缺陷检测技术中，研究主要集中于对单张，单层层切平面图像的缺陷识别，而没有很好地结合被检测对象的自身特征，提供理论匹配图像来提高缺陷检测准确度的方法。
发明内容
为了解决背景技术中存在的问题，为缺陷检测提供理论匹配模板，并排除图像畸变对于缺陷检测的影响。本发明提供了一种基于机器视觉的分层制造缺陷检测方法，在层切多连通域构建的基础上，快速判别点云可见性，生成检测理论匹配图，使检测方法具有多场景应用的的适应性。
本发明在生成理论匹配图像时能够同时生成已打印层积结构部分，具备更好的实践操作性。
为了实现上述目的，本发明采用的技术方案的步骤如下：
步骤1：载入零件的几何结构模型；
步骤2：根据打印分层方向的高度数值，生成几何结构模型的层积结构；
所述的层积结构包括了分层结构、填充结构和支撑结构。
步骤3：求解层积结构的点云模型；
步骤4：确定层积结构的分层厚度，根据分层厚度将层积结构进行分层获得各层的层切平面，获得分层结构，构建组成几何结构模型的层积结构的层切平面集合F，根据各层的层切平面开始进行层积制造；
步骤5：层积结构旁布置相机，实时获取层积结构的点云模型中当前已经打印的层积结构的部分作为当前点云模型P，根据当前点云模型P以及相机参数处理获得点云模型P的可见点集，可见点集是由可见点构成；
所述的相机位于层积结构旁，位于不干涉的位置，相机朝向层积结构拍摄采集图像。
步骤6：建立相机线性模型，实时将可见点集导入相机线性模型，生成可见点集理论投影图，并根据实际检测需求，提取可见点集理论投影图中层积结构所对应的二值轮廓填充图作为理论匹配图；
所述层积结构所对应的二值轮廓填充图为可见点集理论投影图中由像素点组成的图形的内部以及外部的包围边界，并将由包围边界包围所得图形内部填充所得的二值图像。
步骤7：根据相机畸变参数，对相机针对当前已经打印的层积结构所采集的图像进行矫正；
所述的相机畸变参数包括径向畸变参数和切向畸变参数。
径向畸变的公式为：
xd1＝x(1+k1r2+k2r4+k3r6)
yd1＝y(1+k1r2+k2r4+k3r6)
切向畸变的公式为：
xd2＝x+[2p1xy+p2(r2+2x2)]
yd2＝y+[p1(r2+2y2)+2p2xy]
其中，xd1和yd1分别是矫正径向畸变后的图像像素点横坐标和纵坐标，xd2和yd2分别是矫正切向畸变后的图像像素点横坐标和纵坐标，r为图像像素点与图像中心点之间的距离，x和y分别是矫正畸变前相机所采集图像中图像像素点横坐标和纵坐标，k1、k2、k3表示第一、第二、第三图像径向畸变参数，p1、p2表示第一、第二图像切向畸变参数。
步骤8：利用图像处理技术对畸变矫正后的图像进行处理，再提取矫正后图像的二值轮廓填充图，比较矫正后图像的二值轮廓填充图与理论匹配图之间的相似度与预先设定的相似度阈值的大小，进而实时判断当前已经打印的层积结构是否具有缺陷：
若相似度大于相似度阈值，则判断检测到打印产生缺陷，
否则判断没有检测到打印产生缺陷。
所述图像处理技术包括：信号滤波、图像二值化、形态学处理、边缘检测等。
所述步骤1中，几何结构模型是封闭且无自交的，并且不存在法向量错误、相邻面片不共顶点、顶点分离、重叠面片和孤立面片。法向量不错误是指几何结构模型的面片的法向量不错误。
所述步骤5中，获取可见点集的方法分为以下步骤：
步骤5.1：根据相机外参矩阵得到相机位置在加工坐标系下的三维坐标点C，所述加工坐标系为预先设定的以物理空间中任意点为原点的空间直角坐标系。
步骤5.2：预先确定半径R，以三维坐标点C为球心，R为半径，构建能包围当前点云模型P的包围球；
步骤5.3：根据三维坐标点C和当前点云模型P中任意一点Pi确定一条射线，将Pi正映射到包围球外部的射线上的一点
作为映射点，具体公式为：
其中，
为映射点
的在相机坐标系下的坐标表现形式，pi为可见点Pi的在相机坐标系下的坐标表示形式，||pi||为可见点Pi在相机坐标系下与原点间的距离，R为预先确定的包围球半径；所述相机坐标系为以三维坐标点C为原点，各坐标轴方向与加工坐标系坐标轴方向相同的空间直角坐标系。
步骤5.4：重复步骤5.3，直至当前点云模型P中的所有点均完成映射，所有映射点组成映射后点云
步骤5.5：构建能够正好包围三维坐标点C和映射后点云
的凸包H；所述的凸包H是由各个点相邻相互连接构成的多面体。
步骤5.6：求解得到凸包H的边界，凸包H的边界上去除三维坐标点C获得映射点集
将映射点集
按照步骤5.3中正映射相反的映射方式映射回到当前点云模型P上获得的各点组成可见点集Pv，获得的各点为可见点。
所述步骤6中，生成可见点集理论投影图包括以下步骤：
步骤6.1：通过相机标定确定相机内参矩阵K和外参矩阵[R|t]，构建线性相机模型，表示为：
m＝K[R|t]Mc
其中，m和Mc分别为点m和Mc在图像平面和世界坐标系下的齐次坐标表示形式，点m表示理论匹配图中的像素点，点Mc表示可见点集Pv中的点，R为旋转矩阵，t为平移矩阵；
步骤6.2：导入可见点集Pv到线性相机模型，求解获得可见点集Pv中的各个可见点经线性相机模型变换后在图像坐标系中的坐标，生成可见点集理论投影图；
步骤6.3：对可见点集理论投影图进行形态学处理，对处理后的图像进行边缘检测提取图像中层积结构对应的边界信息，并将由层积结构边界包围所得的图形进行填充得到理论匹配图像。
所述步骤8中，矫正后的图像与理论匹配图之间的相似度，具体计算方法为：提取矫正后的图像中层积结构所对应的二值轮廓填充图像Ir，与理论匹配图It的相似度表示为：
其中，R(r,t)为矫正后的图像与理论匹配图之间的相似度，Ωr和Ωt分别为矫正后的图像Ir以及理论匹配图It中的像素点集合，m为像素点集合Ωr中的像素点，n为像素点集合Ωt中的像素点，Ir(m)为矫正后的图像Ir中像素点m对应的像素值，It(n)为理论匹配图It中像素点n对应的像素值。
本发明根据层积结构模型与层内进度及层间进度信息，生成当前进度下的数字孪生点云模型，并基于点间位置关系、点云连续性以及层积结构与相机之间的相对关系，由凸包变换从离散点云中筛选出视域可见点，通过单目标定获取的映射关系将可见点云进行投影得到理论匹配图；通过计算理论匹配图与矫正后的实验图像的相似度实现打印过程中层积结构的缺陷检测。
本发明具有的有益效果是：
1.能够在分层制造过程中提供理论匹配模板，为分层制造缺陷检测提供参照，尽可能避免漏检错检。
2.所生成理论匹配图像取决与实际相机参数，位置角度，内外参数动态可调，具有多场景应用的适应性。
3.能够针对分层制造过程中的不同层内进度及层间进度阶段快速生成理论匹配图，具有可行的计算实时性。
本发明通过生成分层制造过程中相机视角下的理论图像来进行分层制造的缺陷检测，能够有效减少误检率，提高检测准确度，提高层积制造制件的合格率。
附图说明
图1为本发明实例所述零件模型示意图。
图2为本发明实例所述点云模型示意图。
图3为本发明实例所述当前点云模型图。
图4为本发明实例所述当前点云模型中可视点集示意图。
图5为本发明实例所述当前点云模型映射所得映射后点云图。
图6为本发明实例所述凸包边界上点集去除相机三维位置点所得映射点集示意图。
图7为本发明实例所述可见点集理论投影图。
图8为本发明实例所述可见点集理论投影图的二值轮廓填充示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明具体实施包括3D打印模块、图像采集模块、理论图像生成模块以及图像对比模块；3D打印模块完成打印模型的层积制造任务并将层内进度及层间进度信息传递给理论图像生成模块；图像采集模块由相机、镜头以及图像采集卡组成，负责采集已完成层积结构的实际图像，同时传递相机的相关参数信息，其中相机参数信息包括：相机的外部参数矩阵[R|t]、相机的内部参数矩阵K以及相机的畸变参数矩阵D＝[k1，k2，k3，p1，p2]；理论图像生成模块通过接收层内进度及层间进度信息以及相机参数信息生成理论匹配图；图像比较模块通过接收实际图像以及理论图像对比检测是否存在缺陷，并将检测结果反馈给3D打印模块控制其后续工作。
本发明实例具体包括以下步骤：
步骤1：如图1所示，载入零件的几何结构模型1，由于增材制造过程对于几何结构模型具有理论要求，因此要求几何结构模型是封闭且无自交的，并且几何结构模型中不存在面片法向量错误、相邻面片不共顶点、面片顶点分离、面片重叠和面片孤立等现象。
本实例中所使用零件(V6内燃机发动机缸体)几何结构模型1数字孪生数据如下：模型轴对齐包围盒[xmin，ymin，zmin，xmax，ymax，zmax]＝[-83.820，-68.528，0.000，83.818，68.526，98.262]；轴对齐包围盒重心坐标(-0.0010，-0.0010，49.1310)；初始模型所需的打印行程空间为：(167.6380，137.0540，98.2620)，初始模型凸包围盒体对角线长度为237.785；初始模型所需的打印行程空间比例(x_stroke：y_stroke：z_stroke)为：1.7060：1.3948：1；初始模型长方体三个正交投影面面积：XOY为22975.4597，XOZ为16472.4461，YOZ为13467.2004；初始模型长方体三个正交投影面面积比例：(XOY：XOZ：YOZ)为1.7060：1.2232：1；初始模型重心坐标：(1.6575，3.5641，45.7543)；初始模型重心占总长宽高的比例：50.9893％，52.6012％，46.5636％；模型表面积266566.4527，总体积460174.8270，比表面积0.5793(mm∧-1)。
步骤2：根据打印分层方向的高度数值，生成几何结构模型1的层积结构(包括分层结构、填充结构以及支撑结构)以及层积结构所对应的点云模型2(如图2所示)。
步骤3：确定分层厚度和分层方向，构建几何结构模型的层积结构的层切平面集合并生成打印路径，将所生成的打印路径信息作为增材制造装备开始工作的必要信息传递给执行装备。
步骤4：如图3所示，根据当前层内进度与层间进度，保留点云模型2中已打印的层积结构所对应的当前点云模型3。
图3为本实例所生成当前点云模型，该当前点云模型为零件制造过程进行至分层高度20.3537％时已打印的层积结构所对应的点云模型，且该当前点云模型对应未正在进行的层内制造过程的状态。该当前点云模型包含点数量为：491808，重心坐标：(5.5287，3.4807，10.6362)。
步骤5：如图4所示，根据相机位置的三维坐标点4以及当前点云模型3，判断相机视野5下当前点云模型3中各点的可见性，获取可见点组成的可见点集6(图4中深色点)，剔除当前点云模型3中不可见点组成的不可见点集7(图4中浅色点)。
在步骤5中，由于增材制造进程不断推进，新打印的层切平面会覆盖已完成打印的层切平面，两者之间存在物理意义上的遮挡，但这一信息难以在点云模型上体现，对当前进度下所保留的已打印的层积结构的当前点云模型3中的所有点云进行投影所产生的图像与实际情况不符。因此需要结合相机与实际层积结构间的位置信息，对当前点云模型3中的点进行可见性判断，获取可见点集。下面详细说明获取可见点集的具体步骤：
步骤5.1：通过事先标定得到相机位置的三维坐标点4与当前层内进度与层间进度下已打印的层积结构所对应的当前点云模型3在加工坐标系下的相对位置；
步骤5.2：根据点云模型的稠密程度，确定映射半径，以三维坐标点4为球心，映射半径为半径构建当前点云模型3的包围球。其中，映射半径应满足使所构建的包围球能包围当前点云模型3中的所有点，且点云模型越稀疏，映射半径应相应增加。
步骤5.3：根据相机位置的三维坐标点4和当前点云模型3中任意一点确定一条射线，将当前点云模型3中的任意一点按照以下公式的形式映射到包围球外部的射线上的点；
其中
为对应映射点在相机坐标系下的坐标表现形式，pi为当前点云模型3中的点在相机坐标系下的坐标表现形式，R为映射半径，||pi||为当前点云模型3中的点在相机坐标系下距离坐标原点的距离。
步骤5.4：如图5所示，重复步骤4.3直至当前点云模型3中的所有点均完成映射，所有映射点组成映射后点云8；
步骤5.5：构建包含三维坐标点4以及映射后点云8的凸包；
步骤5.6：如图6所示，求解得到凸包边界，去除凸包边界上的三维坐标点4获得映射点集9，由于映射后点云8中的点与当前点云模型3中的点为一一对应的关系，因此能够按照步骤5.3中相反的映射方式将映射点集9中的点映射回到当前点云模型3中获得可见点集6。
图4为本实例当前点云模型中可视点集示意图，在图中所示相机视域下可视点(深色点表示)数量为145028，可视点所组成点集重心坐标为：(11.7395，2.4010，14.4594)，不可视点(浅色点表示)数量为：346780，不可视点所组成点集重心坐标为：(2.9312，3.9322，9.0372)。
图5为本实例中当前点云模型映射所得映射后点云8示意图，其中共映射点数量为491808，映射半径为87735.6317，映射后点云8重心坐标为：(-36959.6930，6904.7904，-92975.3313)。
图6为本实例中映射点云凸包边界上点集去除相机三维位置点所得映射点云9示意图，其中映射点云9数据点数量为145028，映射点云9点云数量在映射后点云8中占比29.4887％，映射点云9重心坐标为：(-28396.9279，808.1546，-95665.9320)。
步骤6：如图7所示，将步骤5中获得的可见点集6导入相机线性模型进行投影，生成可见点集6的可见点集理论投影图像。如图8所示，根据具体检测需求，利用信号滤波、形态学处理以及边缘检测等图像处理方法，提取可见点集理论投影图像中层积结构对应的二值轮廓填充图像作为理论匹配图像。
本实例中，相机在加工坐标系下的位置坐标为：(30，0，50)，相机对应外部参数矩阵为：
相机分辨率为1200*1200，相机对应内部参数矩阵为：
图7为本实例中可见点集理论投影图像，其中投影可见点数量为：145028，可见点理论投影图形心坐标位置为：(667.5968，445.6830)。
图8为本实例中生成的理论匹配图像，图像的分辨率为1200*1200。图像形心(图8中“*”符号所示位置)在图像坐标系中的亚像素坐标位置为：(uc，vc)＝(576.3507，634.6596)，其中uc、vc分别为图像形心在u，v坐标轴上的投影坐标值，理论匹配图像的一维图像熵为1.0922。
步骤7：由于镜头以及成像芯片误差等因素的影响，相机的最终成像效果存在畸变，存在畸变的图像会对于缺陷检测的准确度造成影响，因此需要基于相机畸变参数对相机针对当前已经打印的层积结构所采集的图像进行矫正。
根据相机的畸变参数矩阵，利用径向畸变与切向畸变矫正公式对实际图像像素点坐标进行矫正：
径向畸变矫正公式：
xd1＝x(1+k1r2+k2r4+k3r6)
yd1＝y(1+k1r2+k2r4+k3r6)
切向畸变矫正公式：
xd2＝x+[2p1xy+p2(r2+2x2)]
yd2＝y+[p1(r2+2y2)+2p2xy]
其中，xd1和yd1分别是矫正径向畸变后的图像像素点横坐标和纵坐标，xd2和yd2分别是矫正切向畸变后的图像像素点横坐标和纵坐标，r为图像像素点与图像中心点之间的距离，x和y分别是矫正畸变前相机所采集图像中图像像素点横坐标和纵坐标，k1、k2、k3表示图像径向畸变参数，p1、p2表示图像切向畸变参数。
步骤8：基于信号滤波、图像二值化、边缘检测、形态学处理等图像处理技术，提取矫正后的图像中层积结构所对应的二值轮廓填充图像，利用相似度计算公式计算其与理论匹配图像的相似度：
其中，R(r，t)为矫正后的图像与理论匹配图的相似度，Ωr和Ωt分别为图像Ir以及It中的像素点集合，m为像素点集合Ωr中的像素点，n为像素点集合Ωt中的像素点，Ir(m)为图像Ir中像素点m对应的像素值，It(n)为图像It中像素点n对应的像素值。
步骤9：比较计算所得相似度与所事先设定相似度阈值的大小：
若图像相似度大于等于阈值，则判断未检测到缺陷，分层制造继续；
若图像相似度小于阈值，则判断产生分层制造缺陷，调整增材制造参数或停止进程。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
Claims (3)
1.一种基于机器视觉的分层制造缺陷检测方法，其特征在于，包括以下步骤：
步骤1：载入零件的几何结构模型；
步骤2：根据打印分层方向的高度数值，生成几何结构模型的层积结构；
步骤3：求解层积结构的点云模型；
步骤4：确定层积结构的分层厚度，根据分层厚度将层积结构进行分层获得各层的层切平面，构建组成几何结构模型的层积结构的层切平面集合F，开始进行层积制造；
步骤5：层积结构旁布置相机，实时获取层积结构的点云模型中当前已经打印的层积结构的部分作为当前点云模型P，根据当前点云模型P以及相机参数处理获得点云模型P的可见点集；
步骤6：建立相机线性模型，实时将可见点集导入相机线性模型，生成可见点集理论投影图，并根据实际检测需求，提取可见点集理论投影图中层积结构所对应的二值轮廓填充图作为理论匹配图；
步骤7：根据相机畸变参数，对相机针对当前已经打印的层积结构所采集的图像进行畸变矫正；
步骤8：利用图像处理技术对畸变矫正后的图像进行处理，再提取矫正后图像的二值轮廓填充图，比较矫正后图像的二值轮廓填充图与理论匹配图之间的相似度与预先设定的相似度阈值的大小，进而实时判断当前已经打印的层积结构是否具有缺陷：
若相似度大于相似度阈值，则判断检测到打印产生缺陷，
否则判断没有检测到打印产生缺陷；
所述步骤5中，获取可见点集的方法分为以下步骤：
步骤5.1：根据相机外参矩阵得到相机位置在加工坐标系下的三维坐标点C；
步骤5.2：确定半径R，以三维坐标点C为球心，R为半径，构建能包围当前点云模型P的包围球；
步骤5.3：根据三维坐标点C和当前点云模型P中任意一点Pi确定一条射线，将Pi正映射到包围球外部的射线上的一点
作为映射点，具体公式为：
其中，
为映射点
的在相机坐标系下的坐标表现形式，pi为可见点Pi的在相机坐标系下的坐标表示形式，||pi||为可见点Pi在相机坐标系下与原点间的距离，R为预先确定的包围球半径；
步骤5.4：重复步骤5.3，直至当前点云模型P中的所有点均完成映射，所有映射点组成映射后点云
步骤5.5：构建能够包围三维坐标点C和映射后点云
的凸包H；
步骤5.6：求解得到凸包H的边界，凸包H的边界上去除三维坐标点C获得映射点集
将映射点集
按照步骤5.3中正映射相反的映射方式映射回到当前点云模型P上获得可见点集；
所述步骤6中，生成可见点集理论投影图包括以下步骤：
步骤6.1：通过相机标定确定相机内参矩阵K和外参矩阵[R|t]，构建线性相机模型，表示为：
m＝K[R|t]Mc
其中，m和Mc分别为点m和Mc在图像平面和世界坐标系下的齐次坐标表示形式，点m表示理论匹配图中的像素点，点Mc表示可见点集Pv中的点，R为旋转矩阵，t为平移矩阵；
步骤6.2：导入可见点集Pv到线性相机模型，求解获得可见点集Pv中的各个可见点经线性相机模型变换后在图像坐标系中的坐标，生成可见点集理论投影图；
步骤6.3：对可见点集理论投影图进行形态学处理，对处理后的图像进行边缘检测提取图像中层积结构对应的边界信息，并将由层积结构边界包围所得的图形进行填充得到理论匹配图像。
2.根据权利要求1所述的一种基于机器视觉的分层制造缺陷检测方法，其特征在于：所述步骤1中，几何结构模型是封闭且无自交的，并且不存在法向量错误、相邻面片不共顶点、顶点分离、重叠面片和孤立面片。
3.根据权利要求1所述的一种基于机器视觉的分层制造缺陷检测方法，其特征在于：所述步骤8中，畸变矫正后的图像与理论匹配图之间的相似度，具体计算方法为：提取矫正后的图像中层积结构所对应的二值轮廓填充图像Ir，与理论匹配图It的相似度表示为：
其中，R(r,t)为矫正后的图像与理论匹配图之间的相似度，Ωr和Ωt分别为矫正后的图像Ir以及理论匹配图It中的像素点集合，m为像素点集合Ωr中的像素点，n为像素点集合Ωt中的像素点，Ir(m)为矫正后的图像Ir中像素点m对应的像素值，It(n)为理论匹配图It中像素点n对应的像素值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110661409.8A CN113393441B (zh) | 2021-06-15 | 2021-06-15 | 一种基于机器视觉的分层制造缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110661409.8A CN113393441B (zh) | 2021-06-15 | 2021-06-15 | 一种基于机器视觉的分层制造缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113393441A CN113393441A (zh) | 2021-09-14 |
| CN113393441B true CN113393441B (zh) | 2022-05-06 |
Family
ID=77621158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110661409.8A Active CN113393441B (zh) | 2021-06-15 | 2021-06-15 | 一种基于机器视觉的分层制造缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113393441B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051565B (zh) * | 2023-04-03 | 2023-07-28 | 广州水木星尘信息科技有限公司 | 基于结构光3d点云的接触网缺陷目标检测方法及装置 |
| CN117710372B (zh) * | 2024-02-05 | 2024-05-03 | 苏州双恩智能科技有限公司 | 3d打印工件缺陷的在线检测方法、***、设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5110894B2 (ja) * | 2007-02-05 | 2012-12-26 | 株式会社ジャパンディスプレイウェスト | 欠陥修正装置、配線基板の製造方法、ディスプレイ装置の製造方法 |
| US10203408B2 (en) * | 2016-07-29 | 2019-02-12 | Faraday & Future Inc. | Method and apparatus for detection and ranging fault detection and recovery |
| CN108198223B (zh) * | 2018-01-29 | 2020-04-07 | 清华大学 | 一种激光点云与视觉图像映射关系快速精确标定方法 |
| US20200133254A1 (en) * | 2018-05-07 | 2020-04-30 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for data collection, learning, and streaming of machine signals for part identification and operating characteristics determination using the industrial internet of things |
| KR101982347B1 (ko) * | 2018-06-11 | 2019-05-24 | 주식회사 에이치비테크놀러지 | 오토 리페어 시스템의 불량 검출장치 및 방법 |
| CN112200760A (zh) * | 2019-06-20 | 2021-01-08 | 惠州旭鑫智能技术有限公司 | 一种液晶模组缺陷深度测量与分层装置和方法 |
-
2021
- 2021-06-15 CN CN202110661409.8A patent/CN113393441B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113393441A (zh) | 2021-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555889B (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
| CN106780619B (zh) | 一种基于Kinect深度相机的人体尺寸测量方法 | |
| CN113393441B (zh) | 一种基于机器视觉的分层制造缺陷检测方法 | |
| CN106257535B (zh) | 基于surf算子的电气设备红外与可见光图像配准方法 | |
| CN109000557B (zh) | 一种核燃料棒位姿自动识别方法 | |
| CN109532021B (zh) | 基于结构光线性异常点的3d打印熔积缺陷逐层检测方法 | |
| CN106969706A (zh) | 基于双目立体视觉的工件检测与三维测量***及检测方法 | |
| CN115345822A (zh) | 一种面向航空复杂零件的面结构光自动化三维检测方法 | |
| CN104537707B (zh) | 像方型立体视觉在线移动实时测量*** | |
| EP1355277A2 (en) | Three-dimensional computer modelling | |
| CN112614098B (zh) | 一种基于增强现实的毛坯定位与加工余量分析方法 | |
| CN111080685A (zh) | 一种基于多视角立体视觉的飞机钣金零件三维重建方法及*** | |
| CN116229017A (zh) | 一种基于逆向投影的管件三维模型重建方法 | |
| CN106952262B (zh) | 一种基于立体视觉的船板加工精度分析方法 | |
| CN110929782B (zh) | 一种基于正射影像图对比的河道异常检测方法 | |
| CN117274258A (zh) | 主板图像的缺陷检测方法、***、设备及存储介质 | |
| CN111738971B (zh) | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 | |
| CN114170284A (zh) | 基于主动标志点投射辅助的多视图点云配准方法 | |
| CN110517323A (zh) | 基于机械手单相机多目视觉的三维定位***及方法 | |
| US20210272301A1 (en) | Method for processing three-dimensional point cloud data | |
| CN110033491B (zh) | 一种相机标定方法 | |
| CN116379936A (zh) | 一种基于双目相机的智能识别距离测算方法及装置 | |
| TWI480507B (zh) | 三維模型重建方法及其系統 | |
| CN113432558A (zh) | 一种基于激光的不规则物体表面积的测量装置及方法 | |
| Junhong et al. | On-line inspection system for finished circuit board based on machine vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |