CN118037736A - 一种基于特征参数提取的金属增材制造熔池形态检测方法 - Google Patents
一种基于特征参数提取的金属增材制造熔池形态检测方法 Download PDFInfo
- Publication number
- CN118037736A CN118037736A CN202410439130.9A CN202410439130A CN118037736A CN 118037736 A CN118037736 A CN 118037736A CN 202410439130 A CN202410439130 A CN 202410439130A CN 118037736 A CN118037736 A CN 118037736A
- Authority
- CN
- China
- Prior art keywords
- molten pool
- pixel
- vector
- image
- dimensional array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000654 additive Substances 0.000 title claims abstract description 62
- 230000000996 additive effect Effects 0.000 title claims abstract description 62
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 60
- 239000002184 metal Substances 0.000 title claims abstract description 25
- 238000000605 extraction Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 title claims description 10
- 239000013598 vector Substances 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 32
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 230000004323 axial length Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征参数提取的金属增材制造熔池形态检测方法；获取金属增材制造熔池的图像，并进行预处理，获得预处理后的熔池图像；对预处理后的熔池图像进行像素识别，检测得到熔池边缘像素，基于熔池边缘像素获得熔池中心的坐标，并基于熔池边缘像素的方向向量得到熔池主方向角度；根据熔池中心的坐标、熔池边缘像素和熔池主方向角度进行椭圆拟合，得到拟合的椭圆的长轴和短轴；以拟合的椭圆的长轴和短轴作为对应熔池的长度和宽度，输出熔池形态。通过先提取熔池中心作为椭圆中心和熔池主方向倾角，减少拟合参数的同时提升了拟合效果，对熔池宽度拟合的准确性较高，提升了熔池特征参数的提取速度以及准确性。
Description
技术领域
本发明涉及图像处理，具体是涉及一种基于特征参数提取的金属增材制造熔池形态检测方法。
背景技术
熔池检测是对增材制造过程中产生的熔池进行实时监测和分析的必要过程，实时的熔池检测***可以帮助精细调整PID参数，以达到最佳的生产效率。目前，拍摄增材制造的熔池图像，并对熔池进行识别、分割、检测已经是一个重要的研究方向，工业上利用神经网络对激光送粉增材制造熔池的轮廓提取、形貌识别等方面的研究都有长足进展，但神经网络运算量大，对算力需求高，实时性较差，同时，形貌识别完成后，根据熔池轮廓提取其宽度、面积、质心、方向角等参数的研究较少。基于此，为了解决现有技术中存在的增材制造熔池图像获取后，直接拟合椭圆提取五参数运算量大，且存在方向误差的问题。
发明内容
发明目的：针对以上缺点，本发明提供一种运算简单且精度高的基于特征参数提取的金属增材制造熔池形态检测方法。
技术方案：为解决上述问题，本发明采用一种基于特征参数提取的金属增材制造熔池形态检测方法，包括以下步骤：
步骤1：获取金属增材制造熔池的图像，并进行预处理，获得预处理后的熔池图像；
步骤2：对预处理后的熔池图像进行像素识别，检测得到熔池边缘像素，基于熔池边缘像素获得熔池中心的坐标，并基于熔池边缘像素的方向向量得到熔池主方向角度；
步骤3：根据熔池中心的坐标、熔池边缘像素和熔池主方向角度进行椭圆拟合，得到拟合的椭圆的长轴和短轴；
步骤4：以拟合的椭圆的长轴和短轴作为对应熔池的长度和宽度，输出熔池形态。
进一步的，所述步骤1中对金属增材制造熔池的图像进行预处理具体包括以下步骤：
步骤1.1：对金属增材制造熔池的图像进行灰度变换，得到熔池灰色图像；
步骤1.2：对熔池灰度图像根据连通域面积过滤噪声区域；再根据熔池灰色图像中亮度范围定位分割出潜在的熔池区域，并缩放至标准大小，得到标准熔池图像；
步骤1.3：对标准熔池图像进行锐化，并进行二值化处理，得到标准大小的熔池二值化图像。
进一步的，所述步骤2中对预处理后的熔池图像进行像素识别，检测得到熔池边缘像素，具体为：
对标准大小的熔池二值化图像从左到右、从上到下进行遍历；将熔池二值化图像第行的第一个白色像素/>，存入熔池左边缘像素二维数组/>中，并在这一行中每遍历到一个白色像素，则将其存入临时整型变量temp中，一直遍历到该行最后一个像素，此时，若temp与熔池像素二维数组E中的最后一个元素不同，且坐标不为(0,0)，则将temp变量，也就是最后一个白色像素/>，存入熔池右边缘像素二维数组/>，最后将temp置为(0,0)，继续遍历下一行，直到最后一行。
进一步的，所述步骤2中基于熔池边缘像素的方向向量得到熔池主方向角度具体包括：
步骤2.2.1：对熔池右边缘像素二维数组中的每个元素，以该元素作为向量起点，下一个元素作为向量终点，得到第一方向向量；以熔池中心作为向量起点，该元素作为向量终点，得到第一中心向量；计算第一方向向量和第一中心向量的点乘乘积，获得第一乘积向量；获得第一乘积向量的方向，若为第一方向，则将1存入交界处判处环形队列，若为第二方向，则将0存入交界处判处环形队列；
对熔池左边缘像素二维数组进行倒置，得到倒置二维数组，对倒置二维数组中的每个元素，以该元素作为向量起点，下一个元素作为向量终点，得到第二方向向量；以熔池中心作为向量起点，该元素作为向量终点，得到第二中心向量；计算第二方向向量和第二中心向量的点乘乘积，获得第二乘积向量；获取第二乘积向量的方向，如为第一方向，则将1存入交界处判处环形队列，若为第二方向，则将0存入交界处判处环形队列，遍历完成后，队列中最后一个元素指向第一个元素，形成闭环；
步骤2.2.2：对交界处判别环形队列N做大范围均值滤波，先提取数组长度，选取两个大小为/>的核，第一个核的尾元素与第二个核的首元素之间间隔为/>，令第一个核的第一个元素/>地址为队列首地址，统计两个核一共在队列中覆盖的值为1的元素个数/>，存入覆盖元素数目数组U，再将两个核在数组中向右滑动一个元素，继续统计两个核一共在队列中覆盖的值为1的元素个数/>，存入覆盖元素数目数组U，如此每滑动一次就统计一次，滑动/>次，最终在覆盖元素数目数组U中，获得值最大的元素/>对应交界处判别环形队列N中元素/>，将元素/>与元素/>、元素/>与元素/>之间的元素置为1，其余置为0；
步骤2.2.3：获取交界处判别环形队列N中的元素、元素/>、元素/>、元素，在熔池二值化图像中对应的像素/>、像素/>、像素/>、像素/>；计算像素/>、像素/>之间距离/>和像素/>、像素/>之间的距离/>：
若>/>，则以元素/>为起点，元素/>为终点构成的方向向量的向量角，为熔池主方向相对于x轴的倾角；
若，则以元素/>为起点，元素/>为终点构成的方向向量的向量角，为熔池主方向相对于x轴的倾角。
进一步的，所述步骤3中进行椭圆拟合的具体步骤为：
将熔池右边缘像素二维数组加入到熔池左边缘像素二维数组/>的尾部，得到合并后的熔池边缘像素二维数组/>(/>)，并将熔池边缘像素二维数组/>中的边缘像素坐标，按熔池主方向倾角/>绕熔池中心顺时针旋转，得到旋转后的熔池边缘像素二维数组/>；
对旋转后的熔池边缘像素二维数组与熔池中心的坐标在x及y方向分别建立函数/>，对距离也建立函数/>：
；
；
；
其中，为旋转后的熔池边缘像素二维数组/>中元素对应的像素横坐标；/>为旋转后的熔池边缘像素二维数组/>中元素对应的像素纵坐标，/>为熔池中心的横坐标，/>为熔池中心的纵坐标；
；
将旋转后的熔池边缘像素二维数组中的所有点带入约束函数G(/>,/>)，将满足约束条件的元素对应像素的x轴坐标、y轴坐标分别带入/> 函数、 函数/>，求取，/>，再分别对/>求偏导，令：
；
；
得到拟合椭圆长轴长、短轴长/>，椭圆拟合完成。
进一步的，所述步骤3中还包括对拟合的椭圆的拟合误差进行检测；具体为：获取拟合的椭圆的外接矩形；对外接矩形内部的像素进行遍历，获得外接矩形内部不同像素值数量之间的像素比，保留像素比位于阈值范围内的图像，并输出像素比位于阈值范围内的图像的拟合误差。
进一步的，连续获取多张金属增材制造熔池的图像，并进行椭圆拟合，得到连续帧的熔池形态拟合结果；对连续帧的熔池形态拟合结果进行约束，筛去不符合约束条件的熔池形态拟合结果。所述约束条件包括：连续帧之间熔池的拟合椭圆的宽度差、长度差、倾角差和中心距离差。
本发明还采用一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述方法的步骤。
本发明还采用一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述方法的步骤。
有益效果：本发明相对于现有技术，其显著优点是通过先提取熔池中心作为椭圆中心、再基于方向向量提取熔池主方向倾角，使得拟和过程中仅需拟合两个参数，减少拟合参数的同时提升了拟合效果，对熔池宽度拟合的准确性较高，提升了熔池特征参数的提取速度以及准确性。通过计算熔池外接矩形邻域内熔池真实部分，判断椭圆拟合程度，同时通过计算连续帧之间熔池拟合椭圆的参数差值，判断是否在图像数据中出现了坏点，改进了熔池五参数信息的鲁棒性，提高了后续控制的安全性；将目标熔池的位置信息与面积相结合的方法，利用熔池面积与其中心点坐标的连续性，精准快速的识别出目标熔池；识别目标熔池的速率快，准确率高，抗飞溅干扰能力强。
附图说明
图1是本发明熔池形态检测方法的流程示意图。
图2是本发明中摄像机采集的金属增材过程中高温熔池的彩色图像。
图3是本发明中标准大小的激光增材制造监测熔池二值化图像。
图4是本发明中熔池的拟合椭圆图像。
图5是本发明中低温熔池状态判定图像。
图6是本发明中12张连续熔池检测结果图像。
具体实施方式
如图1所示，本实施例中一种基于特征参数提取的金属增材制造熔池形态检测方法，包括以下步骤：
步骤1：采集并保存激光增材制造监测熔池视频数据，提取熔池彩色图像，对激光增材制造监测熔池的彩色图像进行形态学预处理，对熔池进行自动分割定位，获得激光增材制造监测熔池的标准大小二值熔池图像。通过灰度变换，能够抑制带光晕对目标熔池识别的干扰；提供熔池区域识别及标准化方法，可以在不同大小的熔池图像输入下，熔池在及其所在图像均能够保持标准大小，进而适应椭圆检测算法的完整度及曲率参数，得到识别度更高的的椭圆拟合图像；熔池锐化去除了金属增材制造过程中产生的光晕噪声与图像传输过程中产生的量化噪声，进一步提高熔池的识别的准确性，以及熔池形态判别的准确性。
具体包括：
步骤1.1：对激光增材制造监测熔池的彩色图像进行灰度变换，得到并保存激光增材制造监测熔池的灰度图像，如图2所示；灰度变换公式为：
；
其中，为激光增材制造监测熔池的灰度图像中第/>行和第/>列的像素点灰度值，/>、/>和/>分别为含激光增材制造监测熔池的彩色图像中各像素点的红色、绿色及蓝色三色的权值，/>、/>和/>分别为激光增材制造监测熔池的彩色图像中第/>行和第/>列像素点的红色、绿色及蓝色分量值。
步骤1.2：对得到的灰度图像，根据连通域面积大小过滤掉噪声区域，再根据熔池亮度范围定位分割出潜在的熔池区域，并缩放至标准大小，得到标准大小的激光增材制造监测熔池灰度图像并保存，确保后续椭圆检测的鲁棒性。
通过计算灰度图像中每个连通域内像素点个数，得到每个连通域的面积，再根据每个连通域的面积计算目标熔池图像中连通域的平均面积；当连通域的面积小于平均面积/>，则该连通域为噪声区域，将噪声区域内每个像素点的像素值置为0；当连通域的面积大于等于平均面积/>，则该连通域为熔池区域，将熔池区域内每个像素点的像素值置为255。
遍历灰度图像，计算灰度图像的像素均值，记为；根据激光增材制造监测熔池的灰度图像中心A点坐标[x,y]=[/>]，式中a为图像列数，b为图像行数，对图像中像素值>/>的像素，提取坐标/>，分别计算其与图像中心A在x方向与y方向上的投影距离：
；
；
遍历灰度图像，得到像素值大于像素均值，且与图像中心A在方向上投影距离/>最大的点/>，提取其坐标/>，得到矩形宽度/>：
；
同理得到像素值大于像素均值，且与图像中心A在方向上投影距离/>最大的点，/>，得到矩形高度/>：
；
以灰度图像中心为矩形中心，根据得到的矩形宽度、矩形高度/>裁剪图像，然后按照缩放比k对裁剪部分进行缩放：
；
得到标准大小的激光增材制造监测熔池二值化图像，缩放后图像小于等于标准图像大小size=[600,800]。
步骤1.3：对标准大小的激光增材制造监测熔池灰度图像，采用sobel算子进行锐化处理，滤去熔池图像中的光晕干扰，得到并保存标准大小的激光增材制造监测熔池的锐化后灰度图像。
步骤1.4：采用经验参数自定义灰度阈值，对得到的激光增材制造监测熔池的锐化后灰度图像进行二值化处理，得到并保存激光增材制造监测熔池的标准大小二值图像，如图3所示。
步骤2：根据激光增材制造监测熔池的标准大小二值熔池图像，提取熔池边缘、熔池中心坐标和熔池主方向。
步骤2.1：采用一种快速熔池边缘处理算法，提取熔池边缘具有椭圆特征的像素，便于椭圆拟合，并提取熔池中心坐标。
具体包括：
步骤2.1.1：对激光增材制造监测熔池的标准大小二值熔池图像从左到右，从上到下，遵循广度优先算法遍历图像，在遍历过程中，将第行的第一个白色像素/>，，存入熔池左边缘像素二维数组/>中，并在这一行中每遍历到一个白色像素，则将其存入临时整型变量temp中，一直遍历到该行最后一个像素，此时，若temp与熔池边缘像素二维数组E中的最后一个元素不同，且不为(0,0)，则将temp变量，也就是最后一个白色像素/>，/>，存入熔池右边缘像素二维数组/>，最后将temp置为(0,0)，继续遍历下一行，直到最后一行。
根据以上办法，若第行中的白色像素只有1个，则仅会存入1个白色像素进入熔池左边缘像素二维数组，若第/>行中没有白色像素，则不存入。至此，已完成对熔池边缘的提取，得到熔池左边缘像素二维数组/>，和熔池右边缘像素二维数组/>。
对步骤1中得到的激光增材制造监测熔池的灰度图像，将其中像素为1的点表示为，令：
；
；
其中，L为灰度图像中白色像素总数，、/>分别为像素为1的点的x、y坐标，得到激光增材制造监测熔池的灰度图像中，像素值为1的区域质心坐标/>，将该点坐标视为激光增材制造监测熔池的灰度图像下的熔池中心坐标/>；同理，在标准大小的激光增材制造监测熔池二值化图像中重复以上操作，得到标准大小的激光增材制造监测熔池二值化图像下的熔池中心坐标/>。
步骤2.2：通过一种适合熔池形貌的熔池主方向提取办法，基于方向向量提取熔池主方向角度；利用熔池边缘形似椭圆的特性，以及利用方向向量乘积正负性将熔池分为四部分，对不同部分的交界处再做讨论，得到熔池的主方向角度：
步骤2.2.1：对步骤2.1.1中提取到的熔池右边缘像素二维数组中的每个元素，以之为向量起点，下一元素作为向量终点，计算二者构成的向量/>：
；
再计算以熔池中心为起点，该元素为终点，计算二者构成的向量：
；
计算以上两向量点乘乘积：
；
将记为/>，提取/>符号，若为正，则将1存入交界处判别环形队列N，若为负，则将0存入交界处判别环形队列N，这一步中，存入交界处判别环形队列N中的第一个元素地址为首地址。
对步骤2.1.1中提取到的熔池左边缘像素二维数组倒置，得到，确保后续能够逆时针遍历交界处判别环形队列；对/>中的每个元素，以之为向量起点，下一元素作为向量终点，计算二者构成的向量/>：
；
再计算以熔池中心为起点，该元素为终点，计算二者构成的向量：
；
计算以上两向量点乘乘积：
；
将记为/>提取/>符号，若为正，则将1存入交界处判别环形队列N，若为负，则将0存入交界处判别环形队列N，遍历完成后，队列中最后一个元素指向第一个元素，形成闭环。
步骤2.2.2：对交界处判别环形队列N做大范围均值滤波，先提取数组长度，选取两个大小为/>的核，第一个核的尾元素与第二个核的首元素之间间隔为/>，令第一个核的第一个元素地址为队列首地址，统计两个核一共在队列中覆盖的值为1的元素个数/>，存入覆盖元素数目数组U，再将两个核在数组中向右滑动一个元素，继续统计两个核一共在队列中覆盖的值为1的元素个数/>，存入覆盖元素数目数组U，如此每滑动一次就统计一次，滑动次，最终在覆盖元素数目数组U中，提取出值最大的元素/>，提取其下标/>，将交界处判别环形队列N中，下标为/>到/>、/>到/>的元素置为1，其余置为0；得到长度为/>的四个部分，提取位于队列中0、1交界处的元素的下标，分别为/>，/>，/>，/>。
步骤2.2.3：交界处判别环形队列N中，下标为i的元素，对应熔池右边缘像素二维数组中的元素/>，提取/>的横、纵坐标；交界处判别环形队列N中，下标为/>的元素，对应熔池左边缘像素二维数组/>中的元素/>，提取/>的横、纵坐标；交界处判别环形队列N中，下标为/>的元素，对应熔池右边缘像素二维数组/>中的元素/>，提取/>的横、纵坐标；交界处判别环形队列N中，下标为/>的元素，对应熔池左边缘像素二维数组/>中的元素/>，提取/>的横、纵坐标；
计算、/>之间距离/>：
；
；
若>/>，则认为以/>为起点，/>为终点构成的方向向量的向量角，为熔池主方向相对于x轴的倾角/>：
；
若，则认为以/>为起点，/>为终点构成的方向向量的向量角，为熔池主方向相对于x轴的倾角/>：
；
记为熔池主方向倾角，其中atan2为反正切函数的一种形式，返回角度范围是[0,π]。
步骤3：通过一种适合熔池形貌的快速椭圆拟合算法，根据熔池中心坐标、边缘像素及主方向角度参数，对剩余两参数进行求取，获得拟合椭圆，提取椭圆长、短轴特征参数，作为对应的熔池长度、宽度特征参数。
对步骤2.1.1中提取到的熔池右边缘像素二维数组，并将/>中的边缘像素坐标，按熔池主方向倾角/>绕标准大小激光增材制造监测熔池二值化图像下的熔池中心坐标/>顺时针旋转，并得到旋转且合并后的熔池边缘像素二维数组/>：
；
对旋转且合并后的熔池边缘像素二维数组与标准大小激光增材制造监测熔池二值化图像下的熔池中心坐标/>在x及y方向分别建立函数/>，对距离也建立函数/>：
；
；
；
其中，为旋转后的熔池边缘像素二维数组/>中元素对应的像素横坐标；/>为旋转后的熔池边缘像素二维数组/>中元素对应的像素纵坐标，/>为熔池中心的横坐标，/>为熔池中心的纵坐标；
；同时对/>的点进行舍弃；
将边缘数组中的所有点带入约束函数，将满足/>的点的坐标分别带入函数/>，/>，求取/>；/>，再分别对/>，/>求偏导，令：
；
；
得到拟合椭圆长轴长，短轴长/>；将熔池主方向倾角（逆时针旋转）/>作为椭圆倾角，标准大小激光增材制造监测熔池二值化图像下的熔池中心坐标/>作为椭圆中心坐标；作为椭圆中心坐标；至此，已经提取到包括椭圆长轴长/>，短轴长/>、倾角/>、椭圆中心坐标/>在内的椭圆五特征参数，椭圆拟合完成，调用Drawellipses函数将拟合椭圆叠加在标准大小的激光增材制造监测熔池二值化图像上，得到激光增材制造监测熔池的拟合椭圆图像，如图4所示。
步骤4：按照预设提取条件，根据熔池的形态特征，通过一种熔池形态判断算法，过滤掉的拟合较差的椭圆，判断其误差成因并反馈，进行再次拟合，提取到拟合较好的椭圆，如图5所示，为了观察熔池连通域内像素状态，进而判断熔池温度，将椭圆及其外接矩形按照椭圆倾角进行旋转，使之平行于坐标轴，进而对熔池外接矩形进行遍历。
步骤4.1：根据拟合椭圆的五特征参数，包括长轴长度a和短轴长度b、熔池质心坐标以及椭圆倾角/>，计算得到椭圆的外接矩形四个顶点坐标，分别为：
；
；
；
；
将四个顶点顺时针依次连线，得到椭圆外接矩形，在激光增材制造监测熔池的拟合椭圆图像中画出，得到激光增材制造监测熔池的拟合椭圆外接矩形图像。
步骤4.2：将得到的激光增材制造监测熔池的拟合椭圆外接矩形图像，再次按椭圆倾角逆时针旋转，若椭圆倾角为负，则顺时针旋转，使得椭圆外接矩形平行于坐标轴，从而对矩形内部像素遍历，统计像素值为0的像素数量，像素值为1的像素数量/>。
步骤4.3：根据椭圆外接矩形面积表达式4ab，以及椭圆面积表达式，得到椭圆面积和椭圆外接矩形面积比标准0.785，因此，理论上像素值为0的像素与像素值为1像素比应为0.215；设置像素阈值[0.175,0.25]，若/>小于该阈值，则判断拟合椭圆内熔池面积过小，拟合椭圆过大；若/>大于该阈值，则判断外接矩形中包含熔池区域过多，拟合椭圆小；若像素比/>满足阈值要求，则保留图像进入下一步筛选，否则输出拟合误差原因，重新进行拟合。
步骤5：比较激光增材制造监测熔池的图像视频数据连续帧，获取所述熔池拟合椭圆的长短轴长度、倾角特征参数帧差值，按照预设识别条件，通过一种基于帧差法的熔池参数清洗方法，舍弃连续帧之间参数突变的图像，从拟合较好的图像中提取熔池宽度并输出，实现对有效的熔池形态图像的检测，提高检测准确性，如图6所示，筛选熔池特征参数后得到的12张激光增材制造监测熔池的拟合椭圆外接矩形图像（同时输出了熔池宽度），将对应熔池的宽度在图片上方予以标注。
步骤5.1：根据得到的椭圆宽度参数、长度参数/>，比较连续帧之间的宽度、长度差，以上两项参数在连续帧之间的差值有以下约束：
，/>；
步骤5.2：根据得到的椭圆倾角，比较连续帧之间的倾角差，做出以下约束：
，当/>时，取/>；
步骤5.3：根据得到的椭圆中心坐标，对连续帧之间的质心坐标距离做出约束使/>；其中/>的计算遵循勾股定理：
；
步骤5.4：若图像不满足以上约束，则判断为坏点，进行舍弃，对满足以上约束的图像进行椭圆五特征参数信息保存并输出。
步骤6，显示并保存所述激光熔池的宽度信息和图像。
Claims (10)
1.一种基于特征参数提取的金属增材制造熔池形态检测方法，其特征在于，包括以下步骤：
步骤1：获取金属增材制造熔池的图像，并进行预处理，获得预处理后的熔池图像；
步骤2：对预处理后的熔池图像进行像素识别，检测得到熔池边缘像素，基于熔池边缘像素获得熔池中心的坐标，并基于熔池边缘像素的方向向量得到熔池主方向角度；
步骤3：根据熔池中心的坐标、熔池边缘像素和熔池主方向角度进行椭圆拟合，得到拟合的椭圆的长轴和短轴；
步骤4：以拟合的椭圆的长轴和短轴作为对应熔池的长度和宽度，输出熔池形态。
2.根据权利要求1所述的金属增材制造熔池形态检测方法，其特征在于，所述步骤1中对金属增材制造熔池的图像进行预处理具体包括以下步骤：
步骤1.1：对金属增材制造熔池的图像进行灰度变换，得到熔池灰色图像；
步骤1.2：对熔池灰度图像根据连通域面积过滤噪声区域；再根据熔池灰色图像中亮度范围定位分割出潜在的熔池区域，并缩放至标准大小，得到标准熔池图像；
步骤1.3：对标准熔池图像进行锐化，并进行二值化处理，得到标准大小的熔池二值化图像。
3.根据权利要求2所述的金属增材制造熔池形态检测方法，其特征在于，所述步骤2中对预处理后的熔池图像进行像素识别，检测得到熔池边缘像素，具体为：
对标准大小的熔池二值化图像从左到右、从上到下进行遍历；将熔池二值化图像第行的第一个白色像素/>，存入熔池左边缘像素二维数组/>中，并在这一行中每遍历到一个白色像素，则将其存入临时整型变量temp中，一直遍历到该行最后一个像素，此时，若temp与熔池像素二维数组E中的最后一个元素不同，且坐标不为(0,0)，则将temp变量，也就是最后一个白色像素/>，存入熔池右边缘像素二维数组/>，最后将temp置为(0,0)，继续遍历下一行，直到最后一行。
4.根据权利要求3所述的金属增材制造熔池形态检测方法，其特征在于，所述步骤2中基于熔池边缘像素的方向向量得到熔池主方向角度具体包括：
步骤2.2.1：对熔池右边缘像素二维数组中的每个元素，以该元素作为向量起点，下一个元素作为向量终点，得到第一方向向量；以熔池中心作为向量起点，该元素作为向量终点，得到第一中心向量；计算第一方向向量和第一中心向量的点乘乘积，获得第一乘积向量；获得第一乘积向量的方向，若为第一方向，则将1存入交界处判处环形队列，若为第二方向，则将0存入交界处判处环形队列；
对熔池左边缘像素二维数组进行倒置，得到倒置二维数组，对倒置二维数组中的每个元素，以该元素作为向量起点，下一个元素作为向量终点，得到第二方向向量；以熔池中心作为向量起点，该元素作为向量终点，得到第二中心向量；计算第二方向向量和第二中心向量的点乘乘积，获得第二乘积向量；获取第二乘积向量的方向，如为第一方向，则将1存入交界处判处环形队列，若为第二方向，则将0存入交界处判处环形队列，遍历完成后，队列中最后一个元素指向第一个元素，形成闭环；
步骤2.2.2：对交界处判别环形队列N做大范围均值滤波，先提取数组长度，选取两个大小为/>的核，第一个核的尾元素与第二个核的首元素之间间隔为/>，令第一个核的第一个元素/>地址为队列首地址，统计两个核一共在队列中覆盖的值为1的元素个数/>，存入覆盖元素数目数组U，再将两个核在数组中向右滑动一个元素，继续统计两个核一共在队列中覆盖的值为1的元素个数/>，存入覆盖元素数目数组U，如此每滑动一次就统计一次，滑动/>次，最终在覆盖元素数目数组U中，获得值最大的元素/>对应交界处判别环形队列N中元素，将元素/>与元素/>、元素/>与元素/>之间的元素置为1，其余置为0；
步骤2.2.3：获取交界处判别环形队列N中的元素、元素/>、元素/>、元素/>，在熔池二值化图像中对应的像素/>、像素/>、像素/>、像素/>；计算像素/>、像素/>之间距离和像素/>、像素/>之间的距离/>：
若>/>，则以元素/>为起点，元素/>为终点构成的方向向量的向量角，为熔池主方向相对于x轴的倾角；
若，则以元素/>为起点，元素/>为终点构成的方向向量的向量角，为熔池主方向相对于x轴的倾角。
5.根据权利要求4所述的金属增材制造熔池形态检测方法，其特征在于，所述步骤3中进行椭圆拟合的具体步骤为：
将熔池右边缘像素二维数组加入到熔池左边缘像素二维数组/>的尾部，得到合并后的熔池边缘像素二维数组/>(/>)，并将熔池边缘像素二维数组/>中的边缘像素坐标，按熔池主方向倾角/>绕熔池中心顺时针旋转，得到旋转后的熔池边缘像素二维数组/>；
对旋转后的熔池边缘像素二维数组与熔池中心的坐标在x及y方向分别建立函数，对距离也建立函数G(/>)：
；
；
；
其中，为旋转后的熔池边缘像素二维数组/>中元素对应的像素横坐标；/>为旋转后的熔池边缘像素二维数组/>中元素对应的像素纵坐标，/>为熔池中心的横坐标，/>为熔池中心的纵坐标；
；
将旋转后的熔池边缘像素二维数组中的所有点带入约束函数G(/>,/>)，将满足约束条件的元素对应像素的x轴坐标、y轴坐标分别带入/> 函数、 函数/>，求取，/>，再分别对/>求偏导，令：
；
；
得到拟合椭圆长轴长、短轴长/>，椭圆拟合完成。
6.根据权利要求5所述的金属增材制造熔池形态检测方法，其特征在于，所述步骤3中还包括对拟合的椭圆的拟合误差进行检测；具体为：获取拟合的椭圆的外接矩形；对外接矩形内部的像素进行遍历，获得外接矩形内部不同像素值数量之间的像素比，保留像素比位于阈值范围内的图像，并输出像素比位于阈值范围内的图像的拟合误差。
7.根据权利要求6所述的金属增材制造熔池形态检测方法，其特征在于，连续获取多张金属增材制造熔池的图像，并进行椭圆拟合，得到连续帧的熔池形态拟合结果；对连续帧的熔池形态拟合结果进行约束，筛去不符合约束条件的熔池形态拟合结果。
8.根据权利要求7所述的金属增材制造熔池形态检测方法，其特征在于，所述约束条件包括：连续帧之间熔池的拟合椭圆的宽度差、长度差、倾角差和中心距离差。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求8任意一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求8任意一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410439130.9A CN118037736B (zh) | 2024-04-12 | 2024-04-12 | 一种基于特征参数提取的金属增材制造熔池形态检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410439130.9A CN118037736B (zh) | 2024-04-12 | 2024-04-12 | 一种基于特征参数提取的金属增材制造熔池形态检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118037736A true CN118037736A (zh) | 2024-05-14 |
| CN118037736B CN118037736B (zh) | 2024-06-14 |
Family
ID=90997214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410439130.9A Active CN118037736B (zh) | 2024-04-12 | 2024-04-12 | 一种基于特征参数提取的金属增材制造熔池形态检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118037736B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101616762A (zh) * | 2007-01-20 | 2009-12-30 | Mkm曼斯菲尔德克普夫与梅辛有限公司 | 用于浇注特别是铜或铜合金的非铁金属熔池液的方法和装置 |
| US20100288734A1 (en) * | 2009-05-14 | 2010-11-18 | Dave Vivek R | Controlled weld pool volume control of welding processes |
| CN101968881A (zh) * | 2010-10-27 | 2011-02-09 | 东南大学 | 一种运动模糊和散焦复合模糊的图像复原方法 |
| CN103247045A (zh) * | 2013-04-18 | 2013-08-14 | 上海交通大学 | 一种从多视图中得到人造场景主方向及图像边缘的方法 |
| CN103383700A (zh) * | 2013-06-26 | 2013-11-06 | 西安电子科技大学 | 基于边缘方向差直方图的图像检索方法 |
| CN104200214A (zh) * | 2014-08-22 | 2014-12-10 | 中国人民解放军国防科学技术大学 | 使用Walsh变换的功率谱来描述图像局部特征区域的方法 |
| CN111275634A (zh) * | 2020-01-13 | 2020-06-12 | 南京师范大学 | 一种熔池形貌检测及弧焊机器人控制方法 |
| CN113674206A (zh) * | 2021-07-21 | 2021-11-19 | 华南理工大学 | 一种适用于深熔k-tig焊熔池和锁孔入口特征参数的提取方法 |
| CN115170545A (zh) * | 2022-07-28 | 2022-10-11 | 南京师范大学 | 一种动态熔池尺寸检测及成形方向判别方法 |
| CN115187567A (zh) * | 2022-07-25 | 2022-10-14 | 南京师范大学 | 一种金属增材制造熔池成形方向及宽度检测方法 |
| CN115272187A (zh) * | 2022-06-27 | 2022-11-01 | 江苏大学 | 一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法 |
| CN117392178A (zh) * | 2023-12-08 | 2024-01-12 | 武汉纺织大学 | 一种铺粉增材制造过程熔池的运动特征提取方法及装置 |
-
2024
- 2024-04-12 CN CN202410439130.9A patent/CN118037736B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101616762A (zh) * | 2007-01-20 | 2009-12-30 | Mkm曼斯菲尔德克普夫与梅辛有限公司 | 用于浇注特别是铜或铜合金的非铁金属熔池液的方法和装置 |
| US20100288734A1 (en) * | 2009-05-14 | 2010-11-18 | Dave Vivek R | Controlled weld pool volume control of welding processes |
| CN101968881A (zh) * | 2010-10-27 | 2011-02-09 | 东南大学 | 一种运动模糊和散焦复合模糊的图像复原方法 |
| CN103247045A (zh) * | 2013-04-18 | 2013-08-14 | 上海交通大学 | 一种从多视图中得到人造场景主方向及图像边缘的方法 |
| CN103383700A (zh) * | 2013-06-26 | 2013-11-06 | 西安电子科技大学 | 基于边缘方向差直方图的图像检索方法 |
| CN104200214A (zh) * | 2014-08-22 | 2014-12-10 | 中国人民解放军国防科学技术大学 | 使用Walsh变换的功率谱来描述图像局部特征区域的方法 |
| CN111275634A (zh) * | 2020-01-13 | 2020-06-12 | 南京师范大学 | 一种熔池形貌检测及弧焊机器人控制方法 |
| CN113674206A (zh) * | 2021-07-21 | 2021-11-19 | 华南理工大学 | 一种适用于深熔k-tig焊熔池和锁孔入口特征参数的提取方法 |
| CN115272187A (zh) * | 2022-06-27 | 2022-11-01 | 江苏大学 | 一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法 |
| CN115187567A (zh) * | 2022-07-25 | 2022-10-14 | 南京师范大学 | 一种金属增材制造熔池成形方向及宽度检测方法 |
| CN115170545A (zh) * | 2022-07-28 | 2022-10-11 | 南京师范大学 | 一种动态熔池尺寸检测及成形方向判别方法 |
| CN117392178A (zh) * | 2023-12-08 | 2024-01-12 | 武汉纺织大学 | 一种铺粉增材制造过程熔池的运动特征提取方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| ZHIBO ZHANG 等: "Machine learning based prediction of melt pool morphology in a laser-based powder bed fusion additive manufacturing process", 《INTERNATIONAL JOURNAL OF PRODUCTION RESEARCH》, 18 April 2023 (2023-04-18), pages 1 - 17 * |
| 凌旭 等: "基于通道加权FPN的熔池检测与特征提取方法", 《南京师范大学学报(工程技术版)》, vol. 23, no. 2, 20 June 2023 (2023-06-20), pages 16 - 24 * |
| 董方煜 等: "粉末激光熔覆熔池行为的视觉监测与特征提取", 《材料工程》, vol. 51, no. 11, 29 August 2023 (2023-08-29), pages 197 - 204 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118037736B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106709436B (zh) | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪*** | |
| CN110866903B (zh) | 基于霍夫圆变换技术的乒乓球识别方法 | |
| CN108960011B (zh) | 部分遮挡的柑橘果实图像识别方法 | |
| CN110298860B (zh) | 一种基于机器视觉的高杆绣球检测计数*** | |
| CN110647836B (zh) | 一种鲁棒的基于深度学习的单目标跟踪方法 | |
| CN109800619B (zh) | 成熟期柑橘果实图像识别方法 | |
| CN110414385B (zh) | 一种基于单应性变换和特征窗口的车道线检测方法及*** | |
| CN108734172B (zh) | 基于直线边缘特征的目标识别方法、*** | |
| CN113449606B (zh) | 一种目标对象识别方法、装置、计算机设备及存储介质 | |
| CN110032932B (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 | |
| CN108921813A (zh) | 一种基于机器视觉的无人机检测桥梁结构裂缝识别方法 | |
| CN111932490B (zh) | 一种用于工业机器人的视觉***抓取信息提取方法 | |
| CN113706566B (zh) | 一种基于边缘检测的加香喷雾性能检测方法 | |
| CN112883881B (zh) | 一种条状农产品无序分拣方法及装置 | |
| CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
| CN108765456B (zh) | 基于直线边缘特征的目标跟踪方法、*** | |
| CN112580447B (zh) | 一种基于边缘二阶统计与融合的电力线检测方法 | |
| CN109840498B (zh) | 一种实时行人检测方法及神经网络、目标检测层 | |
| CN109954854B (zh) | 连铸机结晶器漏钢监测方法、装置、存储介质及电子终端 | |
| CN118037736B (zh) | 一种基于特征参数提取的金属增材制造熔池形态检测方法 | |
| CN113723314A (zh) | 一种基于YOLOv3算法的甘蔗茎节识别方法 | |
| KR20100121817A (ko) | 눈의 영역을 추적하는 방법 | |
| CN114693556B (zh) | 一种高空抛物帧差法运动目标检测去拖影方法 | |
| CN111553217A (zh) | 一种驾驶员打***测方法与*** | |
| CN115063375B (zh) | 一种对***试纸检测结果进行自动分析的图像识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |