具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
在本申请中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本申请。此外,本申请可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本申请提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
本申请一实施例提供一种训练方法,用于构建焊接品质的判断模型,包括:接收历史焊接信号序列,历史焊接信号序列包括获取焊接件熔池或其周围的等离子体、背光反射及温度数据的集合;对历史焊接信号序列进行预处理以形成滤波信号;标注滤波信号以形成训练集;依据滤波信号、训练集和预设的推理组件形成判断模型。
如此,上述训练方法中,以历史焊接信号序列为基础,以此形成滤波信号、训练集,并依据推理组件形成判断模型,其中,历史焊接信号序列用于反映焊接过程,以此形成的判断模型用于判断焊接过程中的焊接质量,使得检测结果更加贴近焊接的实际状况,提高焊接质量检测的实时性、真实性和准确度,减少人工介入,减少检测耗时和耗材,也便于量化分析和进行回溯。
本申请一实施例还提供一种电子装置,包括至少一个处理器,用于通过调取来自存储器或云端的程序集,及执行程序集以完成上述的训练方法。
如此,上述电子装置用于执行上述训练方法,上述训练方法中,以历史焊接信号序列为基础,以此形成滤波信号、训练集,并依据推理组件形成判断模型,其中,历史焊接信号序列用于反映焊接过程,以此形成的判断模型用于判断焊接过程中的焊接质量,使得检测结果更加贴近焊接的实际状况,提高焊接质量检测的实时性、真实性和准确度,减少人工介入,减少检测耗时和耗材,也便于量化分析和进行回溯。
本申请一实施例还提供一种焊接检测方法,用于形成判断信号以检测焊接品质,包括:获得生产焊接信号,生产焊接信号形成于焊接装置的焊接过程,包括获取焊接件熔池或其周围的等离子体、背光反射及温度数据的集合;对生产焊接信号进行预处理以形成生产焊接滤波信号;输入生产焊接滤波信号至经过训练的判断模型,形成第一判断信号,判断模型通过对包括获取焊接件熔池或其周围的等离子体、背光反射及温度数据的集合的历史焊接信号序列的训练形成。
如此,采用的焊接信号形成于焊接装置的焊接过程,并依据经过训练的判断模型形成用于判断焊接质量的第一判断信号,进而使得检测结果更加贴近焊接的实际状况,提高焊接质量检测的实时性、真实性和准确度,减少人工介入,减少检测耗时和耗材,也便于量化分析和进行回溯。
本申请一实施例还提供一种焊接检测装置,用于形成判断信号以检测焊接品质,包括通信器和处理器。其中,通信器用于接收来自焊接设备的生产焊接信号,生产焊接信号形成于焊接装置的焊接过程,包括获取焊接件熔池或其周围的等离子体、背光反射及温度数据的集合。处理器耦接通信器,用于:对生产焊接信号进行预处理以形成生产焊接滤波信号;输入生产焊接滤波信号至判断模型,形成第一判断信号,判断模型根据历史焊接数据训练形成。
本申请一实施例还提供一种包括焊接检测装置的焊接设备。
上述焊接检测装置和焊接设备中,通信器接收的焊接信号形成于焊接装置的焊接过程,处理器依据判断模型形成用于判断焊接质量的第一判断信号,进而使得检测结果更加贴近焊接的实际状况,提高焊接质量检测的实时性、真实性和准确度,减少人工介入,减少检测耗时和耗材,也便于量化分析和进行回溯。
以下将结合附图对本申请的一些实施例作详细说明。
请参见图1,图1为本申请一实施例训练方法的流程示意图,训练方法用于构建焊接品质的判断模型,包括:
S10,接收历史焊接信号序列,历史焊接信号序列包括获取焊接件熔池或其周围的等离子体、背光反射及温度数据的集合。
需要说明的是,等离子体、背光反射及温度均为焊接过程中熔池所发射出来的光学讯号,以波的形式呈现。进行检测时,检测的是激光焊接过程中返回的光学讯号,本实施例中,将光的波长划分为为紫外光、红外光、非红紫外光三类,相较于其余光学波长讯号的分类,此种分类方法象征性强且容易分光。进一步地,本实施例中,紫外光的物理特性采用等离子体,等离子体常被视为物体除了固体、液体和气体之外的第四种状态,在焊接过程中,能够间接反映出熔池的基本情况,红外光的物理特性采用温度,能够反映出焊接过程中的温度变化,非红紫外光的物理特性采用背光反射,能够反映出焊接表面的凹凸变化,以此形成所需要的历史焊接信号序列。例如焊接件熔池的等离子体、背光反射及温度数据,全部可以通过对光学信号的解析通过焊接件熔池的等离子体、背光反射及温度数据的集合得到。
在一些实施例中,同理,等离子体、温度和背光反射也可以通过非光学信号传感器得出,不应限定本实施例中的等离子体、温度和背光反射仅通过光学信号得出。在一些情况下,由于焊接件熔池的数据较难获取到或不稳定,也可以以焊接件熔池周围,或焊接件熔池及焊接件熔池周围为检测点,进行等效替换得到等离子体、温度和背光反射的数据,例如对一些已经确定焊接件材料的情况,可理解为导热系数已确定,则可取焊接件熔池附件1mm左右的温度或背光反射数据,再通过变换关系等效到熔池的数据。在另一些情况下,可以不通过光学信号进行历史焊接信号序列的检测,例如温度数据可通过以焊接件熔池周围为检测点,对一些已经确定焊接件材料的情况,可理解为导热系数已确定,则可取焊接件熔池附件1mm左右的温度数据,再通过变换关系等效到熔池的温度数据,但不限于此。
S20,对历史焊接信号序列进行预处理以形成滤波信号。
在一实施方式中,其中形成滤波信号的步骤,包括对历史焊接信号序列进行均值滤波、中值滤波及高斯平滑中的至少一个,以形成滤波信号。
具体地,请参见图2,图2为本申请一实施方式中等离子体、背光反射及温度三者所形成的基础波的示意图。由图2可以看出,三者所形成的波是上述滤波信号形成的,波的平滑度低且分布密集,无法较好的获得三者所代表的焊接信号。需要说明的是,三者所形成的波是上述滤波信号形成的基础波。
可以理解地,在其他实施方式中,可以采用等离子体、背光反射及温度中的一种或者两种获得基础波,也可以通过其他可以反映焊接过程的光学讯号形成基础波。
需要说明的是,均值滤波、中值滤波及高斯平滑均可以对所形成的波起到平滑图像、滤去噪声的功能,使得历史焊接信号序列所形成的波具有平滑度高、噪声低的优势,具有平滑度高、噪声低的波形成上述的滤波信号。
例如,均值滤波采用线性的方法,主要针对于线性分布的噪声,例如:高斯噪声,示例性的,使用小窗口在讯号上沿时间轴滑动;计算窗口中讯号的均值;时间均值替代当前原始值。
中值滤波采用非线性的方法,主要针对非线性分布的噪声,例如:椒盐噪声,示例性的,使用小窗口在讯号上沿时间轴滑动;计算窗口中讯号的中值;时间均值替代当前原始值。
高斯平滑则是采用领域平均的思想对波进行平滑的一种方法,示例性的,使用小窗口在讯号上沿时间轴滑动;根据高斯函数计算窗口中讯号的加权平均;以加权均值替代当前原始值。
进一步地,请参见图3,图3为图2所示的三种波经过预处理后所形成的滤波信号的示意图。由图3可知,预处理后的三种波的平滑度提高、波的走势明显,形成所需要的滤波信号。
需要说明的是,预处理过程中所包括的均值滤波、中值滤波及高斯平滑在对基础波进行预处理,可以依据基础波的自身特点选择相对应的预处理方法,例如:针对以高斯噪声为主的基础波优选均值滤波的方式,针对以椒盐噪声为主的基础波则优选中值滤波的方式。
S30,标注滤波信号以形成训练集。在一实施方式中,人工或机器识别滤波信号以判断滤波信号所代表的焊接点强度是否正常,并以特定的方式进行标识,标识后的滤波信号形成训练集。
示例性地,如图3所示,中间截取一部分波形信号,根据波形数据,通过一定的方式,如人工标注,形成经过标注的序列,图3以(0,1,1,1,1,1,0,0,2,2,2,2,…,0,0)为例,该序列为经过标注的序列,其中0表示非焊点,1表示焊接强度正常的焊点,即标注为OK的滤波信号,2表示焊接强度不正常的焊点,即标注为NG的滤波信号。该经过标注的序列和历史焊接信号序列(即波形对应数据),形成训练集。
在一实施方式中,人工或机器识别滤波信号以判断滤波信号所代表的焊接点强度是否正常,并以特定的方式进行标识。请参见图4,图4为本申请第一实施例中部分训练集的示意图。人工或机器识别的方式将滤波信号中焊接强度正常的滤波信号所在的区域标注为OK,将滤波信号中焊接强度不正常的滤波信号所在的区域标注为NG,即图4中波段在虚线表示的区域的滤波信号所对应的焊接强度是正常的,图4中波段在实线表示的区域的滤波信号所对应的焊接强度是不正常的。可以理解地,在其他实施方式中,也可以采用不同颜色对滤波信号进行标注,例如:采用绿色标注焊接强度正常的滤波信号所在的区域,采用红色标注焊接强度不正常的滤波信号所在的区域。为便于理解,如图3所示,以(0,1,1,1,1,1,0,0,2,2,2,2,…,0,0)为例,确定训练集。
需要说明的是,图2至图4中坐标系中的横坐标和纵坐标的数值仅表示三种波的一个变化示意,并不能完全代表真正的波在坐标系中的横坐标和纵坐标的取值。
S40,依据滤波信号、训练集和预设的推理组件形成判断模型。
请参见图5,在一实施方式中,推理组件包括预设模型和训练模型,形成判断模型的步骤包括:
S41,依据滤波信号和预设模型形成结果集。
示例性地,请一并参见图3和图4,图4中表(b)为图4(a)中训练集所对应的结果集,结果集为与图3中经过标注的序列为同样定义规则,即0表示非焊点,1表示焊接强度正常的焊点,即标注为OK的滤波信号,2表示焊接强度不正常的焊点,即标注为NG的滤波信号。
在一实施方式中,预设模型包括长短期记忆模型,形成结果集的步骤包括:
S411,输入滤波信号至长短期记忆模型的遗忘门,根据更新门和输出门形成结果集。
本实施例中,采用长短期记忆(long-short term memory,LSTM)作为判断模型的底层模型。
需要说明的是,LSTM模型是一种循环神经网络(recurrent neural networks,RNN)模型,该种模型能够记忆住近期的一些信息,同时将更久的信息遗忘掉。LSTM模型的核心之处在于它的神经元状态,LSTM模型包括遗忘门、更新门、输入门和输出门,其中,遗忘门用于决定什么信息应该被遗忘,更新门用于更新遗忘门所储存的信息。信息由输入门进入LSTM模型,输出门的输出结果由输入门的输入信息和遗忘门的储存信息共同决定。
示例性的,输入如图3中的历史焊接信号序列(即波形对应数据)至遗忘门,依次经过下列公式(1)-(5),输出结果集,示例性为:(0,1,2,1,1,1,0,2,2,2,1,2,…,0,0),而根据经过标注的序列为(0,1,1,1,1,1,0,0,2,2,2,2,…,0,0),可以发现结果集与经过标注的序列存在偏差。
ft=σ(Wf[ht-1,xt]+bf) (1)
it=σ(Wi[ht-1,xt]+bi) (2)
ht=σ(Wo[ht-1,xt]+bo)*tanh(Ct) (5)
需要说明的是,上述公式中,公式(1)为遗忘门的公式,公式(2)为新数据加入的权重,公式(3)为新数据加入的值,公式(4)为旧数据和新数据的比重公式,即更新门的公式,公式(5)为输出门的公式。
S42,依据结果集、训练集及训练模型形成调整集。
具体地,LSTM模型计算的结果集与人工标识的训练集之间存在一定的差异,获得这种差异的模型形成所需的训练模型,其中,训练模型可用于计算局部损失和全局损失。
在一实施方式中,训练模型包括交叉熵损失(cross entropy loss,CEL)函数,形成调整集的步骤包括:
S421,输入结果集和训练集至交叉熵损失函数,形成结果集与训练集的损失集合。
请参见图6,在一实施方式中,训练模型还包括交并比函数,损失集合包括全局损失和局部损失,形成损失集合的步骤包括:
S421a,输入结果集、训练集至交叉熵损失函数,形成结果集与训练集的局部损失。
需要说明的是,CEL函数是通过每个时刻的输出判断结构与人工标识的判断结果进行比对,以获得每个时刻的误差,得到的是局部的损失集合,即局部损失。示例性的,CEL函数通过公式(6)实现。
示例性的,将LSTM模型的结果集(0,1,2,1,1,1,0,2,2,2,1,2,…,0,0)和训练集中经过标注的序列(0,1,1,1,1,1,0,0,2,2,2,2,…,0,0)输入交叉熵损失函数公式(6),获得LSTM模型在逐一时刻的局部损失。
根据局部损失,判断结果集和经过标注的序列的差异大小,根据这个差异大小在后续步骤中判断如何进行模型调整。
S421b,输入结果集、训练集至交并比函数,形成结果集与训练集的全局损失。
需要说明的是,交并比(intersection over union,IOU)是预测边界和实际边界交集的面积比并集的面积,IOU函数则是基于交并比所得到的,用于得到LSTM模型在一段序列上的损失,即全局损失。
示例性的,将LSTM模型的结果集(0,1,2,1,1,1,0,2,2,2,1,2,…,0,0)和训练集中经过标注的序列(0,1,1,1,1,1,0,0,2,2,2,2,…,0,0)中获得结果序列输入交并比函数,获得结果序列为(0,1,1/2,1,1,1,0,0/2,2,2,2/1,2,…,0,0),该结果序列作为模型在一段序列上的全局损失。
S421c,根据局部损失和全局损失形成损失集合。
S422,根据损失集合,形成调整集。根据损失集合判断LSTM模型需要继续迭代的方向和参数,即进行反向传播,继续更新模型参数。
具体地,通过损失集合,能够获得调整更新门参数的调整序列,从而在下一次通过LSTM模型输出更接近经过标注的序列,直到达到最大反向传播次数或者完全收敛为止,进而得到调整集,即该调整集通过调整序列迭代形成。
S43,依据调整集及预设模型形成判断模型。通过调整集,修正预设模型(如LSTM模型的更新门),构建能够判断焊接品质的判断模型。
上述训练方法中,以历史焊接信号序列为基础,以此形成滤波信号、训练集,并依据推理组件形成判断模型,其中,历史焊接信号序列用于反映焊接过程,以此形成的判断模型用于判断焊接过程中的焊接质量,使得检测结果更加贴近或完全反应焊接的实际状况,提高焊接质量检测的实时性、真实性和准确度,减少人工介入,减少检测耗时和耗材,也便于量化分析和进行回溯。
请参见图7,图7为本申请一实施例电子装置10的架构示意图,电子装置10包括至少一个处理器11,用于通过调取来自存储器或云端的程序集,及执行程序集以完成上述的训练方法。
电子装置10用于执行上述训练方法,上述训练方法中,以历史焊接信号序列为基础,以此形成的判断模型用于判断焊接过程中的焊接质量,使得检测结果更加贴近或完全反应焊接的实际状况,提高焊接质量检测的实时性、真实性和准确度,减少人工介入,减少检测耗时和耗材,也便于量化分析和进行回溯。
该电子装置10包括但不限定计算机、专用设备、数据中心、服务器等硬件设备。在一实施方式中,电子装置10可以为一个微型计算机,包括至少一个处理器11,其中,处理器11可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。
请参见图8,图8为本申请一实施例焊接检测方法的流程示意图,焊接检测方法用于形成判断信号以检测焊接品质,包括:
S100,获得生产焊接信号,生产焊接信号形成于焊接装置的焊接过程,包括获取焊接件熔池或其周围的等离子体、背光反射及温度数据的集合。
需要说明的是,等离子体、背光反射及温度均为焊接过程中熔池所发射出来的光学讯号,以波的形式呈现。进行检测时,检测的是激光焊接过程中返回的光学讯号,本实施例中,将光的波长划分为为紫外光、红外光、非红紫外光三类,相较于其余光学波长讯号的分类,此种分类方法象征性强且容易分光。进一步地,本实施例中,紫外光的物理特性采用等离子体,等离子体常被视为物体除了固体、液体和气体之外的第四种状态,在焊接过程中,能够间隔反映出熔池的基本情况,红外光的物理特性采用温度,能够反映出焊接过程中的温度变化,非红紫外光的物理特性采用背光反射,能够反映出焊接表面的凹凸变化,以此形成所需要的历史焊接信号序列。例如焊接件熔池的等离子体、背光反射及温度数据,全部可以通过对光学信号的解析通过焊接件熔池的等离子体、背光反射及温度数据的集合得到。
在一些实施例中,同理,等离子体、温度和背光反射也可以通过非光学信号传感器得出,不应限定本实施例中的等离子体、温度和背光反射仅通过光学信号得出。在一些情况下,由于焊接件熔池的数据较难获取到或不稳定,也可以以焊接件熔池周围,或焊接件熔池及焊接件熔池周围为检测点,进行等效替换得到等离子体、温度和背光反射的数据,例如对一些已经确定焊接件材料的情况,可理解为导热系数已确定,则可取焊接件熔池附件1mm左右的温度或背光反射数据,再通过变换关系等效到熔池的数据。在另一些情况下,可以不通过光学信号进行历史焊接信号序列的检测,例如温度数据可通过以焊接件熔池周围为检测点,对一些已经确定焊接件材料的情况,可理解为导热系数已确定,则可取焊接件熔池附件1mm左右的温度数据,再通过变换关系等效到熔池的温度数据,但不限于此。
S200,对生产焊接信号进行预处理以形成生产焊接滤波信号。
在一实施方式中,预处理包括均值滤波、中值滤波及高斯平滑中的至少一个。
需要说明的是,均值滤波、中值滤波及高斯平滑均可以对所形成的波起到平滑图像、滤去噪声的功能,使得历史焊接信号序列所形成的波具有平滑度高、噪声低的优势,具有平滑度高、噪声低的波形成上述的滤波信号。
例如,均值滤波采用线性的方法,主要针对于线性分布的噪声,例如:高斯噪声,示例性的,使用小窗口在讯号上沿时间轴滑动;计算窗口中讯号的均值;时间均值替代当前原始值。
中值滤波采用非线性的方法,主要针对非线性分布的噪声,例如:椒盐噪声,示例性的,使用小窗口在讯号上沿时间轴滑动;计算窗口中讯号的中值;时间均值替代当前原始值。
高斯平滑则是采用领域平均的思想对波进行平滑的一种方法,示例性的,使用小窗口在讯号上沿时间轴滑动;根据高斯函数计算窗口中讯号的加权平均;以加权均值替代当前原始值。
进一步地,同理可参见图3,图3为图2所示的三种波经过预处理后所形成的滤波信号的示意图。由图3可知,预处理后的三种波的平滑度提高、波的走势明显,形成所需要的滤波信号。
需要说明的是,预处理过程中所包括的均值滤波、中值滤波及高斯平滑在对基础波进行预处理,可以依据基础波的自身特点选择相对应的预处理方法,例如:针对以高斯噪声为主的基础波优选均值滤波的方式,针对以椒盐噪声为主的基础波则优选中值滤波的方式。
S300,输入生产焊接滤波信号至经过训练的判断模型,形成第一判断信号,判断模型通过对包括获取焊接件熔池或其周围的等离子体、背光反射及温度数据的集合的历史焊接信号序列的训练形成。
在一实施例中,该判断模型可采用上述训练方法中实施例所形成的判断模型。该第一判断信号指经过判断模型形成的序列,例如(0,1,1,1,2,1,0,0,1,1,1,1,…,0,0)。
S310,根据第一判断信号,可视化所述至少1个焊接点的判断结果。焊接件包含至少1个焊接点,例如包括焊接点1、焊接点2和焊接点3,3个焊接点位于不同的位置,可在显示器或者图像中显示,也可以在其他方式中显示。示例性的,根据第一判断信号,判断焊接点1不合格(NG)、焊接点2合格(合格)和焊接点3不合格(NG),以显示器为例,通过发出和传输控制信号,在焊接点1和焊接点3的位置标记出红点,在焊接点2的位置标记处绿点,现场人员即可根据这些可视化信息,了解到焊接情况,能够有效避免焊接不合格时人眼无法直观判断,造成漏检的情况,也能够继续收集焊接时对应的数据,形成新的历史焊接信号序列,对判断模型进行优化。
上述焊接检测方法中,采用的焊接信号形成于焊接装置的焊接过程,并依据训练完成的判断模型形成用于判断焊接质量的第一判断信号,进而使得检测结果更加贴近或完全反应焊接的实际状况,提高焊接质量检测的实时性、真实性和准确度,减少人工介入,减少检测耗时和耗材,也便于量化分析和进行回溯。
在一实施方式中,由于可能存在同一输入信号至判断模型后,判定结果不唯一的情况,为得出更为准确的判断结果,焊接检测方法还包括:
S400,再次输入生产焊接滤波信号至判断模型,形成第二判断信号。
具体地,该第二判断信号指经过判断模型形成的序列,例如(0,1,2,1,1,1,0,0,2,1,1,1,…,0,0)。
S500,根据第一判断信号及第二判断信号,确定第一判断信号及第二判断信号的连通区域。例如,通过对比第一判断信号及第二判断信号,发现第一判断信号的第2至第6个元素中,除了第5个元素为2其他均为1,且第二判断信号的第2至第6个元素中,除了第3个元素为2其他均为1,则确定第一判断信号中第2、3、4、6个元素和第二判断信号中第2、4、5、6个元素相同所形成的连通区域。
具体地,连通区域的确定采用连通分量标记算法。
S600,对第一判断信号及第二判断信号进行主成分分析,以标注连通区域。
示例性的,基于第一判断信号中第2、3、4、6个元素和第二判断信号中第2、4、5、6个元素相同所形成的连通区域中,值为1的元素较多,则确定连通区域全为1,例如(0,1,1,1,1,1,0,0,1,1,1,1,…,0,0)。这是因为在焊接过程中,判断模型存在一定的准确率,若将判断模型的灵敏度调至一发现出现NG(即值为2)的情况即停止,将会导致效率的降低,CT(Cycle Time)增加,且焊接质量并不一定不满足要求。另外,一旦在焊接过程中发现会出现焊接质量问题,通常不会仅出现1-2个值为NG,而是一连串的数据皆为NG,将导致焊接质量降低,因此采用主成分分析,综合第一判断信号及第二判断信号标注连通区域,形成判断结果,能够有效提高效率和减少误判。
可以理解地,在其他实施方式中,也可以采用不同颜色对滤波信号进行标注,例如:采用绿色标注焊接强度正常的滤波信号所在的区域,采用红色标注焊接强度不正常的滤波信号所在的区域。
S700,根据标注后的连通区域,调整第一判断信号或第二判断信号,以形成第三判断信号。
如此,第三判断信号即为综合第一判断信号及第二判断信号标注连通区域后形成的序列,例如为(0,1,1,1,1,1,0,0,1,1,1,1,…,0,0),这样采用连通分量标记算法对所形成的判断信号进行调整,能否有效提高形成的判断信号的准确度。
可以理解地,在其他实施方式中,也可形成多个判断信号,在多个判断信号的基础上形成最终的判断信号。
S710,根据第三判断信号,可视化所述至少1个焊接点的判断结果。焊接件包含至少1个焊接点,例如包括焊接点1、焊接点2和焊接点3,3个焊接点位于不同的位置,可在显示器或者图像中显示,也可以在其他方式中显示。示例性的,根据第三判断信号,判断焊接点1不合格(NG)、焊接点2合格(合格)和焊接点3不合格(NG),以显示器为例,通过发出和传输控制信号,在焊接点1和焊接点3的位置标记出红点,在焊接点2的位置标记处绿点,现场人员即可根据这些可视化信息,了解到焊接情况,能够有效避免焊接不合格时人眼无法直观判断,造成漏检的情况,也能够继续收集焊接时对应的数据,形成新的历史焊接信号序列,对判断模型进行优化。
请参见图9,图9为本申请一实施例焊接检测装置的架构示意图,焊接检测装置20用于形成判断信号以检测焊接品质,包括通信器21和处理器22。通信器21用于接收来自焊接设备的生产焊接信号,生产焊接信号形成于焊接装置的焊接过程,包括获取焊接件熔池或其周围的等离子体、背光反射及温度数据的集合。处理器22耦接通信器21,处理器22用于对生产焊接信号进行预处理以形成生产焊接滤波信号;处理器22还用于输入生产焊接滤波信号至判断模型,形成第一判断信号,判断模型根据历史焊接数据训练形成。
处理器22还可用于:根据第一判断信号,可视化所述至少1个焊接点的判断结果。焊接件包含至少1个焊接点,例如包括焊接点1、焊接点2和焊接点3,3个焊接点位于不同的位置,可在显示器或者图像中显示,也可以在其他方式中显示。示例性的,根据第一判断信号,判断焊接点1不合格(NG)、焊接点2合格(合格)和焊接点3不合格(NG),以显示器为例,通过发出和传输控制信号,在焊接点1和焊接点3的位置标记出红点,在焊接点2的位置标记处绿点,现场人员即可根据这些可视化信息,了解到焊接情况,能够有效避免焊接不合格时人眼无法直观判断,造成漏检的情况,也能够继续收集焊接时对应的数据,形成新的历史焊接信号序列,对判断模型进行优化。
需要说明的是,等离子体、背光反射及温度均为焊接过程中熔池所发射出来的光学讯号,以波的形式呈现。进行检测时,检测的是激光焊接过程中返回的光学讯号,本实施例中,将光的波长划分为为紫外光、红外光、非红紫外光三类,相较于其余光学波长讯号的分类,此种分类方法象征性强且容易分光。进一步地,本实施例中,紫外光的物理特性采用等离子体,等离子体常被视为物体除了固体、液体和气体之外的第四种状态,在焊接过程中,能够间隔反映出熔池的基本情况,红外光的物理特性采用温度,能够反映出焊接过程中的温度变化,非红紫外光的物理特性采用背光反射,能够反映出焊接表面的凹凸变化,以此形成所需要的历史焊接信号序列。同理,等离子体、温度和背光反射也可以通过非光学信号传感器得出,不应限定本实施例中的等离子体、温度和背光反射仅通过光学信号得出。
该判断模型可采用上述训练方法中实施例所形成的判断模型。该第一判断信号指经过判断模型形成的序列,例如(0,1,1,1,2,1,0,0,1,1,1,1,…,0,0)。
上述焊接检测装置中,通信器接收的焊接信号形成于焊接装置的焊接过程,处理器依据判断模型形成用于判断焊接质量的第一判断信号(或上述第三判断信号),进而使得检测结果更加贴近焊接的实际状况,提高了焊接检测装置检测的真实性和准确度。
在一种实施例中,焊接检测装置20还可用于实现上述焊接检测方法。
在一实施方式中,通信器21可以包括使用不同通信模式的子通信器211,例如:子通信器211可被构造为经由蓝牙接收来自焊接设备的生产焊接信号,子通信器211也可被构造为经由Wi-Fi接收来自焊接设备的生产焊接信号。
处理器22可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signalprocessor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。
在一实施例中,判断模型的判定结果不唯一,处理器12还用于:再次输入生产焊接滤波信号至判断模型,形成第二判断信号;根据第一判断信号及第二判断信号,确定第一判断信号及第二判断信号的连通区域;对第一判断信号及第二判断信号进行主成分分析,以标注连通区域;根据标注后的连通区域,调整第一判断信号或第二判断信号,以形成第三判断信号。
具体地,该第二判断信号指经过判断模型形成的序列,例如(0,1,2,1,1,1,0,0,2,1,1,1,…,0,0)。通过对比第一判断信号及第二判断信号,发现第一判断信号的第2至第6个元素中,除了第5个元素为2其他均为1,且第二判断信号的第2至第6个元素中,除了第3个元素为2其他均为1,则确定第一判断信号中第2、3、4、6个元素和第二判断信号中第2、4、5、6个元素相同所形成的连通区域。
示例性地,基于第一判断信号中第2、3、4、6个元素和第二判断信号中第2、4、5、6个元素相同所形成的连通区域中,值为1的元素较多,则确定连通区域全为1,例如(0,1,1,1,1,1,0,0,1,1,1,1,…,0,0)。这是因为在焊接过程中,判断模型存在一定的准确率,若将判断模型的灵敏度调至一发现出现NG(即值为2)的情况即停止,将会导致效率的降低,CT(Cycle Time)增加,且焊接质量并不一定不满足要求。另外,一旦在焊接过程中发现会出现焊接质量问题,通常不会仅出现1-2个值为NG,而是一连串的数据皆为NG,将导致焊接质量降低,因此采用主成分分析,综合第一判断信号及第二判断信号标注连通区域,形成判断结果,能够有效提高效率和减少误判。第三判断信号即为综合第一判断信号及第二判断信号标注连通区域后形成的序列,例如为(0,1,1,1,1,1,0,0,1,1,1,1,…,0,0),这样采用连通分量标记算法对所形成的判断信号进行调整,能够有效提高形成的判断信号的准确度。
可以理解地,在其他实施方式中,也可形成多个判断信号,在多个判断信号的基础上形成最终的判断信号。
处理器22还可用于:根据第三判断信号,可视化所述至少1个焊接点的判断结果。焊接件包含至少1个焊接点,例如包括焊接点1、焊接点2和焊接点3,3个焊接点位于不同的位置,可在显示器或者图像中显示,也可以在其他方式中显示。示例性的,根据第三判断信号,判断焊接点1不合格(NG)、焊接点2合格(合格)和焊接点3不合格(NG),以显示器为例,通过发出和传输控制信号,在焊接点1和焊接点3的位置标记出红点,在焊接点2的位置标记处绿点,现场人员即可根据这些可视化信息,了解到焊接情况,能够有效避免焊接不合格时人眼无法直观判断,造成漏检的情况,也能够继续收集焊接时对应的数据,形成新的历史焊接信号序列,对判断模型进行优化。
请参见图10,图10为本申请一实施例焊接设备100的架构示意图,包括上述的焊接检测装置20。焊接检测装置20设置在焊接设备100上,可推广至可移动的焊接设备100上,使得焊接过程不需要限制在一个固定场所,增强焊接设备100的泛化能力。
上述焊接设备100包括的焊接检测装置20中,通信器21接收的焊接信号形成于焊接装置的焊接过程,处理器22依据训练完成的判断模型形成用于判断焊接质量的判断信号,进而使得检测结果更加贴近或完全反应焊接的实际状况,提高焊接质量检测的实时性、真实性和准确度,减少人工介入,减少检测耗时和耗材,也便于量化分析和进行回溯。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。