JP6792880B2 - レーザ溶接状態判定装置 - Google Patents

Description

本発明は、対象物におけるレーザ溶接されたレーザ照射部位での溶接状態を判定するうえで好適なレーザ溶接状態判定装置に関する。

従来、レーザ溶接された対象物の溶接状態を判定するレーザ溶接状態判定装置が知られている（例えば、特許文献１及び２）。特許文献１記載のレーザ溶接状態判定装置は、対象物におけるレーザビームが照射されたレーザ照射部位を撮像するカメラと、そのカメラの撮像画像に基づいて溶接状態を判定する判定部と、を備えている。この装置において、判定部は、カメラの撮像画像からレーザ照射部位に形成されたキーホールの外周である円状かつ高輝度の発光輪を抽出して、その発光輪の中心部と周辺部との輝度分布を検出する。そして、それらの輝度分布の比較結果に基づいてレーザ照射部位での貫通の程度を判定する。

また、特許文献２記載のレーザ溶接状態判定装置は、対象物におけるレーザビームが照射されたレーザ照射部位を撮像するカメラと、そのカメラの撮像画像に基づいて溶接状態を判定する判定部と、を備えている。この装置において、判定部は、カメラの撮像画像からキーホールを抽出して、キーホール内の黒色の有無を検出すると共に、その黒色の形状を検出する。そして、キーホール内の黒色面積が所定範囲外である場合や溶融部位の長さが所定長さよりも大きい場合に、レーザ照射部位での溶接が不良であると判定する。

特開２０１０−１１５６８０号公報 特開２００３−０１９５８４号公報

しかしながら、上記の如くカメラ撮像画像における発光輪の中心部と周辺部との輝度分布の比較だけでは、レーザ照射部位での貫通の程度を正確に判定することは困難である。また、上記の如くカメラ撮像画像におけるキーホール内の黒色の形状だけでは、レーザ照射部位での溶接良否を正確に判定することは困難である。

本発明は、このような点に鑑みてなされたものであり、レーザ照射部位での溶接状態を精度良く判定することが可能なレーザ溶接状態判定装置を提供することを目的とする。

本発明は、レーザ溶接される対象物におけるレーザビームが照射されたレーザ照射部位を撮像する撮像部と、前記撮像部での撮像により取得した画像を所定手法で処理する画像処理部と、前記撮像部での撮像により取得した画像を、機械学習により得られる前記レーザ照射部位が撮像された画像データと所定の溶接状態との関係を示す学習データに照らし合わせることにより前記所定の溶接状態との一致度を判定する第一の判定部と、前記画像処理部での処理により取得した処理後画像を前記学習データに照らし合わせることにより前記所定の溶接状態との一致度を判定する第二の判定部と、前記画像処理部での処理により取得した数値パラメータに基づいて前記所定の溶接状態との一致度を判定する第三の判定部と、前記第一の判定部、前記第二の判定部、及び前記第三の判定部による各判定結果に基づいて、前記レーザ照射部位での溶接状態を判定する状態判定部と、を備える、レーザ溶接状態判定装置である。

溶接のパターンを模式的に表した図である。 実施形態のレーザ溶接システムの構成図である。 実施形態のレーザ溶接システムのブロック図である。 レーザ溶接システムが備えるレーザ溶接装置の構成図である。 溶接対象の溶接部を撮像した画像の一例である。 レーザ溶接システムが備えるレーザ溶接状態判定装置の有する計算機の内部構成図である。 レーザ溶接状態判定装置の有する計算機のメイン処理部の詳細ブロック図である。 レーザ溶接状態判定装置による判定手順を表した図である。 レーザ溶接システムにおいて実行されるルーチンの一例のフローチャートである。

以下、本発明に係るレーザ溶接状態判定装置の具体的な実施の形態について図面を用いて説明する。

一実施形態のレーザ溶接状態判定装置２０は、レーザ溶接システム１に組み込まれる装置である。レーザ溶接システム１は、例えば金属製の板材２同士を突き合わせ或いは重ね合わせた部位を、レーザビームの照射により溶接するシステムである。この溶接は、図１（Ａ）に示す如く二つの板材２の側面同士が突き合わされた状態でその突き合わされた面に沿って平行にその板材２を貫通してなされる溶接（すなわち、突き合わせ貫通溶接）、図１（Ｂ）に示す如くその板材２を非貫通でなされる溶接（すなわち、突き合わせ非貫通溶接）、図１（Ｃ）に示す如く二つの板材２が積層方向に重ね合わされた状態でその重ね合わされた面に垂直にその板材２を貫通してなされる溶接（すなわち、重ね合わせ貫通溶接）、及び図１（Ｄ）に示す如くその板材２を非貫通でなされる溶接（すなわち、重ね合わせ非貫通溶接）の何れか一以上を含む。

レーザ溶接システム１は、図２に示す如く、レーザ溶接装置１０を備えている。レーザ溶接装置１０は、レーザビームであるレーザ光を熱源として発生しつつ集光した状態で溶接対象の板材２に照射し、板材２を局部的に溶融及び凝固させることにより、板材２同士を接合する装置である。レーザ溶接装置１０は、図２及び３に示す如く、レーザ発振器１１と、伝送路１２と、集光光学部１３と、駆動部１４と、シールドガス供給部１５と、コントローラ１６と、を有している。

レーザ発振器１１は、レーザ光（例えば１０７０ｎｍの第１波長を有するレーザ光）を発振する装置である。レーザ発振器１１は、例えば、高出力化が可能なＣＯ２レーザやＹＡＧレーザなどを用いて構成されている。レーザ発振器１１で発生したレーザ光は、伝送路１２を通じて集光光学部１３へ導かれる。ＣＯ２レーザでは、伝送路１２での伝送は、ミラーによる折返しで行われる。また、ＹＡＧレーザでは、伝送路１２での伝送は、ミラーによる折返し以外に、自在に湾曲可能な光ファイバによる伝送で行われることもある。

集光光学部１３は、図４に示す如く、レーザヘッド１３ａと、コリメーションレンズ１３ｂと、ダイクロイックミラー１３ｃと、集光レンズ１３ｄと、を有している。レーザヘッド１３ａは、円筒状の筐体からなる。コリメーションレンズ１３ｂ、ダイクロイックミラー１３ｃ、及び集光レンズ１３ｄは、レーザヘッド１３ａ内における光路上にその順に配置されている。

レーザ発振器１１から出力されたレーザ光は、放射状に広がりながら進行する。コリメーションレンズ１３ｂは、放射状に広がりながら進行するレーザ光を、平行に進行するレーザ光に変換するレンズである。ダイクロイックミラー１３ｃは、レーザ発振器１１から照射される上記第１波長のレーザ光を透過する一方、可視光及び後述するカメラ用の投光部から照射される第２波長のレーザ光を反射するミラーである。集光レンズ１３ｄは、ダイクロイックミラー１３ｃを透過したレーザ光を板材２の溶接加工点に集光するレンズである。このように、レーザ溶接装置１０は、レーザ発振器１１の生成した第１波長のレーザ光を適切なサイズに集光して板材２へ照射することにより二つの板材２を溶接する。

集光光学部１３の下方には、台座１７が設けられている。溶接対象の板材２は、台座１７に載置され、治具を用いて台座１７に固定される。集光光学部１３は、台座ひいては板材２に対して移動可能である。駆動部１４は、集光光学部１３を台座１７に対して水平方向及び上下方向に移動させるモータである。集光光学部１３による板材２への溶接は、駆動部１４が集光光学部１３を台座１７に対して水平方向に移動させることによりその板材２の表面に沿って進行する。尚、駆動部１４は、集光光学部１３の移動に代えて或いはその集光光学部１３の移動と共に、台座１７を移動させるものであってもよい。

シールドガス供給部１５は、板材２の溶接加工点へシールドガスを吹き付ける部位である。このシールドガスの吹き付けは、レーザ光の照射に伴う板材２の溶接加工点の酸化などを防ぐために行われる。シールドガス供給部１５により吹き付けられるシールドガスは、アルゴンやヘリウム，窒素などである。

コントローラ１６は、集光光学部１３及ぶ駆動部１４に電気的に接続されている。コントローラ１６は、集光光学部１３によるレーザ光の出力制御を行うと共に、駆動部１４による集光光学部１３の移動制御を行う制御部（ＰＬＣ）である。

レーザ溶接システム１は、図３に示す如く、レーザ溶接状態判定装置２０を備えている。レーザ溶接状態判定装置２０は、レーザ溶接装置１０によりレーザ溶接された板材２の溶接状態を判定する装置である。レーザ溶接は、溶接部で激しい蒸発が起こり、レーザ光からの熱と激しい蒸発の蒸発反力とによって加工点に溶融金属が溜まる溶融池が形成されると共にその溶融池の中心付近に深い穴であるキーホールが形成された状態で進行する溶接であって、深溶込み溶接が可能である。このキーホールは、レーザ光の出力増加に伴って深くなり、進行方向への溶接速度の増加に伴って浅くなる傾向にある。

レーザ溶接状態判定装置２０により判定される溶接状態は、キーホールや溶融池の状態であって、例えば、キーホールの貫通有無や、キーホールの一部が溶着金属で満たされずに母材の表面と溶着金属の表面との間に溝が形成されるアンダーカットの有無、溶接表面が窪むアンダーフィルの有無，未溶着，レーザ未出力などであり、それらのうち少なくとも２つから選択的に判定される。レーザ溶接状態判定装置２０は、カメラ２１と、計算機（ＰＣ）２２と、データサーバ２３と、を有している。

カメラ２１は、レーザ溶接された板材２の溶接状態を撮像する撮像装置である。カメラ２１は、図４に示す如く、集光光学部１３により照射されるレーザ光と同軸で撮像を行う。カメラ２１には、板材２の溶接部からの光が集光や反射，拡大などが施されて入射される。カメラ２１は、入射した光を光電変換することで画像を生成する（図５参照）。尚、カメラ２１は、可視光と共に可視光以外の近赤外光の波長成分を光電変換して画像生成するのが好適である。カメラ２１で生成される画像は、二次元平面画像を縦横で所定ピクセル数ずつに分割した領域ごとの輝度を所定数（例えば２５６）の階調で表現したものである。

図３に示す如く、カメラ２１には、計算機２２が接続されている。カメラ２１の撮像した画像は、計算機２２に供給される。計算機２２は、ＣＰＵ、ストレージ、画像処理ボード、及びＩ／Ｏボードなどを有するディープラーニング向けコンピュータである。ストレージは、画像データを保存する。画像処理ボードは、カメラ２１の撮像画像を処理する。Ｉ／Ｏボードは、計算機２２の入出力を処理する。計算機２２は、ソフトウェアシステムとしてドライバ層を有している。このドライバ層としては、ストレージドライバ、カメラドライバ、及びＩ／Ｏボードが挙げられる。

計算機２２は、ソフトウェアシステムとしてアプリケーション層を有している。このアプリケーション層としては、メイン処理部３０が挙げられる。メイン処理部３０は、パラメータ設定部３１と、画像処理部３２と、画像処理リアルタイム判定部３３と、ＡＩ処理部３４と、総合判定部３５と、を有している。

パラメータ設定部３１は、画像処理部３２での画像処理に用いるパラメータを設定する部位である。画像処理部３２は、カメラドライバに読み込まれたカメラ２１の撮像画像を後述する所定の手法で処理する部位である。画像処理リアルタイム判定部３３は、画像処理部３２で画像処理された結果に基づいて板材２の溶接状態をリアルタイムに判定する部位である。

ＡＩ処理部３４は、板材２の溶接状態を判定する部位である。ＡＩ処理部３４は、ＡＩパラメータ設定部３４ａと、ＡＩ学習部３４ｂと、ＡＩリアルタイム判定部３４ｃと、を有している。ＡＩパラメータ設定部３４ａは、溶接状態を判定するための機械学習に用いられるパラメータを設定する部位である。このＡＩパラメータは、畳み込み処理の画像サイズ及び枚数、畳み込み処理フィルタの選択、活性化処理のフィルタ選択、間引き処理のフィルタ選択、間引き処理のサイズ及び枚数、パーセプトロン結合処理の中間層のサイズ及び層数、ドロップアウト割合、オプチマイザの種類選択、オプチマイザにおける畳み込み処理・活性化処理・間引き処理・パーセプトロン結合処理への係数・オフセット初期値・学習率の初期値、学習におけるエポック数の設定などである。ＡＩ学習部３４ｂは、データサーバ２３に格納されている学習用画像データに基づいて画像と溶接状態との関係を学習する部位である。ＡＩリアルタイム判定部３４ｃは、ＡＩ学習部３４ｂで学習された結果とカメラドライバに読み込まれたカメラ２１の撮像画像と画像処理部３２で画像処理された結果とに基づいて溶接状態をリアルタイムに判定する部位である。

総合判定部３５は、画像処理リアルタイム判定部３３による判定結果及びＡＩリアルタイム判定部３４ｃによる判定結果に基づいて、総合的に板材２の溶接状態を判定する部位である。総合判定部３５は、また、計算機２２の有するモニタへのカメラ２１の画像表示、溶接状態を含む各種状態の表示、溶接状態を判定するための機械学習の状態表示を制御することが可能であると共に、コントローラ１６に対して集光光学部１３によるレーザ光の出力及び駆動部１４によるレーザヘッド１３ａの位置の指令を行うことが可能である。

データサーバ２３には、カメラ２１の撮像画像を示す画像データと溶接状態とが互いに関連されて学習データとして格納されている。このデータサーバ２３に格納される学習データは、カメラ２１の撮像画像自体（元画像）、その元画像に対する画像処理により取得した画像（処理後画像）、及びその元画像に対する画像処理により取得した数値パラメータを含む。すなわち、カメラ２１の元画像のデータ、処理後画像のデータ、及び数値パラメータが溶接状態に関連されてデータサーバ２３に格納される。

カメラ２１の撮像画像に対して行われる画像処理は、図７及び図８に示す如く、二値化処理、ブロブ解析処理、露出カラー化処理、三次元化処理、回転処理などである。二値化処理は、カメラ２１の撮像画像（元画像）が例えば２５６階調の濃淡で表現されている場合に、設定した閾値を境にして白と黒との二階調に変換する処理である。二値化処理は、複数の閾値に対応して複数種類、実行される。ブロブ解析処理は、二値化処理された画像を分析する手法であって、その画像に含まれるブロブ（具体的には、キーホールや溶融池）の面積や周囲長，重心位置，真円度，扁平率，角度、更には、キーホールや溶融池に外接若しくは内接する四角形の位置や縦横それぞれの一辺の長さなどを算出する処理である。尚、画像処理上、例えば、閾値１２８以上の二値化部分がキーホールに設定され、閾値６４以上の二値化部分が溶融池に設定される。

露出カラー化処理は、カメラ２１の撮像画像中の各ピクセルの輝度値（例えば２５６段階）を所定段階（具体的には、輝度値の総階調数よりも少ない段階数、例えば１６段階などの任意の値）のうちの何れに含まれるかを判定し、その段階に色を割り当ててその輝度を色で表示する処理である。三次元化処理は、カメラ２１の撮像画像の輝度分布及び輝度勾配分布などに基づいてその画像を立体化する処理である。

上記の画像処理が実行されると、キーホール及び溶融池の面積、周囲長、重心位置、真円度、扁平率、及び角度、キーホールに外接若しくは内接する四角形及び溶融池に外接若しくは内接する四角形の位置及び縦横それぞれの一辺の長さ、キーホール周辺及び溶融池周辺の輝度勾配分布、露出カラー化された各色の面積比、並びにキーホール重心及び溶融池重心の輝度分布及びその輝度分布の時間変化などが、数値パラメータとして算出される。

ＡＩ処理部３４のＡＩ学習部３４ｂは、データサーバ２３に格納されている画像データ（元画像のデータ及び処理後画像のデータを含む。）を読み込み、機械学習を行う。ＡＩ学習部３４ｂは、初期は、ＡＩパラメータ設定部３４ａに設定されている初期パラメータに基づいて機械学習を行い、以後は、学習により算出したパラメータに基づいて機械学習を行う。この機械学習は、画像の各ピクセルの輝度値に対して重み付けを行う係数、閾値、オフセット値などを変化させることにより、最終的に溶接状態を当てる確率が最も高くなる重み付け係数などを決定するものである。機械学習は、重み付けを行う層が多階層であるディープラーニング（ＤＬ）を含む。ＤＬは、出力値から入力値が正しいか否かを検算する機能（オプチマイザやバックプロパゲーション）を有しており、勾配降下法等で各階層での重み付け係数などのパラメータを自動最適化することが可能である。尚、ＤＬの階層は、局所的（例えば１ピクセルのみ）に重み付けを行う層を含んでもよいし、また、大局的（例えばすべてのピクセル）に重み付けを行う層を含んでもよい。

ＡＩ学習部３４ｂは、機能ブロックとして、畳み込み層と、活性化層と、プーリング層と、ファイナライザと、オプチマイザと、を有している。畳み込み層は、フィルタ機能である画像の畳み込み処理を行う層である。活性化層は、畳み込み層から出力されるデータを処理に適した形に変換するルックアップテーブル（ＬＵＴ）である。プーリング層は、活性化層から出力されたデータを間引き処理する層である。フィイナライザは、間引き層から出力されるデータを結合する結合層である。オプチマイザは、出力値から入力値が正しいか否かを検算する層である。

ＡＩ学習部３４ｂは、データサーバ２３に格納されている各種溶接状態のデータセットであるカメラ２１の元画像と溶接状態との関係に基づいて、上記の各層での処理を実行することにより、学習結果として最適な第１パラメータを設定する。また、ＡＩ学習部３４ｂは、データサーバ２３に格納されている各種溶接状態のデータセットであるカメラ２１の処理後画像（具体的には、露出カラー化処理後の画像）と溶接状態との関係に基づいて、上記の各層での処理を実行することにより、学習結果として最適な第２パラメータを設定する。また、ＡＩ学習部３４ｂは、データサーバ２３に格納されている各種溶接状態のデータセットであるカメラ２１の処理後画像（具体的には、三次元化処理後の画像）と溶接状態との関係に基づいて、上記の各層での処理を実行することにより、学習結果として最適な第３パラメータを設定する。

ＡＩ学習部３４ｂの各学習結果は、ＡＩリアルタイム判定部３４ｃに供給される。ＡＩリアルタイム判定部３４ｃは、ＡＩ学習部３１ｂの学習結果ごとに、カメラ２１から送られてきた撮像画像又は画像処理部３２からの処理後画像を照らし合わせることにより、各種溶接状態との一致度を判定し、そして、カメラ２１の撮像画像に基づいて板材２の溶接状態をリアルタイムに判定する。

具体的には、まず、図８に示す如く、ＡＩリアルタイム判定部３４ｃは、入力されたカメラ２１の元画像をＡＩ学習部３４ｂからの第１パラメータと比較することにより各種溶接状態との一致度を判定する。また、入力されたカメラ２１の元画像に基づく露出カラー化処理後の処理後画像をＡＩ学習部３１ｂからの第２パラメータと比較することにより各種溶接状態との一致度を判定する。更に、入力されたカメラ２１の元画像に基づく三次元化処理後の処理後画像をＡＩ学習部３１ｂからの第３パラメータと比較することにより各種溶接状態との一致度を判定する。

また、画像処理リアルタイム判定部３３は、入力されたカメラ２１の元画像を画像処理して得られたブロブ解析の処理結果を含む数値パラメータに基づいて、各種溶接状態との一致度を判定し、そして、カメラ２１の撮像画像に基づいて板材２の溶接状態をリアルタイムに判定する。尚、この画像処理リアルタイム判定部３３において用いるパラメータは、計算機２２への作業者の入力操作により設定変更可能であってよい。

ＡＩ学習部３４ｂの学習結果（ＡＩ状態）、ＡＩリアルタイム判定部３４ｃの判定結果、及び画像処理リアルタイム判定部３３の判定結果は、総合判定部３５に供給される。そして、総合判定部３５は、ＡＩリアルタイム判定部３４ｃにおける一致度判定結果及び画像処理リアルタイム判定部３３における一致度判定結果に基づいて、総合的にリアルタイムに板材２の溶接状態を判定する。具体的には、それぞれの一致度判定結果を重み付けし或いは閾値評価することにより最終的な各種溶接状態との一致度を判定し、最も一致度の高い溶接状態を判定する。

この総合判定部３５において一致度判定結果の重み付けに用いる係数及び閾値評価に用いる数値は、計算機２２への作業者の入力操作により変更設定可能である。すなわち、総合判定部３５は、計算機２２への作業者の入力操作に従って、それぞれの一致度判定結果の重み付けに用いる重み付け係数及び閾値評価に用いる閾値数値を設定することが可能である。総合判定部３５は、メイン処理部３０において設定された上記の重み付け係数又は閾値数値に従って各種溶接状態との一致度を判定し、最も一致度の高い溶接状態を判定する。

ＡＩリアルタイム判定部３４ｃにおける一致度判定結果の重み付け係数は、０〜１００％の範囲で適宜変更されることが可能である。また、画像処理リアルタイム判定部３３における一致度判定結果の重み付け係数は、０〜１００％の範囲で適宜変更されることが可能である。例えば、総合判定部３５は、ＡＩリアルタイム判定部３４ｃにおける一致度判定結果の重み付け係数を１００％と設定し、画像処理リアルタイム判定部３３における一致度判定結果の重み付け係数を０％と設定して、溶接状態を判定することとしてもよい。また逆に、ＡＩリアルタイム判定部３４ｃにおける一致度判定結果の重み付け係数を０％と設定し、画像処理リアルタイム判定部３３における一致度判定結果を１００％と設定して、溶接状態を判定することとしてもよい。また、総合判定部３５は、ＡＩ学習部３４ｂでの習熟度（学習データ数）に応じて自動的に上記の重み付け係数などを変化させることとしてもよい。更に、総合判定部３５は、作業者の入力操作に従って設定された重み付け係数などにエラーが生じると判別される場合に、その人による基準よりもＡＩ処理部３４側が設定した基準を優先して用いることとしてもよい。例えば、カメラ２１の画像を時系列で見比べれば、明らかにアンダーカットやアンダーフィルが生じている画像が存在するが、この画像を溶接ＮＧとして状態判定するため、ＡＩ処理部３４側が設定した基準を優先して用いて溶接状態を判定することとしてもよい。

また、総合判定部３５は、計算機２２のモニタに、カメラ２１の元画像にＡＩ状態を反映させた各種の機械学習による演算途中の状態を表示することが可能であると共に、ＡＩリアルタイム判定部３４ｃの判定結果及び画像処理リアルタイム判定部３３の判定結果をカメラ２１の元画像などと一緒に表示することが可能である。更に、ＡＩ状態での具体的な上記の第１〜第３パラメータ値や各種パラメータ数値を表示することとしてもよい。

次に、レーザ溶接システム１の動作を説明する。
レーザ溶接システム１において、システム電源がオンすると（図９に示すステップＳ１００）、まず、データサーバ２３に格納されている画像データが取得され、計算機２２のメイン処理部３０がシステムティーチング処理を行う（ステップＳ１０１）。具体的には、システムパラメータの設定処理及びデータサーバ２３に格納されている画像データに対する上記の機械学習が実行される。そして、システムパラメータの設定処理が完了しかつ機械学習が完了したか否かが判別される（ステップＳ１０２）。この判別は、肯定判定がなされるまで継続して行われる。機械学習が完了すると、ＡＩ学習部３４ｂでの学習結果がＡＩリアルタイム判定部３４ｃに供給される。

上記のシステムティーチング処理が完了した後にメイン処理部３０での各種のモニタリングが開始され（ステップＳ１０３）かつレーザ溶接装置１０での溶接が開始されると（ステップＳ１０４）、まず、メイン処理部３０のＡＩリアルタイム判定部３４ｃ及び画像処理リアルタイム判定部３３がそれぞれ、カメラ２１の撮像画像に基づいて板材２の溶接状態をリアルタイムに判定し、そして、総合判定部３５が総合的にその板材２の溶接状態をリアルタイムに判定する（ステップＳ１０５）。そして、総合判定部３５が、その判定した板材２の溶接状態が良好であるか否かを判別する。（ステップＳ１０６）。

例えば、図１（Ａ）に示す突き合わせ貫通溶接が要求されているときに、判定された溶接状態が貫通溶接である場合は、その溶接状態が良好であると判別される一方、判定された溶接状態が非貫通溶接である場合は、その溶接状態が良好でないと判別される。また、図１（Ｄ）に示す重ね合わせ非貫通溶接が要求されているときに、判定された溶接状態が貫通溶接である場合は、その溶接状態が良好でないと判別される一方、判定された溶接状態が非貫通溶接である場合は、その溶接状態が良好であると判別される。

総合判定部３５は、溶接状態が良好でないと判別した場合は、レーザ溶接装置１０のコントローラ１６に対して、集光光学部１３によるレーザ光のパワー出力及び駆動部１４によるレーザヘッド１３ａの位置（すなわち、板材２に対するレーザ光の照射位置）の少なくとも何れかを良好な溶接状態が得られるように変更させる指令を行う（ステップＳ１０７）。かかる指令がなされると、コントローラ１６は、良好な溶接状態が得られるように集光光学部１３によるレーザ光の出力及び駆動部１４による台座１７に対するレーザヘッド１３ａの位置を変更させる。

一方、総合判定部３５が溶接状態が良好であると判別した場合は、板材２のすべての溶接が終了したか否かを判別する（ステップＳ１０８）。そして、すべての溶接が終了していないと判別された場合は、板材２の溶接に対する溶接状態の判定が継続される。一方、すべての溶接が終了したと判別された場合は、メイン処理部３０での各種のモニタリングが終了され（ステップＳ１０９）、そして、システム電源がオフされる（ステップＳ１１０）。

このように、レーザ溶接システム１においては、カメラ２１の撮像画像から板材２の溶接状態を判定することができる。具体的には、データサーバ２３内の学習データに基づく機械学習により得られる第１〜第３パラメータを用いて各種溶接状態との一致度を判定すると共に、二値化処理により得られたブロブ解析に基づいて各種溶接状態との一致度を判定し、それらの判定結果を総合して、板材２の溶接状態をリアルタイムに判定することができる。そして、その溶接状態が良好でない場合に、レーザ光の出力又は照射位置を溶接状態が良好となるようにフィードバック制御することができる。

また、板材２の溶接状態のリアルタイム判定を行ううえで、カメラ２１の元画像と第１パラメータとの比較による各種溶接状態との一致度判定と、露出カラー化処理後の処理後画像と第２パラメータとの比較による各種溶接状態との一致度判定と、三次元化処理後の処理後画像と第３パラメータとの比較による各種溶接状態との一致度判定と、二値化処理によるブロブ解析に基づく各種溶接状態との一致度判定と、を重み付けし或いは閾値評価することにより最終的な各種溶接状態との一致度を判定する。そして、最も一致度の高い溶接状態を溶接状態と判定する。

それぞれの一致度判定結果の重み付けに用いる係数及び閾値評価に用いる数値は、計算機２２への作業者の入力操作により変更設定可能であると共に、ＡＩ学習部３４ｂでの習熟度（学習データ数）などに応じて変更可能である。このため、それらの重み付け係数や数値などの変更により、板材２の溶接部の溶接状態を精度良く判定することができる。そして、判定した溶接状態が所望の状態でない場合に、以後の溶接状態が所望の状態になるようにレーザ光の出力や照射位置が補正される。このため、溶接品質を向上させることができる。

更に、板材２の溶接に際し、計算機２２のモニタに、カメラ２１の元画像にＡＩ状態を反映させた各種の機械学習による演算途中の状態、ＡＩリアルタイム判定部３４ｃの判定結果及び画像処理リアルタイム判定部３３の判定結果、ＡＩ状態での具体的な上記の第１〜第３パラメータ値や各種パラメータ数値などが表示可能である。このため、作業者がモニタを見ながら上記の重み付け係数などの変更設定操作などを行うことができるので、溶接品質を向上させるための作業者による操作容易性を確保することができる。

ところで、上記の実施形態においては、ＡＩ処理部３４及び総合判定部３５が扱うカメラ２１の撮像画像やパラメータ，溶接状態の判定結果を、一回の撮像や演算で得られたものとしている。しかし、本発明はこれに限定されるものではない。ＡＩ処理部３４及び総合判定部３５が扱うカメラ２１の撮像画像やパラメータ，溶接状態の判定結果として、単位時間当たりに取得したものの平均値を用いることとしてもよい。例えば、ＡＩ処理部３４は、過去に得た時系列の所定数ｎのデータを平均した値を用いて各種溶接状態との一致度判定を行うこととしてもよい。また、総合判定部３５は、一回ごとの各種溶接状態との一致度判定結果を時系列順に記憶させておき、所定数ｎの一致度判定結果を平均して溶接状態の判定を行うこととしてもよい。

また、上記の実施形態においては、学習データを格納するデータサーバ２３が、溶接状態の判定を行うレーザ溶接状態判定装置に設けられている。しかし、本発明はこれに限定されるものではない。学習データを格納するデータベースを、レーザ溶接状態判定装置２０とネットワークで接続される外部装置とし、その学習データをネットワーク経由でレーザ溶接状態判定装置２０に取得させるものとしてもよい。

尚、本発明は、上述した実施形態や変形形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更を施すことが可能である。

１：レーザ溶接システム、１０：レーザ溶接装置、２０：レーザ溶接状態判定装置、２１：カメラ、２２：計算機、２３：データサーバ、３０：メイン処理部、３４：ＡＩ処理部、３４ｂ：ＡＩ学習部、３４ｃ：ＡＩリアルタイム判定部、３２：画像処理部、３３：画像処理リアルタイム判定部、３５：総合判定部。

Claims (12)

1. レーザ溶接される対象物におけるレーザビームが照射されたレーザ照射部位を撮像する撮像部と、
   前記撮像部での撮像により取得した画像を所定手法で処理する画像処理部と、
   前記撮像部での撮像により取得した画像を、機械学習により得られる前記レーザ照射部位が撮像された画像データと所定の溶接状態との関係を示す学習データに照らし合わせることにより前記所定の溶接状態との一致度を判定する第一の判定部と、
   前記画像処理部での処理により取得した処理後画像を前記学習データに照らし合わせることにより前記所定の溶接状態との一致度を判定する第二の判定部と、
   前記画像処理部での処理により取得した数値パラメータに基づいて前記所定の溶接状態との一致度を判定する第三の判定部と、
   前記第一の判定部、前記第二の判定部、及び前記第三の判定部による各判定結果に基づいて、前記レーザ照射部位での溶接状態を判定する状態判定部と、
   を備える、レーザ溶接状態判定装置。
2. 前記状態判定部は、前記第一の判定部による判定結果と、前記第二の判定部による判定結果と、前記第三の判定部による判定結果と、を重み付けして前記溶接状態を判定する、請求項１に記載のレーザ溶接状態判定装置。
3. 前記状態判定部は、前記第一の判定部、前記第二の判定部、及び前記第三の判定部による各判定結果をそれぞれ閾値と比較した結果に基づいて、前記溶接状態を判定する、請求項１に記載のレーザ溶接状態判定装置。
4. 前記第一の判定部、前記第二の判定部、及び前記第三の判定部による各判定結果は、単位時間当たりの平均値である、請求項１乃至３の何れか一項に記載のレーザ溶接状態判定装置。
5. 前記画像処理部若しくは前記第一の判定部で用いられる、前記撮像部での撮像により取得した画像、前記第二の判定部で用いられる前記処理後画像、又は前記第三の判定部で用いられる前記数値パラメータは、単位時間当たりの平均値である、請求項１乃至４の何れか一項に記載のレーザ溶接状態判定装置。
6. 前記学習データは、ネットワーク経由で取得される、請求項１乃至５の何れか一項に記載のレーザ溶接状態判定装置。
7. 前記所定手法は、二値化処理、露出カラー化処理、及び三次元化処理のうちの少なくとも一つを含む、請求項１乃至６の何れか一項に記載のレーザ溶接状態判定装置。
8. 前記数値パラメータは、前記レーザ照射部位に形成されるキーホール及び溶融池の面積、周囲長、重心位置、真円度、扁平率、及び角度、前記キーホールに外接若しくは内接する四角形及び前記溶融池に外接若しくは内接する四角形の位置及び一辺の長さ、前記キーホール周辺及び前記溶融池周辺の輝度勾配分布、並びに前記キーホール重心及び前記溶融池重心の輝度分布のうちの少なくとも一つを含む、請求項１乃至７の何れか一項に記載のレーザ溶接状態判定装置。
9. 前記撮像部での撮像により取得した画像に前記学習データを反映させた、前記機械学習による演算途中の状態をモニタに表示する表示制御部を備える、請求項１乃至８の何れか一項に記載のレーザ溶接状態判定装置。
10. 前記状態判定部により判定された前記溶接状態に応じて、前記レーザビームの出力パワーを変更するレーザ出力変更部を備える、請求項１乃至９の何れか一項に記載のレーザ溶接状態判定装置。
11. 前記第二の判定部で用いられる処理後画像は、露出カラー化処理により得られた画像であり、
    前記第三の判定部で用いられる前記数値パラメータは、ブロブ処理の結果である、請求項１乃至１０の何れか一項に記載のレーザ溶接状態判定装置。
12. 前記状態判定部により判定可能な前記溶接状態は、貫通、非貫通、アンダーカット、アンダーフィル、未溶着、及びレーザ未出力のうち少なくとも２つを含む、請求項１乃至１１の何れか一項に記載のレーザ溶接状態判定装置。