JP2023152778A - 寸法測定装置及び寸法測定方法並びに寸法測定用プログラム、溶接箇所の良否判定装置 - Google Patents

寸法測定装置及び寸法測定方法並びに寸法測定用プログラム、溶接箇所の良否判定装置 Download PDF

Info

Publication number
JP2023152778A
JP2023152778A JP2023033634A JP2023033634A JP2023152778A JP 2023152778 A JP2023152778 A JP 2023152778A JP 2023033634 A JP2023033634 A JP 2023033634A JP 2023033634 A JP2023033634 A JP 2023033634A JP 2023152778 A JP2023152778 A JP 2023152778A
Authority
JP
Japan
Prior art keywords
virtual point
reference line
weld bead
data
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023033634A
Other languages
English (en)
Inventor
晴輝 江口
Haruki Eguchi
成志 吉田
Shigeji Yoshida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2023152778A publication Critical patent/JP2023152778A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】母材や溶接ビードが任意の形状である場合に、溶接ビードの寸法を自動でかつ簡便に測定可能な寸法測定装置を提供する。【解決手段】寸法測定装置２０はデータ取得部１とビード領域抽出部２と輪郭抽出部３と端点取得部５と基準線付与部６と寸法算出部７とを備えている。データ取得部１は溶接ビード１１０が形成された母材１００の形状データを取得する。ビード領域抽出部２と輪郭抽出部３は溶接ビード１１０の形成領域と輪郭をそれぞれ抽出し、端点取得部５は溶接ビード１１０の端点を取得する。基準線付与部６は、端点を起点として、第１基準線と複数の第２基準線の中点位置とが所定の角度範囲内でそれぞれ交差するように輪郭データに付与する。寸法算出部７は、第１基準線に基づいて溶接ビード１１０の長さを算出し、複数の第２基準線に基づいて溶接ビード１１０の幅を第１基準線に沿った複数個所で算出する。【選択図】図１

Description

本開示は、溶接ビードの寸法測定装置及び寸法測定方法並びに寸法測定用プログラム、溶接箇所の良否判定装置に関する。
溶接箇所（例えば、溶接ビードと当該溶接ビードを含む所定の範囲の母材）に関する外観検査を行うことは、溶接品質を担保するために重要である。外観検査には、穴あきやピット等の形状不良の有無や形状不良の種類等を検査する形状不良検査以外に、溶接ビードの寸法が所望の範囲内にあるか否かを検査する寸法検査がある。
溶接箇所の外観検査について、検査を行う作業者の技量に依存せず、一定の水準で検査を行いたいという要望がある。また、近年、熟練作業者の数が不足しているという問題もある。
これらの理由から、近年、外観検査の自動化が進められてきている。このうち、寸法検査の自動化、具体的には、溶接ビードの寸法測定の自動化について、種々の技術が提案されている。
例えば、特許文献１には、レーザ変位計で取得した母材及び溶接ビードの断面形状に対して近似曲線あるいは直線をあてはめ、微分等の数値解析を行うことで、母材における溶接ビードの存在部分を特定したり、溶接ビードの寸法を特定したりする方法が開示されている。
特許文献２には、溶接前の母材の情報を用いて比較形状を作成し、これとの比較により接合部形状を特定する方法が開示されている。
特許文献１，２に開示される従来の方法は、予め、検査手法の開発者が検査ルールや検査条件を定め、しきい値等の各パラメータを準備、設定する。これらの準備されたルールやパラメータ等に基づいて溶接ビードが形成された母材の外観検査を行い、溶接ビードの形成領域や寸法等を特定する方法を、ルールベースによるアプローチと呼ぶことがある。
特開２０１９－１２４５６０号公報 特開２０１０－２５６３２６号公報
しかし、前述したルールベースによるアプローチでは、予め設定されていないルールでデータを取り扱いたい場合、再度、検査ルールやパラメータの検討と最終的な設定が必要であり、非常に拡張性が低いという欠点がある。例えば、従来、直線状の溶接ビードの検査のみを対象としていたが、曲線状の溶接ビードを検査する必要が生じた場合、検査ルールやパラメータの再検討、再設定が必要となる。また、従来、溶接ビードの検査において、母材として平板のみを対象としていたが、曲面を有する母材に形成された溶接ビードを検査する場合も同様の問題が生じる。また、検査ルールの数が増加するにつれて、検査パラメータ数も増加することが多い。その場合、検査ルールや検査パラメータの設定が煩雑で時間がかかるという問題もある。
本開示はかかる点に鑑みてなされたもので、その目的は、母材や溶接ビードがそれぞれ任意の形状である場合にも、溶接ビードの寸法を自動でかつ簡便に測定できる寸法測定装置及び寸法測定方法並びに寸法測定用プログラム、さらに溶接箇所の良否判定装置を提供することにある。
本開示に係る寸法測定装置は、母材に形成された溶接ビードの寸法を測定する寸法測定装置であって、前記溶接ビードが形成された前記母材の形状データを取得するデータ取得部と、前記形状データから前記溶接ビードの形成領域をビード領域データとして抽出するビード領域抽出部と、前記ビード領域データに基づいて、前記溶接ビードの輪郭を輪郭データとして抽出する輪郭抽出部と、前記輪郭データに対してスムージング処理を行うスムージング処理部と、スムージング処理された前記輪郭データに基づいて、前記溶接ビードの端点を取得する端点取得部と、前記端点を起点として、前記溶接ビードの長さを測定するための第１基準線と、前記溶接ビードの幅を測定するための複数の第２基準線とを、前記輪郭データに付与する基準線付与部と、前記第１基準線に基づいて前記溶接ビードの長さを算出し、かつ複数の前記第２基準線に基づいて、前記溶接ビードの幅を前記第１基準線に沿った複数個所で算出する寸法算出部と、を少なくとも備え、前記基準線付与部は、前記第１基準線と複数の前記第２基準線の中点位置とが、所定の角度範囲内でそれぞれ交差するように、前記第１基準線と複数の前記第２基準線とを前記輪郭データに付与することを特徴とする。
本開示に係る寸法測定方法は、母材に形成された溶接ビードの寸法測定方法であって、前記溶接ビードが形成された前記母材の形状データを取得する第１ステップと、前記形状データから前記溶接ビードの形成領域をビード領域データとして抽出する第２ステップと、前記ビード領域データに基づいて、前記溶接ビードの輪郭を輪郭データとして抽出する第３ステップと、前記輪郭データに対してスムージング処理を行う第４ステップと、スムージング処理された前記輪郭データに基づいて、前記溶接ビードの端点を取得する第５ステップと、前記端点を起点として、前記溶接ビードの長さを測定するための第１基準線と、前記溶接ビードの幅を測定するための複数の第２基準線とを、前記輪郭データに付与する第６ステップと、前記第１基準線に基づいて前記溶接ビードの長さを算出し、かつ複数の前記第２基準線に基づいて、前記溶接ビードの幅を前記第１基準線に沿った複数個所で算出する第７ステップと、を少なくとも備え、前記第６ステップでは、前記第１基準線と複数の前記第２基準線の中点位置とが、所定の角度範囲内でそれぞれ交差するように、前記第１基準線と複数の前記第２基準線とを前記輪郭データに付与することを特徴とする。
本開示に係る寸法測定用プログラムは、１または複数のプロセッサに、前記寸法測定方法を実行させるための寸法測定用プログラムである。
本開示に係る溶接箇所の良否判定装置は、前記寸法測定装置と、前記溶接ビードを含む溶接箇所の不良の有無を判定する形状不良判定装置と、を少なくとも備え、前記寸法測定装置の測定結果と、前記形状不良判定装置の判定結果とに基づいて、前記溶接箇所の外観が所定の基準を満足するか否かを判定することを特徴とする。
本開示によれば、母材や溶接ビードがそれぞれ任意の形状である場合にも、溶接ビードの寸法を自動でかつ簡便に測定することができる。
実施形態１に係る寸法測定装置の機能ブロック図である。 寸法測定装置のハードウェア構成の模式図である。 外観検査装置による溶接ビードの形状データ取得の様子を示す模式図である。 溶接ビードの寸法測定手順を示すフローチャートである。 スムージング処理時及び端点取得時の溶接ビードの輪郭を示す模式図である。 溶接ビードの形成領域抽出手順を示すフローチャートである。 形状データの画像及び形状データにおける溶接ビードの形成領域とそれ以外の領域とを示す図である。 学習データ生成用のアノテーション付与手順を示すフローチャートである。 形状データにアノテーションを付与する様子を示す一例である。 アノテーション付与後の形状データの画像を示す一例である。 第１基準線及び第２基準線の付与手順を示すフローチャートである。 第１基準線及び第２基準線を付与する際の第１ループ処理の様子を示す模式図である。 図１１Ａに示す処理に続く処理の様子を示す模式図である。 図１１Ｂに示す処理に続く処理の様子を示す模式図である。 第１基準線及び第２基準線を付与する際の第２ループ処理の様子を示す模式図である。 第１基準線の補正手順を示すフローチャートである。 補正を行わない場合の第１基準線が付与された輪郭データの一例である。 補正を行わない場合の第１基準線が付与された別の輪郭データの一例である。 第１基準線を仮基準線に変形した場合の輪郭データの一例である。 第１基準線を仮基準線に変形した場合の別の輪郭データの一例である。 補正が完了した後の第１基準線が付与された輪郭データの一例である。 補正が完了した後の第１基準線が付与された別の輪郭データの一例である。 実施形態２に係る溶接箇所の良否判定装置の機能ブロック図である。
以下、本開示の実施形態を図面に基づいて説明する。なお、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本開示、その適用物或いはその用途を制限することを意図するものではない。
（実施形態１）
［１：溶接ビードの寸法測定装置の構成］
図１は、本実施形態に係る寸法測定装置の機能ブロック図を示し、図２は、寸法測定装置のハードウェア構成の模式図を示す。
図１に示すように、寸法測定装置２０は、データ取得部１とビード領域抽出部２と輪郭抽出部３とスムージング処理部４とを少なくとも備えている。また、寸法測定装置２０は、端点取得部５と基準線付与部６と寸法算出部７とを備えている。また、寸法測定装置２０は、記憶部８と表示部９とを備えている。
データ取得部１は、外観検査装置３０（図３参照）から溶接ビード１１０（図３参照）が形成された母材１００（図３参照）の形状データ（以下、単に形状データという）を取得する。なお、図１では、外観検査装置３０からデータ取得部１に形状データが直接入力される例を示したが、特にこれに限定されない。例えば、寸法測定装置２０の外部に設けられた、図示しない記憶部に形状データが保存されており、データ取得部１が当該記憶部から形状データを取得するようにしてもよい。
ビード領域抽出部２は、形状データから溶接ビード１１０の形成領域をビード領域データとして抽出する。言い換えると、ビード領域抽出部２は、形状データから溶接ビード１１０の形成領域をビード領域データとして、高さ情報を含まない二次元データ形式で抽出する。これにより、シンプルな二次元データ形式で、溶接ビードの長さ、溶接ビードの幅を抽出するためのビード領域データ抽出することができる。ビード領域データ抽出に機械学習（深層学習）を用いて行うため、従来方式のような溶接ビード長さや溶接ビード幅を計測するための、溶接方式（アーク溶接、レーザ溶接、など）、溶接継ぎ手（重ね、突き合わせ、など）、溶接ビード形状（直線、曲線など）等に応じて、種々の設定（各種基準値の微妙なパラメータ設定）が不要である。このため、溶接ビード領域を容易に抽出可能で、新規のユーザであっても操作に対する親和性を非常に高くすることができる。なお、ビード領域データの抽出方法については後で述べる。
輪郭抽出部３は、ビード領域データに基づいて、溶接ビード１１０の輪郭を輪郭データとして抽出する。輪郭データの抽出方法については後で述べる。
スムージング処理部４は、輪郭データに対してスムージング処理を行う。
端点取得部５は、スムージング処理された輪郭データに基づいて、溶接ビード１１０の端点（以下、単に端点と呼ぶことがある。）を取得する。なお、後で述べるように、端点は、溶接ビード１１０の輪郭上において、複数取得されてもよい。
基準線付与部６は、端点を起点として、溶接ビード１１０の長さを測定するための第１基準線と、溶接ビード１１０の幅を測定するための複数の第２基準線とを、輪郭データに付与する。第１基準線と、複数の第２基準線のそれぞれの中点位置とは、所定の角度範囲内でそれぞれ交差するものとする。なお、後で述べるように、第２基準線は、溶接ビード１１０の輪郭に沿って第１距離（等距離）毎に、第１基準線と所定の角度範囲内で交差するように複数本、付与される。ここで、第２基準線は、溶接ビード１１０の少なくともいずれか片側の輪郭に沿ってかつ第１距離で、第１基準線と複数の第２基準線の中点位置とが、所定の角度範囲内でそれぞれ交差するように、第２基準線が交差する溶接ビード１１０の両側の輪郭上の２点が順次移動しながら、付与される。このようにすることで、任意のビード領域データの複雑なビード領域データ、例えば異なる複数の曲線の連続を含む溶接ビード１１０の形成領域であるビード領域データに対し、第１基準線と、第１基準線にそれぞれ交差する複数の第２基準線とを容易に付与することができる。なお、第１距離は、複数種類の等間隔の距離で構成されてもよい。また、具体的な第１基準線や第２基準線の付与方法については、後で述べる。
なお、本願明細書において、「所定の角度範囲」とは、９０°±δ（°）であり、δは予め設定された固定値である。δは、例えば、５（°）に設定される。
寸法算出部７は、第１基準線に基づいて溶接ビード１１０の長さを算出する。さらに、寸法測定部は、複数の第２基準線に基づいて、溶接ビード１１０の幅を第１基準線に沿った複数個所で算出する。なお、算出された溶接ビード１１０の複数個所の幅に関する統計量も寸法算出部７で算出される。統計量として、例えば、最大値、最小値、平均値、分散等が挙げられる。
記憶部８は、溶接ビード１１０の寸法測定方法を記述した寸法測定用プログラムを保存する。また、記憶部８は、溶接ビード１１０の寸法測定結果を保存する。記憶部８は、データ取得部１で取得された形状データを一時的に保存してもよい。また、後で述べるように、ビード領域抽出部２は、形状データから溶接ビードの形成領域を示すビード領域データを抽出するにあたって、学習データを用いて機械学習（深層学習）を行う。
表示部９は、形状データやビード領域データを二次元または三次元の画像データとして表示する。また、表示部９は、第１基準線や第２基準線が付与される前後の輪郭データを表示する。表示部９は、寸法測定結果を数値または表形式で表示してもよい。あるいは、表示部９は、寸法測定結果を第１基準線や第２基準線が付与された後の輪郭データに付与する形で表示してもよい。また、複数の溶接ビード１１０に関し、寸法測定結果を表示する場合、表示部９は、グラフ形式で当該結果を表示してもよい。
学習データ生成部１０は、ビード領域データを抽出するのに用いられる学習データを生成する。記憶部８は、この場合の学習データを保存するようにしてもよい。なお、記憶部８と表示部９と学習データ生成部１０とは、寸法測定装置２０の外部に設けられてもよい。
図２に示す寸法測定装置２０のハードウェア構成は、公知のパーソナルコンピュータ（ＰＣ）の構成と同様である。つまり、寸法測定装置２０は、ハードウェアとして、入力ポート２１とＣＰＵ（Central Processing Unit）２２とＧＰＵ（Graphics Processing Unit）２３とＲＡＭ（Random Access Memory）／ＲＯＭ（Read Only Memory）２４と出力ポート２５とデータバス２６とを少なくとも備えている。
図１に示す寸法測定装置２０内の複数の機能ブロックは、図２に示す各種デバイスに対応している。例えば、ＲＡＭ／ＲＯＭ２４は、図１に示す記憶部８に対応している。入力ポート２１は、図１に示すデータ取得部１に対応している。また、寸法測定装置２０は、図１に示す表示部９としてディスプレイ２７を備えている。
なお、寸法測定装置２０は、入力デバイスとしてキーボードやタッチパネル（いずれも図示せず）を備えていてもよい。また、ディスプレイ２７をタッチパネルとし、入力デバイスとして利用してもよい。また、寸法測定装置２０は、図１に示す記憶部８として、ＲＡＭ／ＲＯＭ２４以外にＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を備えていてもよい。
なお、図１に示すビード領域抽出部２と輪郭抽出部３と端点取得部５と基準線付与部６と寸法算出部７のそれぞれの機能は、ＧＰＵ２３またはＣＰＵ２２において、記憶部８に保存された寸法測定用プログラムを実行することで実現される。なお、ビード領域抽出部２の機能、つまり、形状データから溶接ビード１１０の形成領域を抽出する機能は、ＧＰＵ２３において寸法測定用プログラムの一部を実行することで実現される。それ以外の機能に関しては、ＧＰＵ２３において寸法測定用プログラムを実行して実現してもよいし、あるいはＣＰＵ２２において寸法測定用プログラムを実行して実現してもよい。また、学習データ生成部１０の機能は、ＧＰＵ２３またはＣＰＵ２２において、寸法測定用プログラムとは別のプログラムを実行することで実現される。
なお、ＧＰＵ２３とＣＰＵ２２を総称して、プロセッサと呼ぶことがある。寸法測定装置２０は１個のプロセッサ（ＧＰＵ２３またはＣＰＵ２２）を有していてもよい。ただし、寸法測定装置２０は、複数個のプロセッサ（ＧＰＵ２３とＣＰＵ２２、また、それぞれが複数個あってもよい。）を有するのが、データの処理速度向上の観点から好ましい。
なお、図２では、１本のデータバス２６に各種デバイスが接続された例を示しているが、通常のＰＣと同様に、複数のデータバス２６が用途に応じて設けられていてもよい。
［２：溶接ビードの寸法測定手順］
図３は、外観検査装置による溶接ビードの形状データ取得の様子を示す模式図であり、図４は、溶接ビードの寸法測定手順を示すフローチャートである。図５は、スムージング処理時及び端点取得時の溶接ビードの輪郭を示す模式図である。
図３に示すように、外観検査装置３０は、三次元形状計測センサ３１がロボット３２に取り付けられて構成され、母材１００に形成された溶接ビード１１０の形状を計測する。なお、三次元形状計測センサ３１は、ロボット３２に保持された溶接ヘッド（図示せず）に取り付けられてもよい。なお、溶接ヘッドとは、母材１００に溶接のためのエネルギーを供給するエネルギー供給部にあたり、例えば、溶接トーチやレーザヘッドをいう。
三次元形状計測センサ３１は、母材１００の表面を走査可能に構成されたレーザ光源（図示せず）と、母材１００の表面に投影されたレーザ光線の反射軌跡を撮像するカメラまたは受光センサ（いずれも図示せず）とで構成されている。なお、カメラは撮像素子としてＣＣＤまたはＣＭＯＳイメージセンサを有している。また、三次元形状計測センサ３１の構成は特に上記に限定されず、他の構成を採りうる。例えば、カメラや受光センサの代わりに光干渉計を用いてもよい。
三次元形状計測センサ３１によって、溶接ビード１１０及びその周囲の母材１００をレーザ光線で走査し、溶接ビード１１０や母材１００で反射されたレーザ光線をカメラまたは受光センサで撮像することにより、溶接ビード１１０及びその周囲の母材１００の三次元形状、つまり、形状データが取得される。
なお、三次元形状計測センサ３１で取得される形状データには、位置情報だけでなく色情報も含まれていてもよい。また、三次元形状計測センサ３１の撮像素子または受光センサがカラー画像または白黒画像を取得する場合、各画素には、位置情報と色情報または距離情報とが含まれる。つまり、形状データを構成する各画素のデータ、つまり、画素データには、位置情報と色情報、または位置情報と距離情報、あるいは位置情報と色情報と距離情報とが含まれる。
ここで、「位置情報」とは、母材１００の表面における所定の位置を原点とする二次元の座標情報である。例えば、母材１００の表面と平行な任意の方向をＸ方向とし、母材１００の表面と平行であって、Ｘ方向と直交する方向をＹ方向とし、Ｘ方向及びＹ方向とそれぞれ直交する方向をＺ方向とすると、位置情報は、（Ｘ，Ｙ）＝（ａ，ｂ）（ａ，ｂは任意の値）で表現される。位置情報は、具体的には、各画素の母材１００の表面における位置または各画素の溶接ビード１１０の表面における位置を座標（Ｘ，Ｙ）で表現したものである。
また、形状データにおいて、位置情報に距離情報がさらに結合される場合がある。本願明細書において、「距離情報」とは、三次元形状計測センサ３１と、座標（Ｘ，Ｙ）で表される母材１００の表面位置または溶接ビード１１０の表面位置との間の距離を言う。
この場合、距離情報を含めた座標情報は、（Ｘ，Ｙ，Ｚ）＝（ａ，ｂ，ｃ）（ｃは任意の値）で表現され、座標（Ｘ，Ｙ）と三次元形状計測センサ３１との距離が、距離情報Ｚ（＝ｃ）で表現される。
また、「色情報」とは、カメラの撮像素子または受光センサから出力される信号に含まれる色成分の情報である。撮像素子がカラー画像を取得する場合、画素データに含まれる色情報は、例えば、Ｒ成分（赤色成分）とＧ成分（緑色成分）とＢ成分（青色成分）のそれぞれの輝度情報であってもよい。撮像素子が白黒画像を取得する場合、画素データに含まれる色情報は、輝度情報である。また、色情報には、透明度を表す成分（Ａ成分）の輝度に相当する情報が含まれていてもよい。輝度の大きさは、例えば、正規化されていてもよい。
また、「色情報」は、色の種類に関する情報であってもよい。例えば、色の種類毎に番号を付与されたテーブル等が準備される場合、色情報は、色の種類に対応した番号に相当する。
いずれの場合も、位置情報に当該位置における色情報が結合された状態で形状データが構築されている。また、撮像素子で溶接ビード１１０を含む母材１００を撮像する場合、形状データは、撮像素子の各画素における画素データの集合体であるとも言える。ただし、形状データは、一般的な画像データのように二次元または三次元のデータに区分されない。
このように外観検査装置３０で取得された形状データは、図４に示すように、寸法測定装置２０のデータ取得部１に入力される（ステップＳ１）。
次に、ビード領域抽出部２で、形状データからビード領域データが抽出される（ステップＳ２）。ステップＳ２は複数のステップを含み、これらの詳細は後で説明する。
次に、輪郭抽出部３は、ビード領域データから輪郭データを抽出する（ステップＳ３）。具体的には、画像処理機能を有するライブラリ、例えば、ＯｐｅｎＣＶ（Open Source Computer Vision Library）を用いて、ビード領域データから輪郭データが抽出される。
さらに、スムージング処理部４は、輪郭データに対してスムージング処理を行う（ステップＳ４）。具体的には、図５に示すように、輪郭データに移動平均フィルタを適用して、輪郭データに含まれるジャギーが除去される。なお、ジャギーとは、デジタル画像等に発生するノイズの一種で、線や輪郭に現れる階段状のギザギザのことを言う。
なお、スムージング処理は、移動平均フィルタを用いたフィルタリング処理以外の方法で行ってもよい。
次に、端点取得部５は、ステップＳ４が実行された後の輪郭データに対し１点または複数点の端点（図５参照）を取得する（ステップＳ５）。端点は、例えば、輪郭が変曲する点、言い換えると、輪郭の傾きの方向が反対方向に変化する点が選択される。なお、スムージング処理を行っていない場合、ジャギーの角部が、端点と認識される場合がある。ステップＳ４のスムージング処理を行うことで、端点の誤認識が発生するのを抑制できる。
さらに、基準線付与部６は、ステップＳ５の端点取得が実行された後の輪郭データに対して、端点を起点として、前述の第１基準線と第２基準線を付与する（ステップＳ６）。言い替えると、基準線付与部６は、端点を起点として、溶接ビード１１０の長さを測定するための第１基準線と、溶接ビード１１０の幅を測定するための複数の第２基準線と、を輪郭データに付与する。また、第１基準線と複数の第２基準線とを輪郭データに付与するにあたって、複数の第２基準線のそれぞれが、第１基準線と第２基準線の交点で、所定の角度範囲内で第１基準線と交差するようする。なお、ステップＳ６は複数のステップを含む。ステップＳ５とステップＳ６の詳細については後で説明する。
次に、寸法算出部７は、第１基準線に基づいて溶接ビード１１０の長さを算出する。また、寸法算出部７は、複数の第２基準線に基づいて、溶接ビード１１０の幅を第１基準線に沿った複数個所で算出する。さらに、寸法算出部７は、寸法算出された溶接ビード１１０の複数個所の幅に関し、前述の統計量を算出する（ステップＳ７）。
なお、ステップＳ５の端点取得において、複数の端点が取得された場合、ステップＳ６において、第１基準線と複数の第２基準線との組が複数組生成される。この場合、ステップＳ７の寸法算出では、それぞれの組に関し、溶接ビード１１０の長さと幅を算出し、溶接ビード１１０の長さが最も長くなる組の値を選択し、最終的な算出結果とする。具体的には、算出された複数の溶接ビード１１０の長さのうち、最大値を溶接ビード１１０の確定長さとし、これに対応する第１基準線のみを選択する。また、選択された第１基準線に対応した複数の第２基準線のみを選択する。選択された複数の第２基準線に基づいて、溶接ビード１１０の幅を選択された第１基準線に沿った複数個所で算出する。残りの算出結果、つまり、確定長さを有していない第１基準線とこれに対応した第２基準線とに基づいた算出結果に関しては、記憶部８に保存せず削除する。
ステップＳ７の寸法算出で算出された溶接ビード１１０の寸法を出力する（ステップＳ８の算出結果の出力）。算出結果の出力先は、記憶部８、または、寸法測定装置２０の外部に設けられた機器または記憶部（いずれも図示せず）である。後者の場合は、出力ポート２５を介して、算出結果が送信される。あるいは、算出結果を直接、表示部９に出力してもよい。その場合の算出結果は、数値または表形式あるいはグラフ形式で表示部９に表示される。また、算出結果は、第１基準線と第２基準線とが付与された輪郭データとともに、表示部９に表示されてもよい。
［２－１：溶接ビードの形成領域抽出手順］
図６は、溶接ビードの形成領域の抽出手順を示すフローチャートであり、図４のステップＳ２のビード領域データ抽出の処理に対応している。
図７は、形状データの画像及び形状データにおける溶接ビードの形成領域とそれ以外の領域とを示す図である。図８は、学習データ生成用のアノテーション付与手順を示すフローチャートである。図９Ａは、形状データにアノテーションを付与する様子を示す一例であり、図９Ｂは、アノテーション付与後の形状データの画像を示す一例である。
溶接ビード１１０の形成領域をビード領域データとして形状データから抽出するにあたって、図６に示すように、抽出元となる形状データが準備される。また、ステップＳ１２の機械学習（深層学習）を実行するにあたって、必要な数と種類の学習データが準備される（ステップＳ１１）。前述したように、学習データは、記憶部８に保存されたデータを利用してもよいし、寸法測定装置２０の外部から入力されたデータを利用してもよい。
次に、ビード領域抽出部２は、学習データを用いて、ビード領域データを抽出するためのアルゴリズムに対して機械学習（深層学習）を行う（ステップＳ１２）。学習強化されたアルゴリズムを用いて、形状データを、ビード領域データとそれ以外の領域に関するデータとに二分化された状態に加工する（ステップＳ１３）。ステップＳ１２，Ｓ１３を実行するにあたって、セマンティック・セグメンテーションと呼ばれるアルゴリズムが使用される。セマンティック・セグメンテーションは、画像データにおける全画素のデータにラベルやカテゴリーを関連付けるアルゴリズムであり、物体検出等に用いられる。本実施形態では、DeepLab v3+と呼ばれるアルゴリズムが使用されるが、特にこれに限定されない。また、当該アルゴリズムは、ＧＰＵ２３で実行される。
形状データを撮像素子で取得される画像データとして見た場合、形状データにおける各画素のデータに対し、分類が行われる。本実施形態では、形状データにおける各画素のデータにおいて、前述の色情報や三次元形状計測センサ３１との距離を表す距離情報が結合されている。ステップＳ１２，Ｓ１３では、この色情報に着目したクラス分けが行われる。さらに言うと、形状データは、固定サイズに拡張、縮小または分割加工された後、ＧＰＵ２３に実装されたＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）、具体的には、DeepLab v3+に入力される。さらに、ＣＮＮの各層で形状データに対して演算処理がなされる。この際、色情報または距離情報に基づいて、溶接ビード１１０の形成領域に対応するクラスと、それ以外の領域に対応するクラスとに二分化されたクラス分けが行われる。ビード領域抽出部２は、前述のクラスが付与されて、ビード領域データとそれ以外の領域のデータとが識別可能な形式となった形状データを生成する。具体的には、図７に示すように、形状データの画像に対し、溶接ビード１１０の形成領域とそれ以外の領域とが色分けされた画像が生成される。
ステップＳ１３の実行後、加工結果は、記憶部８に保存される（ステップＳ１４の加工結果の保存）。
このように、機械学習（深層学習）で学習強化されたアルゴリズムを使用することで、形状データから溶接ビード１１０の形成領域であるビード領域データを精度良く、また確実に抽出することができる。また、深層学習を用いてビード領域データを特定するため、例えば、ローパスフィルタ等によるノイズ除去によって溶接部の外観形状の特徴量を特定する場合に比べて、微妙なパラメータ設定によりビード領域データの抽出精度が不安定になる等の問題が生じない。
なお、学習データは、別途、準備された実際の溶接ビード１１０を外観検査して得られた形状データをもとに生成している。ここでは、寸法測定装置２０の内部に設けられた学習データ生成部１０で学習データを生成する場合を例に取って説明する。ただし、前述したように、学習データを寸法測定装置２０の外部で生成してもよい。
まず、図８に示すように、アノテーション付与時の図形指定モードを選択する（ステップＳ２１）。本実施形態では、溶接ビート１１０の形状を多角形で近似してアノテーションを付与する。
次に、学習データ生成部１０は、学習データを生成するための形状データを呼び出して、当該形状データのデータファイルを開き（ステップＳ２２）、さらに、開いたデータファイルを表示部９に表示して、可視化する。この場合の表示部９は、タッチパネルであり、入力機能も備えている。なお、入力機能は、タッチペンやマウス等の別のデバイスで実現されてもよい。
形状データの画像を表示部９に表示させた後、形状データの画像を見ながら、作業者が溶接ビード１１０の輪郭をトレースする。本実施形態では、図形指定モードとして、前述した多角形指定モードを選択している。この場合は、図９Ａに示すように、輪郭に沿って、順次タッチペン等でクリックすることにより、多角形の頂点が決定される。最終的に、図９Ｂに示すように、溶接ビード１１０が多角形で囲まれて、溶接ビード１１０の形成領域が指定され、アノテーション付与が終了する（ステップＳ２３）。
アノテーションが付与された形状データは、学習データとして記憶部８に保存される（ステップＳ２４）。
次に、アノテーションを付与すべき形状データのデータファイルが残っているか否かを、学習データ生成部１０が判断する（ステップＳ２５）。ステップＳ２５の判断結果が否定的、つまり、アノテーションを付与すべき形状データのデータファイルが残っていなければ、アノテーション付与作業を終了する。ステップＳ２５の判断結果が肯定的、つまり、アノテーションを付与すべき形状データのデータファイルが残っていれば、ステップＳ２５の判断結果が否定的になるまで、ステップＳ２２～Ｓ２４の一連の処理を繰り返し実行する。なお、ステップＳ２５の処理は、作業者が実行してもよい。
［２－２：第１基準線及び第２基準線の付与手順］
図１０は、第１基準線及び第２基準線の付与手順を示すフローチャートであり、図４に示すステップＳ６の処理（第１基準線及び第２基準線を生成し、輪郭データに付与）に対応している。
図１１Ａは、第１基準線及び第２基準線を付与する際の第１ループ処理の様子を示す模式図である。図１１Ｂは、図１１Ａに示す処理に続く処理の様子を示す模式図である。図１１Ｃは、図１１Ｂに示す処理に続く処理の様子を示す模式図である。図１２は、第１基準線及び第２基準線を付与する際の第２ループ処理の様子を示す模式図である。
まず、端点取得部５で取得した端点を輪郭データ上で端点Ａ０と設定する。図１０及び図１１Ａに示すように、端点Ａ０上に仮想点Ｂｉ，Ｃｉをそれぞれ付与する（ステップＳ３１）。ｉは０または１以上の整数であるが、ステップＳ３１では、ｉ＝０とする。仮想点Ｂｉ，Ｃｉは、それぞれ、端点Ａ０に重なって設定された仮想点（Ａ０（Ｂ０、Ｃ０））である。ステップＳ３１の処理を初期設定処理と呼ぶことがある。また、ステップＳ３１以降の処理は、基準線付与部６で実行される。
次に、図１１Ｂに示すように、仮想点Ｂｉを、溶接ビード１１０の輪郭に沿って、端点Ａ０から遠ざかる方向である第１方向に所定の距離（以下、第１距離と言う）だけ進める。移動後の点を仮想点Ｂ（ｉ＋１）とする。同時に、仮想点Ｃｉを、溶接ビード１１０の輪郭に沿って、端点Ａ０から遠ざかる方向であって、第１方向と異なる方向である第２方向に第１距離だけ進める。移動後の点を仮想点Ｃ（ｉ＋１）とする（ステップＳ３２）。仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）との中点を中点Ａ（ｉ＋１）に設定する（ステップＳ３３）。ステップＳ３２及びステップＳ３３の処理を、第１ループ処理と呼ぶことがある。図１１Ｂ、および次に図１１Ｂに続く図１１Ｃに示すように、第１ループ処理を順次進めることで、端点Ａ０及び仮想点Ｂ１，Ｂ２，Ｃ１，Ｃ２が溶接ビード１１０の輪郭上に、中点Ａ１，Ａ２が溶接ビード１１０の領域内にそれぞれ配置される。図１１Ｃに示す経路Ａ０－Ａ１－Ａ２は、第１基準線の一部をなす。また、線分Ｂ１－Ｃ１及び線分Ｂ２－Ｃ２は、それぞれ第２基準線に相当する。
次に、第１基準線における、線分Ｂ（ｉ＋１）－Ｃ（ｉ＋１）と第２基準線における、線分Ａｉ－Ａ（ｉ＋１）とが、前述した所定の角度範囲内で交差するか否かを判断する（ステップＳ３４）。つまり、線分Ｂ（ｉ＋１）－Ｃ（ｉ＋１）と線分Ａｉ－Ａ（ｉ＋１）とが、９０（°）±δ（°）の範囲内で交差するか否かを判断する。
ステップＳ３４の判断結果が否定的な場合、つまり、線分Ｂ（ｉ＋１）－Ｃ（ｉ＋１）と線分Ａｉ－Ａ（ｉ＋１）とが、所定の角度範囲を超えて交差する場合、ステップＳ３６に進む。
ステップＳ３６では、仮想点Ｂ（ｉ＋１）及び仮想点Ｃ（ｉ＋１）のいずれか一方を溶接ビード１１０の輪郭に沿って、かつ端点Ａ０から遠ざかる方向に第１距離だけ移動させる。移動後の点を仮想点Ｂ（ｉ＋２）または仮想点Ｃ（ｉ＋２）と設定し、ステップＳ３７に進む。
ステップＳ３７では、線分Ｂ（ｉ＋２）－Ｃ（ｉ＋１）と線分Ａｉ－Ａ（ｉ＋１）との交差角度と線分Ｂ（ｉ＋１）－Ｃ（ｉ＋２）と線分Ａｉ－Ａ（ｉ＋１）との交差角度とを比較し、所定の角度範囲内かそれに近い交差角度となる仮想点Ｂ（ｉ＋２）または仮想点Ｃ（ｉ＋２）を選択する。
選択された仮想点が仮想点Ｂ（ｉ＋２）の場合、中点Ａ（ｉ＋１）を仮想点Ｂ（ｉ＋２）と仮想点Ｃ（ｉ＋１）との中点に修正する。また、もとの仮想点Ｂ（ｉ＋１）をスキップし、仮想点Ｂ（ｉ＋２）を新たに仮想点Ｂ（ｉ＋１）と設定する。
一方、選択された仮想点が移動仮想点Ｃ（ｉ＋２）の場合、中点Ａ（ｉ＋１）を移動点Ｂ（ｉ＋１）と移動点Ｃ（ｉ＋２）との中点に修正する。また、もとの移動点Ｃ（ｉ＋１）をスキップし、仮想点Ｃ（ｉ＋２）を新たに仮想点Ｃ（ｉ＋１）と設定する。ステップＳ３７の終了後は、ステップＳ３４に戻って、ステップＳ３４の判断結果が肯定的になるまで、ステップＳ３６とステップＳ３７の一連の処理を繰り返し実行する。なお、ステップＳ３６とステップＳ３７の処理を合わせて、第２ループ処理と呼ぶことがある。図１２に示すように、第２ループ処理を順次進めることで、端点Ａ０及び仮想点Ｂ１，Ｂ２，Ｃ１，Ｃ２が溶接ビード１１０の輪郭上に、中点Ａ１，Ａ２が溶接ビード１１０の領域内にそれぞれ配置される。図１２に示す経路Ａ０－Ａ１－Ａ２－・・・－Ａｉは、第１基準線の一部をなす。また、線分Ｂ１－Ｃ１、Ｂ２－Ｃ２、・・・、Ｂｉ－Ｃｉそれぞれ第２基準線に相当する。なお、図１２には、例えば、ステップＳ３４の判断結果が否定的な場合にスキップされた仮想点Ｂｉの痕を丸破線で示している。
一方、ステップＳ３４の判断結果が肯定的な場合、つまり、線分Ｂ（ｉ＋１）－Ｃ（ｉ＋１）と線分Ａｉ－Ａ（ｉ＋１）とが、所定の角度範囲内で交差する場合、経路Ａ０－Ｂｉの長さと経路Ａ０－Ｃｉの長さとの和が、溶接ビード１１０の輪郭の長さを超えたか否かを判断する（ステップＳ３５）。
ステップＳ３５の判断結果が否定的な場合、つまり、経路Ａ０－Ｂｉの長さと経路Ａ０－Ｃｉの長さとの和が、溶接ビード１１０の輪郭の長さを超えていない場合、変数ｉを（ｉ＋１）にカウントアップし、ステップＳ３２に戻って、ステップＳ３５の判断結果が肯定的になるまでステップＳ３２～Ｓ３４の一連の処理を繰り返し実行する。ここで、経路Ａ０－Ｂｉの長さとは、端点Ａ０から仮想点Ｂｋ（ｋは整数で、１≦ｋ＜ｉ）を経由して仮想点Ｂｉに至るまでの経路の距離を言う。経路Ａ０－Ｃｉの長さとは、端点Ａ０から仮想点Ｃｋを経由して仮想点Ｃｉに至るまでの経路の距離を言う。
一方、ステップＳ３５の判断結果が肯定的な場合、つまり、経路Ａ０－Ｂｉの長さと経路Ａ０－Ｃｉの長さとの和が、溶接ビード１１０の輪郭の長さを超えた場合、第１基準線と第２基準線とが仮確定される（ステップＳ３８）。第１基準線は、端点Ａ０を起点として、ステップＳ３５の終了時点で設定された複数の中点Ａ１，・・・，Ａｉをそれぞれ通る経路に相当する。なお、ステップＳ３５の終了時点で、第１基準線の終点は、溶接ビード１１０の輪郭に到達するか当該輪郭と交差している。また、線分Ｂ１－Ｃ１，・・・，Ｂｉ－Ｃｉのそれぞれが、前述の第２基準線である。第２基準線の数は、溶接ビード１１０の長さと前述の第１距離（溶接ビード１１０の輪郭に沿って、端点Ａ０から遠ざかる方向である第１方向に所定の距離）とに応じて決定される。
しかし、ステップＳ３８までの処理では、第１基準線が適切に設定されていない場合がある。したがって、本実施形態では、以降に述べる第１基準線の補正処理（ステップＳ３９）をステップＳ３８の実行後に一律に行って、第１基準線と複数の第２基準線を確定させている。ステップＳ３９の処理についてさらに説明する。
［２－３：第１基準線の補正手順］
図１３は、第１基準線の補正手順を示すフローチャートであり、図１０に示すステップＳ３９の処理に対応している。
図１４Ａは、補正を行わない場合の第１基準線が付与された輪郭データの一例であり、図１４Ｂは、補正を行わない場合の第１基準線が付与された別の輪郭データの一例である。
図１５Ａは、第１基準線を仮基準線に変形した場合の輪郭データの一例であり、図１５Ｂは、第１基準線を仮基準線に変形した場合の別の輪郭データの一例である。
図１６Ａは、補正が完了した後の第１基準線が付与された輪郭データの一例であり、図１６Ｂは、補正が完了した後の第１基準線が付与された別の輪郭データの一例である。
なお、図１４Ａ，１５Ａ及び図１６Ａは、それぞれ同じ輪郭データを示している。同様に、図１４Ｂ，１５Ｂ及び図１６Ｂは、それぞれ同じ輪郭データを示している。
図４に示すステップＳ２のビード領域データ抽出の処理によって、具体的には、図６に示す手順で、形状データからビード領域データが抽出される場合（ステップＳ１３）、抽出後のビード領域データにノイズが含まれる場合がある（図１４Ａ参照）。このような場合、図４に示すステップＳ３の輪郭データ取得の以降の手順に則って、溶接ビード１１０の長さを算出すると、実際の長さと異なる値が出力される場合がある。あるいは、図４に示すステップＳ５の端点取得において、端点が適切に取得できていない場合、第１基準線自体も適切に生成できない場合がある（図１４Ｂ参照）。
これらが発生した場合も、以下に示す手順を実行することで、輪郭データに対し、第１基準線を適切に付与することができる。このことにより、輪郭データに対し、複数の第２基準線も適切に付与することができる。さらに、溶接ビード１１０の長さや幅を正確に算出することができる。以下、実際の補正手順について詳しく説明する。
まず、第１基準線の両端のそれぞれを予め設定された所定の長さ分だけ除去し、仮基準線を設定する（図１３のステップＳ４１。また、図１５Ａ，１５Ｂ参照）。この場合、第１基準線の両端のそれぞれから、所定の長さ分だけ正しく除去されているか否かの判定は行わない。
次に、仮基準線の両端近傍のそれぞれの傾きに応じた直線（以下、延長線と呼ぶことがある。）を、仮基準線の両端のそれぞれから輪郭に交差するまで延長する（図１３のステップＳ４２。また、図１６Ａ，１６Ｂ参照）。
さらに、仮基準線と、仮基準線の両端からそれぞれ延長した延長線とを合成した線を新たに第１基準線とする。当該第１基準線を輪郭データに付与する（図１３のステップＳ４３。また、図１６Ａ，１６Ｂ参照）。
図４に示すステップＳ７の寸法算出では、図１６Ａや図１６Ｂに示す第１基準線の長さが溶接ビード１１０の長さとして算出される。
なお、図４に示すステップＳ５の端点取得で複数の端点が取得された場合、それぞれの端点を起点として、図１０に示す手順で第１基準線及び第２基準線が輪郭データに付与されるとともに、図１３に示す手順で第１基準線が補正されることは言うまでもない。また、確定長さを有する第１基準線及びこれに対応する複数の第２基準線に基づいて、溶接ビード１１０の長さや幅が算出されることは前述した通りである。
［３：効果等］
以上説明したように、本実施形態に係る寸法測定装置２０は、データ取得部１とビード領域抽出部２と輪郭抽出部３とスムージング処理部４と端点取得部５と基準線付与部６と寸法算出部７とを少なくとも備えている。
データ取得部１は、溶接ビード１１０が形成された母材１００の形状データを取得する。ビード領域抽出部２は、形状データから溶接ビード１１０の形成領域をビード領域データとして抽出する。輪郭抽出部３は、ビード領域データに基づいて、溶接ビード１１０の輪郭を輪郭データとして抽出する。スムージング処理部４は、輪郭データに対してスムージング処理を行う。
端点取得部５は、スムージング処理された輪郭データに基づいて、溶接ビード１１０の端点を取得する。基準線付与部６は、溶接ビード１１０の端点を起点として、溶接ビード１１０の長さを測定するための第１基準線と、溶接ビード１１０の幅を測定するための複数の第２基準線とを、輪郭データに付与する。寸法算出部７は、第１基準線に基づいて溶接ビード１１０の長さを算出し、かつ複数の第２基準線に基づいて、溶接ビード１１０の幅を第１基準線に沿った複数個所で算出する。さらに、基準線付与部６は、第１基準線と複数の第２基準線の中点位置とが、所定の角度範囲内でそれぞれ交差するように、第１基準線と複数の第２基準線とを輪郭データに付与する。
寸法測定装置２０をこのように構成することで、母材１００や溶接ビード１１０がそれぞれ任意の形状である場合にも、複雑な測定条件等の設定を行うこと無く、溶接ビード１１０の寸法を自動でかつ簡便に測定することができる。また、このことにより、溶接ビード１１０の寸法が所定の規格範囲から外れた不良品を簡便かつ確実に検出できるため、検査費用を低減できる。なお、前述の任意の形状の溶接ビード１１０には、直線状や円弧状の溶接ビード１１０以外にも、Ｓ字形状、ジグザグ形状の溶接ビード１１０や、平坦に盛り上がった台形状や扁平形状の溶接ビード１１０も含まれる。
端点取得部５が複数の端点を取得した場合、基準線付与部６は、複数の端点のそれぞれを起点として、第１基準線を輪郭データに付与する。さらに、付与された複数の第１基準線のそれぞれに対応して複数の第２基準線を輪郭データに付与する。
寸法算出部７は、複数の第１基準線のそれぞれに基づいて、溶接ビード１１０の長さを算出し、算出された複数の溶接ビード１１０の長さのうち、最大値を溶接ビード１１０の確定長さとする。さらに、確定長さを有する第１基準線に対応した複数の第２基準線に基づいて、溶接ビード１１０の幅を第１基準線に沿った複数個所で算出する。
基準線付与部６と寸法算出部７とをこのように構成することで、例えば、端点取得部５で適切な端点を選択し切れず、複数の端点が取得された場合にも、溶接ビード１１０の寸法を自動でかつ簡便に、さらに正確に測定することができる。
基準線付与部６は、端点を端点Ａ０とし、端点Ａ０上に仮想点Ｂｉ及び仮想点Ｃｉ（ｉは０または１以上の整数）それぞれ付与する初期設定処理を実行する。また、基準線付与部６は、仮想点Ｂｉから、溶接ビード１１０の輪郭に沿って、端点Ａ０から遠ざかる方向である第１方向に第１距離だけ進んだ点を仮想点Ｂ（ｉ＋１）とし、仮想点Ｃｉから、輪郭に沿って、端点Ａ０から遠ざかる方向であって、第１方向と異なる方向である第２方向に第１距離だけ進んだ点を仮想点Ｃ（ｉ＋１）とし、さらに仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）との中点を中点Ａ（ｉ＋１）に設定する第１ループ処理を少なくとも実行する。
仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）とを結ぶ線分が、所定の角度範囲（９０（°）±δ（°））内で中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分と交差する場合は、基準線付与部６は、端点Ａ０から仮想点Ｂｋ（ｋは整数で、１≦ｋ＜ｉ）を経由して仮想点Ｂｉに至るまでの経路の距離と、端点Ａ０から仮想点Ｃｋを経由して仮想点Ｃｉに至るまでの経路の距離との和が、溶接ビード１１０の輪郭の長さを超えるまで、第１ループ処理を１回または複数回実行し、第１基準線と複数の第２基準線とを輪郭データに付与する。
基準線付与部６をこのように構成することで、溶接ビード１１０の長さを決定する第１基準線を自動でかつ簡便に、さらに正確に設定することができる。このことに応じて、複数の第２基準線のそれぞれを自動でかつ簡便に、さらに正確に設定することができる。これらにより、溶接ビード１１０の寸法を自動でかつ簡便に、さらに正確に測定することができる。
仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）とを結ぶ線分が、所定の角度範囲を超えて中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分と交差する場合は、基準線付与部６は、以下の（ｉ）～（ｉｖ）の処理を含む第２ループ処理を実行する。
第２ループ処理では、基準線付与部６は、
（ｉ）仮想点Ｂ（ｉ＋１）及び仮想点Ｃ（ｉ＋１）のいずれか一方を溶接ビード１１０の輪郭に沿って、かつ端点Ａ０から遠ざかる方向に第１距離だけ進めて、移動後の点を仮想点Ｂ（ｉ＋２）または仮想点Ｃ（ｉ＋２）と設定する。
（ｉｉ）仮想点Ｂ（ｉ＋２）と仮想点Ｃ（ｉ＋１）とを結ぶ線分と中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分の交差角度と、仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋２）とを結ぶ線分と中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分の交差角度とを比較し、かつ所定の角度範囲内かそれに近い交差角度となる仮想点Ｂ（ｉ＋２）または仮想点Ｃ（ｉ＋２）を選択する。
（ｉｉｉ）選択された仮想点が仮想点Ｂ（ｉ＋２）の場合、中点Ａ（ｉ＋１）を仮想点Ｂ（ｉ＋２）と仮想点Ｃ（ｉ＋１）との中点に修正するとともに、仮想点Ｂ（ｉ＋２）を新たに仮想点Ｂ（ｉ＋１）に設定する。
（ｉｖ）選択された仮想点が仮想点Ｃ（ｉ＋２）の場合、中点Ａ（ｉ＋１）を仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋２）との中点に修正するとともに、仮想点Ｃ（ｉ＋２）を新たに仮想点Ｃ（ｉ＋１）に設定する。
基準線付与部６は、仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）とを結ぶ線分が、所定の角度範囲内で中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分と交差するまで、第２ループ処理を繰り返し実行する。
基準線付与部６をこのように構成することで、溶接ビード１１０の長さを決定する第１基準線をより正確に設定することができる。このことに応じて、複数の第２基準線のそれぞれをより正確に設定することができる。
溶接ビード１１０の形状や曲率によっては、仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）とを結ぶ線分が、所定の角度範囲を超えて中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分と交差する場合がある。この場合、中点Ａ（ｉ＋１）を、仮想点Ｂ（ｉ＋１）及び仮想点Ｃ（ｉ＋１）のそれぞれから略等距離の位置に設定できないことがある。つまり、端点Ａ０から中点Ａ（ｉ＋１）を経由して溶接ビード１１０の終点に至る経路の距離が、溶接ビード１１０の長さを正しく反映しないことがある。
本実施形態によれば、仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）とを結ぶ線分と、中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分との交差角度に着目して、仮想点Ｂ（ｉ＋１）及び仮想点Ｃ（ｉ＋１）のいずれか一方、さらに、中点Ａ（ｉ＋１）を再設定することにより、端点Ａ０から中点Ａ（ｉ＋１）を経由して溶接ビード１１０の終点に至る経路の距離が、溶接ビード１１０の長さを正しく反映できるようにする。これらにより、溶接ビード１１０の寸法を自動でかつ簡便に、さらに正確に測定することができる。
基準線付与部６は、第１基準線に対し、両端のそれぞれから所定の長さ分を削除して仮基準線とする。さらに、仮基準線の両端近傍のそれぞれの傾きに応じた直線（延長線）を仮基準線の両端のそれぞれから溶接ビード１１０の輪郭に交差するまで延長する。
さらに、基準線付与部６は、仮基準線と、仮基準線の両端からそれぞれ延長した直線（延長線）とを合成した線を新たに第１基準線として輪郭データに付与する。
寸法算出部７は、新たに設定された第１基準線の長さを溶接ビード１１０の長さとして算出し、かつ仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）とを結ぶ線分の長さを溶接ビード１１０の幅として算出する。
前述したように、抽出後のビード領域データにノイズが含まれる場合があり、溶接ビード１１０の長さを算出すると、実際の長さと異なる値が出力されることがある。あるいは、端点取得部５で、端点が適切に取得できていない場合、第１基準線自体が適切に生成されず、ひいては、溶接ビード１１０の長さの算出値が、実際の長さと異なって出力されることがある。
一方、本実施形態によれば、最初に設定した第１基準線の両端を削除して、適切な傾きの延長線を溶接ビード１１０の輪郭に達するように追加することで、輪郭データに対し、適切な形で第１基準線を適付与することができる。また、このことにより、輪郭データに対し、複数の第２基準線も適切に付与することができる。以上のことから、溶接ビード１１０の長さや幅を正確に算出することができる。
データ取得部１で取得される形状データは複数の画素データからなり、かつ複数の画素データのそれぞれは、少なくとも色情報または距離情報、具体的には、三次元形状計測センサ３１と母材１００の表面の所定の位置または溶接ビード１１０の表面の所定の位置との距離である距離情報を含んでいるのが好ましい。
この場合、ビード領域抽出部２は、当該色情報または当該距離情報に基づいて、かつ予めアノテーションが付与された学習データを用いて学習強化された所定のアルゴリズムを用いて、形状データからビード領域データを抽出するのが好ましい。
このようにすることで、形状データからビード領域データを精度良く抽出することができる。溶接ビード１１０の形状は多岐にわたり数式で一般化しづらい。このため、変化点を抽出する方法等の、従来のルールベースでの数式によるアプローチで、溶接ビード１１０が形成された母材１００の形状データから溶接ビード１１０の形成領域としてビード領域データを安定して抽出することは困難である。
一方、本実施形態によれば、形状データにおける画素データに含まれる色情報に着目し、さらに、学習強化されたアルゴリズムを用いて、形状データに対して、いわゆるＡＩ（Artificial Intelligence）処理を行っている。このことにより、溶接ビード１１０や母材１００の形状によらず、形状データからビード領域データを精度良く抽出することができる。
本実施形態に係る溶接ビード１１０の寸法測定方法は、以下の第１～第７ステップを少なくとも備えている。
第１ステップ（図４のステップＳ１の形状データの取得）では、溶接ビード１１０が形成された母材１００の形状データを取得し、第２ステップ（図４のステップＳ２のビード領域データ抽出）では、形状データから溶接ビード１１０の形成領域をビード領域データとして抽出する。
第３ステップ（図４のステップＳ３の輪郭データの取得）では、ビード領域データに基づいて、溶接ビード１１０の輪郭を輪郭データとして抽出し、第４ステップ（図４のステップＳ４のスムージング処理）では、輪郭データに対してスムージング処理を行い、第５ステップ（図４のステップＳ５の端点取得）では、スムージング処理された輪郭データに基づいて、溶接ビード１１０の端点を取得する。
第６ステップ（図４のステップＳ６）では、取得された端点を起点として、溶接ビード１１０の長さを測定するための第１基準線と、溶接ビード１１０の幅を測定するための複数の第２基準線とを、輪郭データに付与する。具体的には、前記第６ステップでは、前記第１基準線と複数の前記第２基準線の中点位置とが、所定の角度範囲内でそれぞれ交差するように、前記第１基準線と複数の前記第２基準線とを前記輪郭データに付与する。第７ステップ（図４のステップＳ７の寸法算出）では、第１基準線に基づいて溶接ビード１１０の長さを算出し、かつ複数の第２基準線に基づいて、溶接ビード１１０の幅を第１基準線に沿った複数個所で算出する。ここで、第２基準線は、溶接ビード１１０の少なくともいずれか片側の輪郭に沿ってかつ第１距離で、第１基準線と複数の第２基準線の中点位置とが、所定の角度範囲内でそれぞれ交差するように、第２基準線が交差する溶接ビード１１０の両側の輪郭上の２点が順次移動しながら、付与される。このようにすることで、任意のビード領域データの複雑なビード領域データ、例えば異なる複数の曲線の連続を含む溶接ビード１１０の形成領域であるビード領域データに対し、第１基準線と、第１基準線にそれぞれ交差する複数の第２基準線とを容易に付与することができる。なお、第１距離は、複数種類の等間隔の距離で構成されてもよい。
本実施形態によれば、母材１００や溶接ビード１１０がそれぞれ任意の形状である場合にも、複雑な測定条件等の設定を行うこと無く、溶接ビード１１０の寸法を自動でかつ簡便に測定することができる。また、このことにより、溶接ビード１１０の寸法が所定の規格範囲から外れた不良品を簡便かつ確実に検出できるため、検査費用を低減できる。
第５ステップの端点取得で、端点が複数取得された場合、第６ステップでは、複数の端点のそれぞれを起点として、第１基準線を輪郭データに付与する。さらに、付与された複数の第１基準線のそれぞれに対応して複数の第２基準線を輪郭データに付与する。
第７ステップの寸法算出では、複数の第１基準線のそれぞれに基づいて、溶接ビード１１０の長さを算出し、算出された複数の溶接ビード１１０の長さのうち、最大値を溶接ビード１１０の確定長さとする。さらに、確定長さを有する第１基準線に対応した複数の第２基準線に基づいて、溶接ビード１１０の幅を第１基準線に沿った複数個所で算出する。
このようにすることで、例えば、端点取得部５で適切な端点を選択し切れず、複数の端点が取得された場合にも、溶接ビード１１０の寸法を自動でかつ簡便に、さらに正確に測定することができる。
第６ステップは、溶接ビード１１０の端点を端点Ａ０とし、端点Ａ０上に仮想点Ｂｉ及び仮想点Ｃｉ（ｉは０または１以上の整数）それぞれ付与するステップ（図１０のステップＳ３１）と、第１ループ処理（図１０のステップＳ３２，Ｓ３３）と、を少なくとも含んでいる。
第１ループ処理は、仮想点Ｂｉから、溶接ビード１１０の輪郭に沿って、端点Ａ０から遠ざかる方向である第１方向に第１距離だけ進んだ点を仮想点Ｂ（ｉ＋１）とするステップ（図１０のステップＳ３２）を少なくとも含んでいる。第１ループ処理は、仮想点Ｃｉから、溶接ビード１１０の輪郭に沿って、端点Ａ０から遠ざかる方向であって、第１方向と異なる方向である第２方向に第１距離だけ進んだ点を仮想点Ｃ（ｉ＋１）とするステップ（図１０のステップＳ３２）をさらに含んでいる。第１ループ処理は、仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）との中点を中点Ａ（ｉ＋１）に設定するステップ（図１０のステップＳ３３）をさらに含んでいる。
第６ステップにおいて、仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）とを結ぶ線分が、所定の角度範囲（９０（°）±δ（°））内で中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分と交差する場合は、端点Ａ０から仮想点Ｂｋ（ｋは整数で、１≦ｋ＜ｉ）を経由して仮想点Ｂｉに至るまでの経路の距離と、端点Ａ０から仮想点Ｃｋを経由して仮想点Ｃｉに至るまでの経路の距離との和が、溶接ビード１１０の輪郭の長さを超えるまで、第１ループ処理を１回または複数回実行し、第１基準線と複数の第２基準線とを輪郭データに付与する。
このようにすることで、溶接ビード１１０の長さを決定する第１基準線を自動でかつ簡便に、さらに正確に設定することができる。このことに応じて、複数の第２基準線のそれぞれを自動でかつ簡便に、さらに正確に設定することができる。これらにより、溶接ビード１１０の寸法を自動でかつ簡便に、さらに正確に測定することができる。
仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）とを結ぶ線分が、所定の角度範囲を超えて中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分と交差する場合は、第６ステップは、第２ループ処理（図１０のステップＳ３６，Ｓ３７）をさらに含む。
第２ループ処理は、仮想点Ｂ（ｉ＋１）及び仮想点Ｃ（ｉ＋１）のいずれか一方を溶接ビード１１０の輪郭に沿って、かつ端点Ａ０から遠ざかる方向に第１距離だけ進めて、移動後の点を仮想点Ｂ（ｉ＋２）または仮想点Ｃ（ｉ＋２）と設定するステップ（図１０のステップＳ３６）を少なくとも含んでいる。
また、第２ループ処理は、仮想点Ｂ（ｉ＋２）と仮想点Ｃ（ｉ＋１）とを結ぶ線分と、中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分との交差角度に対して、仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋２）とを結ぶ線分と、中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分との交差角度を比較し、かつ所定の角度範囲内かそれに近い交差角度となる仮想点Ｂ（ｉ＋２）または仮想点Ｃ（ｉ＋２）を選択するステップ（図１０のステップＳ３７）を含んでいる。
選択された仮想点が仮想点Ｂ（ｉ＋２）の場合、第２ループ処理は、中点Ａ（ｉ＋１）を仮想点Ｂ（ｉ＋２）と仮想点Ｃ（ｉ＋１）との中点に修正するとともに、仮想点Ｂ（ｉ＋２）を新たに仮想点Ｂ（ｉ＋１）に設定するステップ（図１０のステップＳ３７）をさらに含んでいる。
選択された仮想点が仮想点Ｃ（ｉ＋２）の場合、第２ループ処理は、中点Ａ（ｉ＋１）を仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋２）との中点に修正するとともに、仮想点Ｃ（ｉ＋２）を新たに仮想点Ｃ（ｉ＋１）に設定するステップ（図１０のステップＳ３７）をさらに含んでいる。
第６ステップでは、仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）とを結ぶ線分が、所定の角度範囲内で中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分と交差するまで、第２ループ処理を繰り返し実行する。
本実施形態によれば、溶接ビード１１０の長さを決定する第１基準線をより正確に設定することができる。このことに応じて、溶接ビードの複数個所でのそれぞれの幅を決定する複数の第２基準線のそれぞれをより正確に設定することができる。
また、仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）とを結ぶ線分と、中点Ａｉと中点Ａ（ｉ＋１）とを結ぶ線分との交差角度に着目して、仮想点Ｂ（ｉ＋１）及び仮想点Ｃ（ｉ＋１）のいずれか一方、さらに、中点Ａ（ｉ＋１）を再設定することにより、端点Ａ０から中点Ａ（ｉ＋１）を経由して溶接ビード１１０の終点に至る経路の距離が、溶接ビード１１０の長さを正しく反映できるようにする。これらにより、溶接ビード１１０の寸法を自動でかつ簡便に、さらに正確に測定することができる。
第６ステップは、第１基準線に対し、両端のそれぞれから所定の長さ分を削除して仮基準線とするステップ（図１３のステップＳ４１）をさらに含んでいる。また、第６ステップは、仮基準線の両端近傍のそれぞれの傾きに応じた直線（延長線）を仮基準線の両端のそれぞれから溶接ビード１１０の輪郭に交差するまで延長するステップ（図１３のステップＳ４２）を含んでいる。
第６ステップは、さらに、仮基準線と仮基準線の両端からそれぞれ延長した直線（延長線）とを合成した線を新たに第１基準線として前記輪郭データに付与するステップ（図１３のステップＳ４３）を含んでいる。
第７ステップの寸法算出では、新たに設定された第１基準線の長さを溶接ビード１１０の長さとして算出し、かつ仮想点Ｂ（ｉ＋１）と仮想点Ｃ（ｉ＋１）とを結ぶ線分の長さを溶接ビード１１０の幅として算出する。
本実施形態によれば、最初に設定した第１基準線の両端を削除して、適切な傾きの延長線を溶接ビード１１０の輪郭に達するように追加することで、輪郭データに対し、適切な形で第１基準線を適付与することができる。また、このことにより、輪郭データに対し、複数の第２基準線も適切に付与することができる。以上のことから、溶接ビード１１０の長さや幅を正確に算出することができる。
データ取得部１で取得される形状データは複数の画素データからなり、かつ複数の画素データのそれぞれは、少なくとも色情報または距離情報を含んでいるのが好ましい。
第２ステップでは、当該色情報に基づいて、かつ予めアノテーションが付与された学習データを用いて学習強化された所定のアルゴリズムを用いて、形状データからビード領域データを抽出するのが好ましい。
本実施形態によれば、形状データにおける画素データに含まれる色情報または距離情報に着目し、さらに、学習強化されたアルゴリズムを用いて、形状データに対して、ＡＩ処理を行っている。このことにより、溶接ビード１１０や母材１００の形状によらず、形状データからビード領域データを精度良く抽出することができる。
本実施形態に係る寸法測定用プログラムは、１または複数のプロセッサに、前述した溶接ビード１１０の寸法測定方法を実行させる。
このようにすることで、母材１００や溶接ビード１１０がそれぞれ任意の形状である場合にも、複雑な測定条件等の設定を行うこと無く、溶接ビード１１０の寸法を自動でかつ簡便に測定することができる。また、このことにより、溶接ビード１１０の寸法が所定の規格範囲から外れた不良品を簡便かつ確実に検出できるため、検査費用を低減できる。
（実施形態２）
図１７は、本実施形態に係る溶接箇所の良否判定装置の機能ブロックを示す。なお、図１７において、実施形態１と同様の箇所については同一の符号を付して詳細な説明を省略する。また、寸法測定装置２０の機能ブロックの構成及び各機能ブロックの機能は、図１に示したものと同様であるので、図示及び詳細な説明を省略する。
図１７に示すように、溶接箇所の良否判定装置５０は、寸法測定装置２０と形状不良判定装置４０と良否判定部５１と表示／出力部５２と、を少なくとも備えている。
形状不良判定装置４０は、形状データ処理部４１と不良判定部４２と記憶部４３とを少なくとも備えており、そのハードウェア構成は、図２に示すものと同様である。なお、ディスプレイ２７は省略されうる。
形状データ処理部４１は、外観検査装置３０で取得された形状データのノイズ除去機能を有している。母材１００の材質によって三次元形状計測センサ３１から出射されたレーザ光線の反射率が異なるため、反射率が高すぎるとハレーション等が起こってノイズとなり、形状データに影響を与える場合がある。このため、例えば、ＣＰＵ上で所定のソフトウェアを実行して、形状データ処理部４１によるノイズのフィルタリング処理を実現している。
なお、外観検査装置３０に光学フィルタ（図示せず）を設けることによっても、同様にノイズを除去できる。光学フィルタとソフトウェア上のフィルタリング処理とを併用することで、高品質の形状データを得ることができる。
不良判定部４２は、形状データ処理部４１でノイズ除去が行われた後の形状データを用いて、溶接ビード１１０を含む溶接箇所における形状不良の有無を判定する。また、不良判定部４２は、形状不良の種類を推定する。さらに、不良判定部４２は、溶接箇所における形状不良の位置やサイズを判定する。不良判定部４２は、溶接不良の個数を判定するようにしてもよい。不良判定にあたっては、例えば、予め準備された不良判定用の学習データを用いて、機械学習を行うことで、形状データにおける不良の有無や種類等を推論するようにしてもよい。この場合は、ＣＰＵ２２またはＧＰＵ２３上で、形状データに対して推論用のアルゴリズム処理が実行される。
記憶部４３は、溶接箇所の形状不良判定結果を保存する。また、ノイズ除去が行われた後の形状データを一時的に保存するようにしてもよい。また、不良判定部４２での判定に用いられるデータやソフトウェア、例えば、不良判定用の学習データや推論用のアルゴリズムを保存していてもよい。記憶部４３は、ＲＡＭ／ＲＯＭ（図２参照）やＨＤＤあるいはＳＳＤで構成される。
良否判定部５１は、寸法測定装置２０の測定結果と、形状不良判定装置４０の判定結果とに基づいて、溶接箇所の外観が所定の基準を満足するか否かを判定する。良否判定部５１の機能は、例えば、ＣＰＵ上で所定のソフトウェアを実行して、実現される。
表示／出力部５２は、良否判定部５１の判定結果を表示するか、または図示しない外部の機器に出力する。表示／出力部５２は、ディスプレイ（図２参照）や出力ポート（図２参照）あるいはその両方で構成される。
本実施形態によれば、溶接ビード１１０の寸法と溶接箇所の形状不良の有無とを同じ形状データに基づいて同時に評価できる。このことにより、溶接箇所の外観が所定の基準を満たすか否かを自動でかつ簡便に、さらに精度良く評価できる。
なお、良否判定部５１や表示／出力部５２は、寸法測定装置２０か形状不良判定装置４０のいずれかに組み込まれていてもよい。また、寸法測定装置２０と形状不良判定装置４０とは、共通のハードウェアを利用していてもよい。
ただし、寸法測定用プログラムを実行するプロセッサと形状不良の有無等を判定するプログラムを実行するプロセッサとは、別個に設けられているのが好ましい。さらに、寸法測定用プログラムと形状不良の有無等を判定するプログラムとは、互いに独立して実行できることが好ましい。このようにすることで、溶接ビード１１０の寸法測定と溶接箇所の形状不良の有無等の判例を並列して同時に行え、溶接箇所の外観を判定するための時間を短縮できる。
（その他の実施形態）
本願明細書では、溶接ビード１１０の寸法測定を例に取って説明したが、測定対象は特にこれに限定されない。図１，２に示す寸法測定装置２０を使用して、実施形態１に示す寸法測定手順を実行することで、輪郭が閉じた形状の領域や物品等の寸法を測定することができる。
また、外観検査装置３０が、作業者がハンドリング可能な治具（図示せず）と、当該治具に保持された三次元形状計測センサ３１とで構成されていてもよい。この場合、作業者が治具を持ち、溶接ビード１１０に沿って三次元形状計測センサ３１を手動で移動させて形状データを取得する。この場合も、図１，２に示す寸法測定装置２０を使用して、実施形態１に示す寸法測定手順を実行することで、溶接ビード１１０の寸法を自動でかつ簡便に、さらに精度良く測定することができる。なお、この場合は、三次元形状計測センサ３１と母材１００や溶接ビード１１０との距離にばらつきが生じることがある。よって、前述した形状データの二分化状態への加工（図６のステップＳ１２，Ｓ１３）は、画素データに含まれる色情報に基づいて行う方がよい。
なお、形状データに含まれる位置情報は、三次元座標の情報に限られず、二次元座標の情報であってもよい。当該位置情報が三次元座標の情報の場合、溶接ビード１１０の形成領域を特定し、母材１００の表面との高さの差を取ることにより、溶接ビード１１０の高さや脚長を得ることも可能である。
また、寸法測定装置２０に、図１７に示す、取得された形状データのノイズ除去機能を有する形状データ処理部４１が組み込まれていてもよい。あるいは、データ取得部１に形状データ処理部４１の機能が組み込まれていてもよい。
本開示の溶接ビードの寸法測定装置は、母材や溶接ビードがそれぞれ任意の形状である場合にも、溶接ビードの寸法を自動でかつ簡便に測定できるため、工業上、非常に有用である。
１ データ取得部
２ ビード領域抽出部
３ 輪郭抽出部
４ スムージング処理部
５ 端点取得部
６ 基準線付与部
７ 寸法算出部
８ 記憶部
９ 表示部
１０ 学習データ生成部
２０ 寸法測定装置
２１ 入力ポート
２２ ＣＰＵ
２３ ＧＰＵ
２４ ＲＡＭ／ＲＯＭ
２５ 出力ポート
２６ データバス
２７ ディスプレイ
３０ 外観検査装置
３１ 三次元形状計測センサ
３２ ロボット
４０ 形状不良判定装置
４１ 形状データ処理部
４２ 不良判定部
４３ 記憶部
５０ 良否判定装置
５１ 良否判定部
５２ 表示／出力部
１００ 母材
１１０ 溶接ビード

Claims (16)

  1. 母材に形成された溶接ビードの寸法を測定する寸法測定装置であって、
    前記溶接ビードが形成された前記母材の形状データを取得するデータ取得部と、
    前記形状データから前記溶接ビードの形成領域をビード領域データとして抽出するビード領域抽出部と、
    前記ビード領域データに基づいて、前記溶接ビードの輪郭を輪郭データとして抽出する輪郭抽出部と、
    前記輪郭データに対してスムージング処理を行うスムージング処理部と、
    スムージング処理された前記輪郭データに基づいて、前記溶接ビードの端点を取得する端点取得部と、
    前記端点を起点として、前記溶接ビードの長さを測定するための第１基準線と、前記溶接ビードの幅を測定するための複数の第２基準線とを、前記輪郭データに付与する基準線付与部と、
    前記第１基準線に基づいて前記溶接ビードの長さを算出し、かつ複数の前記第２基準線に基づいて、前記溶接ビードの幅を前記第１基準線に沿った複数個所で算出する寸法算出部と、を少なくとも備え、
    前記基準線付与部は、前記第１基準線と複数の前記第２基準線の中点位置とが、所定の角度範囲内でそれぞれ交差するように、前記第１基準線と複数の前記第２基準線とを前記輪郭データに付与することを特徴とする寸法測定装置。
  2. 請求項１に記載の寸法測定装置において、
    前記基準線付与部では、前記第２基準線は、前記溶接ビードの少なくともいずれか片側の輪郭に沿って、かつ第１距離で、前記第１基準線と複数の前記第２基準線の中点位置とが、所定の角度範囲内でそれぞれ交差するように、前記第２基準線が交差する前記溶接ビードの両側の輪郭上の２点が順次移動しながら、付与されることを特徴とする寸法測定装置。
  3. 請求項１に記載の寸法測定装置において、
    前記端点取得部が複数の前記端点を取得した場合、
    前記基準線付与部は、複数の前記端点のそれぞれを起点として、前記第１基準線を前記輪郭データに付与するとともに、付与された複数の前記第１基準線のそれぞれに対応して複数の前記第２基準線を前記輪郭データに付与し、
    前記寸法算出部は、複数の前記第１基準線のそれぞれに基づいて、前記溶接ビードの長さを算出し、算出された複数の前記溶接ビードの長さのうち、最大値を前記溶接ビードの確定長さとするとともに、前記確定長さを有する前記第１基準線に対応した複数の前記第２基準線に基づいて、前記溶接ビードの幅を前記第１基準線に沿った複数個所で算出することを特徴とする寸法測定装置。
  4. 請求項１に記載の寸法測定装置において、
    前記基準線付与部は、
    前記端点を端点Ａ０とし、前記端点Ａ０上に仮想点Ｂ０及び仮想点Ｃ０をそれぞれ付与する初期設定処理と、
    仮想点Ｂｉ（ｉは０または１以上の整数）から、前記輪郭に沿って、前記端点Ａ０から遠ざかる方向である第１方向に第１距離だけ進んだ点を仮想点Ｂ（ｉ＋１）とし、
    仮想点Ｃｉから、前記輪郭に沿って、前記端点Ａ０から遠ざかる方向であって、前記第１方向と異なる方向である第２方向に前記第１距離だけ進んだ点を仮想点Ｃ（ｉ＋１）とし、
    さらに前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋１）との中点を中点Ａ（ｉ＋１）に設定する第１ループ処理と、を少なくとも実行し、
    前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋１）とを結ぶ線分が、所定の角度範囲内で前記中点Ａｉと前記中点Ａ（ｉ＋１）とを結ぶ線分と交差する場合は、
    前記基準線付与部は、前記端点Ａ０から仮想点Ｂｋ（ｋは整数で、１≦ｋ＜ｉ）を経由して前記仮想点Ｂｉに至るまでの経路の距離と、前記端点Ａ０から仮想点Ｃｋを経由して前記仮想点Ｃｉに至るまでの経路の距離との和が、前記輪郭の長さを超えるまで、前記第１ループ処理を１回または複数回実行し、前記第１基準線と複数の前記第２基準線とを前記輪郭データに付与することを特徴とする寸法測定装置。
  5. 請求項４に記載の寸法測定装置において、
    前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋１）とを結ぶ線分が、前記所定の角度範囲を超えて前記中点Ａｉと前記中点Ａ（ｉ＋１）とを結ぶ線分と交差する場合は、
    前記基準線付与部は、
    前記仮想点Ｂ（ｉ＋１）及び前記仮想点Ｃ（ｉ＋１）のいずれか一方を前記輪郭に沿って、かつ前記端点Ａ０から遠ざかる方向に前記第１距離だけ進めて、移動後の点を仮想点Ｂ（ｉ＋２）または仮想点Ｃ（ｉ＋２）と設定し、
    前記仮想点Ｂ（ｉ＋２）と前記仮想点Ｃ（ｉ＋１）とを結ぶ線分と前記中点Ａｉと前記中点Ａ（ｉ＋１）とを結ぶ線分の交差角度と、前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋２）とを結ぶ線分と前記中点Ａｉと前記中点Ａ（ｉ＋１）とを結ぶ線分の交差角度とを比較し、かつ前記所定の角度範囲内かそれに近い交差角度となる前記仮想点Ｂ（ｉ＋２）または前記仮想点Ｃ（ｉ＋２）を選択し、
    選択された仮想点が前記仮想点Ｂ（ｉ＋２）の場合、前記中点Ａ（ｉ＋１）を前記仮想点Ｂ（ｉ＋２）と前記仮想点Ｃ（ｉ＋１）との中点に修正するとともに、前記仮想点Ｂ（ｉ＋２）を新たに前記仮想点Ｂ（ｉ＋１）に設定し、
    選択された仮想点が前記仮想点Ｃ（ｉ＋２）の場合、前記中点Ａ（ｉ＋１）を前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋２）との中点に修正するとともに、前記仮想点Ｃ（ｉ＋２）を新たに前記仮想点Ｃ（ｉ＋１）に設定する第２ループ処理を実行し、
    前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋１）とを結ぶ線分が、前記所定の角度範囲内で前記中点Ａｉと前記中点Ａ（ｉ＋１）とを結ぶ線分と交差するまで、前記第２ループ処理を繰り返し実行することを特徴とする寸法測定装置。
  6. 請求項４に記載の寸法測定装置において、
    前記基準線付与部は、前記第１基準線に対し、両端のそれぞれから所定の長さ分を削除して仮基準線とするとともに、前記仮基準線の両端近傍のそれぞれの傾きに応じた直線を前記仮基準線の両端のそれぞれから前記輪郭に交差するまで延長し、
    さらに、前記基準線付与部は、前記仮基準線と、前記仮基準線の両端からそれぞれ延長した直線とを合成した線を新たに前記第１基準線として前記輪郭データに付与し、
    前記寸法算出部は、新たに設定された前記第１基準線の長さを前記溶接ビードの長さとして算出し、かつ前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋１）とを結ぶ線分の長さを前記溶接ビードの幅として算出することを特徴とする寸法測定装置。
  7. 請求項１ないし６のいずれか１項に記載の寸法測定装置において、
    前記形状データは複数の画素データからなり、かつ複数の前記画素データのそれぞれは、少なくとも色情報または距離情報を含んでおり、
    前記色情報は、前記画素データに含まれる色成分の情報であり、
    前記距離情報は、前記画素データに含まれる前記母材または前記溶接ビードの表面位置と前記形状データを取得する三次元形状計測センサとの間の距離であり、
    前記ビード領域抽出部は、前記色情報または前記距離情報に基づいて、かつ予めアノテーションが付与された学習データにより学習強化された所定のアルゴリズムを用いて、前記形状データから前記ビード領域データを抽出することを特徴とする寸法測定装置。
  8. 母材に形成された溶接ビードの寸法測定方法であって、
    前記溶接ビードが形成された前記母材の形状データを取得する第１ステップと、
    前記形状データから前記溶接ビードの形成領域をビード領域データとして抽出する第２ステップと、
    前記ビード領域データに基づいて、前記溶接ビードの輪郭を輪郭データとして抽出する第３ステップと、
    前記輪郭データに対してスムージング処理を行う第４ステップと、
    スムージング処理された前記輪郭データに基づいて、前記溶接ビードの端点を取得する第５ステップと、
    前記端点を起点として、前記溶接ビードの長さを測定するための第１基準線と、前記溶接ビードの幅を測定するための複数の第２基準線とを、前記輪郭データに付与する第６ステップと、
    前記第１基準線に基づいて前記溶接ビードの長さを算出し、かつ複数の前記第２基準線に基づいて、前記溶接ビードの幅を前記第１基準線に沿った複数個所で算出する第７ステップと、を少なくとも備え、
    前記第６ステップでは、前記第１基準線と複数の前記第２基準線の中点位置とが、所定の角度範囲内でそれぞれ交差するように、前記第１基準線と複数の前記第２基準線とを前記輪郭データに付与することを特徴とする寸法測定方法。
  9. 請求項８に記載の寸法測定方法において、
    前記第６ステップでは、前記第２基準線は、前記溶接ビードの少なくともいずれか片側の輪郭に沿って、かつ第１距離で、前記第１基準線と複数の前記第２基準線の中点位置とが、所定の角度範囲内でそれぞれ交差するように、前記第２基準線が交差する前記溶接ビードの両側の輪郭上の２点が順次移動しながら、付与されることを特徴とする寸法測定方法。
  10. 請求項８に記載の寸法測定方法において、
    前記第５ステップで、前記端点が複数取得された場合、
    前記第６ステップでは、複数の前記端点のそれぞれを起点として、前記第１基準線を前記輪郭データに付与するとともに、付与された複数の前記第１基準線のそれぞれに対応して複数の前記第２基準線を前記輪郭データに付与し、
    前記第７ステップでは、複数の前記第１基準線のそれぞれに基づいて、前記溶接ビードの長さを算出し、算出された複数の前記溶接ビードの長さのうち、最大値を前記溶接ビードの確定長さとするとともに、前記確定長さを有する前記第１基準線に対応した複数の前記第２基準線に基づいて、前記溶接ビードの幅を前記第１基準線に沿った複数個所で算出することを特徴とする寸法測定方法。
  11. 請求項９に記載の寸法測定方法において、
    前記第６ステップは、
    前記端点を端点Ａ０とし、前記端点Ａ０上に仮想点Ｂ０及び仮想点Ｃ０をそれぞれ付与するステップと、
    第１ループ処理と、を少なくとも含み、
    前記第１ループ処理は、
    仮想点Ｂｉ（ｉは０または１以上の整数）から、前記輪郭に沿って、前記端点Ａ０から遠ざかる方向である第１方向に第１距離だけ進んだ点を仮想点Ｂ（ｉ＋１）とするステップと、
    仮想点Ｃｉから、前記輪郭に沿って、前記端点Ａ０から遠ざかる方向であって、前記第１方向と異なる方向である第２方向に前記第１距離だけ進んだ点を仮想点Ｃ（ｉ＋１）とするステップと、
    前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋１）との中点を中点Ａ（ｉ＋１）に設定するステップと、を少なくとも含み、
    前記第６ステップにおいて、
    前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋１）とを結ぶ線分が、所定の角度範囲内で前記中点Ａｉと前記中点Ａ（ｉ＋１）とを結ぶ線分と交差する場合は、
    前記端点Ａ０から仮想点Ｂｋ（ｋは整数で、１≦ｋ＜ｉ）を経由して前記仮想点Ｂｉに至るまでの経路の距離と、前記端点Ａ０から仮想点Ｃｋを経由して前記仮想点Ｃｉに至るまでの経路の距離との和が、前記輪郭の長さを超えるまで、前記第１ループ処理を１回または複数回実行し、前記第１基準線と複数の前記第２基準線とを前記輪郭データに付与することを特徴とする寸法測定方法。
  12. 請求項１１に記載の寸法測定方法において、
    前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋１）とを結ぶ線分が、前記所定の角度範囲を超えて前記中点Ａｉと前記中点Ａ（ｉ＋１）とを結ぶ線分と交差する場合は、
    前記第６ステップは、第２ループ処理をさらに含み、
    前記第２ループ処理は、
    前記仮想点Ｂ（ｉ＋１）及び前記仮想点Ｃ（ｉ＋１）のいずれか一方を前記輪郭に沿って、かつ前記端点Ａ０から遠ざかる方向に前記第１距離だけ進めて、移動後の点を仮想点Ｂ（ｉ＋２）または仮想点Ｃ（ｉ＋２）と設定するステップと、
    前記仮想点Ｂ（ｉ＋２）と前記仮想点Ｃ（ｉ＋１）とを結ぶ線分と前記中点Ａｉと前記中点Ａ（ｉ＋１）とを結ぶ線分の交差角度と、前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋２）とを結ぶ線分と前記中点Ａｉと前記中点Ａ（ｉ＋１）とを結ぶ線分の交差角度とを比較し、かつ前記所定の角度範囲内かそれに近い交差角度となる前記仮想点Ｂ（ｉ＋２）または前記仮想点Ｃ（ｉ＋２）を選択するステップと、
    選択された仮想点が前記仮想点Ｂ（ｉ＋２）の場合、前記中点Ａ（ｉ＋１）を前記仮想点Ｂ（ｉ＋２）と前記仮想点Ｃ（ｉ＋１）との中点に修正するとともに、前記仮想点Ｂ（ｉ＋２）を新たに前記仮想点Ｂ（ｉ＋１）に設定するステップと、
    選択された仮想点が前記仮想点Ｃ（ｉ＋２）の場合、前記中点Ａ（ｉ＋１）を前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋２）との中点に修正するとともに、前記仮想点Ｃ（ｉ＋２）を新たに前記仮想点Ｃ（ｉ＋１）に設定するステップと、を少なくとも含み、
    前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋１）とを結ぶ線分が、前記所定の角度範囲内で前記中点Ａｉと前記中点Ａ（ｉ＋１）とを結ぶ線分と交差するまで、前記第２ループ処理を繰り返し実行することを特徴とする寸法測定方法。
  13. 請求項１０に記載の寸法測定方法において、
    前記第６ステップは、さらに、
    前記第１基準線に対し、両端のそれぞれから所定の長さ分を削除して仮基準線とするとともに、前記仮基準線の両端近傍のそれぞれの傾きに応じた直線を前記仮基準線の両端のそれぞれから前記輪郭に交差するまで延長するステップと、
    前記仮基準線と、前記仮基準線の両端からそれぞれ延長した直線とを合成した線を新たに前記第１基準線として前記輪郭データに付与するステップと、を含み、
    前記第７ステップでは、新たに設定された前記第１基準線の長さを前記溶接ビードの長さとして算出し、かつ前記仮想点Ｂ（ｉ＋１）と前記仮想点Ｃ（ｉ＋１）とを結ぶ線分の長さを前記溶接ビードの幅として算出することを特徴とする寸法測定方法。
  14. 請求項８ないし１３のいずれか１項に記載の寸法測定方法において、
    前記形状データは複数の画素データからなり、かつ複数の前記画素データのそれぞれは、少なくとも色情報または距離情報を含んでおり、
    前記色情報は、前記画素データに含まれる色成分の情報であり、
    前記距離情報は、前記画素データに含まれる前記母材または前記溶接ビードの表面位置と前記形状データを取得する三次元形状計測センサとの間の距離であり、
    前記第２ステップでは、前記色情報または前記距離情報に基づいて、かつ予めアノテーションが付与された学習データにより学習強化された所定のアルゴリズムを用いて、前記形状データから前記ビード領域データを抽出することを特徴とする寸法測定方法。
  15. １または複数のプロセッサに、請求項８に記載の寸法測定方法を実行させるための寸法測定用プログラム。
  16. 請求項１に記載の寸法測定装置と、
    前記溶接ビードを含む溶接箇所の不良の有無を判定する形状不良判定装置と、を少なくとも備え、
    前記寸法測定装置の測定結果と、前記形状不良判定装置の判定結果とに基づいて、前記溶接箇所の外観が所定の基準を満足するか否かを判定することを特徴とする溶接箇所の良否判定装置。
JP2023033634A 2022-03-30 2023-03-06 寸法測定装置及び寸法測定方法並びに寸法測定用プログラム、溶接箇所の良否判定装置 Pending JP2023152778A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022056272 2022-03-30
JP2022056272 2022-03-30

Publications (1)

Publication Number Publication Date
JP2023152778A true JP2023152778A (ja) 2023-10-17

Family

ID=88349328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023033634A Pending JP2023152778A (ja) 2022-03-30 2023-03-06 寸法測定装置及び寸法測定方法並びに寸法測定用プログラム、溶接箇所の良否判定装置

Country Status (1)

Country Link
JP (1) JP2023152778A (ja)

Similar Documents

Publication Publication Date Title
US10679374B2 (en) Graphic overlay for measuring dimensions of features using a video inspection device
JP5953842B2 (ja) 画像検査方法および検査領域設定方法
JP7167453B2 (ja) 外観検査システム、設定装置、画像処理装置、設定方法およびプログラム
JP5217221B2 (ja) 溶接部の表面欠陥形状検出方法及びコンピュータプログラム
US11170516B2 (en) Method and device for measuring features on or near an object
JP7128933B2 (ja) 画像処理装置
JP4068596B2 (ja) 図形処理方法、図形処理装置およびコンピュータ読取り可能な図形処理プログラム
JP2003016463A (ja) 図形の輪郭の抽出方法、パターン検査方法、パターン検査装置、プログラムおよびこれを格納したコンピュータ読み取り可能な記録媒体
JP2011017705A (ja) パターン検査装置、パターン検査方法および記録媒体
JP2001338304A (ja) パターン検査装置、パターン検査方法および記録媒体
US6665066B2 (en) Machine vision system and method for analyzing illumination lines in an image to determine characteristics of an object being inspected
JP4112812B2 (ja) パターン評価方法、パターン評価装置およびコンピュータ読み取り可能な記録媒体
JP2001319219A (ja) 画像測定装置用パートプログラム生成装置及び方法、並びに画像測定装置及びその測定結果表示方法
CN110793431A (zh) 工件测量装置、工件测量方法以及计算机可读介质
US10095811B2 (en) Three-dimensional model generating method, three-dimensional model generating system, and a three-dimensional model generating program
JP7397415B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN114066752A (zh) 面向焊缝跟踪的线结构光骨架提取及毛刺去除方法
JP2023152778A (ja) 寸法測定装置及び寸法測定方法並びに寸法測定用プログラム、溶接箇所の良否判定装置
JP2008116206A (ja) パターン寸法測定装置、方法及びプログラム
CN113182701A (zh) 激光加工方法、装置、设备及存储介质
JP4100056B2 (ja) フォトマスク外観検査方法
JP2004185019A (ja) パターン検査装置、パターン検査方法および記録媒体
Gospodnetic et al. Surface inspection planning using 3d visualization
US20140172144A1 (en) System and Method for Determining Surface Defects
WO2004109268A1 (en) Weld quality evaluation