JP5672480B2 - ビードの終端部の形状を判定する装置及びその方法 - Google Patents

ビードの終端部の形状を判定する装置及びその方法 Download PDF

Info

Publication number
JP5672480B2
JP5672480B2 JP2010192129A JP2010192129A JP5672480B2 JP 5672480 B2 JP5672480 B2 JP 5672480B2 JP 2010192129 A JP2010192129 A JP 2010192129A JP 2010192129 A JP2010192129 A JP 2010192129A JP 5672480 B2 JP5672480 B2 JP 5672480B2
Authority
JP
Japan
Prior art keywords
bead
image
welding
region
end portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010192129A
Other languages
English (en)
Other versions
JP2012045610A (ja
Inventor
英伸 石田
英伸 石田
直樹 小沢
直樹 小沢
宰 萩原
宰 萩原
修一 薄井
修一 薄井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Co Ltd
Original Assignee
Suzuki Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Co Ltd filed Critical Suzuki Motor Co Ltd
Priority to JP2010192129A priority Critical patent/JP5672480B2/ja
Priority to DE102011081668A priority patent/DE102011081668B4/de
Priority to CN201110262410.XA priority patent/CN102441737B/zh
Priority to US13/221,060 priority patent/US8946595B2/en
Publication of JP2012045610A publication Critical patent/JP2012045610A/ja
Application granted granted Critical
Publication of JP5672480B2 publication Critical patent/JP5672480B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/20—Bonding
    • B23K26/21—Bonding by welding
    • B23K26/24—Seam welding
    • B23K26/244—Overlap seam welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Laser Beam Processing (AREA)

Description

本発明は、溶接材料に溶接用レーザを照射した際に形成されるビードの終端部の形状を判定する装置及びその方法に関するものである。詳しくは、本発明は、レーザ溶接による重ね合わせ溶接を行う際、溶接直後に金属からの熱発光が残っている極めて短い時間内に、ビードの終端部の画像を高速カメラで取得し、取得した画像に基づいてビードの終端部の穴欠陥を判定するアルゴリズムに関するものである。
従来より、レーザ溶接などによる溶接を行う際に、カメラや光センサなどでビード領域からの信号を検出し、その検出信号を解析してレーザ溶接における溶接欠陥を判定する方法が提案されている（例えば、特許文献１及び特許文献２）。
特許文献１では、溶接プロセス中に熱放射光センサ及び反射光センサを用いて溶接箇所からの信号を検出し、この検出信号の経時変化を溶接条件に対応する基準データテーブルと比較し、溶接可能な状態かを判定している。これにより、特許文献１では、溶接後の溶接割れや溶接欠陥を防止している。
また、特許文献２では、測定用ビームを溶接領域に放射し、溶接直後に得られた温度信号を、実験的に求めた温度の上限及び下限と比較している。そして、特許文献２では、この温度の上限及び下限を違反した回数をカウントして溶接欠陥を判定している。
特開２００７−３２６１３４号公報 特開２００５−２３０９１３号公報
図１１は、レーザ溶接を行う際に、カメラや光センサなどを用いてビード領域から連続的に信号を検出した場合の例を示している。
図１１に示すように、特許文献１のような検出信号を用いる判定方法では、ビード領域の終端部の位置で溶接用レーザの照射及びビード領域のモニタ動作が停止すると、ビードの終端部における検出信号には極めて大きな変化が生じることが知られている。そのため、ビード領域の終端部は、溶接プロセス中と同じ判定方法では溶接欠陥を判定することができないことが問題となっている。
また、特許文献２の方法では、溶接直後に得られた温度信号が制限値を何回違反したかで溶接欠陥を判定しており、ビード領域の終端部の形状自体が全く観察されていない。したがって、正確にビード領域の終端部の溶接欠陥を判定することができない可能性がある。しかも、特許文献２では、溶接用レーザ以外に測定用レーザを照射する装置も必要となり、装置のコストが高くなるという問題もあった。
図１２は、ビード領域の終端部をカメラで撮影した画像であり、ビード領域の終端部において穴欠陥が生じた場合の画像と、正常に溶接が終了した場合の画像とを示している。図１２（ａ）に示すように、ビード領域の終端部に穴欠陥が生じた場合、ビード領域の終端部がビードの延在方向に凹形状となる。一方、図１２（ｂ）に示すように、溶接が正常に終了した場合には、ビード領域の終端部がビードの延在方向に凸形状となる。
これに対して、従来より、ビード領域の終端部の穴欠陥を溶接プロセスが完全に終了した後に検査する方法が提案されている。例えば、バックライト式と呼ばれる検査方法では、レーザ溶接のプロセスが完全に終了した後に、別工程で溶接面に対して裏側から照明光を照射し、表側への漏れ光を検出して、穴欠陥を判定している。しかしながら、この方法では、溶接が終了した後に別工程として検査工程が追加されるので、生産効率が低下してしまうという問題もあった。
本発明は、このような実情に鑑みてなされたものであって、その目的は、溶接プロセスと同期してビード領域の画像を取得し、溶接プロセス直後の極めて短い時間でビードの終端部の穴欠陥を高精度に判定することが可能なビードの終端部の形状を判定する装置及びその方法を提供することにある。
本願の発明者は、溶接プロセスが終了した直後に、溶接用レーザの照射部の透過率の低さに打ち勝って、溶接材料からある程度の光量の金属熱発光が観察できることに気付き、この画像をカメラなどで撮像して穴欠陥の判定に利用する方法を発見した。この画像は、特許文献１の従来の方法では、溶接プロセス後であるため不要と判定されていた画像である。本願の発明者は、溶接プロセスが終了した直後の画像に着目し、従来では全く知られていない特徴的な形状判定を行い、溶接プロセス後の極めて短い時間で（実質的に、溶接プロセスの時間内で）穴欠陥の検査が実現できる装置及びその方法を確立した。
本発明によれば、上記従来技術の有する課題を解決するために、溶接材料に溶接用レーザを照射した際に形成されるビードの終端部の形状を判定する装置であって、前記溶接材料に前記溶接用レーザを照射するレーザ照射部と、前記溶接材料上の前記溶接用レーザを照射した部分の画像を時間経過に沿って連続的に取得するモニタ部と、前記モニタ部によって取得された画像を記憶する記憶部と、前記画像内の平均輝度が所定の画像取込用閾値以下の場合に前記記憶部から前記画像を取得する画像取込部と、前記画像取込部によって取得された前記画像内のビード領域を発光の輝度に基づいて認識するビード認識部と、前記ビード認識部によって認識された前記ビード領域に基づいて前記ビード領域の終端部の位置を算出し、前記ビード領域の前記終端部が前記ビード領域の延在方向に凸形状か凹形状かを判定するビード形状判定部とを備えている装置が提供される。
また、本発明に係る装置の別の実施態様によれば、前記モニタ部は、溶接プロセス中の画像を取得するための第１のモニタ手段と、溶接プロセスが終了した後の画像を取得するための第２のモニタ手段と、前記溶接用レーザを照射した部分からの光を前記第１のモニタ手段と前記第２のモニタ手段の２方向に分割する光分割手段とを備え、前記第１のモニタ手段に導かれる光の光量が、前記第２のモニタ手段に導かれる光の光量よりも小さくなっている。
また、本発明に係る装置の別の実施態様によれば、前記ビード認識部は、前記画像内において所定の領域認識用閾値以上の輝度を有する領域をビード領域候補として決定する領域認識手段と、前記ビード領域候補のアスペクト比に基づいて、前記ビード領域候補が前記ビード領域であるかを判断する判断手段とを備えている。
また、本発明に係る装置の別の実施態様によれば、前記ビード形状判定部は、前記ビード領域の代表点を算出する代表点算出手段と、前記ビード領域の前記終端部の中心位置を算出する中心位置算出手段と、前記ビード領域の前記代表点と前記ビード領域の前記終端部の前記中心位置との間の中間点を算出する中間点算出手段と、前記中心位置と前記中間点とを結ぶ線分を挟んで平行に延び、且つ前記ビード領域の前記終端部の外周部に交わる２つの直線を算出する直線算出手段と、前記２つの直線と前記終端部の前記外周部との交点を算出し、前記交点と前記中心位置とに基づいて湾曲度を計算し、該湾曲度を用いて前記ビード領域の前記終端部が凸形状か凹形状かを判定する湾曲度算出手段とを備えている。
また、本発明に係る装置の別の実施態様によれば、前記湾曲度は、前記交点を結ぶ線分から前記中心位置までの距離である。
また、本発明に係る装置の別の実施態様によれば、前記湾曲度算出手段は、前記画像取込部が複数の画像を取得した場合、前記複数の画像から求められた平均湾曲度を用いて前記ビード領域の前記終端部が凸形状か凹形状かを判定するように構成されている。
また、本発明によれば、溶接材料に溶接用レーザを照射した際に形成されるビードの終端部の形状を判定する方法であって、前記溶接材料に前記溶接用レーザを照射するステップと、前記溶接材料上の前記溶接用レーザを照射した部分の画像を時間経過に沿って取得するステップと、前記画像を記憶部に記憶するステップと、前記画像内の平均輝度が所定の画像取込用閾値以下の場合に前記記憶部から前記画像を取得するステップと、前記記憶部から取得した前記画像内のビード領域を発光の輝度に基づいて認識するステップと、該認識されたビード領域に基づいて前記ビード領域の終端部の位置を算出し、前記ビード領域の前記終端部が前記ビード領域の延在方向に凸形状か凹形状かを判定するステップとを含む方法が提供される。
また、本発明に係る方法の別の実施態様によれば、前記溶接用レーザを照射した部分の画像を時間経過に沿って取得するステップは、前記溶接用レーザを照射した部分からの光を第１のモニタ手段と第２のモニタ手段の２方向に分割する工程と、前記第１のモニタ手段によって溶接プロセス中の画像を取得する工程と、前記第２のモニタ手段によって溶接プロセスが終了した後の画像を取得する工程とを含み、前記第１のモニタ手段に導かれる光の光量が、前記第２のモニタ手段に導かれる光の光量よりも小さくなっている。
また、本発明に係る方法の別の実施態様によれば、前記ビード領域を認識するステップは、前記画像内において所定の領域認識用閾値以上の輝度を有する領域をビード領域候補として決定する工程と、前記ビード領域候補のアスペクト比に基づいて、前記ビード領域候補が前記ビード領域であるかを判断する工程とを含む。
また、本発明に係る方法の別の実施態様によれば、前記ビード領域内の終端部が前記ビード領域の延在方向に凸形状か凹形状かを判定するステップは、前記ビード領域の代表点を算出する工程と、前記ビード領域の前記終端部の中心位置を算出する工程と、前記ビード領域の前記代表点と前記ビード領域の前記終端部の前記中心位置との間の中間点を算出する工程と、前記中心位置と前記中間点とを結ぶ線分を挟んで平行に延び、且つ前記ビード領域の前記終端部の外周部に交わる２つの直線を算出する工程と、前記２つの直線と前記終端部の前記外周部との交点を算出し、前記交点と前記中心位置とに基づいて湾曲度を計算し、該湾曲度を用いて前記ビード領域の前記終端部が凸形状か凹形状かを判定する工程とを含む。
また、本発明に係る方法の別の実施態様によれば、前記湾曲度は、前記交点を結ぶ線分から前記中心位置までの距離である。
また、本発明に係る方法の別の実施態様によれば、前記終端部が凸形状か凹形状かを判定する工程は、前記記憶部から複数の画像を取得した場合、前記複数の画像から求められた平均湾曲度を用いて前記ビード領域の前記終端部が凸形状か凹形状かを判定する。
本発明に係るビードの終端部の形状を判定する装置によれば、前記溶接材料に前記溶接用レーザを照射するレーザ照射部と、前記溶接材料上の前記溶接用レーザを照射した部分の画像を連続的に取得するモニタ部と、前記モニタ部によって取得された画像を記憶する記憶部と、前記画像内の平均輝度が所定の画像取込用閾値以下の場合に前記記憶部から前記画像を取得する画像取込部と、前記画像取込部によって取得された前記画像内のビード領域を認識するビード認識部と、前記ビード認識部によって認識された前記ビード領域に基づいて前記ビード領域の終端部の位置を算出し、前記ビード領域の前記終端部が前記ビード領域の延在方向に凸形状か凹形状かを判定するビード形状判定部とを備えている。この構成によれば、溶接直後に得られた画像を用いてビード領域の終端部の形状自体を凸形状か凹形状かを判定するので、溶接プロセス中に得られる信号の経時変化を利用する従来の構成に比べて、より高精度にビードの終端部の穴欠陥を判定することができる。また、溶接プロセス後の極めて短い時間で（実質的に、溶接プロセスの時間内で）、ビードの終端部の穴欠陥を判定することができ、溶接が終了した後に別工程として検査工程を追加する必要がなく、生産効率が向上する。また、この構成によれば、装置が溶接用レーザを照射する照射部のみ備えていればよいので、従来のように溶接用レーザ以外に測定用レーザ用の照射部を設ける必要がなくなり、装置のコストを抑えることもできる。
また、本発明に係るビードの終端部の形状を判定する装置によれば、前記モニタ部は、溶接プロセス中の画像を取得するための第１のモニタ手段と、溶接プロセスが終了した後の画像を取得するための第２のモニタ手段と、前記溶接用レーザを照射した部分からの光を前記第１のモニタ手段と前記第２のモニタ手段の２方向に分割する光分割手段とを備え、前記第１のモニタ手段に導かれる光の光量が、前記第２のモニタ手段に導かれる光の光量よりも小さくなっているので、ダイナミックレンジが小さいモニタ手段を使用する場合でも、２つのモニタ手段を溶接中と溶接直後用とで使い分けることにより、溶接中の画像と溶接直後の画像の両方を撮像することができる。したがって、ダイナミックレンジが小さいモニタ手段を使用する場合でも、溶接直後の画像を用いてビード領域の終端部の穴欠陥を判定することができる。
また、本発明に係るビードの終端部の形状を判定する装置によれば、前記ビード認識部は、前記画像内において所定の領域認識用閾値以上の輝度を有する領域をビード領域候補として決定する領域認識手段と、前記ビード領域候補のアスペクト比に基づいて、前記ビード領域候補が前記ビード領域であるかを判断する判断手段とを備えているので、アスペクト比という簡易な処理でビード領域が認識されることになり、装置への処理負荷も小さく、認識処理を高速に行うことができる。
また、本発明に係るビードの終端部の形状を判定する装置によれば、前記ビード形状判定部は、前記ビード領域の代表点を算出する代表点算出手段と、前記ビード領域の前記終端部の中心位置を算出する中心位置算出手段と、前記ビード領域の前記代表点と前記ビード領域の前記終端部の前記中心位置との間の中間点を算出する中間点算出手段と、前記中心位置と前記中間点とを結ぶ線分を挟んで平行に延び、且つ前記ビード領域の前記終端部の外周部に交わる２つの直線を算出する直線算出手段と、前記２つの直線と前記終端部の前記外周部との交点を算出し、前記交点と前記中心位置とに基づいて湾曲度を計算し、該湾曲度を用いて前記ビード領域の前記終端部が凸形状か凹形状かを判定する湾曲度算出手段とを備えているので、画像内のビード領域の終端部に対してベクトルを利用した形状判定が行われることになり、終端部が凸形状か凹形状かをより高精度に判定することができる。
また、本発明に係るビードの終端部の形状を判定する装置によれば、前記湾曲度は、前記交点を結ぶ線分から前記中心位置までの距離であるので、簡易な処理で湾曲度を算出することができ、装置への処理負荷も小さく、判定処理を高速に行うことができる。
また、本発明に係るビードの終端部の形状を判定する装置によれば、前記湾曲度算出手段は、前記画像取込部が複数の画像を取得した場合、前記複数の画像から求められた平均湾曲度を用いて前記ビード領域の前記終端部が凸形状か凹形状かを判定するように構成されているので、複数の画像の湾曲度の結果が反映されることになり、終端部が凸形状か凹形状かをより高精度に判定することができる。
本発明に係るビードの終端部の形状を判定する方法によれば、前記溶接材料に前記溶接用レーザを照射するステップと、前記溶接材料上の前記溶接用レーザを照射した部分の画像を時間経過に沿って取得するステップと、前記画像を記憶部に記憶するステップと、前記画像内の平均輝度が所定の画像取込用閾値以下の場合に前記記憶部から前記画像を取得するステップと、前記記憶部から取得した前記画像内のビード領域を認識するステップと、該認識されたビード領域に基づいて前記ビード領域の終端部の位置を算出し、前記ビード領域の前記終端部が前記ビード領域の延在方向に凸形状か凹形状かを判定するステップとを含む。この方法によれば、溶接直後に得られた画像を用いてビード領域の終端部の形状自体を凸形状か凹形状かを判定するので、溶接プロセス中に得られる信号の経時変化を利用する従来の構成に比べて、より高精度にビードの終端部の穴欠陥を判定することができる。また、溶接プロセス後の極めて短い時間で（実質的に、溶接プロセスの時間内で）、ビードの終端部の穴欠陥を判定することができ、溶接が終了した後に別工程として検査工程を追加する必要がなく、生産効率が向上する。
また、本発明に係るビードの終端部の形状を判定する方法によれば、前記溶接用レーザを照射した部分の画像を時間経過に沿って取得するステップは、前記溶接用レーザを照射した部分からの光を第１のモニタ手段と第２のモニタ手段の２方向に分割する工程と、前記第１のモニタ手段によって溶接プロセス中の画像を取得する工程と、前記第２のモニタ手段によって溶接プロセスが終了した後の画像を取得する工程とを含み、前記第１のモニタ手段に導かれる光の光量が、前記第２のモニタ手段に導かれる光の光量よりも小さくなっているので、ダイナミックレンジが小さいモニタ手段を使用する場合でも、２つのモニタ手段を溶接中と溶接直後用とで使い分けることにより、溶接中の画像と溶接直後の画像の両方を撮像することができる。したがって、ダイナミックレンジが小さいモニタ手段を使用する場合でも、溶接直後の画像を用いてビード領域の終端部の穴欠陥を判定することができる。
また、本発明に係るビードの終端部の形状を判定する方法によれば、前記ビード領域を認識するステップは、前記画像内において所定の領域認識用閾値以上の輝度を有する領域をビード領域候補として決定する工程と、前記ビード領域候補のアスペクト比に基づいて、前記ビード領域候補が前記ビード領域であるかを判断する工程とを含むので、アスペクト比という簡易な処理でビード領域が認識されることになり、認識処理を高速に行うことができる。
また、本発明に係るビードの終端部の形状を判定する方法によれば、前記ビード領域内の終端部が前記ビード領域の延在方向に凸形状か凹形状かを判定するステップは、前記ビード領域の代表点を算出する工程と、前記ビード領域の前記終端部の中心位置を算出する工程と、前記ビード領域の前記代表点と前記ビード領域の前記終端部の前記中心位置との間の中間点を算出する工程と、前記中心位置と前記中間点とを結ぶ線分を挟んで平行に延び、且つ前記ビード領域の前記終端部の外周部に交わる２つの直線を算出する工程と、前記２つの直線と前記終端部の前記外周部との交点を算出し、前記交点と前記中心位置とに基づいて湾曲度を計算し、該湾曲度を用いて前記ビード領域の前記終端部が凸形状か凹形状かを判定する工程とを含むので、画像内のビード領域の終端部に対してベクトルを利用した形状判定が行われることになり、終端部が凸形状か凹形状かをより高精度に判定することができる。
また、本発明に係るビードの終端部の形状を判定する方法によれば、前記湾曲度は、前記交点を結ぶ線分から前記中心位置までの距離であるので、簡易な処理で湾曲度を算出することができ、判定処理を高速に行うことができる。
また、本発明に係るビードの終端部の形状を判定する方法によれば、前記終端部が凸形状か凹形状かを判定する工程は、前記記憶部から複数の画像を取得した場合、前記複数の画像から求められた平均湾曲度を用いて前記ビード領域の前記終端部が凸形状か凹形状かを判定するので、複数の画像の湾曲度の結果が反映されることになり、終端部が凸形状か凹形状かをより高精度に判定することができる。
本発明の実施形態に係るビードの終端部の形状を判定する装置の構成を示したブロック図である。 本発明の実施形態に係る装置の処理内容を示した図であり、ビード領域の終端部の形状を判定する手順を示した図である。 本発明の実施形態に係るモニタ部の構成と、画像取込部による画像取り込み処理を示した図である。 本発明の実施形態に係るビード認識部と代表点算出手段の処理を示した図である。 本発明の実施形態に係る装置によって湾曲度を算出した実験例である。 本発明の実施形態に係る装置の動作を示すフローチャートである。 本発明の実施形態に係る装置内のビード認識部の動作を示すフローチャートである。 本発明の実施形態に係る装置内のビード形状判定部の動作を示すフローチャートである。 本発明の別の実施形態に係るモニタ部の構成と、画像取込部による画像取り込み処理を示した図である。 本発明の別の実施形態に係るビード形状判定部の処理を示した図である。 従来のビード領域の溶接欠陥を判定する方法を示した図であり、レーザ溶接を行う際にカメラや光センサなどを用いてビード領域から連続的に信号を検出した場合の例である。 ビード領域の終端部をカメラで撮影した場合の画像であり、（ａ）が穴欠陥が生じた場合の画像であり、（ｂ）が正常に溶接が終了した場合の画像である。
以下、本発明の実施形態に係るビードの終端部の形状を判定する装置及びその方法を、図面を参照しながら説明する。
図１は、本発明の実施形態に係るビードの終端部の形状を判定する装置の構成を示したブロック図であり、図２は、ビード領域の終端部の形状を判定する手順を示した図である。また、図３は、本発明の実施形態に係るモニタ部の構成と、画像取込部による画像取り込み処理を示した図である。
図１に示すように、本実施形態に係るビードの終端部の形状を判定する装置１は、溶接材料１０を重ね合わせ溶接する際に用いられる装置であり、レーザ照射部２と、モニタ部３と、記憶部４と、画像取込部５と、ビード認識部６と、ビード形状判定部７と、アラーム出力部８とを備えている。以下に各部分について詳細に説明する。
レーザ照射部２は、溶接用レーザを照射するものであり、光ファイバなどを経由して送られてくるレーザを重ね合わせた溶接材料１０に照射するヘッド部（図示せず）を有している。なお、本実施形態において、レーザ照射部２は、波長１０６４ｎｍ付近のレーザ光を発生させるように構成されている。
図１に示すように、モニタ部３は、レーザ照射部２付近に設けられ、溶接用レーザを照射した部分の画像を連続的に取得するように構成されている。モニタ部３は、例えば、５００Ｈｚ前後のフレームレートを有する高速カメラで構成されている。また、本実施形態では、図３（ａ）に示すように、モニタ部３は、１台の高ダイナミックレンジカメラで構成されている。この高ダイナミックレンジカメラは、信号検出のダイナミックレンジが広く（すなわち、計測可能な輝度の範囲が広い）、溶接中と溶接直後の両方の画像を撮像できるものである。
また、図１に示すように、記憶部４は、モニタ部３に接続されており、モニタ部３により取得された画像を時間経過に沿って連続的に記憶するようになっている。
図１に示すように、画像取込部５は、記憶部４に接続されており、記憶部４に記憶されている画像の中から、溶接プロセスが終了した直後の画像を取り込むように構成されている。
ここで、照射部２のヘッド部の透過率は、１０６０ｎｍ付近のレーザ波長で最適化されているため、一般の可視〜近赤外光における透過率は高くない。そのため、溶接プロセスの終了直後で溶接材料１０がその熱で弱く発光している現象を観察できるのは概ね数１０ｍｓと短い時間であり、その後は、溶接材料１０からの発光の減衰が大きなって観察は厳しくなる。実験の結果、発光を観察できる時間は、典型的には、２０ｍｓであった。したがって、本実施形態では、モニタ部３が５００Ｈｚ前後のフレームレートを有する高速カメラで構成されているので、画像取込部５は、１０枚前後（２０ｍｓ÷２ｍｓ）の画像を取得できることになる。
また、画像取込部５は、溶接プロセス中の画像か溶接プロセス終了直後の画像かを判断するために、画像内の平均輝度を利用して溶接プロセスが終了したかを判定している。実験では、溶接プロセス中の画像内の平均輝度は、溶接プロセス終了直後と比較して３〜４桁ほど高いことがわかった。したがって、所定の第１の閾値（画像取込用閾値）を、溶接プロセス中と溶接プロセス終了直後の平均輝度の間になるように設定する。そして、図２の手順Ａ及び図３（ｂ）に示すように、画像取込部５は、画像内の平均輝度が所定の第１の閾値（画像取込用閾値）以下の場合に記憶部４から画像を取得するように構成されている。なお、上述したように、溶接プロセス中と溶接プロセス終了直後とでは、平均輝度が大きく異なるので、溶接プロセス終了直後の画像を取り込むための第１の閾値は、容易に設定することができる。
また、発光を観察できる時間の経過後は、モニタ部３によって取得される画像は、真っ暗になってビードの終端部の判定に使用することができなくなる。本実施形態においては、第１の閾値より小さい第２の閾値も設定し、図３（ｂ）に示すように、画像取込部５は、画像内の平均輝度が第２の閾値以下の場合、発光現象が終了したと判定して、画像の取り込み処理を終了する。
図１に示すように、ビード認識部６は、画像取込部５に接続されており、画像取込部５が取り込んだ画像を処理するものである。ビード認識部６は、画像内において所定の領域認識用閾値以上の輝度を有する領域をビード領域候補として決定する領域認識手段６ａと、ビード領域候補のアスペクト比に基づいて、ビード領域候補がビード領域であるかを判断する判断手段６ｂとを備えている。次に、ビード認識部６の各手段の処理について詳しく説明する。
図４（ａ）及び（ｂ）は、ビード認識部６における画像の処理を示した図である。
図４（ａ）に示すように、ビード認識部６の領域認識手段６ａは、画像内で所定の領域認識用閾値以上の輝度が連続する領域をビード領域候補として決定する。ここでは、ビード領域Ｃ１と飛散するスパッタ粒子の領域Ｃ２がビード領域候補となる。
次に、図４（ｂ）に示すように、ビード認識部６の判断手段６ｂは、画像に対して一定間隔の縦横直線を引き、ビード領域候補Ｃ１，Ｃ２を横切る線分の中点Ｑｉを算出する。その後、図２の手順Ｂに示すように、ビード認識部６の判断手段６ｂは、各ビード領域候補Ｃ１，Ｃ２のアスペクト比（縦横比）ｌ１／ｌ２を算出し、このアスペクト比ｌ１／ｌ２に基づいてビード領域候補Ｃ１，Ｃ２がビード領域であるかを判断する。特に、ビード領域Ｃ１はスパッタ粒子の領域Ｃ２に比べて扁平（横長）の形状になるので、ビード認識部６の判断手段６ｂは、アスペクト比ｌ１／ｌ２が所定の値以上になる場合をビード領域と判断する。
ただし、高速で飛散するスパッタ粒子に関しては、モニタ部３のカメラの露光時間の短さに限界があるので、カメラで画像を取得した際に、スパッタ粒子の領域Ｃ２が横長に延びて映る場合がある。この場合、スパッタ粒子の領域Ｃ２もアスペクト比ｌ１／ｌ２が大きくなるので、アスペクト比ｌ１／ｌ２だけに基づいてビード領域であるかを判断するのが難しくなる。
これに対処するために、本実施形態では、ビード認識部６の判断手段６ｂが更に、ビード領域候補Ｃ１，Ｃ２が前後の時間フレームの画像で移動しているかどうかを評価してビード領域であるかを判断する。具体的には、溶接プロセスの終了直後では、ビード領域Ｃ１は、画像内で停止しており、スパッタ粒子の領域Ｃ２は飛散して移動していることを利用する。ビード認識部６の判断手段６ｂは、アスペクト比ｌ１／ｌ２を閾値にしても複数のビード領域候補があった場合には、前後の時間フレームで停止している領域をビード領域であると判断する。
図１に示すように、ビード形状判定部７は、ビード認識部６に接続されており、ビード認識部６によってビード領域が認識された後の画像を処理するものである。ビード形状判定部７は、ビード認識部６によって認識されたビード領域に基づいてビード領域の終端部の位置を算出し、ビード領域の終端部がビード領域の延在方向に凸形状か凹形状かを判定するようになっている。
具体的には、図１に示すように、ビード形状判定部７は、代表点算出手段７ａと、中心位置算出手段７ｂと、中間点算出手段７ｃと、直線算出手段７ｄと、湾曲度算出手段７ｅとを備えている。次に、ビード形状判定部７の各手段について詳しく説明する。
図４（ｃ）は、代表点算出手段７ａにおける画像の処理を示した図である。図２の手順Ｃ及び図４（ｃ）に示すように、代表点算出手段７ａは、ビード認識部６によって算出された中点Ｑｉの集合を利用して、ビード領域の代表点Ｑｓを算出する。具体的には、代表点算出手段７ａは、中点Ｑｉの集合の平均位置（中点Ｑｉの縦座標の平均及び中点Ｑｉの横座標の平均）を代表点Ｑｓとして算出する。
更に、代表点算出手段７ａは、ビード領域の中点Ｑｉの集合を２次関数Ｙｃ＝ａＸ２＋ｂＸ＋ｃでフィッティングする。代表点算出手段７ａは、２次関数とビード領域の中点Ｑｉとの距離の２乗和が最小となるように係数ａ，ｂ，ｃを決定する数学的処理（最小２乗法）を行う。なお、実際には、フィッティング関数が、２次関数Ｙｃ＝ａＸ２＋ｂＸ＋ｃではなく、２次関数Ｘｃ＝ａＹ２＋ｂＹ＋ｃとなる可能性もあるため、これら両方の関数についてフィッティング処理を行い、フィッティング誤差が小さい方を選択する。
図２の手順Ｄに示すように、中心位置算出手段７ｂは、代表点算出手段７ａにおいて求めた２次関数Ｙｃがビード領域の境界と交わる交点を求めることにより、ビード領域の終端部における幅方向の中心位置Ｔを算出する。中心位置算出手段７ｂは、代表点Ｑｓを開始点として２次関数Ｙｃに沿って画像の１ピクセルごとに輝度を評価し、輝度が領域認識用閾値未満となった部分に到達した場合、その画像ピクセルの位置をビード領域の終端部の中心位置Ｔに決定する。このような処理を行う場合、左右又は上下方向の両方で輝度が領域認識用閾値未満となるピクセルが検出されるが、終端部ではない方向では、ビード領域の発光により終端部に比べて輝度の平均（代表点Ｑｓから境界までの輝度の平均）が大きくなるので、輝度の平均が小さい方向をビード領域の終端部と判定する。
図２の手順Ｅに示すように、本実施形態において、中間点算出手段７ｃは、ビード領域の代表点Ｑｓとビード領域の終端部の中心位置Ｔとの間の中間点Ｗを算出するように構成されている。ビード領域は、曲線状に形成される場合もあるため、より終端部に近い中間点Ｗを終端部の判定の基点とすることで、ビード領域の曲線部分が終端部の評価に影響しにくくなる。中間点Ｗは、以下のように、２つの位置ベクトルＴとＱｓの平均位置Ｗを算出すればよい。
さらに、図２の手順Ｅに示すように、直線算出手段７ｄは、中間点算出手段７ｃによって算出された中間点Ｗに基づいて、２つの直線Ｌ１，Ｌ２を算出するように構成されている。２つの直線Ｌ１，Ｌ２は、中心位置Ｔと中間点Ｗとを結ぶ線分ＴＷに対して垂直な方向に一定距離変位させたものであり、線分ＴＷを挟んで平行に延びるものである。この変位距離は、２つの直線Ｌ１，Ｌ２がビード領域の終端部の外周部に交わるように設定されている。なお、ビード領域の幅は溶接条件に変更がない限り大きく変化しないので、変位距離は定数として予め設定することができる。
図２の手順Ｅに示すように、湾曲度算出手段７ｅは、中心位置Ｔの方向に向かって直線Ｌ１，Ｌ２に沿って画像の１ピクセルごとに輝度を評価し、輝度が領域認識用閾値未満となった部分に到達した場合、その画像ピクセルの位置をそれぞれ境界点Ｕ，Ｖに決定する。
そして、図２の手順Ｆに示すように、湾曲度算出手段７ｅは、境界点Ｕ，Ｖを結ぶ線分ＵＶから中心位置Ｔまでの距離ｄを湾曲度として算出する。ここで、湾曲度ｄは、中心位置Ｔが線分ＵＶに対して中間点Ｗ側にあるときは、マイナスの値とし、中心位置Ｔが線分ＵＶに対して中間点Ｗとは反対側にあるときは、プラスの値とする。
最終的に、図２の手順Ｇに示すように、湾曲度算出手段７ｅは、この湾曲度ｄを用いてビード領域の終端部が凸形状か凹形状かを判定するようになっている。実験では凸形状か凹形状か判断しづらい平らな場合にも穴が発生している場合があったため、湾曲度ｄの閾値を０とする。したがって、湾曲度算出手段７ｅは、湾曲度ｄが０以下の場合には終端部が凹形状であると判定する。
図５は、本実施形態に係る装置１によって湾曲度ｄを算出した実験例である。図５（ａ）に示すように、ビード領域の終端部が凹形状の場合は、湾曲度が−０．９と算出され、一方、図５（ｂ）に示すように、ビード領域の終端部が凸形状の場合は、湾曲度が１．５と算出されている。
また、画像取込部５では、複数の画像が取り込まれる場合がある。図２の手順Ｇに示すように、湾曲度算出手段７ｅは、複数の画像を取得した場合、各画像から湾曲度を算出する。そして、湾曲度算出手段７ｅは、複数の湾曲度の平均湾曲度を用いてビード領域の終端部が凸形状か凹形状かを判定する。
そして、湾曲度算出手段７ｅは、アラーム出力部８に接続されており（図１参照）、最終的に、湾曲度算出手段７ｅは、ビード領域の終端部が凹形状である場合には、アラーム出力部８に信号を出力する。その後、アラーム出力部８が、アラームを出力し、オペレータに溶接欠陥を知らせるようになっている。
次に、本実施形態に係る装置１の動作を、図面を参照しながら説明する。図６は、本実施形態に係る装置１の動作を示すフローチャートである。
まず、ステップＳ１において、モニタ部３が、溶接用レーザを照射した部分の画像を連続的に取得する。なお、モニタ部３によって取得された画像は、記憶部４に記憶される。
次に、ステップＳ２において、画像取込部５は、溶接プロセス中の画像か溶接プロセス終了直後の画像かを判定する。
画像内の平均輝度が第１の閾値以下の場合（ステップＳ２のＮＯ）、ステップＳ３において、画像取込部５は、記憶部４から画像を取り込む。一方、画像内の平均輝度が第１の閾値より大きい場合（ステップＳ２のＹＥＳ）、引き続き、モニタ部３による画像の取得が継続される。
次に、ステップＳ４において、画像取込部５は、溶接材料１０からの発光現象が終了したかを判定する。
画像内の平均輝度が第２の閾値以下の場合（ステップＳ４のＮＯ）、発光現象が終了したと判定し、ステップＳ５に進む。一方、画像内の平均輝度が第２の閾値より大きい場合（ステップＳ４のＹＥＳ）、引き続き、画像取込部５による画像の取り込みが継続される。
さらに、ステップＳ５において、ビード認識部６は、画像取込部５によって取得された画像内の溶接形状を認識する。具体的には、ビード認識部６は、画像内に存在する所定の輝度を有する領域がビード領域かそれ以外の領域かを認識する。
次に、ステップＳ６において、ビード形状判定部７は、ビード認識部６によって認識されたビード領域に基づいてビード領域の終端部の位置を算出し、ビード領域の終端部がビード領域の延在方向に凸形状か凹形状かを判定する。
そして、ステップＳ７において、ビード形状判定部７は、ビード領域の終端部が凸形状である場合、欠陥なしと判定する（ステップＳ７のＮＯ）。一方、ビード領域の終端部が凹形状である場合（ステップＳ７のＹＥＳ）、ステップＳ８に進み、アラーム出力部８が、アラームを出力し、オペレータに溶接欠陥を知らせるようになっている。
以上のステップにより、ビードの終端部の形状を判定し、溶接の欠陥を検出することができる。
次に、図６の溶接形状の認識処理（ステップＳ５）の詳細を、図面を参照しながら説明する。図７は、本実施形態に係るビード認識部６の動作を示すフローチャートである。
まず、ステップＳ５１において、ビード認識部６の領域認識手段６ａが、画像内で所定の領域認識用閾値以上の輝度が連続する領域をビード領域候補として決定し、その後、ビード認識部６の判断手段６ｂが、各ビード領域候補のアスペクト比（縦横比）を算出する。
次に、ステップＳ５２において、アスペクト比が所定の閾値より大きい場合（ステップＳ５２のＹＥＳ）、ステップＳ５４に進む。一方、アスペクト比が所定の閾値以下の場合（ステップＳ５２のＮＯ）、ステップＳ５３において、ビード認識部６の判断手段６ｂが、対象の領域をビード領域以外の領域（例えば、スパッタ領域）と判定する。
次に、ステップＳ５４において、ビード領域候補が２つ以上ある場合（ステップＳ５４のＹＥＳ）、ステップＳ５６に進む。一方、ビード領域候補が１つしかない場合（ステップＳ５４のＮＯ）、ステップＳ５５において、ビード認識部６の判断手段６ｂが、そのビード領域候補をビード領域と判定する。
ステップＳ５６では、ビード認識部６の判断手段６ｂが、複数のビード領域候補の中から、前後の時間フレームで停止している領域をビード領域であると判定する。
以上のステップにより、画像内の溶接形状を認識することができる。
次に、図６のビードの終端形状の分析処理（ステップＳ６）の詳細を、図面を参照しながら説明する。図８は、本実施形態に係るビード形状判定部７の動作を示すフローチャートである。
まず、ステップＳ６１において、代表点算出手段７ａが、ビード領域の中点Ｑｉの集合を用いて、ビード領域の代表点Ｑｓを算出する。
次に、ステップＳ６２において、代表点算出手段７ａが、ビード領域の中点Ｑｉの集合を２次関数Ｙｃ＝ａＸ２＋ｂＸ＋ｃでフィッティングする。この際、代表点算出手段７ａは、２次関数Ｙｃとビード領域の中点Ｑｉとの距離の２乗和が最小となるように係数ａ，ｂ，ｃを決定する数学的処理（最小２乗法）を実行する。
次に、ステップＳ６３において、中心位置算出手段７ｂが、代表点算出手段７ａにおいて求めた２次関数Ｙｃがビード領域の境界と交わる交点を求めることによりビード領域の終端部の中心位置Ｔを算出する。
そして、ステップＳ６４において、中間点算出手段７ｃが、ビード領域の代表点Ｑｓとビード領域の終端部の中心位置Ｔとの間の中間点Ｗを算出する。
次に、ステップＳ６５において、直線算出手段７ｄは、中間点算出手段７ｃによって算出された中間点Ｗに基づいて、２つの直線Ｌ１，Ｌ２を算出する。２つの直線Ｌ１，Ｌ２は、中心位置Ｔと中間点Ｗとを結ぶ線分ＴＷに対して垂直な方向に一定距離変位させたものであり、線分ＴＷを挟んで平行に延びるものである。
次に、ステップＳ６６において、湾曲度算出手段７ｅは、２つの直線Ｌ１，Ｌ２とビード領域の終端部の外周部との境界点Ｕ，Ｖを算出し、そして、境界点Ｕ，Ｖを結ぶ線分ＵＶから中心位置Ｔまでの距離ｄを湾曲度として算出する。
次に、ステップＳ６７において、湾曲度算出手段７ｅは、複数の画像を取得した場合、各画像から湾曲度ｄを算出し、複数の湾曲度の平均湾曲度を計算する。
そして、ステップＳ６８において、平均湾曲度が０より大きい場合（ステップＳ６８のＮＯ）、ステップＳ６９に進み、湾曲度算出手段７ｅが、欠陥なしと判定する。一方、平均湾曲度が０以下の場合（ステップＳ６８のＹＥＳ）、ステップＳ７０に進み、湾曲度算出手段７ｅが、欠陥ありと判定する。
以上のステップによりビード領域の終端部の形状の分析を行うことができる。
本実施形態に係る装置１は、溶接材料１０に溶接用レーザを照射するレーザ照射部２と、溶接材料１０上の溶接用レーザを照射した部分の画像を連続的に取得するモニタ部３と、モニタ部３によって取得された画像を記憶する記憶部４と、画像内の平均輝度が所定の第１の閾値以下の場合に記憶部４から画像を取得する画像取込部５と、画像取込部５によって取得された画像内のビード領域を認識するビード認識部６と、ビード認識部６によって認識されたビード領域に基づいてビード領域の終端部の位置を算出し、ビード領域の終端部がビード領域の延在方向に凸形状か凹形状かを判定するビード形状判定部７とを備えている。
本実施形態では、数１００Ｈｚ程度の高速カメラからなるモニタ部３で溶接直後の画像を取得すると、穴欠陥があるときは画像のビード領域の終端部が凹形状の発光領域となり、穴欠陥がない場合（ひけがある場合やひけもなく平坦な場合）は凸形状の発光領域となる。装置１はこれを利用して穴欠陥の有無を判定するため、溶接プロセス中に得られる信号の経時変化を利用する従来の構成に比べて、より高精度にビードの終端部の穴欠陥を判定することができる。また、溶接プロセス後の極めて短い時間で（実質的に、溶接プロセスの時間内で）、ビードの終端部の穴欠陥を判定することができ、溶接が終了した後に別工程として検査工程を追加する必要がなく、生産効率が向上する。また、この構成によれば、装置１が溶接用レーザを照射する照射部２のみ備えていればよいので、従来のように溶接用レーザ以外に測定用レーザ用の照射部を設ける必要がなくなり、装置１のコストを抑えることもできる。
また、本実施形態に係る装置１においては、ビード認識部６が、画像内において所定の領域認識用閾値以上の輝度を有する領域をビード領域候補として決定する領域認識手段６ａと、ビード領域候補のアスペクト比に基づいて、ビード領域候補がビード領域であるかを判断する判断手段６ｂとを備えているので、アスペクト比という簡易な処理でビード領域が認識されることになり、装置１への処理負荷が小さく、認識処理も高速に行うことができる。
また、本実施形態に係る装置１においては、ビード形状判定部７は、ビード領域の代表点Ｑｓを算出する代表点算出手段７ａと、ビード領域の終端部の中心位置Ｔを算出する中心位置算出手段７ｂと、ビード領域の代表点Ｑｓとビード領域の終端部の中心位置Ｔとの間の中間点Ｗを算出する中間点算出手段７ｃと、中心位置Ｔと中間点Ｗとを結ぶ線分ＴＷを挟んで平行に延び、且つビード領域の終端部の外周部に交わる２つの直線Ｌ１，Ｌ２を算出する直線算出手段７ｄと、２つの直線Ｌ１，Ｌ２と終端部の外周部との交点Ｕ，Ｖを算出し、交点Ｕ，Ｖと中心位置Ｔとに基づいて湾曲度ｄを計算し、湾曲度ｄを用いてビード領域の終端部が凸形状か凹形状かを判定する湾曲度算出手段７ｅとを備えているので、画像内のビード領域の終端部に対してベクトルを利用した形状判定が行われることになり、終端部が凸形状か凹形状かをより高精度に判定することができる。しかも、終端部の凹凸を湾曲度ｄという値で定量的に評価することができ、ビードの終端部の穴欠陥をより容易に行える。
また、本実施形態に係る装置１においては、湾曲度ｄは、交点Ｕ，Ｖを結ぶ線分ＵＶから中心位置Ｔまでの距離であるので、簡易な処理で湾曲度を算出することができ、装置１の処理負荷が小さく、判定処理も高速に行うことができる。また、湾曲度算出手段７ｅは、画像取込部５が複数の画像を取得した場合、複数の画像から求められた平均湾曲度を用いてビード領域の終端部が凸形状か凹形状かを判定するように構成されているので、複数の画像の湾曲度の結果が反映されることになり、終端部が凸形状か凹形状かをより高精度に判定することができる。
以下では、ビードの終端部の形状を判定する装置の別の実施形態について、図面を参照しながら説明する。図９は、本発明の別の実施形態に係るモニタ部３の構成と、画像取込部５による画像取り込み処理を示した図である。
上述した実施形態では、図３に示すように、モニタ部３は、溶接中と溶接直後の両方の画像を撮像できる１台の高ダイナミックレンジカメラで構成されているが、ダイナミックレンジが小さいカメラを使用する場合、１台のカメラで溶接中と溶接直後の両方の画像を撮像することが不可能となる。なぜなら、１台のカメラで溶接中と溶接直後とで検出ゲイン設定を変更しようとしても、カメラの検出ゲインの設定を切り替えるのに要する時間が、溶接終了直後の発光を観察できる時間ほど短くならず、溶接直後の画像を撮像することができないためである。
これに対処するために、図９（ａ）に示すように、この実施形態においては、モニタ部３が、２台のカメラ３Ａ，３Ｂを備えている。具体的には、モニタ部３は、溶接プロセス中の画像を取得するためのプロセス観察用カメラ（第１のモニタ手段）３Ａと、溶接プロセスが終了した後の画像を取得するための溶接終了後観察用カメラ（第２のモニタ手段）３Ｂとを備えている。
さらに、図９（ａ）に示すように、モニタ部３は、溶接用レーザを照射した部分からの光をプロセス観察用カメラ３Ａと溶接終了後観察用カメラ３Ｂの２方向に分割するビームスプリッタ（光分割手段）３Ｃを備えている。ここで、溶接プロセス中は、溶接用レーザを照射した部分からの光の光量が非常に大きくなるので、２台のカメラ３Ａ，３Ｂのうちプロセス観察用カメラ３Ａに導かれる光の光量は、溶接終了後観察用カメラ３Ｂに導かれる光の光量よりも小さく設定されている。具体的には、プロセス観察用カメラ３Ａに導かれる光の光量は、溶接用レーザを照射した部分からの元の光量に対して数％でよく、大部分の光量は、溶接終了後観察用カメラ３Ｂに導かれればよい。
したがって、かかる実施形態においては、図９（ｂ）に示すように、プロセス観察用カメラ３Ａでは、溶接プロセス中の高い輝度の画像が計測レンジに入るように調節されているので、溶接終了直度の画像は逆に真っ暗になり観察はできなくなる。その一方で、図９（ｃ）に示すように、溶接終了後観察用カメラ３Ｂでは、溶接プロセス中の画像は明る過ぎて輝度が飽和し、観察できないが、溶接終了直後の画像は、観察できることになる。なお、かかる実施形態において、２台のカメラ３Ａ，３Ｂで取得された画像は、上述した実施形態と同様に記憶部４に記憶され、その後の処理（平均輝度を求めて画像取込用閾値と比較する処理など）も上述した実施形態と同じ処理である。
このようにかかる実施形態においては、ダイナミックレンジが小さいカメラを使用する場合でも、溶接中と溶接直後の両方の画像を撮像できる。
以下では、ビード形状判定部７の別の実施形態について、図面を参照しながら説明する。図１０は、別の実施形態に係るビード形状判定部７の処理を示した図である。
この実施形態においては、図１０に示すように、直線算出手段７ｄが、まず、中心位置Ｔと中間点Ｗとを結ぶ線分ＴＷに対して垂直な方向の直線Ｌ３を算出する。この直線Ｌ３とビード領域の終端部の外周部とが交わる点を交点Ｗ１及びＷ２とし、直線算出手段７ｄは、線分ＷＷ１と線分ＷＷ２の中点Ｗ３及びＷ４を算出する。そして、直線算出手段７ｄは、中心位置Ｔと中点Ｗ３を結ぶ線分ＴＷ３（図１０のベクトルｍ）と、中心位置Ｔと中点Ｗ４を結ぶ線分ＴＷ４（図１０のベクトルｎ）を算出する。
その後、湾曲度算出手段７ｅは、ベクトルｍ及びｎを平行移動させ、平行移動したベクトルｍ及びｎとビード領域の終端部の外周部との接点をそれぞれ境界点Ｕ，Ｖに決定する。なお、かかる実施形態において、境界点Ｕ，Ｖを決定した後の湾曲度ｄの算出は、上述した実施形態と同じ処理である。
以上、本発明の実施の形態につき述べたが、本発明は既述の実施形態に限定されるものでなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。
上述の実施形態では、重ね合わせ溶接を対象としているが、溶接材料の溶接位置に穴欠陥が存在するかという幾何学的な状況を判定するものであるため、形状段差溶接や突合せ溶接など、孤立した穴欠陥が生じる溶接に適用することができる。
また、上述の実施形態は、ビード領域の終端部における穴欠陥を判定する装置及び方法であるが、終端部に限らず溶接途中の部分においても穴欠陥を判定することができる。
１ 装置
２ レーザ照射部
３ モニタ部
３Ａ プロセス観察用カメラ
３Ｂ 溶接終了後観察用カメラ
３Ｃ ビームスプリッタ
４ 記憶部
５ 画像取込部
６ ビード認識部
６ａ 領域認識手段
６ｂ 判断手段
７ ビード形状判定部
７ａ 代表点算出手段
７ｂ 中心位置算出手段
７ｃ 中間点算出手段
７ｄ 直線算出手段
７ｅ 湾曲度算出手段
１０ 溶接材料

Claims (12)

  1. 溶接材料に溶接用レーザを照射した際に形成されるビードの終端部の形状を判定する装置であって、
    前記溶接材料に前記溶接用レーザを照射するレーザ照射部と、
    前記溶接材料上の前記溶接用レーザを照射した部分の画像を時間経過に沿って連続的に取得するモニタ部と、
    前記モニタ部によって取得された画像を記憶する記憶部と、
    前記画像内の平均輝度が所定の画像取込用閾値以下の場合に前記記憶部から前記画像を取得する画像取込部と、
    前記画像取込部によって取得された前記画像内のビード領域を発光の輝度に基づいて認識するビード認識部と、
    前記ビード認識部によって認識された前記ビード領域に基づいて前記ビード領域の終端部の位置を算出し、前記ビード領域の前記終端部が前記ビード領域の延在方向に凸形状か凹形状かを判定するビード形状判定部と
    を備えていることを特徴とする装置。
  2. 前記モニタ部は、
    溶接プロセス中の画像を取得するための第１のモニタ手段と、
    溶接プロセスが終了した後の画像を取得するための第２のモニタ手段と、
    前記溶接用レーザを照射した部分からの光を前記第１のモニタ手段と前記第２のモニタ手段の２方向に分割する光分割手段と
    を備え、
    前記第１のモニタ手段に導かれる光の光量が、前記第２のモニタ手段に導かれる光の光量よりも小さくなっていることを特徴とする請求項１に記載の装置。
  3. 前記ビード認識部は、
    前記画像内において所定の領域認識用閾値以上の輝度を有する領域をビード領域候補として決定する領域認識手段と、
    前記ビード領域候補のアスペクト比に基づいて、前記ビード領域候補が前記ビード領域であるかを判断する判断手段と
    を備えていることを特徴とする請求項１または２に記載の装置。
  4. 前記ビード形状判定部は、
    前記ビード領域の代表点を算出する代表点算出手段と、
    前記ビード領域の前記終端部の中心位置を算出する中心位置算出手段と、
    前記ビード領域の前記代表点と前記ビード領域の前記終端部の前記中心位置との間の中間点を算出する中間点算出手段と、
    前記中心位置と前記中間点とを結ぶ線分を挟んで平行に延び、且つ前記ビード領域の前記終端部の外周部に交わる２つの直線を算出する直線算出手段と、
    前記２つの直線と前記終端部の前記外周部との交点を算出し、前記交点と前記中心位置とに基づいて湾曲度を計算し、該湾曲度を用いて前記ビード領域の前記終端部が凸形状か凹形状かを判定する湾曲度算出手段と
    を備えていることを特徴とする請求項１ないし３のいずれか一項に記載の装置。
  5. 前記湾曲度は、前記交点を結ぶ線分から前記中心位置までの距離であることを特徴とする請求項１ないし４のいずれか一項に記載の装置。
  6. 前記湾曲度算出手段は、前記画像取込部が複数の画像を取得した場合、前記複数の画像から求められた平均湾曲度を用いて前記ビード領域の前記終端部が凸形状か凹形状かを判定するように構成されていることを特徴とする請求項１ないし５のいずれか一項に記載の装置。
  7. 溶接材料に溶接用レーザを照射した際に形成されるビードの終端部の形状を判定する方法であって、
    前記溶接材料に前記溶接用レーザを照射するステップと、
    前記溶接材料上の前記溶接用レーザを照射した部分の画像を時間経過に沿って取得するステップと、
    前記画像を記憶部に記憶するステップと、
    前記画像内の平均輝度が所定の画像取込用閾値以下の場合に前記記憶部から前記画像を取得するステップと、
    前記記憶部から取得した前記画像内のビード領域を発光の輝度に基づいて認識するステップと、
    該認識されたビード領域に基づいて前記ビード領域の終端部の位置を算出し、前記ビード領域の前記終端部が前記ビード領域の延在方向に凸形状か凹形状かを判定するステップと
    を含むことを特徴とする方法。
  8. 前記溶接用レーザを照射した部分の画像を時間経過に沿って取得するステップは、
    前記溶接用レーザを照射した部分からの光を第１のモニタ手段と第２のモニタ手段の２方向に分割する工程と、
    前記第１のモニタ手段によって溶接プロセス中の画像を取得する工程と、
    前記第２のモニタ手段によって溶接プロセスが終了した後の画像を取得する工程と
    を含み、
    前記第１のモニタ手段に導かれる光の光量が、前記第２のモニタ手段に導かれる光の光量よりも小さくなっていることを特徴とする請求項７に記載の方法。
  9. 前記ビード領域を認識するステップは、
    前記画像内において所定の領域認識用閾値以上の輝度を有する領域をビード領域候補として決定する工程と、
    前記ビード領域候補のアスペクト比に基づいて、前記ビード領域候補が前記ビード領域であるかを判断する工程と
    を含むことを特徴とする請求項７または８のいずれか一項に記載の方法。
  10. 前記ビード領域内の終端部が前記ビード領域の延在方向に凸形状か凹形状かを判定するステップは、
    前記ビード領域の代表点を算出する工程と、
    前記ビード領域の前記終端部の中心位置を算出する工程と、
    前記ビード領域の前記代表点と前記ビード領域の前記終端部の前記中心位置との間の中間点を算出する工程と、
    前記中心位置と前記中間点とを結ぶ線分を挟んで平行に延び、且つ前記ビード領域の前記終端部の外周部に交わる２つの直線を算出する工程と、
    前記２つの直線と前記終端部の前記外周部との交点を算出し、前記交点と前記中心位置とに基づいて湾曲度を計算し、該湾曲度を用いて前記ビード領域の前記終端部が凸形状か凹形状かを判定する工程と
    を含むことを特徴とする請求項７ないし９のいずれか一項に記載の方法。
  11. 前記湾曲度は、前記交点を結ぶ線分から前記中心位置までの距離であることを特徴とする請求項７ないし１０のいずれか一項に記載の方法。
  12. 前記終端部が凸形状か凹形状かを判定する工程は、前記記憶部から複数の画像を取得した場合、前記複数の画像から求められた平均湾曲度を用いて前記ビード領域の前記終端部が凸形状か凹形状かを判定することを特徴とする請求項７ないし１１のいずれか一項に記載の方法。
JP2010192129A 2010-08-30 2010-08-30 ビードの終端部の形状を判定する装置及びその方法 Active JP5672480B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010192129A JP5672480B2 (ja) 2010-08-30 2010-08-30 ビードの終端部の形状を判定する装置及びその方法
DE102011081668A DE102011081668B4 (de) 2010-08-30 2011-08-26 Vorrichtung und Verfahren zur Bestimmung der Form des Endes einer Schweißnaht
CN201110262410.XA CN102441737B (zh) 2010-08-30 2011-08-30 用于确定焊缝端部的形状的设备和方法
US13/221,060 US8946595B2 (en) 2010-08-30 2011-08-30 Apparatus and method for determining shape of end of welding bead

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010192129A JP5672480B2 (ja) 2010-08-30 2010-08-30 ビードの終端部の形状を判定する装置及びその方法

Publications (2)

Publication Number Publication Date
JP2012045610A JP2012045610A (ja) 2012-03-08
JP5672480B2 true JP5672480B2 (ja) 2015-02-18

Family

ID=45695752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010192129A Active JP5672480B2 (ja) 2010-08-30 2010-08-30 ビードの終端部の形状を判定する装置及びその方法

Country Status (4)

Country Link
US (1) US8946595B2 (ja)
JP (1) JP5672480B2 (ja)
CN (1) CN102441737B (ja)
DE (1) DE102011081668B4 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9352411B2 (en) 2008-05-28 2016-05-31 Illinois Tool Works Inc. Welding training system
US9101994B2 (en) 2011-08-10 2015-08-11 Illinois Tool Works Inc. System and device for welding training
US9583014B2 (en) 2012-11-09 2017-02-28 Illinois Tool Works Inc. System and device for welding training
JP5764592B2 (ja) * 2013-02-22 2015-08-19 東京エレクトロン株式会社 基板処理装置、基板処理装置の監視装置及び基板処理装置の監視方法
US9672757B2 (en) 2013-03-15 2017-06-06 Illinois Tool Works Inc. Multi-mode software and method for a welding training system
US9713852B2 (en) 2013-03-15 2017-07-25 Illinois Tool Works Inc. Welding training systems and devices
US9583023B2 (en) 2013-03-15 2017-02-28 Illinois Tool Works Inc. Welding torch for a welding training system
US9728103B2 (en) 2013-03-15 2017-08-08 Illinois Tool Works Inc. Data storage and analysis for a welding training system
US9666100B2 (en) 2013-03-15 2017-05-30 Illinois Tool Works Inc. Calibration devices for a welding training system
US10056010B2 (en) 2013-12-03 2018-08-21 Illinois Tool Works Inc. Systems and methods for a weld training system
US10105782B2 (en) 2014-01-07 2018-10-23 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US9751149B2 (en) 2014-01-07 2017-09-05 Illinois Tool Works Inc. Welding stand for a welding system
US10170019B2 (en) 2014-01-07 2019-01-01 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US9757819B2 (en) 2014-01-07 2017-09-12 Illinois Tool Works Inc. Calibration tool and method for a welding system
US9589481B2 (en) 2014-01-07 2017-03-07 Illinois Tool Works Inc. Welding software for detection and control of devices and for analysis of data
US9724788B2 (en) 2014-01-07 2017-08-08 Illinois Tool Works Inc. Electrical assemblies for a welding system
CN103743751A (zh) * 2014-01-15 2014-04-23 唐山英莱科技有限公司 基于折射式双路会聚可调光路的无坡口对接焊缝检测***
US10307853B2 (en) 2014-06-27 2019-06-04 Illinois Tool Works Inc. System and method for managing welding data
US9862049B2 (en) 2014-06-27 2018-01-09 Illinois Tool Works Inc. System and method of welding system operator identification
US9937578B2 (en) 2014-06-27 2018-04-10 Illinois Tool Works Inc. System and method for remote welding training
US10665128B2 (en) 2014-06-27 2020-05-26 Illinois Tool Works Inc. System and method of monitoring welding information
US11014183B2 (en) 2014-08-07 2021-05-25 Illinois Tool Works Inc. System and method of marking a welding workpiece
US9724787B2 (en) 2014-08-07 2017-08-08 Illinois Tool Works Inc. System and method of monitoring a welding environment
US9875665B2 (en) 2014-08-18 2018-01-23 Illinois Tool Works Inc. Weld training system and method
US10239147B2 (en) 2014-10-16 2019-03-26 Illinois Tool Works Inc. Sensor-based power controls for a welding system
US11247289B2 (en) 2014-10-16 2022-02-15 Illinois Tool Works Inc. Remote power supply parameter adjustment
US10373304B2 (en) 2014-11-05 2019-08-06 Illinois Tool Works Inc. System and method of arranging welding device markers
US10402959B2 (en) 2014-11-05 2019-09-03 Illinois Tool Works Inc. System and method of active torch marker control
US10204406B2 (en) 2014-11-05 2019-02-12 Illinois Tool Works Inc. System and method of controlling welding system camera exposure and marker illumination
US10490098B2 (en) 2014-11-05 2019-11-26 Illinois Tool Works Inc. System and method of recording multi-run data
US10417934B2 (en) 2014-11-05 2019-09-17 Illinois Tool Works Inc. System and method of reviewing weld data
US10210773B2 (en) 2014-11-05 2019-02-19 Illinois Tool Works Inc. System and method for welding torch display
US10427239B2 (en) 2015-04-02 2019-10-01 Illinois Tool Works Inc. Systems and methods for tracking weld training arc parameters
US10657839B2 (en) 2015-08-12 2020-05-19 Illinois Tool Works Inc. Stick welding electrode holders with real-time feedback features
US10593230B2 (en) 2015-08-12 2020-03-17 Illinois Tool Works Inc. Stick welding electrode holder systems and methods
US10438505B2 (en) 2015-08-12 2019-10-08 Illinois Tool Works Welding training system interface
US10373517B2 (en) 2015-08-12 2019-08-06 Illinois Tool Works Inc. Simulation stick welding electrode holder systems and methods
CN105588845B (zh) * 2016-01-04 2018-07-03 江苏科技大学 一种焊接缺陷特征参数提取方法
JP6815162B2 (ja) 2016-10-20 2021-01-20 株式会社日立製作所 溶接監視システムおよび溶接監視方法
CN108613640A (zh) * 2016-12-13 2018-10-02 海太半导体（无锡）有限公司 一种半导体锡球共面性测试***及方法
CN109986198A (zh) * 2017-12-29 2019-07-09 大族激光科技产业集团股份有限公司 一种高功率焊接的熔池监测装置
US11311958B1 (en) * 2019-05-13 2022-04-26 Airgas, Inc. Digital welding and cutting efficiency analysis, process evaluation and response feedback system for process optimization
US11288978B2 (en) 2019-07-22 2022-03-29 Illinois Tool Works Inc. Gas tungsten arc welding training systems
US11776423B2 (en) 2019-07-22 2023-10-03 Illinois Tool Works Inc. Connection boxes for gas tungsten arc welding training systems
US11633813B2 (en) * 2019-11-22 2023-04-25 GM Global Technology Operations LLC Real-time weld quality analysis systems and methods
CN114571081B (zh) * 2022-04-22 2022-11-25 佛山市天劲新能源科技有限公司 一种软包电池生产用的焊接控制***、方法和装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3665419A (en) * 1969-02-18 1972-05-23 North American Rockwell Apparatus for determining shape
JPS62118994A (ja) 1985-11-18 1987-05-30 Toyota Motor Corp レ−ザ−突合わせ溶接品質検査装置
EP0275322B1 (en) * 1986-07-15 1993-07-07 Kabushiki Kaisha Yaskawa Denki Seisakusho Method of detecting position data in arc welding
US4767911A (en) * 1987-02-26 1988-08-30 Rockwell International Corporation Optical weld contour monitor for penetration control
JP3123146B2 (ja) * 1991-09-11 2001-01-09 トヨタ自動車株式会社 溶接ビードの品質検査装置
US5264678A (en) 1991-09-26 1993-11-23 Applied Research, Inc. Weld-bead profilometer
US5705788A (en) * 1993-05-19 1998-01-06 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Process for treatment of materials with diode radiation
GB9321866D0 (en) * 1993-10-22 1993-12-15 Kinsman Grant Fuzzy logic control of laser welding
US5481085A (en) * 1994-09-09 1996-01-02 University Of Kentucky Research Foundation Apparatus and method for measuring 3-D weld pool shape
JP3151790B2 (ja) 1995-09-27 2001-04-03 川崎製鉄株式会社 溶接開先・ビードの中心位置検出方法及び装置
JP3289649B2 (ja) * 1997-06-09 2002-06-10 日本鋼管株式会社 レーザビームによる突合わせ溶接における溶接位置制御方法
US6024273A (en) * 1998-12-04 2000-02-15 Caterpillar Inc. Method and system for determining weld bead quality
US7380697B2 (en) * 2001-02-14 2008-06-03 Honda Giken Kogyo Kabushiki Kaisha Welding condition monitoring device
TW565684B (en) * 2001-02-14 2003-12-11 Honda Motor Co Ltd Welding state monitoring device
JP3603843B2 (ja) * 2001-02-23 2004-12-22 日産自動車株式会社 レーザー溶接部の品質モニタリング方法およびその装置
WO2003041902A1 (de) * 2001-11-15 2003-05-22 Elpatronic Ag Verfahren und vorrichtung zur bewertung von fügestellen von werkstücken
CA2467221C (en) * 2001-11-17 2010-07-20 Insstek Inc. Method and system for real-time monitoring and controlling height of deposit by using image photographing and image processing technology in laser cladding and laser-aided direct metal manufacturing process
MY137246A (en) * 2002-04-30 2009-01-30 Jfe Steel Corp Method and instrument for measuring bead cutting shape of electric welded tube
DE10225450C5 (de) * 2002-06-08 2014-07-31 Robert Bosch Gmbh Verfahren zur Fehlerdetektion bei Laserbearbeitungsprozessen
DE10234242B4 (de) * 2002-07-09 2005-10-27 Airbus Deutschland Gmbh Anordnung und Verfahren zur Regelung der Nahtlage eines laserstrahlgefügten Profils
JP2005077857A (ja) * 2003-09-01 2005-03-24 Cyber Laser Kk 複数の焦点を有する顕微鏡、該顕微鏡を具備するレーザー加工装置および該装置を用いたレーザー加工方法
JP4240220B2 (ja) * 2003-10-09 2009-03-18 トヨタ自動車株式会社 レーザ溶接品質検査方法及び装置
DE102004016669B3 (de) 2004-01-07 2005-10-13 Daimlerchrysler Ag Verfahren zur Prüfung einer Laserschweissnaht
ATE338604T1 (de) * 2004-07-08 2006-09-15 Trumpf Laser Gmbh & Co Kg Laserschweissverfahren und -vorrichtung
US20060011592A1 (en) * 2004-07-14 2006-01-19 Pei-Chung Wang Laser welding control
DE102005027342A1 (de) 2005-06-13 2006-12-14 Abb Research Ltd. Fehlersuchsystem zum Erkennen von Fehlerstellen an Schweißnähten
JP5158924B2 (ja) 2006-06-08 2013-03-06 株式会社シャルマン レーザ突合せ溶接における溶接可否およびルートギャップ適否判定方法
EP2094429B9 (de) * 2006-11-04 2017-08-16 TRUMPF Werkzeugmaschinen GmbH + Co. KG Verfahren und vorrichtung zur prozessüberwachung bei der materialbearbeitung
JP4719173B2 (ja) 2007-03-20 2011-07-06 東急車輛製造株式会社 レーザ溶接方法
CN101101277B (zh) 2007-08-10 2010-12-22 华南理工大学 一种高清晰焊缝超声成像无损检测方法

Also Published As

Publication number Publication date
DE102011081668B4 (de) 2013-06-06
US8946595B2 (en) 2015-02-03
JP2012045610A (ja) 2012-03-08
US20120048838A1 (en) 2012-03-01
CN102441737B (zh) 2014-06-18
CN102441737A (zh) 2012-05-09
DE102011081668A1 (de) 2012-03-22

Similar Documents

Publication Publication Date Title
JP5672480B2 (ja) ビードの終端部の形状を判定する装置及びその方法
CN107735674B (zh) 表面缺陷检测装置、表面缺陷检测方法及钢材的制造方法
US10705027B2 (en) Surface defect detecting method and surface defect detecting apparatus
JP6350657B2 (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、形状測定プログラム、及び記録媒体
JP6394514B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP6515344B2 (ja) 欠陥検出装置及び欠陥検出方法
JP5217221B2 (ja) 溶接部の表面欠陥形状検出方法及びコンピュータプログラム
RU2764644C1 (ru) Способ обнаружения дефектов поверхности, устройство обнаружения дефектов поверхности, способ производства стальных материалов, способ управления качеством стального материала, установка по производству стальных материалов, способ генерации моделей определения дефектов поверхности и модель определения дефектов поверхности
JP2020008501A (ja) 表面欠陥検出装置及び表面欠陥検出方法
JP6756417B1 (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
KR101026720B1 (ko) 고속 레이저 비전 센서 시스템, 이를 이용한 고속 이미지프로세싱 방법 및 용접부 외관 검사방법
JP2006010392A (ja) 貫通穴計測システム及び方法並びに貫通穴計測用プログラム
JP4491850B2 (ja) レーザ溶接機におけるレーザ照射点検出装置及びシーム位置検出装置
US20160356596A1 (en) Apparatus for measuring shape of object, and methods, system, and storage medium storing program related thereto
JP2009014388A (ja) 形状検出方法及び形状検出装置
JP2021056183A (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
JP2018048979A (ja) 表面性状検査装置、表面性状検査方法及びプログラム
KR20220110291A (ko) 레이저 기반 내포물 검출 시스템 및 방법
JP2012234255A (ja) 画像処理装置及び画像処理方法
KR101637977B1 (ko) 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법
JP6566903B2 (ja) 表面欠陥検出方法および表面欠陥検出装置
JP2009222676A (ja) 線形状物検出装置、及び該線形状物検出装置に用いられる線形状物検出方法
JP2015200544A (ja) 表面凹凸検査装置及び表面凹凸検査方法
JP2003329428A (ja) 表面検査装置及び表面検査方法
JP2021173566A (ja) 欠陥検出方法及び欠陥検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141210

R151 Written notification of patent or utility model registration

Ref document number: 5672480

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151