【0001】
【発明の属する技術分野】
本発明は、例えば溶接部の開先位置といったような物体表面の形状を計測するための表面形状計測方法及びそれを用いた自動溶接装置に関する。
【0002】
【従来の技術】
物体の表面形状を計測する方法の一つとして、光切断法と呼ばれる手法がある(例えば非特許文献1参照)。光切断法は、三角測量の原理を利用した手法であり、それを溶接における開先の検出に用いる場合には、基本として図16に示すような構成をとるのが一般的である。この場合に計測対象の物体となる溶接対象物mは、互いに溶接される被溶接部材103と104からなり、溝状の凹部となる開先105を有している。図の例の開先105は、開先の代表的な形状であるV形の断面形状を有している。V形の開先105は、一方の被溶接部材103の溶接対象部位に傾斜させて形成した開先面103Bと他方の被溶接部材4の溶接対象部位に傾斜させて形成した開先面104BがV形に向かい合って形成されている。
【0003】
このような開先105の光切断法による検出は以下のようにしてなされる。例えばレーザなどが用いられる投光器106により溶接対象物mにスリット状光線107を照射する。この照射により溶接対象物mの表面にはその表面形状に応じた曲折を有する線状の反射像つまり光切断像が形成される。この光切断像は、投光器106とある距離だけ離れた位置に設置の例えばCCDカメラなどが用いられる撮像手段110で撮像される。撮像された光切断像は、図示を省略してある処理装置において処理され、この処理を経て開先105の検出がなされる。
【0004】
図16に示した基本的な光切断法には、光切断像の明るさの問題があり、またスリット状光線の多重反射の問題がある。光切断像の明るさの問題は、物体表面の位置に応じて光切断像の明るさ(輝度)が大きく異なり、計測が困難になる問題である。図16に示した計測対象物体mには、溝状の凹部となるV形の開先105があり、物体mの例えば水平な表面103Aや104Aと、これらの面に対して傾斜している開先面103Bや104Bがある。この場合に、水平な表面103Aや104Aに対しその光軸が直交するように投光器106を配置するのが一般的であるが、そうすると、表面103Aや104Aと開先面103Bや104Bとではスリット状光線107の入射角度が大きく異なることになる。その結果、表面103Aや104Aにおける光切断像と開先面103Bや104Bにおける光切断像それぞれの明るさが大きく異なることになる。その様子を図17に模式化して示す。投光器106の光軸に直交する表面103Aと104Aにおける光切断像PAは高輝度であり、傾斜している開先面103Bと104Bにおける光切断像PBは低輝度である。このため光切断像PAの明るさに撮像手段110の絞りを合わせると、光切断像PBが暗くなり過ぎ、計測のための画像処理を有効に行なえなくなる。一方、光切断像PBの明るさに撮像手段110の絞りを合わせると、光切断像PAが明るくなり過ぎて、同じく計測のための画像処理を有効に行なえなくなる。
【0005】
次に、スリット状光線の多重反射の問題であるが、これも計測対象物体が図16に示した溶接対象物mにおけるV形の開先105のような溝状の凹部を有する場合に生じる問題である。すなわち、凹部における向かい合った側面(V形の開先105の場合には傾斜した面である開先面103Bと104B)の鏡面反射性が大きい場合に、一方の側面の光切断像が他方の側面に鏡像となって映り込んだり、あるいは一方の側面で反射した二次的なスリット状光線が他方の側面でさら反射されたりする。そして撮像手段110の一般的な配置においてはこの映り込んだ鏡像や二次的は反射光が本来の光切断像に重なる状態となる。その例を図18に模式化して示してある。その結果、本来の光切断像が有している物体表面の形状特徴を取り出すのが困難になり、したがって有効な計測を行なえなくなってしまう。
【0006】
このような問題に関しては既にいくつかの提案がなされている。光切断像の明るさの問題については、特許文献1に示される例がある。特許文献1に開示の技術では、被測定物の表面状態に応じて異なる強度のレーザ光(スリット状光線)を照射し、その強度の異なる照射ごとに撮像した複数の反射光画像(光切断像)から合成画像を作成し、この合成画像によって被測定物の表面の形状線を求めることで表面形状の測定をなすようにしている。
【0007】
一方、スリット状光線の多重反射問題については、特許文献2や特許文献3に示される例がある。特許文献2に開示の技術では、スリット光(スリット状光線)の像(光切断像)と二次反射光像が離れて撮像されるように、スリット光の照射状態と撮像センサの撮像状態を設定することで、光切断像に二次反射光像が重なって撮像されることを避けるようにしている。また特許文献3に開示の技術では、シート状の参照光(スリット状光線)の光面、撮像用受光素子の受光面、それに結像光学系の光軸それぞれの関係を適切に配置することにより、シート状参照光の光面に垂直な方向の被写界深度を小さくし、これにより本来のシート光面像(光切断像)以外の多重反射像をぼけさせることで、反射問題を解消できるようにしている。
【0008】
【非特許文献1】
江尻正員著「工業用画像処理」昭晃堂、1988年5月31日(第96−97頁)
【特許文献1】
特開2000―230814号公報(第3−4頁)
【特許文献2】
特開平11―33725号公報(第3−4頁)
【特許文献3】
特開2001―227923号公報(第6頁)
【0009】
【発明が解決しようとする課題】
上記のように、光切断法には光切断像の明るさの問題とスリット状光線の多重反射問題があり、これに対して特許文献1〜3に開示のような改善技術が提案されている。しかし、これらの改善技術は必ずしも十分なものでない。例えば特許文献1の技術にあっては、光切断像の明るさ問題を解消するのに、スリット状光線の照射光量を変えた画像を複数回取り込む必要があり、計測に時間を要し、例えば高速な計測が求められる自動溶接装置への利用には適さない。
【0010】
また特許文献2の技術は、溶接における開先の計測に関してスリット状光線の多重反射問題の解消を目的としているものの、その有効性は開先角度により制限を受ける。すなわち開先角度が90°程度の隅肉継手を対象にする場合であれば有効であるが、図16の例のごとく開先角度が狭い場合の反射の影響を効果的に避けることは困難である。またこの技術には、スリット状光線の光軸と撮像カメラの光軸の成す角度が90°以上となるような配置を必要とする。このため、スリット状光線の光源と撮像カメラで構成される開先形状検出部の構造が大きくなるといった実用上の問題もある。
【0011】
また特許文献3の技術は、多重反射像を被写界深度との関係でぼかすことにより多重反射問題を解消しようとしている。このため、多重反射像はぼけた状態となるものの、画像内に取り込まれることには変わりない。このように、ぼけさせたとしても多重反射像が画像に取り込まれると、計測対象物体の形状によっては一次反射像(本来の光切断像)より多重反射像の輝度の方が高く観測される場合もあり、その場合には画像処理の際に多重反射像により誤差を生じる可能性が高くなるといった問題を招くことになる。
【0012】
さらに特許文献1〜3の各技術は、光切断像の明るさ問題とスリット状光線の多重反射問題のいずれか一つを解消できるだけである。このため両問題を同時に解消するにはこれらの技術を組み合わせる必要があり、機構が複雑になるなど、実用性に乏しいものとなる。
【0013】
本発明は、以上のような従来の事情を背景になされたものであり、光切断法に基づく物体の表面形状計測方法について、像光切断像の明るさ問題とスリット状光線の多重反射問題をともに効果的に解消することを目的とし、またそのような物体の表面形状計測方法を適用した自動溶接装置の提供を目的としている。
【0014】
【課題を解決するための手段】
上記目的を達成するために本発明では、物体にスリット状光線を照射するとともに、前記スリット状光線が前記物体の表面に形成する光切断像を撮像手段で撮像し、そしてこの撮像で得られる画像を処理することにより前記物体の表面形状を計測するようになっている物体の表面形状計測方法において、前記スリット状光線として、第1のスリット状光線と第2のスリット状光線を用いるものとし、前記第1のスリット状光線は、前記物体に設定した基準垂直面に対し一方に傾いた第1の照射角度で、第1の位置から照射し、前記第2のスリット状光線は、前記基準垂直面に対し前記第1のスリット状光線とは逆の方向に傾いた第2の照射角度で、前記第1のスリット状光線による第1の光切断像とは重ならない第2の光切断像を形成できる第2の位置から照射するようにしたことを特徴としている。
【0015】
また本発明では上記目的を達成するために、溶接対象の開先を開先検出装置で検出し、この検出に基づいて溶接トーチの溶接ねらい位置や溶接条件を制御するようになっている自動溶接装置において、前記開先検出装置に、上記のような物体の表面形状計測方法を実行させることを特徴としている。
【0016】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。図1に、本発明による物体の表面形状計測方法を溶接における溶接位置つまり開先の検出に適用した場合の構成例を模式化して示す。この場合には計測対象物体は溶接対象物Mとなる。溶接対象物Mは、溶接トーチ1により互いに溶接される被溶接部材3と被溶接部材4からなり、溝状の凹部となる開先5を有している。この例の開先5は、V形であり、被溶接部材3、4それぞれの表面3A、4Aに対しいずれも鈍角で傾斜しており、したがって互いに逆向きで傾斜している第1の開先面3Bと第2の開先面4BがV形に向かい合って形成されている。このような溝状の凹部は、一般化すると、物体の上下方向に向いた二つの側面(第1の側面と第2の側面)が対で向かい合って形成されるものといえる。
【0017】
溶接トーチ1による開先5に沿った被溶接部材3、4の溶接は、本発明による物体の表面形状計測方法を実行できるようにされた開先検出装置による開先5の検出に基づいて溶接トーチ1の位置制御や溶接条件制御をなしながら進められる。図1にはその開先検出装置の主な要素として、スリット状光線を溶接対象物Mに照射する2個の投光手段6、8、投光手段6からのスリット状光線7と投光手段8からのスリット状光線9それぞれが溶接対象物Mの表面に形成する光切断像を撮像する、例えばCCDカメラのような電子的撮像手段10を示してある。
【0018】
本発明による表面形状計測方法は二方向からスリット状光線を物体に照射させることに特徴がある。それを具体的化したのが第1のスリット状光線7と第2のスリット状光線9の照射である。スリット状光線7、9はそれぞれ逆向きに傾いた第1の照射角度θ1と第2の照射角度θ2で照射させる。照射角度θ1、θ2は、溝状凹部である開先5の延在方向に平行にして溶接対象物Mに設定した基準垂直面11に対する投光手段6、8の光軸6a、8aの傾きとして規定される。この照射角度θ1、θ2は以下のような機能目的に基づいて定められる。
【0019】
照射角度θ1、θ2の一つの機能目的は、開先面3B、4Bとこれらそれぞれにつながる表面3A、4Aに対するスリット状光線7、9による照射光量の均一化を図ることである。すなわち、例えば照射角度θ1をある範囲に設定すれば、投光手段6の光軸6aを開先面3Bと表面3Aに対して同じか、あるいはそれほど大きな相違のない傾きにさせることができ、これにより開先面3Bと表面3Aに対する照射光量を均一化することができるということである。ただ、開先面3Bと表面3Aに対する照射光量は同じでなくともよく、要は、スリット状光線7が開先面3Bと表面3Aのそれぞれに形成する光切断像の輝度が後述するような処理のスムーズな実行を可能とする範囲の相違におさまるようなものであれば実用上の問題はない。
【0020】
照射角度θ1、θ2の他の機能目的は、スリット状光線の多重反射による悪影響を避けることである。例えば照射角度θ1について見れば、開先面3Bに形成されるスリット状光線7による光切断像に対し、開先面4Bに形成されるスリット状光線9による光切断像が開先面3Bに鏡像として映り込んで影響を与えたり、あるいはスリット状光線7が開先面4Bで反射した後にさらに二次的に開先面3Bに入射したりするのを抑制することにある。より具体的には、スリット状光線7の照射角度θ1を開先面4Bの基準垂直面11に対する傾斜角度との関係で適切に設定することで、スリット状光線7の開先面4Bへの入射角度が開先面3Bへのそれに較べて格段に大きくなり、したがって照射光量が格段に小さくなるようにし、このことにより開先面3Bにおける光切断像に悪影響を与えるような多重反射の発生を効果的に抑えるようにするということである。
【0021】
以上のような機能目的から照射角度θ1、θ2は、開先5における開先面3Bと開先面4Bそれぞれの基準垂直面11に対する傾斜角度に応じて設定されることになる。例えばその傾斜角度がともに30°で表面3A、4Aがともに水平の場合であれば、θ1=θ2=30°とすれば、照射光量の同一化を実現でき、また多重反射問題を効果的に回避することができる。ただ、開先面の傾斜角度の大きさによっては、前記機能目的を両方とも最善に満足させる照射角度θ1、θ2を得られえない場合もある。その場合には、上述したように照射光量の均一化にはある程度の余裕があることから、多重反射による悪影響の回避を重視した角度設定とすることになる。
【0022】
スリット状光線7、9は、以上のように照射角度を規定されるのに加えて、照射位置も互いの関係で規定される。すなわちスリット状光線7は、基準垂直面11に直交する一つの平面12にその投光手段6の光軸6aが含まれる照射位置(第1の照射位置)で照射され、スリット状光線9は、同じく基準垂直面11に直交し、平面12から所定距離Lだけ離れた他の平面13にその投光手段8の光軸8aが含まれる照射位置(第2の照射位置)で照射される。ここで、所定距離Lは、スリット状光線7が形成する光切断像とスリット状光線9が形成する光切断像が重なるようなことがないように、つまり後述するような光切断像ごとのデータ処理を有効に行なえるように各光切断像を形成でき、しかもその範囲においてできるだけ短くなるようにするという条件から求められる距離である。
【0023】
なお撮像手段10は、スリット状光線7、9による各光切断像に直交する斜め上方からそれら光切断像を同等の条件で撮像できるように配置される。その配置は、開先5の中心線上に位置させた基準垂直面11内に撮像手段10の結像光学系の光軸10aを位置させる配置となるのが通常である。
【0024】
以上のような構成による開先検出装置が組み込まれた自動溶接装置の構成例を図2に示す。なお図2中では図1におけるのと同一の要素については同一の符号を付してある。自動溶接装置は、溶接トーチ1の位置決め手段として溶接トーチ位置決めテーブル14を備えている。溶接トーチ位置決めテーブル14は、X走行軸15上を走行するX走行台車16、X走行台車16上に一体的に配設されたZ走行軸17上を走行するZ走行台車18、及びZ走行台車18上に一体的に配設されたY走行軸19上を走行するY走行台車20を含んでおり、X方向(溶接線方向)、Y方向(溶接線直交方向)及びZ方向(上下方向)の3方向の移動を組み合わせた動作をなせるようにされている。またそのY走行台車20には、溶接トーチ1と開先検出装置の主要機器である投光手段6、8及び撮像手段10をユニット化した溶接ヘッドが取り付けられている。そして開先5の検出に基づいた制御を受けつつ、上記3方向の移動を組み合わせた動作を行なって溶接トーチ1に最適な位置決めをなさせる。
【0025】
開先5を検出し、それに基づいて溶接トーチ位置決めテーブル14の制御つまり溶接トーチ1の位置決め制御を行なうのが制御装置30である。制御装置30は、撮像手段制御部21、画像処理部22、画像処理部用モニタ23、投光手段駆動部24、25、溶接トーチ位置制御部26、全体制御部27、マンマシンインターフェース部28、全体制御部用モニタ29を含んでいる。この内の撮像手段制御部21、画像処理部22、画像処理部用モニタ23、投光手段駆動部24、25は開先検出装置の要素でもある。
【0026】
撮像手段制御部21は、撮像手段10の制御回路であり、画像処理部22に対してアナログ画像信号を出力する。画像処理部22は、開先検出装置におけるデータ処理部であり、その図示を省略してあるが、撮像手段制御部21からのアナログ画像信号をA/D変換してデジタル量の多値画像データを入力する画像入力部、多値画像データを記憶する多値画像記憶部、多値画像記憶部に記憶された多値画像データから後述する各種の処理を行なって開先の位置や形状を検出する演算部処理部、及びこれらを統括的に制御する主制御部などを含んでいる。投光手段駆動部24、25は、投光手段6、8の点灯や消灯、照射光量の制御などを行なう。
【0027】
溶接トーチ位置制御部26は、全体制御部27からの出力を受けて溶接トーチ位置決めテーブル14の駆動制御を行なう。全体制御部27は、撮像手段制御部21、画像処理部22、画像処理部用モニタ23、投光手段駆動部24、25、溶接トーチ位置制御部26を統括的に制御し、また溶接電源31も制御する役目を負っており、例えばパーソナルコンピュータなどで構成されている。この全体制御部27は、被溶接部材の開先に対する溶接トーチの倣い目標位置を予め記憶しておく機能、その溶接トーチの倣い目標位置と画像処理部22から得られる開先位置ずれ情報に基づいて溶接トーチ溶接狙い位置を決定するために溶接トーチ位置制御部26へ溶接トーチ狙い位置情報を出力する溶接線倣い制御機能を有している。また全体制御部27は、溶接電流、電圧、溶接速度などの溶接条件データなども記憶しており、これらのデータの修正を溶接開始前に行なえるようになっている。全体制御部用モニタ29には、各部の条件設定や倣い溶接の起動などの操作メニューなどが表示される。
【0028】
以下では開先検出装置における開先検出処理について説明する。それに先立って、物体表面に光を照射した際の一般的な光の反射の性質について図3を参照して確認する。光が物体の表面にあたると、反射が起きて光は反射の法則にしたがってその方向を変えられる。物体表面が完全な鏡面でない場合には、いろいろな方向を向いたミクロな面の集合であり、反射パターンは図3に示されるように、正反射方向に最大の強度を持つ拡がりのある散乱パターンとなる。物体表面が鏡面に近い場合には正反射方向への反射光が強く且つ拡がりが小さくなり、物体表面が鏡面から離れると正反射方向への反射光が相対的に弱く且つ拡がりが大きくなる。当然であるが、同図のカメラによる撮像方向(観測角度)が正反射方向(正反射角度)から離れるのにしたがってカメラへの入射光量は相対的に小さくなる。
【0029】
図4に本発明における2方向スリット状光線方式で得られる光切断像を模式化して示す。図では明るい(輝度が高い)部分を白、暗い(輝度が低い)部分を黒として表現してある。光切断像P1は投光手段6によるスリット光7を照射して得られる画像で、光切断像P2は投光手段8によるスリット光9を照射して得られる画像である。ここで、光切断像P1、P2の現れ方について説明する。なお開先5における開先面3B、4Bが対称である図1の例においては光切断像P1、P2は対称となるので、以下では光切断像P1を例にとって説明する。図4において、図1の表面3Aと開先面3Bそれぞれに形成される直線状の部分光切断像R1、R2は、スリット光7の言うなれば一次反射像である。スリット光7は照射角度θ1で照射され、このために表面3Aにおける部分光切断像R1と開先面3Bにおける部分光切断像R2それぞれの明るさが同じないしほぼ同じになることは上で説明したとおりである。
【0030】
図4における多重反射像Ra、Rbは、開先面3B、4Bの鏡面反射性が大きい場合に生じる多重反射により観測される像である。多重反射像Raは、開先面3Bで反射されたスリット状光線7がさらに開先面4Bに入射することなどで形成され、開先面3Bへの入射光量が多く、また開先面3Bへの入射角度が小さくて開先面3Bからの二次反射光の開先面4Bへの入射も多いために明るい像となる。これに対して、開先面4Bにはスリット光7がほとんど照射されず、開先面4Bにおける一次反射像(部分光切断像R2に対応する像)は暗いものである。このためため開先面4Bにおいてはそこの部分光切断像が多重反射像Raに吸収されたような状態になる。一方、多重反射像Rbは、開先面4Bで反射されたスリット状光線7がさらに開先面3Bに入射することなどで形成され、開先面4Bへの入射光量が少なく、また開先面4Bへの入射角度が大きくて開先面4Bからの二次反射光の開先面3Bへの入射も少ないために暗い像となる。このため多重反射像Rbは、開先面3Bと4BがV形に接触状態になっている開先底部を除いて、部分光切断像R2と重なることがない。つまり光切断像P1については、開先面3Bにおける部分光切断像R2を多重反射像の影響を受けることなく抽出することができるということである。以上のことは対称的に光切断像P2についても言える。
【0031】
図5に、開先検出装置における処理の流れを示す。以下では、この各処理ステップの内容について、図4に示した光切断像を処理する例として説明する。まず、ステップS1では、撮像手段制御部21から得られる画像を画像処理部22に入力し記憶する。
【0032】
ステップS2では、画面水平方向の平滑化微分と画面垂直方向の直線化処理を実施する。このうち、平滑化微分処理は、平滑化処理と微分処理を兼ね備えた方法で、小さなノイズを消去しながら明るさの異なる境界部を強調する処理である。また、直線化処理は、光切断像を直線状の線要素に分割し、各直線のデータを生成する処理である。このうち、まず平滑化微分処理と直線化処理について概略説明する。処理画像は、輝度の二次元配列であり、これをf(i、j)と表わすものとする。つまりf(i、j)は、画像fの座標(i、j)における画素(ないしその輝度)を表わす。一方、水平方向の平滑化微分処理画像をg(Ii、Ji)と表わすと、それは例えば次式で表わされる。
【数1】
【0033】
微分処理後の画像では、輝度が高い点から低い点に変化する境界部分では極大値、輝度が低い点から高い点に変化する境界部分では極小値となる。この極大値、極小値が予め設定してある極大側と極小側それぞれのしきい値を越える画面座標を抽出し、隣接した最大の極大値と最小の極小値のペアを検出してやることにより、画面の各水平ライン上での光切断像の両側境界位置を見つけることができる。平滑化微分処理では、この最大極大値、最小極小値ペアとその中心座標を同時に検出する。
【0034】
直線化処理は、光切断像を長手方向に複数の直線の線要素に分割し、各線要素の特徴パラメータを計算するものである。この処理は、光切断線と見なされる上記中心位置データ(中心座標値)を使用し、各抽出中心位置データを画素単位に水平方向及び垂直方向に評価しながら、画像の垂直方向の連続性をチェックし、光切断像から得られる光切断線を直線の線要素に分割するものである。画面上で最も上側に検出された中心位置データから開始し、つぎの下側(垂直方向1画素だけ下側の水平ライン)に存在する中心位置データが同じ直線状の連結成分に属するか否かを評価する。同一連結成分と見なされるときには、開始時の中心位置データと同一の番号(ラベル)を割り当てる。ここで、連結とは、予め決めてあるルールに従い、対象とする中心位置データ(すなわち光切断像)が直前の中心位置データと上下方向につながっている状態を指している。連結が成立した際には、評価対象の中心位置データをラベル(番号)内に統合し、以下順次、下側のラインにある中心位置データについて同様の評価を行なう。連結状態を評価した結果、対象とする中心位置データが上下方向に連結していないと見なされた場合、その直前までの中心位置データでラベル(番号)を閉じ、対象の中心位置データを開始点として新たなラベル(番号)を用い上述と同様の処理を繰り返す。このようにして、光切断像が上下方向に連続している場合に同じ連結成分として同一のラベルを付け、連続していない場合に異なった連結成分とみなして別のラベルを付ける。このように処理してできた連結成分が線要素である。
【0035】
ステップS2では、画面全体あるいは予め定めた領域内で、上述の水平方向平滑化微分処理を実行した後、画面垂直方向下方に順次走査しながら直線化処理を行なって線要素データを獲得する。図6は、図4に示した光切断像から、ステップS2の処理で理想的に得られる線要素を模式的に示したものである。図示したように、光切断像P1について開先面3Bに対応する部分で発生する線要素E1と光切断像P2について開先面4Bに対応する部分で発生する線要素E2が得られる。ここで、直線の定義については、例えば一般に用いられているヘッセの標準形を用いる。図7に示すようなij直行座標系で原点を始点とし、任意の直線Lに直行するベクトルをaとし、その大きさをr、i軸と成す角度をθとすと、この任意の直線Lは、次式で表わすことができる。
【数2】
【0036】
なお、本直線化処理における直線を線要素群に分割する方法については、ここではとくに限定しない。直線化処理では、各線要素について原点からの距離rと傾きθを計算してij直行座標系の線要素をrとθのパラメ−タ空間に写像することになる。各線要素の特徴量としては、距離rと傾きθ以外に例えば図8の線要素データテーブルに示す線要素の長さ(垂直方向の長さ)、画面上での始点位置座標、終点位置座標及び重心位置座標などがある。
【0037】
ステップS3では、複数の線要素データ(これらにはノイズである線要素データが含まれている)から左側の開先面線、つまり開先面3Bにおける部分光切断像R2(図4)に対応する線要素を検出する。被溶接部材の開先角度は予め知ることが可能であり、前述のrとθのパラメ−タ空間上で左側開先面線がどの範囲に現れるかを予想可能である。したがってステップS2で求められた線要素データ群から、r、θ、線要素の長さ、及び画面上に現れる座標などの範囲などを予め定め、この範囲に属する線要素を抽出することにより、左側開先面線に相当する線要素E1を検出することができる。
【0038】
ステップS4では、ステップS3と同様の方法により複数の線要素データから右側の開先面線、つまりに開先面4Bにおける部分光切断像に対応する線要素に相当する線要素E2を検出する。これらステップS3、S4の処理は、スリット状光線7、9のそれぞれが形成する光切断像ごとに処理を行ない、スリット状光線7による光切断像からはスリット状光線7が強く照射される開先面3Bだけについて開先面線を検出し、同様にスリット状光線9による光切断像からはスリット状光線9が強く照射される開先面4Bだけについて開先面線を検出することにより、多重反射の影響を受けることなく、開先面線の検出をなすものである。
【0039】
ステップS5では、垂直方向の平滑化微分と水平方向の直線化処理を実施する。この処理方法は、ステップS2で実施した処理に対して、処理方向が90°異なるが考え方は同様である。ステップS2では画面垂直方向に伸びた線要素を検出されるが、ステップS5では画面水平方向に伸びた線要素を検出することになる。図9は、図4に示した光切断像から、ステップS5の処理で理想的に得られる線要素を模式的に示したものである。図示したように、図4の光切断像P1について左右の表面で発生する線要素E3、E4が得られ、光切断像P2について左右の表面で発生する線要素E5、E6が得られる。
【0040】
ステップS6では、複数の線要素データから図4の光切断像P1における左側の平坦線、つまり図9の線要素E3を検出する。ステップS3での線要素E1の検出の場合と同様に、rとθのパラメ−タ空間上で左側平坦線がどの範囲に現れるかを予想可能であり、したがって同様にステップS5で求められた線要素データ群から、r、θ、線要素の長さ、及び画面上に現れる座標などの範囲などを予め定め、この範囲に属する線要素を抽出することにより、左側平坦線に相当する線要素E3を検出することができる。この場合はステップS3で求めた左側開先面の線要素E1の座標を参照することで、さらに正確に線要素E3を検出することが可能である。またステップS6においては、後述するような線要素データの合成に際して用いる線要素E5も同様な処理により検出しておく。
【0041】
ステップS7では、ステップS6と同様の方法により、複数の線要素データから図4の光切断像P2における右側の平坦線、つまり図9の線要素E6を検出する。
【0042】
ステップS8では、ステップS3、S4、S6及びS7で検出した各線要素データを用い、連続した開先形状を成すデータに合成する。図10に各線要素データを使用したデータ合成方法を示す。まず、線要素データE3とE1から両者の交点となる端点Aを検出する。次に、処理ステップS6において検出しておいた線要素データ5の端点Bを抽出する。ついで、端点Bの画面座標に端点Aの画面座標が一致するように、線要素データE3とE1の画面位置座標を平行シフトさせる。図11に、線要素データを合成させた光切断像を模式的に示す。
【0043】
ステップS9では、図11の画像から開先形状の特徴量を検出する。ここで検出する特徴量としては、開先幅、開先幅中心位置、開先角度などである。C1は、線要素データE3とE1の交点、C2は線要素データE6とE2の交点である。例えば、開先幅は交点C1とC2の画面水平方向距離から算出される。また、開先幅中心位置は、交点C1とC2の中点座標として算出される。さらに、開先角度は、線要素データE1とE2の成す角度として算出される。上述した以外の開先形状の特徴量は、ステップS10で検出する。なお、図5のフローチャートでは、ステップ9で検出される特徴量を第1特徴量、後述のステップ10で検出される特徴量を第2特徴量と称している。
【0044】
ステップS10では、開先ギャップ、溶着断面積などの第2特徴量を検出する。まず開先ギャップの検出方法について説明する。開先ギャップ検出処理は、ウインドウ設定処理、ウインドウ内垂直方向最大輝度検出処理、水平方向平滑化微分処理、及び極大極小値ペアの検出から成る。図12に両側斜面線(開先面線)とウインドウ設定の模式図を示す。ウインドウ設定処理は、ステップS3、S4で検出した左右の各斜面線から左側斜面底部端点PLと右側斜面底部端点PRを検出し、その座標を基準に小領域のウインドウ(両側の2箇所)を設定する。ウインドウは、始点(左上コーナ)座標値と終点(右下コーナ)座標値で決定する。左側斜面底部端点PLと右側斜面底部端点PRそれぞれの座標を(Li、Lj)、(Ri、Rj)とすると、ウインドウの始点(左上コーナ部)と終点(右下コーナ部)の設定座標は次式による。
【数3】
【数4】
【数5】
【数6】
なおこれらの各式におけるΔiとΔjは予め求めて設定しておく値である。
【0045】
次に、ウインドウ内垂直方向最大輝度検出処理について説明する。左右ウインドウ両端Lsi〜Reiの範囲で、左端i=Lsiから水平方向に順次操作しながらウインドウ内における画面垂直方向の各画素データの最大輝度を計測し、各水平ラインでの各最大輝度を記憶する。図13に検出値の模式図を示す。一次反射像と多重反射像が存在する領域の最大輝度値は大きくなり、開先ギャップが存在する部分は、いずれの像も存在しないので小さな値となる。
【0046】
次に、最大輝度検出値の水平方向平滑化微分について説明する。平滑化微分は前述の数1式に示したとおりである。図14に平滑化微分値の模式図を示す。開先ギャップ左側境界の輝度が高い箇所から低い箇所へ変化する部分で局部的な極大値が得られる。同様に、開先ギャップ右側境界の輝度が低い箇所から高い箇所へ変化する部分では局部的な極小値が得られる。最大輝度検出値の水平方向平滑化微分処理後は、ギャップ左右境界部に発生する極大極小値ペアを検出する。予めしきい値を定めておき、平滑化微分値からしきい値以上の極大値、極小値を順次検出し、左側に最大極大値、右側に最小極小値となる最大極大最小極小値ペアを検出し、両者が発生している座標値を記憶する。ペアとなる最大極大値、最小極小値を示す点の水平座標は開先の境界すなわちギャップを示している。このようにして、ステップS10での特徴量検出処理で検出するギャップ量は、両者の水平方向(i)の座標値の差から算出する。なお、ギャップ0mmの時には、極大極小値ペアが明瞭に現れない。極大極小値ペアが明瞭に検出できたときは、上述したようにこの情報でギャップを求め、極大極小ペアが検出できないときにはギャップ=0とする。
【0047】
次に、溶着断面積の検出方法について説明する。図15は、前述の2つのウインドウ(図12参照)内での垂直方向の各画素における輝度の積分処理についての説明図である。左右ウインドウ両端Lsi〜Reiの範囲で、左端i=Lsiから水平方向に順次操作しながらウインドウ内における画面垂直方向の各画素データの輝度を計算する。一次反射像と二次反射像が存在する領域から開先の底部に向かって輝度積分値が小さくなる。本データから、開先ギャップが存在する両側コーナの水平座標(i3とi4)を検出する。前述のステップS3、S4及びS5で左右斜面線を検出しその直線式が得られている。すなわち直線式(数2式)に水平座標(i3とi4)を代入することにより、左右斜面線上の垂直座標(j3とj4)を各々求めることができる。処理ステップS9で予め検出されている開先の両肩(図11参照)と前述の底部の2点を合わせ合計4点で作られる四角形の面積を計算することで、溶着面積を求めることができる。
【0048】
ステップS11では、ステップS9とS10で求めた各種開先形状などを実際の値に変換する。ステップS9とS10で求めた値は、撮像手段10(図1)で得られる画像上における検出結果である。この画像上で得られる情報を撮像手段10の撮像倍率などの諸定数から実際の数値に変換する必要がある。処理ステップS11ではこの変換を行なう。
【0049】
以上の実施形態では2方向からのスリット状光線を照射するのに二つの投光手段を用いるようにしていたが、必ずしもこれに限られず、投光手段を一つにして、それを例えばハーフミラーなどによるビームスプリッタで分岐させて2方向のスリット状光線を得るようにすることも可能である。また、図2に示した自動溶接装置では、溶接トーチ位置制御部26と全体制御部27を個別に構成するようにしていたが、これらを一体に構成するようにしてもよい。また図2の例では溶接トーチの位置決めにXYテーブル方式の溶接トーチ位置決めテーブルを用いているが、これに代えて、例えば多関節ロボット方式などを適用することも可能である。
【0050】
【発明の効果】
以上に述べたように、本発明では、光切断法において物体に照射するスリット状光線として、互いに逆向きに傾いた照射角度による2方向からのスリット状光線を用いるようにしている。そしてこの2方向スリット状光線の照射により、物体に表面とそれに対して傾いている、例えば開先面のような面がある場合でも、この両方の面に対する照射光量の均一化を図ることができると同時に、傾いている面が向かい合って形成される溝上の凹部における多重反射の影響を効果的に避けることができる。したがって本発明によれば、光切断法による物体の表面形状計測をより容易に、しかもより高精度で行なうことが可能となる。またこのような表面形状計測法を適用した本発明の自動溶接装置は、表面に光沢のある開先でもその位置や形状を高精度で検出することができ、安定で且つ品質の良い溶接施工を可能とし、さらには溶接作業の自動化を無人溶接化まで進めることも可能とする。
【図面の簡単な説明】
【図1】本発明による物体の表面形状計測方法を溶接位置の検出に適用した場合の構成例を模式化して示す図である。
【図2】本発明による物体の表面形状計測方法を実行できる開先検出装置を組み込んだ自動溶接装置の構成例を模式化して示す図である。
【図3】物体表面に光を照射した際の一般的な光の反射の性質を示す図である。
【図4】本発明による物体の表面形状計測方法で撮像される光切断像を模式的に示す図である。
【図5】本発明による物体の表面形状計測方法を実行する開先検出装置における開先の位置や形状などの検出処理の流れを示すフロ−チャ−トである。
【図6】図4の光切断像から水平方向平滑化微分と直線化処理で得られる線要素を模式的に示す図である。
【図7】ヘッセの標準形を用いた直線の定義を示す図である。
【図8】線要素データテーブルを示す図である。
【図9】図4の光切断像から垂直方向平滑化微分と直線化処理で得られる線要素を模式的に示す図である。
【図10】線要素データを使用したデータ合成方法を示す図である。
【図11】線要素データを合成させた光切断像を模式的に示す図である。
【図12】両側斜面線とウインドウ設定方法を模式的に示す図である。
【図13】水平ラインでの最大輝度検出値を模式的に示す図である。
【図14】平滑化微分値を模式的に示す図である。
【図15】2ウインドウ内垂直方向の各画素における輝度の積分処理結果を示す図である。
【図16】従来方法の光切断法を溶接における開先の検出に適用した場合の一般的な構成例を模式化して示す図である。
【図17】図16の構成における不均一な明るさの光切断像を模式的に示す図である。
【図18】図16の構成における多重反射光像の例を模式的に示す図である。
【符号の説明】
1 溶接トーチ
5 開先(溝状の凹部)
7 第1のスリット状光線
9 第2のスリット状光線
11 基準垂直面
12 面(第1の位置)
13 面(第2の位置)
M 溶接対象物(物体)
θ1 第1の照射角度
θ2 第2の照射角度[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a surface shape measuring method for measuring a shape of an object surface such as a groove position of a welded portion, and an automatic welding apparatus using the same.
[0002]
[Prior art]
As one of methods for measuring the surface shape of an object, there is a method called a light section method (for example, see Non-Patent Document 1). The light sectioning method is a method utilizing the principle of triangulation, and when it is used for detecting a groove in welding, a structure as shown in FIG. 16 is generally used in principle. In this case, the object to be measured m, which is the object to be measured, is composed of members 103 and 104 to be welded to each other, and has a groove 105 which is a groove-shaped concave portion. The groove 105 in the illustrated example has a V-shaped cross-sectional shape which is a typical shape of the groove. The V-shaped groove 105 has a groove surface 103B formed to be inclined at the portion to be welded of one member 103 to be welded and a groove surface 104B formed to be inclined to the portion to be welded of the other member 4 to be welded. It is formed facing the V shape.
[0003]
The detection of the groove 105 by the light section method is performed as follows. For example, a slit beam 107 is irradiated on the welding target m by a light projector 106 using a laser or the like. By this irradiation, a linear reflection image having a bend corresponding to the surface shape, that is, a light cut image is formed on the surface of the welding object m. This light cut image is picked up by an image pick-up means 110 provided at a position separated from the light projector 106 by a certain distance, for example, using a CCD camera or the like. The photographed light section image is processed by a processing device (not shown), and the groove 105 is detected through this processing.
[0004]
The basic light-section method shown in FIG. 16 has a problem of brightness of a light-section image and a problem of multiple reflection of a slit light beam. The problem of the brightness of the light-section image is a problem in that the brightness (luminance) of the light-section image varies greatly depending on the position of the object surface, making measurement difficult. The measurement target object m shown in FIG. 16 has a V-shaped groove 105 serving as a groove-shaped concave portion, and has, for example, horizontal surfaces 103A and 104A of the object m and an opening inclined with respect to these surfaces. There are front faces 103B and 104B. In this case, it is common to arrange the light projector 106 so that its optical axis is orthogonal to the horizontal surfaces 103A and 104A, but in this case, the surfaces 103A and 104A and the groove surfaces 103B and 104B have a slit shape. The incident angle of the light beam 107 will differ greatly. As a result, the brightness of each of the light-section images on the front surfaces 103A and 104A and the light-section images on the groove surfaces 103B and 104B greatly differ. This is schematically shown in FIG. The light cut images PA on the surfaces 103A and 104A orthogonal to the optical axis of the light projector 106 have high brightness, and the light cut images PB on the inclined groove surfaces 103B and 104B have low brightness. Therefore, if the aperture of the imaging unit 110 is adjusted to the brightness of the light section image PA, the light section image PB becomes too dark, and image processing for measurement cannot be performed effectively. On the other hand, if the aperture of the image pickup means 110 is adjusted to the brightness of the light section image PB, the light section image PA becomes too bright, so that image processing for measurement cannot be effectively performed.
[0005]
Next, there is a problem of multiple reflection of a slit-shaped light beam, which also occurs when the object to be measured has a groove-shaped concave portion such as a V-shaped groove 105 in the welding object m shown in FIG. It is. In other words, when the specular reflectivity of the facing side surfaces (the inclined surfaces 103B and 104B which are inclined surfaces in the case of the V-shaped groove 105) in the concave portion is large, the light cut image of one side surface is changed to the other side surface. Or a secondary slit-like light beam reflected on one side is further reflected on the other side. In a general arrangement of the image pickup means 110, the reflected mirror image and the secondary reflected light overlap the original light cut image. An example is schematically shown in FIG. As a result, it becomes difficult to extract the shape feature of the object surface included in the original light-section image, so that effective measurement cannot be performed.
[0006]
Some proposals have already been made on such a problem. Regarding the problem of the brightness of the light-section image, there is an example disclosed in Patent Document 1. According to the technique disclosed in Patent Document 1, laser light (slit-shaped light) having different intensities is irradiated according to the surface state of an object to be measured, and a plurality of reflected light images (light-cut images) are captured for each irradiation having different intensities. ), A composite image is created, and the surface shape is measured by obtaining the shape line of the surface of the measured object using the composite image.
[0007]
On the other hand, as for the multiple reflection problem of the slit-shaped light beam, there are examples disclosed in Patent Documents 2 and 3. In the technique disclosed in Patent Document 2, the irradiation state of the slit light and the imaging state of the imaging sensor are changed so that the image (light cut image) of the slit light (slit light beam) and the secondary reflected light image are captured separately. By setting, the secondary reflected light image is prevented from being imaged so as to overlap the light cut image. In the technique disclosed in Patent Document 3, the relationship between the light surface of a sheet-like reference light (slit-like light beam), the light receiving surface of a light receiving element for imaging, and the optical axis of an imaging optical system is appropriately arranged. The reflection problem can be solved by reducing the depth of field in the direction perpendicular to the light plane of the sheet-like reference light, thereby blurring multiple reflection images other than the original sheet light plane image (light cut image). Like that.
[0008]
[Non-patent document 1]
Masaji Ejiri, Industrial Image Processing, Shokodo, May 31, 1988 (pp. 96-97)
[Patent Document 1]
JP-A-2000-230814 (pages 3-4)
[Patent Document 2]
JP-A-11-33725 (page 3-4)
[Patent Document 3]
JP 2001-227923 A (page 6)
[0009]
[Problems to be solved by the invention]
As described above, the light-section method has the problem of the brightness of the light-section image and the problem of multiple reflection of the slit-shaped light beam, and for this, improved techniques such as those disclosed in Patent Documents 1 to 3 have been proposed. . However, these improvement techniques are not always sufficient. For example, in the technique of Patent Document 1, in order to solve the brightness problem of the light-section image, it is necessary to capture an image in which the irradiation light amount of the slit light beam is changed a plurality of times. It is not suitable for use in automatic welding equipment that requires high-speed measurement.
[0010]
Further, the technique of Patent Document 2 aims at eliminating the multiple reflection problem of a slit-shaped light beam with respect to measurement of a groove in welding, but its effectiveness is limited by the groove angle. That is, it is effective if the fillet joint has a groove angle of about 90 °, but it is difficult to effectively avoid the influence of reflection when the groove angle is narrow as in the example of FIG. is there. In addition, this technique requires an arrangement such that the angle between the optical axis of the slit light beam and the optical axis of the imaging camera is 90 ° or more. For this reason, there is also a practical problem that the structure of the groove shape detection unit including the light source of the slit light beam and the imaging camera becomes large.
[0011]
The technique disclosed in Patent Document 3 attempts to solve the multiple reflection problem by blurring the multiple reflection image in relation to the depth of field. For this reason, although the multiple reflection image is in a blurred state, it is still captured in the image. In this way, if the multiple reflection image is captured in the image even if it is blurred, the luminance of the multiple reflection image is observed to be higher than the primary reflection image (original light cut image) depending on the shape of the measurement object. In such a case, there is a problem that an error is more likely to occur due to a multiple reflection image during image processing.
[0012]
Further, each of the techniques disclosed in Patent Documents 1 to 3 can only solve one of the problem of the brightness of the light-section image and the problem of the multiple reflection of the slit light beam. Therefore, it is necessary to combine these techniques in order to solve both problems at the same time, and the mechanism becomes complicated and the practicality is poor.
[0013]
The present invention has been made in the background of the above-described conventional circumstances, and relates to a method for measuring the surface shape of an object based on the light-section method. It is an object of the present invention to effectively eliminate both of them, and to provide an automatic welding apparatus to which such a method for measuring the surface shape of an object is applied.
[0014]
[Means for Solving the Problems]
In order to achieve the above object, according to the present invention, an object is irradiated with a slit-like light beam, and a light section image formed by the slit-like light beam on the surface of the object is imaged by an imaging unit, and an image obtained by this imaging is obtained. In the object surface shape measuring method adapted to measure the surface shape of the object by processing, the first slit-like light and the second slit-like light as the slit-like light, The first slit-shaped light beam is emitted from a first position at a first irradiation angle inclined to one side with respect to a reference vertical plane set on the object, and the second slit-shaped light beam is emitted from the reference vertical surface. At a second irradiation angle inclined in a direction opposite to the first slit light beam with respect to the surface, a second light cut image that does not overlap the first light cut image by the first slit light beam is formed. Can be formed It is characterized in that so as to irradiate the second position.
[0015]
According to the present invention, in order to achieve the above object, a groove detecting device detects a groove of a welding target, and based on the detection, controls an automatic welding position and a welding condition of a welding torch. The apparatus is characterized in that the groove detection device executes the above-described method of measuring the surface shape of an object.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described. FIG. 1 schematically shows a configuration example in a case where the method for measuring the surface shape of an object according to the present invention is applied to detection of a welding position, that is, a groove in welding. In this case, the measurement object is the welding object M. The welding target M includes a member to be welded 3 and a member to be welded 4 welded to each other by the welding torch 1 and has a groove 5 serving as a groove-shaped concave portion. The groove 5 in this example is V-shaped, and the first groove is inclined at an obtuse angle with respect to the surfaces 3A and 4A of the members 3 and 4 to be welded, and therefore inclined in opposite directions to each other. The surface 3B and the second groove surface 4B are formed so as to face the V shape. Generally, it can be said that such a groove-shaped concave portion is formed by two vertically facing side surfaces (a first side surface and a second side surface) of a body facing each other in pairs.
[0017]
The welding of the workpieces 3 and 4 along the groove 5 by the welding torch 1 is performed based on the detection of the groove 5 by the groove detecting device adapted to execute the method for measuring the surface shape of an object according to the present invention. The process proceeds while controlling the position of the torch 1 and the welding conditions. FIG. 1 shows, as main elements of the groove detecting device, two light projecting means 6, 8 for irradiating a slit-like light beam to the welding object M, a slit-like light beam 7 from the light projecting means 6, and a light projecting means. An electronic imaging means 10, such as a CCD camera, for example, is shown, which captures a light section image formed on the surface of the welding target M by each of the slit-shaped light rays 9 from 8.
[0018]
The surface shape measuring method according to the present invention is characterized in that a slit-shaped light beam is irradiated on an object from two directions. Specifically, the irradiation of the first slit-like light beam 7 and the second slit-like light beam 9 is performed. The slit light beams 7 and 9 are emitted at a first irradiation angle θ1 and a second irradiation angle θ2 that are inclined in opposite directions. The irradiation angles θ1 and θ2 are the inclinations of the optical axes 6a and 8a of the light projecting means 6 and 8 with respect to the reference vertical surface 11 set on the welding target M in parallel with the extending direction of the groove 5 which is a groove-shaped concave portion. Stipulated. The irradiation angles θ1 and θ2 are determined based on the following functional purposes.
[0019]
One of the functional purposes of the irradiation angles θ1 and θ2 is to equalize the irradiation light amount by the slit light beams 7 and 9 with respect to the groove surfaces 3B and 4B and the surfaces 3A and 4A connected thereto. That is, for example, if the irradiation angle θ1 is set within a certain range, the optical axis 6a of the light projecting means 6 can be inclined to be the same or not so much different from the groove surface 3B and the surface 3A. This makes it possible to equalize the amount of irradiation light on the groove surface 3B and the surface 3A. However, the irradiation light amounts to the groove surface 3B and the surface 3A do not have to be the same, and the point is that the brightness of the light cut image formed by the slit-shaped light beam 7 on each of the groove surface 3B and the surface 3A will be described later. There is no practical problem as long as the difference in the range that enables the smooth execution of the program is satisfied.
[0020]
Another functional purpose of the irradiation angles θ1 and θ2 is to avoid adverse effects due to multiple reflection of slit-like light. For example, when looking at the irradiation angle θ1, the light cut image by the slit light beam 9 formed on the groove surface 4B is a mirror image on the groove surface 3B with respect to the light cut image by the slit light beam 7 formed on the groove surface 3B. The purpose of the present invention is to suppress the influence of the light reflected on the groove 3 or the secondary reflection of the slit-like light 7 on the groove 3B after being reflected by the groove 4B. More specifically, by appropriately setting the irradiation angle θ1 of the slit light beam 7 in relation to the inclination angle of the groove surface 4B with respect to the reference vertical surface 11, the slit light beam 7 enters the groove surface 4B. The angle is much larger than that to the groove surface 3B, and therefore, the irradiation light amount is made much smaller, thereby preventing the occurrence of multiple reflections that adversely affect the light cut image on the groove surface 3B. It is to try to suppress it.
[0021]
For the above functional purposes, the irradiation angles θ1 and θ2 are set according to the inclination angles of the groove surface 3B and the groove surface 4B in the groove 5 with respect to the reference vertical surface 11. For example, if the inclination angles are both 30 ° and the surfaces 3A and 4A are both horizontal, setting θ1 = θ2 = 30 ° makes it possible to realize the same irradiation light amount and effectively avoids the multiple reflection problem. can do. However, depending on the magnitude of the inclination angle of the groove surface, it may not be possible to obtain the irradiation angles θ1 and θ2 that best satisfy both of the functional objectives. In this case, as described above, since there is a certain margin in making the irradiation light amount uniform, the angle setting is made with emphasis on avoiding the adverse effects due to multiple reflection.
[0022]
The irradiation angles of the slit-shaped light beams 7 and 9 are defined in relation to each other in addition to the irradiation angle being defined as described above. That is, the slit-shaped light beam 7 is irradiated on one plane 12 orthogonal to the reference vertical plane 11 at an irradiation position (first irradiation position) including the optical axis 6a of the light projecting means 6, and the slit light beam 9 is Similarly, another plane 13 orthogonal to the reference vertical plane 11 and separated from the plane 12 by a predetermined distance L is irradiated at an irradiation position (second irradiation position) including the optical axis 8a of the light projecting means 8. Here, the predetermined distance L is set so that the light cut image formed by the slit light beam 7 and the light cut image formed by the slit light beam 9 do not overlap, that is, data for each light cut image as described later. This is the distance required from the condition that each light-section image can be formed so that the processing can be performed effectively, and that it is as short as possible in that range.
[0023]
Note that the imaging means 10 is arranged so as to be able to capture the light-cut images from diagonally above orthogonal to the respective light-cut images by the slit light beams 7 and 9 under the same conditions. The arrangement is usually such that the optical axis 10a of the imaging optical system of the image pickup means 10 is located within the reference vertical plane 11 located on the center line of the groove 5.
[0024]
FIG. 2 shows a configuration example of an automatic welding apparatus in which the groove detection device having the above configuration is incorporated. In FIG. 2, the same elements as those in FIG. 1 are denoted by the same reference numerals. The automatic welding device includes a welding torch positioning table 14 as positioning means for the welding torch 1. The welding torch positioning table 14 includes an X traveling vehicle 16 traveling on an X traveling shaft 15, a Z traveling vehicle 18 traveling on a Z traveling shaft 17 provided integrally on the X traveling vehicle 16, and a Z traveling vehicle. The vehicle includes a Y carriage 20 traveling on a Y traveling shaft 19 integrally disposed on the X-axis 18, the X direction (weld line direction), the Y direction (weld line orthogonal direction), and the Z direction (vertical direction). The operation can be performed by combining the movements in the three directions. Further, the Y traveling carriage 20 is provided with a welding head in which the welding torch 1 and the light projecting means 6, 8 and the imaging means 10, which are the main devices of the groove detecting device, are unitized. Then, while receiving control based on the detection of the groove 5, an operation combining the above three directions of movement is performed to make the welding torch 1 optimally positioned.
[0025]
The controller 30 detects the groove 5 and performs control of the welding torch positioning table 14, that is, positioning control of the welding torch 1 based on the groove 5. The control device 30 includes an imaging unit control unit 21, an image processing unit 22, an image processing unit monitor 23, light emitting unit driving units 24 and 25, a welding torch position control unit 26, an overall control unit 27, a man-machine interface unit 28, A monitor 29 for the overall control unit is included. Among them, the imaging unit control unit 21, the image processing unit 22, the image processing unit monitor 23, and the light emitting unit driving units 24 and 25 are also elements of the groove detection device.
[0026]
The imaging unit control unit 21 is a control circuit of the imaging unit 10 and outputs an analog image signal to the image processing unit 22. The image processing unit 22 is a data processing unit in the groove detection device, and although not shown, an analog image signal from the imaging unit control unit 21 is A / D-converted to obtain a digital amount of multi-valued image data. Image input unit for inputting the multi-valued image data, multi-valued image storage unit for storing the multi-valued image data, and performing various processes described later from the multi-valued image data stored in the multi-valued image storage unit to detect the position and shape of the groove And a main control unit that controls them collectively. The light projecting means driving units 24 and 25 turn on and off the light projecting means 6 and 8, control the amount of irradiation light, and the like.
[0027]
The welding torch position control unit 26 receives the output from the overall control unit 27 and controls the driving of the welding torch positioning table 14. The overall control unit 27 controls the imaging unit control unit 21, the image processing unit 22, the image processing unit monitor 23, the light emitting unit driving units 24 and 25, and the welding torch position control unit 26. Also has a role of controlling, for example, a personal computer or the like. The overall control unit 27 has a function of storing in advance the target position of the welding torch with respect to the groove of the member to be welded, based on the target position of the welding torch and the groove position deviation information obtained from the image processing unit 22. The welding torch has a welding line scanning control function of outputting welding torch target position information to the welding torch position control unit 26 in order to determine a welding target position. The overall control unit 27 also stores welding condition data such as welding current, voltage, welding speed, and the like, and can correct these data before starting welding. On the overall control unit monitor 29, operation menus for setting conditions of each unit and starting copy welding are displayed.
[0028]
Hereinafter, the groove detection processing in the groove detection device will be described. Prior to that, the general property of light reflection when light is irradiated on the object surface will be confirmed with reference to FIG. When light strikes the surface of an object, reflection occurs and the light is redirected according to the law of reflection. When the object surface is not a perfect mirror surface, it is a set of micro surfaces oriented in various directions, and the reflection pattern is a scattered scattering pattern having the maximum intensity in the regular reflection direction as shown in FIG. It becomes. When the object surface is close to the mirror surface, the reflected light in the specular reflection direction is strong and the spread is small, and when the object surface is away from the mirror surface, the reflected light in the specular reflection direction is relatively weak and the spread is large. As a matter of course, as the imaging direction (observation angle) of the camera in the same figure moves away from the specular reflection direction (specular reflection angle), the amount of light incident on the camera becomes relatively small.
[0029]
FIG. 4 schematically shows a light cut image obtained by the two-way slit light beam method in the present invention. In the figure, bright (high luminance) parts are expressed as white, and dark (low luminance) parts are expressed as black. The light cut image P1 is an image obtained by irradiating the slit light 7 by the light projecting means 6, and the light cut image P2 is an image obtained by irradiating the slit light 9 by the light projecting means 8. Here, how the light cut images P1 and P2 appear will be described. In the example of FIG. 1 in which the groove surfaces 3B and 4B of the groove 5 are symmetric, the light-section images P1 and P2 are symmetric. Therefore, the light-section image P1 will be described below as an example. In FIG. 4, the linear partial light cut images R1 and R2 formed on the front surface 3A and the groove surface 3B in FIG. 1 are so-called primary reflection images of the slit light 7. It has been described above that the slit light 7 is irradiated at the irradiation angle θ1, and thus the partial light cut image R1 on the surface 3A and the partial light cut image R2 on the groove surface 3B have the same or almost the same brightness. It is as follows.
[0030]
The multiple reflection images Ra and Rb in FIG. 4 are images observed by multiple reflection that occur when the groove surfaces 3B and 4B have large specular reflectivity. The multiple reflection image Ra is formed by, for example, the slit-shaped light beam 7 reflected on the groove surface 3B being incident on the groove surface 4B, so that the amount of light incident on the groove surface 3B is large and the multiple reflection image Ra is reflected on the groove surface 3B. Is small, and the secondary reflected light from the groove surface 3B is often incident on the groove surface 4B, resulting in a bright image. On the other hand, the groove surface 4B is hardly irradiated with the slit light 7, and the primary reflection image (image corresponding to the partial light cut image R2) on the groove surface 4B is dark. For this reason, on the groove surface 4B, the partial light cut image there is in a state where it is absorbed by the multiple reflection image Ra. On the other hand, the multiple reflection image Rb is formed by, for example, the slit-like light beam 7 reflected on the groove surface 4B being incident on the groove surface 3B, and the amount of light incident on the groove surface 4B is small. Since the angle of incidence on the groove 4B is large and the amount of secondary reflected light from the groove 4B on the groove 3B is small, a dark image is formed. Therefore, the multiple reflection image Rb does not overlap with the partial light cut image R2 except for the groove bottom where the groove surfaces 3B and 4B are in a V-shaped contact state. That is, for the light section image P1, the partial light section image R2 on the groove surface 3B can be extracted without being affected by the multiple reflection image. The above is symmetrically applicable to the light-section image P2.
[0031]
FIG. 5 shows a processing flow in the groove detection device. Hereinafter, the content of each processing step will be described as an example of processing the light section image shown in FIG. First, in step S1, an image obtained from the imaging unit control unit 21 is input to the image processing unit 22 and stored.
[0032]
In step S2, smoothing differentiation in the screen horizontal direction and linearization processing in the screen vertical direction are performed. Among them, the smoothing differentiation process is a process that combines a smoothing process and a differentiation process, and enhances a boundary portion having different brightness while eliminating small noise. The linearization process is a process of dividing the light-section image into linear line elements and generating data for each straight line. First, the smoothing differentiation processing and the linearization processing will be briefly described. The processed image is a two-dimensional array of luminance, which is represented as f (i, j). That is, f (i, j) represents a pixel (or its luminance) at the coordinates (i, j) of the image f. On the other hand, if the horizontal smoothed differential processing image is represented by g (Ii, Ji), it is represented by the following equation, for example.
(Equation 1)
[0033]
In the image after the differentiation processing, the boundary portion where the luminance changes from a high point to a low point has a local maximum value, and the boundary portion where the luminance changes from a low point to a high point has a local minimum value. The screen coordinates are extracted by extracting the screen coordinates where the maximum value and the minimum value exceed the preset threshold values of the maximum side and the minimum side, respectively, and detecting a pair of the adjacent maximum maximum value and minimum minimum value. Can be found on both sides of the light-section image on each horizontal line. In the smoothing differentiation process, the maximum local minimum value and the minimum local minimum value pair and the center coordinates thereof are simultaneously detected.
[0034]
The linearization process divides the light-section image into a plurality of linear line elements in the longitudinal direction, and calculates a characteristic parameter of each line element. This processing uses the above-mentioned center position data (center coordinate value) regarded as a light section line, and evaluates each extracted center position data in the horizontal direction and the vertical direction on a pixel-by-pixel basis, while checking the continuity of the image in the vertical direction. This is to check and divide the light-section line obtained from the light-section image into straight line elements. Starting from the center position data detected at the uppermost position on the screen, it is determined whether or not the center position data existing on the next lower side (a horizontal line lower by one pixel in the vertical direction) belongs to the same linear connected component. To evaluate. When they are regarded as the same connected component, the same number (label) as the center position data at the start is assigned. Here, the connection refers to a state in which the target center position data (that is, the light-section image) is vertically connected to the immediately preceding center position data in accordance with a predetermined rule. When the connection is established, the center position data to be evaluated is integrated into the label (number), and the same evaluation is sequentially performed on the center position data on the lower line. If it is determined that the target center position data is not connected in the vertical direction as a result of evaluating the connection state, the label (number) is closed with the center position data up to that point, and the target center position data is set as the start point. And the same processing as described above is repeated using a new label (number). In this way, the same label is assigned as the same connected component when the light cut images are continuous in the vertical direction, and another label is assigned when the light cut images are not continuous as different connected components. The connected component formed by such processing is a line element.
[0035]
In step S2, after performing the above-described horizontal smoothing differentiation processing on the entire screen or in a predetermined area, linearization processing is performed while sequentially scanning downward in the screen vertical direction to obtain line element data. FIG. 6 schematically shows line elements ideally obtained by the processing in step S2 from the light-section image shown in FIG. As shown in the figure, a line element E1 generated at a portion corresponding to the groove surface 3B for the light section image P1 and a line element E2 generated at a portion corresponding to the groove surface 4B for the light section image P2 are obtained. Here, for the definition of the straight line, for example, a standard Hessian form generally used is used. In the ij orthogonal coordinate system as shown in FIG. 7, the origin is the starting point, the vector orthogonal to an arbitrary straight line L is a, the magnitude is r, and the angle formed with the i axis is θ. Can be expressed by the following equation.
(Equation 2)
[0036]
Note that a method of dividing a straight line into a line element group in the straightening process is not particularly limited here. In the linearization process, the distance r from the origin and the inclination θ of each line element are calculated, and the line element of the ij orthogonal coordinate system is mapped to the parameter space of r and θ. In addition to the distance r and the inclination θ, the feature amount of each line element includes, for example, the length (vertical length) of the line element shown in the line element data table of FIG. 8, the start point position coordinates, the end point position coordinates on the screen, and the like. There are barycentric position coordinates and the like.
[0037]
In step S3, a plurality of line element data (these include line element data which is noise) correspond to the left groove plane line, that is, the partial light cut image R2 (FIG. 4) on the groove plane 3B. Line element to be detected. The groove angle of the member to be welded can be known in advance, and the range in which the left groove surface line appears in the aforementioned parameter space of r and θ can be predicted. Therefore, from the line element data group obtained in step S2, a range such as r, θ, the length of the line element, and coordinates appearing on the screen is determined in advance, and the line elements belonging to this range are extracted to obtain the left side. The line element E1 corresponding to the groove surface line can be detected.
[0038]
In step S4, a right groove surface line, that is, a line element E2 corresponding to a line element corresponding to a partial light section image on the groove surface 4B is detected from the plurality of line element data in the same manner as in step S3. The processing in steps S3 and S4 is performed for each light-section image formed by each of the slit-shaped light beams 7 and 9, and a groove where the slit-shaped light beam 7 is strongly irradiated is obtained from the light-cut image by the slit-shaped light beam 7. Multiplexing is performed by detecting a groove surface line only for the surface 3B and similarly detecting a groove surface line only for the groove surface 4B to which the slit light beam 9 is strongly irradiated from the light cut image by the slit light beam 9. The groove surface line is detected without being affected by the reflection.
[0039]
In step S5, a smoothing differentiation in the vertical direction and a straightening process in the horizontal direction are performed. This processing method differs in the processing direction by 90 ° from the processing performed in step S2, but the concept is the same. In step S2, a line element extending in the vertical direction of the screen is detected. In step S5, a line element extending in the horizontal direction of the screen is detected. FIG. 9 schematically shows line elements ideally obtained by the processing in step S5 from the light-section image shown in FIG. As shown, line elements E3 and E4 generated on the left and right surfaces are obtained for the light section image P1 of FIG. 4, and line elements E5 and E6 generated on the left and right surfaces are obtained for the light section image P2.
[0040]
In step S6, a flat line on the left side of the light-section image P1 in FIG. 4, that is, the line element E3 in FIG. 9, is detected from the plurality of line element data. As in the case of detecting the line element E1 in step S3, it is possible to predict in which range the left flat line will appear in the parameter space of r and θ, and accordingly, the line similarly obtained in step S5 From the element data group, a range such as r, θ, the length of the line element, and coordinates appearing on the screen is determined in advance, and a line element belonging to this range is extracted to obtain a line element E3 corresponding to the left flat line. Can be detected. In this case, the line element E3 can be more accurately detected by referring to the coordinates of the line element E1 on the left groove surface obtained in step S3. In step S6, a line element E5 used for synthesizing line element data as described later is also detected by the same processing.
[0041]
In step S7, a flat line on the right side in the light-section image P2 in FIG. 4, that is, the line element E6 in FIG. 9, is detected from the plurality of line element data by the same method as in step S6.
[0042]
In step S8, using the line element data detected in steps S3, S4, S6 and S7, the data is combined with data forming a continuous groove shape. FIG. 10 shows a data synthesizing method using each line element data. First, an end point A, which is an intersection between the line element data E3 and E1, is detected. Next, the end point B of the line element data 5 detected in the processing step S6 is extracted. Next, the screen position coordinates of the line element data E3 and E1 are shifted in parallel so that the screen coordinates of the end point A match the screen coordinates of the end point B. FIG. 11 schematically shows a light section image obtained by combining the line element data.
[0043]
In step S9, the feature amount of the groove shape is detected from the image of FIG. The feature amounts detected here include a groove width, a groove width center position, a groove angle, and the like. C1 is the intersection of the line element data E3 and E1, and C2 is the intersection of the line element data E6 and E2. For example, the groove width is calculated from the horizontal distance between the intersections C1 and C2 in the screen. Further, the groove width center position is calculated as the middle point coordinates of the intersections C1 and C2. Further, the groove angle is calculated as an angle formed by the line element data E1 and E2. Feature amounts of the groove shape other than those described above are detected in step S10. In the flowchart of FIG. 5, the characteristic amount detected in step 9 is referred to as a first characteristic amount, and the characteristic amount detected in step 10 described below is referred to as a second characteristic amount.
[0044]
In step S10, a second characteristic amount such as a groove gap and a welding cross-sectional area is detected. First, a method of detecting a groove gap will be described. The groove gap detection processing includes a window setting processing, a vertical maximum luminance detection processing in a window, a horizontal smoothing differentiation processing, and a detection of a pair of maximum and minimum values. FIG. 12 shows a schematic diagram of both side slope lines (groove surface lines) and window settings. The window setting process detects a left slope bottom end point PL and a right slope bottom end point PR from the left and right slope lines detected in steps S3 and S4, and sets a small area window (two locations on both sides) based on the coordinates thereof. I do. The window is determined by the start point (upper left corner) coordinate value and the end point (lower right corner) coordinate value. Assuming that the coordinates of the left slope bottom end point PL and the right slope bottom end point PR are (Li, Lj) and (Ri, Rj), the set coordinates of the start point (upper left corner) and end point (lower right corner) of the window are as follows: Depends on the formula.
[Equation 3]
(Equation 4)
(Equation 5)
(Equation 6)
Note that Δi and Δj in these equations are values obtained and set in advance.
[0045]
Next, the processing for detecting the maximum luminance in the vertical direction in the window will be described. In the range of both ends Lsi to Rei of the left and right windows, the maximum luminance of each pixel data in the screen vertical direction in the window is measured while sequentially operating in the horizontal direction from the left end i = Lsi, and each maximum luminance in each horizontal line is stored. . FIG. 13 shows a schematic diagram of the detected values. The maximum luminance value in the region where the primary reflection image and the multiple reflection image exist becomes large, and the portion where the groove gap exists becomes a small value because neither image exists.
[0046]
Next, horizontal smoothing differentiation of the maximum luminance detection value will be described. The smoothing derivative is as shown in the above equation (1). FIG. 14 shows a schematic diagram of the smoothed differential value. A local maximum value is obtained at a portion where the luminance at the left boundary of the groove gap changes from a high portion to a low portion. Similarly, a local minimum value is obtained at a portion where the luminance at the right boundary of the groove gap changes from a low portion to a high portion. After the horizontal smoothing / differentiation processing of the maximum luminance detection value, a maximum / minimum value pair generated at the left and right boundary portions of the gap is detected. A threshold value is determined in advance, and a maximum value and a minimum value that are equal to or greater than the threshold value are sequentially detected from the smoothed differential value, and a maximum maximum minimum value minimum value pair that has a maximum maximum value on the left side and a minimum minimum value on the right side is detected. Then, the coordinate values at which both occur are stored. The horizontal coordinates of the point indicating the maximum maximum value and the minimum minimum value as a pair indicate the boundary of the groove, that is, the gap. In this way, the gap amount detected in the feature amount detection processing in step S10 is calculated from the difference between the two coordinate values in the horizontal direction (i). When the gap is 0 mm, the maximum and minimum value pairs do not clearly appear. When the maximum / minimum value pair can be clearly detected, the gap is obtained from this information as described above, and when the maximum / minimum value pair cannot be detected, the gap is set to zero.
[0047]
Next, a method for detecting the welding cross-sectional area will be described. FIG. 15 is an explanatory diagram of a luminance integration process for each pixel in the vertical direction within the above-described two windows (see FIG. 12). The luminance of each pixel data in the vertical direction of the screen in the window is calculated while sequentially operating in the horizontal direction from the left end i = Lsi in the range of both ends Lsi to Rei of the left and right windows. The luminance integrated value decreases from the region where the primary reflection image and the secondary reflection image exist to the bottom of the groove. From this data, the horizontal coordinates (i3 and i4) of the corners on both sides where the groove gap exists are detected. In steps S3, S4 and S5 described above, the left and right slope lines are detected, and the straight line formula is obtained. That is, by substituting the horizontal coordinates (i3 and i4) into the linear equation (Equation 2), the vertical coordinates (j3 and j4) on the left and right slope lines can be obtained. The welding area can be determined by calculating the area of a quadrangle formed by adding the two shoulders of the groove (see FIG. 11) detected in advance in step S9 and the above-described two points at the bottom, for a total of four points. .
[0048]
In step S11, the various groove shapes obtained in steps S9 and S10 are converted into actual values. The values obtained in steps S9 and S10 are detection results on an image obtained by the imaging means 10 (FIG. 1). It is necessary to convert information obtained on this image from various constants such as the imaging magnification of the imaging means 10 to actual numerical values. This conversion is performed in processing step S11.
[0049]
In the above embodiment, two light projecting means are used to irradiate slit-like light beams from two directions. However, the present invention is not limited to this. It is also possible to obtain a slit-like light beam in two directions by splitting with a beam splitter such as the one described above. Further, in the automatic welding apparatus shown in FIG. 2, the welding torch position control unit 26 and the overall control unit 27 are individually configured, but they may be integrally configured. Further, in the example of FIG. 2, an XY table type welding torch positioning table is used for positioning the welding torch. However, instead of this, for example, an articulated robot type or the like can be applied.
[0050]
【The invention's effect】
As described above, in the present invention, slit light beams from two directions with irradiation angles inclined in opposite directions are used as the slit light beams to be irradiated on the object in the light cutting method. By irradiating the two-way slit light beam, even when the object has a surface and a surface inclined with respect to the surface, such as a groove surface, it is possible to equalize the amount of irradiation light to both surfaces. At the same time, it is possible to effectively avoid the effect of multiple reflection in the concave portion on the groove formed with the inclined surfaces facing each other. Therefore, according to the present invention, it becomes possible to measure the surface shape of an object by the light section method more easily and with higher accuracy. In addition, the automatic welding apparatus of the present invention to which such a surface shape measuring method is applied can detect the position and the shape of the groove having a glossy surface with high accuracy, and perform stable and high-quality welding. It is possible, and it is also possible to advance the automation of welding work to unmanned welding.
[Brief description of the drawings]
FIG. 1 is a diagram schematically illustrating a configuration example when a method of measuring a surface shape of an object according to the present invention is applied to detection of a welding position.
FIG. 2 is a diagram schematically illustrating a configuration example of an automatic welding device incorporating a groove detection device capable of executing a method for measuring the surface shape of an object according to the present invention.
FIG. 3 is a diagram showing a general property of light reflection when light is applied to an object surface.
FIG. 4 is a diagram schematically showing a light-section image captured by the method for measuring the surface shape of an object according to the present invention.
FIG. 5 is a flowchart showing a flow of a process for detecting a position and a shape of a groove in a groove detecting device for executing the method for measuring a surface shape of an object according to the present invention.
6 is a diagram schematically illustrating line elements obtained by horizontal smoothing differentiation and linearization processing from the light-section image of FIG. 4;
FIG. 7 is a diagram showing a definition of a straight line using the Hessian standard form.
FIG. 8 is a diagram showing a line element data table.
9 is a diagram schematically showing line elements obtained by vertical smoothing differentiation and linearization processing from the light-section image of FIG. 4;
FIG. 10 is a diagram illustrating a data synthesizing method using line element data.
FIG. 11 is a diagram schematically showing a light section image obtained by combining line element data.
FIG. 12 is a diagram schematically showing a slope line on both sides and a window setting method.
FIG. 13 is a diagram schematically showing a maximum luminance detection value on a horizontal line.
FIG. 14 is a diagram schematically showing a smoothed differential value.
FIG. 15 is a diagram illustrating a result of an integration process of luminance in each pixel in two windows in a vertical direction.
FIG. 16 is a diagram schematically illustrating a general configuration example in a case where a conventional light cutting method is applied to detection of a groove in welding.
17 is a diagram schematically showing a light-section image of non-uniform brightness in the configuration of FIG. 16;
FIG. 18 is a diagram schematically illustrating an example of a multiple reflection light image in the configuration of FIG. 16;
[Explanation of symbols]
1 welding torch
5 Groove (groove-shaped recess)
7 First slit light beam
9 Second slit light beam
11 Reference vertical plane
12 faces (first position)
13th surface (second position)
M Welding object (object)
θ1 First irradiation angle
θ2 Second irradiation angle