JP6621351B2 - レーザー加工用の画像処理装置及び画像処理方法 - Google Patents
レーザー加工用の画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6621351B2 JP6621351B2 JP2016059619A JP2016059619A JP6621351B2 JP 6621351 B2 JP6621351 B2 JP 6621351B2 JP 2016059619 A JP2016059619 A JP 2016059619A JP 2016059619 A JP2016059619 A JP 2016059619A JP 6621351 B2 JP6621351 B2 JP 6621351B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- unit
- image
- measurement object
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Machine Tool Sensing Apparatuses (AREA)
- Laser Beam Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
(1)照明光の映り込みに関して
図17は、従来技術の問題点である照明光や外光の映り込みを示す説明写真であり、(a)は照明光の映り込みを示す説明写真である。
昨今、工場全体の消費電力を削減する目的で導入されているLED照明であるが、電球型蛍光灯による照明と比べ直進性が強い照明であるため板材上で鏡面反射(図17(a)Dの箇所)し、板材を撮像した際にノイズの原因となる。
(2)外光の映り込み
図17(b)は外光の映り込みを示す説明写真である。
外光は、季節や時間帯によって様々な状態に変化して窓等から入射するため板材上に自然光の映り込み((図17(b)Eの箇所)が発生する。この自然光の映り込みEが板材を撮像した際にノイズの原因となるうえ、季節や時間帯で板材上の自然光の映り込みの位置、形状、光量が変化するためノイズの除去が困難である。
(3)レーザー加工のために板材上に塗布された切削油
図18は、従来技術の問題点である切削油の乾燥する箇所と乾燥しない箇所を示す説明写真であり、(a)は切削油の乾燥する箇所を示す説明写真であり、(b)は切削油の乾燥しない箇所を示す説明写真である。
レーザー加工しやすくするために切削油を板材に対して塗布しているが、レーザー加工直後は切断面が溶断しているため、切削油が乾燥する。よって板材上に切削油が乾燥する箇所(図18(a)F1の箇所)と乾燥しない箇所(図18(b)F2の箇所)が存在するために、切削油の乾燥する箇所と乾燥しない箇所の境界が特徴量として検出されてしまい、ノイズとして発生してしまう。
そして、上述においてはレーザー加工の画像処理過程において発生するノイズに関して説明を行ったが、撮影条件が悪い状態で計測対象物を撮像した画像データにノイズが発生することで正確な位置情報の取得が困難となることはレーザー加工技術に特化したものではなく、位置情報取得技術全体の課題となっていると考えられる。
図10は、ミクロジョイントと切断開始点(ピアッシング孔)の説明図であり、(a)は板材をレーザー加工機によって切断した状態の写真、(b)は(a)の矩形Cの拡大写真である。ピアニッシング孔Hとは、板材(材料)から必要な形状を切り取るレーザー加工機において、切り始めの位置(切断開始点)の円形状の孔のことで、このピアッシング孔Hを本発明においては特定形状とする。レーザー加工機を使用して板材から必要な形状を切り取る場合、加工ヘッドがまず切断開始点の位置にピアッシング孔Hを穿設する。次に、ピアッシング孔Hから必要な形状に沿って加工ヘッドを移動させ、切断の終点にはわずかに切断されないミクロジョイント部Mを形成し、このミクロジョイント部Mを残して切断は終了となる。ピアッシング孔Hを特定形状として抽出することで、簡単に撮像画像と位置計測データおよび3次元基準データの位置合わせを行うことができる。
ここで「傾き情報」とは、前記計測対象物の傾きを示す情報(θx,θy,θz)であり、X軸、Y軸、Z軸回りの回転角度で示させる。3次元CADデータ等のあらかじめレーザー加工に使用された3次元基準データと位置計測データとを比較し、前記計側対象物の傾き状態を示す情報である。
また本発明のレーザ加工用の画像処理方法は、計測対象物の位置を算出する画像処理方法であって、照明部により前記計測対象物に照明光を照射し前記計測対象物をはさんで前記照明部と相対する位置から前記計測対象物の撮像画像を取得する撮像画像取得ステップと、前記計測対象物の特定形状の範囲の位置計測データを計測する位置計測データ取得ステップと、前記撮像画像から位置計測部が計測する計測範囲を算出する計測位置算出ステップと、前記位置計測データと3次元基準データから前記計測対象物の傾き情報(X軸、Y軸、Z軸回りの回転角度で示させるθx,θy,θz)を求める傾き情報抽出ステップを備え、前記計測対象物であるレーザー加工を施す加工板のピアッシング孔とその形状周辺に対して必要な形状を切り取るに際して、前記撮像画像を使用して前記計測対象物の切断開始点のピアッシング孔である円の中心位置を算出してから、撮像画像用中心位置近傍範囲を抽出して、前記計測位置算出ステップは、前記撮像画像用中心位置近傍範囲から位置計測部が計測する計測範囲を算出し、前記計測範囲に基づいて前記位置計測部を前記計測範囲位置までレーザ加工ヘッドを移動させ、前記計測対象物に対してレーザーもしくは超音波を照射して走査することで、前記計測対象物の位置計測データを取得することを特徴とする。
そして本発明の画像処理装置は、前記撮像部はCCDエリアセンサであり、前記位置計測部はレーザー変位計であることを特徴とする。
本発明によれば、前記撮像画像と前記位置計測データと前記3次元基準データを使用して演算を行うため、より正確な計測対象物の位置情報を算出することが可能となる。
また本発明によれば、前記撮像部が前記計測対象物をはさんで前記照明部と相対する位置に配置されることで前記照明部からの照明光が前記計測対象物に設けられた孔や外表面を透過し、前記透過した透過光を前記撮像部が取り込み、前記計測対象物の孔や外表面の輪郭を強調した画像を取得することができる。
さらに本発明によれば、計測対象物全体の撮像画像を取得する撮像部と、計測対象物の特定形状の範囲の位置計測データを計測する位置計測部と画像処理部を備える。CCDエリアセンサ等の撮像部は広範囲の領域を短時間で撮像することが可能であるが、分解能が低くなってしまう。一方、レーザー変位計等の位置計測部は広範囲の領域の情報を取得するのには時間がかかるが、比較的小さな範囲を高い分解能で取得することができる。よって計測対象物の広範囲の領域は撮像部で取得し一部の領域のみ位置計測部で計測することで、位置計測データの撮像や撮像画像との位置合わせを効率的に行い、分解能の高い位置計測データを使用して計測対象物の正確な位置情報を算出することが可能となる。
このように前記撮像画像を使用して前記位置計測部が計測を行う範囲(計測対象物の特定形状の範囲)を特定するため、位置計測部の計測時間を短縮することが可能となり、かつ計測対象物の正確な位置を算出する際に高い分解能のデータを使用することが可能となる。
本発明によれば、撮像画像として照明あり撮像画像と照明なし撮像画像を撮像することで、前記照明あり撮像画像と前記照明なし撮像画像の差分処理を行った差分画像を算出し、照明光成分に依存しない画像を使用することができる。よって、外光の映り込みによるノイズ成分を低減した画像を得ることができる。
本発明によれば、前記撮像画像の円中心位置を算出して円中心位置近傍範囲を抽出し、位置計測部が円中心位置近傍範囲のみ位置計測データを取得することで、計測対象物の輪郭のうち検出したい特定の形状周辺に対して分解能の高い位置計測データを短時間かつ効率的に取得することが可能となる。
また本発明の画像処理装置は、前記3次元基準データが3次元CADデータであることを特徴とする。
本発明によれば、傾き情報を算出する際に3次元基準データ全ての点対を用いて参照を行うPPFを使用した手法を使用しているため、他の手法に比べて正確な傾き情報を算出することが可能となる。
また3次元基準データとして3次元CADデータを使用するため、より正確に傾き情報を算出することが可能となる。
また本発明のミクロジョイント切断システムは、画像処理装置とミクロジョイントを切断するミクロジョイント切断装置とを備えたミクロジョイント切断システムにおいて、前記ミクロジョイント切断装置は前記位置計測データと傾き情報からミクロジョイントを切断することを特徴とする。
本発明によれば、本発明の画像処理装置をレーザー加工技術に適用することにより、板材等のレーザー加工を施した加工品に対してミクロジョイントの位置を正確に算出して、ミクロジョイントを切断することができる。
また本発明の画像処理装置によれば、前記撮像部が前記計測対象物をはさんで前記照明部と相対する位置に配置されることで前記照明部からの照明光が前記計測対象物に設けられた孔や外表面を透過し、前記透過した透過光を前記撮像部が取り込み、前記計測対象物の孔や外表面の輪郭を強調した画像を取得することができる。
さらに本発明の画像処理装置によれば、計測対象物の広範囲の領域は撮像部で取得し、一部の領域のみ位置計測部で計測することで、計測対象物の輪郭のうち検出したい特定の形状周辺に対して分解能の高い位置計測データを短時間かつ効率的に取得することが可能となる。
また、本発明の画像処理装置をレーザー加工技術に適用することで、ミクロジョイントを正確に切断することやレーザー加工後の部品を正確に識別することも可能となる。
図1は本発明の第1の実施形態の画像処理装置100の構成を示す概略図である。
本発明の第1の実施形態の画像処理装置100は、板材等の計測対象物5を撮像および計測を行い、画像処理を行うことで前記計測対象物5の正確な位置情報を算出する装置であり、前記計測対象物5が載置される計測対象物載置台7と、前記計測対象物5の一方の側面から照明光を当てるための複数の照明部6と、前記照明部6をオン/オフするために設けられた補助継電器(リレー)9と、前記照明部6のオン/オフを行うためのPLC(プログラマブルロジックコントローラ、以下PLCと記す)8と、前記計測対象物5をはさんで相対する位置に設けられ前記計測対象物5を撮像するための撮像部12と、前記計測対象物5の位置計測データを計測するための位置計測部2と、前記位置計測部2の計測制御を行うための位置計測制御部3と、前記計測対象物5を撮像した撮像画像と位置計測部2で計測された位置計測データおよび3次元基準データを使用して前記計測対象物5の位置情報を算出することや画像処理装置100の全体の制御を行う画像処理部4と、前記画像処理部4で算出した算出結果や前記画像処理装置100の設定情報の表示や設定を行うための表示部13とから構成され、各々がネットワークを介して接続されている。
前記計測対象物載置台7は前記画像処理部4と接続されており、前記画像処理部4により前記計測対象物5の搬入/退避や前記計測対象物5のクランプ等の制御が行われる。
隣接する照明部6は異なる発色(照明波長)となるように選択してもよく、前記照明部6が発光する照明波長を前記画像処理装置100が置かれている載置場所の照明(載置場所の天井に取り付けられている照明等)とは異なる発色(照明波長)としてもよい。
前記照明部6の照明波長を前記画像処理装置100の載置場所の照明波長と異なるようにすることで、前記撮像部12で撮像された撮像画像の載置場所の照明光の映り込みをノイズと判別しやすくする効果がある。
前記補助継電器(リレー)9や前記PLC(プログラマブルロジックコントローラ)8は、前記照明部6をオン/オフするために設けられた装置であり、前記照明部6、前記補助継電器(リレー)9、前記PLC8、前記画像処理部4の順に接続され、前記画像処理部4の指示により前記照明部6のオン/オフの切替を行う。
前記撮像部12は前記画像処理部4と接続され、前記画像処理部4により前記撮像部12の撮像開始/停止、移動等の制御が行われる。
前記撮像部12は、前記計測対象物5をはさんで前記照明部6と相対する位置に配置されることで前記照明部6からの照明光が前記計測対象物5に設けられた孔や外表面を透過し、前記透過した透過光を前記撮像部12が取り込むため、前記計測対象物5の孔や外表面の輪郭を強調した画像を取得することができる。
前記位置計測制御部3は、前記位置計測部2の計測タイミングや走査位置の制御や前記位置計測部2の位置計測データの取得等、前記画像処理部4からの指示によって行う制御装置であり、前記位置計測部2と画像処理部4に接続されている。
また前記画像処理部4は、前記画像処理装置100の全体の制御を行うものであり、前記位置計測部2の計測タイミングの指示や走査位置の制御、前記照明部6のオン/オフの切替、前記撮像部12の撮像開始/停止や移動制御、前記計測対象物載置台7の前記計測対象物5の搬入/退避や前記計測対象物5のクランプ等の制御を行う。
前記表示部13は、前記画像処理部4で算出した算出結果や前記画像処理装置100の設定情報の表示や設定を行うためのモニタであり、前記画像処理部4に接続されている。
図2は、上記実施形態の画像処理部4の構成を示す構成概略図である。
前記画像処理部4は、各種画像やデータを格納するための記憶部41と、撮像画像を補正しエッジ撮像データを生成する撮像画像演算部42と、前記撮像画像から前記位置計測部2が計測する計測範囲を算出する計測位置算出部43と、位置計測データと3次元基準データから傾き情報を抽出する傾き情報抽出部44と、撮像画像と位置計測データの位置合わせを行う位置合わせ部45と、画像処理装置100の全体の制御を行う全体制御部46で構成される。
前記撮像画像記憶部411は、前記撮像部12によって撮像された前記計測対象物の撮像画像を格納するものであり、1回の計測のうち複数の撮像画像を取得する場合は複数の撮像画像を紐付けて格納する。また撮像画像は照明部6を駆動し照明光を当てた状態で撮影した照明あり撮像画像と照明部6を停止し照明光を当てない状態で撮影した照明なし撮像画像も同様に紐付けて格納する。
前記位置計測データ記憶部412には、前記位置計測部2によって計測した前記計測対象物の位置計測データが格納され、前記CADデータ記憶部413には、加工等で使用されている前記計測対象物の3次元のCADデータが格納されている。
前記算出データ記憶部414には、傾き情報、位置合わせ情報(3次元基準データ/位置計測データ)位置合わせ情報(撮像画像/位置計測データ)、撮像画像用円中心位置SCβ、撮像画像用中心位置近傍範囲SLβ(x,y)、位置計測用円中心位置ICγ、位置計測用中心位置近傍範囲ILγ(x,y)、計測範囲等の画像処理部4で算出されたデータが格納されている。
ここで、位置合わせ情報(3次元基準データ/位置計測データ)とは、具体的には3次元基準データ(3次元のCADデータ)の座標から位置計測データの座標へ変換するための変換行列である。また位置合わせ情報(撮像画像/位置計測データ)とは、具体的には撮像画像の座標から位置計測データの座標へ変換するための変換行列である。
その他、記憶部41には画像処理に使用する設定値や産業用ロボットの座標と位置計測データの座標との座標変換行列や、産業用ロボットの座標と撮像画像の座標との座標変換行列が格納されている。
図3は、上記実施形態の画像処理装置100の全体処理の概要を示すシーケンス図である。
計測対象物載置台7に計測対象物5を載置すると、照明部6が発光/停止するように制御され、前記計測対象物5に対して一方の側面から照明光が照射される(S01)。前記撮像部12は、照明光が照射/停止された状態で前記計測対象物5を撮像し、照明あり撮像画像と照明なし撮像画像を取得する(S02)。前記照明あり撮像画像と前記照明なし撮像画像は記憶部41に格納される(S03)。撮像画像演算部42は、前記記憶部41から撮像画像を取得し、特定形状抽出処理として、前記撮像画像を使用して前記計測対象物5の特定形状(ピアッシング孔)である円の中心位置を算出し、撮像画像用中心位置近傍範囲を抽出する(S04)。そして、前記計測位置算出部43は、前記撮像画像用中心位置近傍範囲から位置計測部2が計測する計測範囲を算出し(S05)、前記計測範囲に基づいて前記位置計測部2を前記計測範囲位置まで移動させ、前記計測対象物5に対してレーザーもしくは超音波を照射して走査することで、前記計測対象物5の位置計測データを取得する(S06)。位置計測データは記憶部41に格納されるとともに(S07)、撮像画像用円中心位置SCβ、撮像画像用中心位置近傍範囲SLβ(x,y)、計測範囲等の画像処理部4で算出されたデータも格納される。
次に、位置合わせ部45は、前記撮像画像および位置計測データの中心位置近傍の画像範囲を利用して、前記撮像画像と位置計測データの位置合わせを行い、位置合わせ情報(撮像画像/位置計測データ)を算出する(S08)。抽出された位置合わせ情報(撮像画像/位置計測データ)、位置計測用円中心位置ICγ、位置計測用中心位置近傍範囲ILγ(x,y)、計測範囲は前記記憶部41に格納される(S09)。
また、傾き情報抽出部44は、前記記憶部41から位置計測データと3次元CADデータを取得し、前記3次元CADデータに対する前記計測対象物の傾き情報と位置合わせ情報(3次元基準データ/位置計測データ)を抽出する(S10)。生成された傾き情報と位置合わせ情報(3次元基準データ/位置計測データ)は、前記記憶部41に格納される(S11)。
図4は、上記実施形態の照明部と撮像部の撮像処理を示すフロー図である。
前記撮像部12は、前記照明部6からの照明光を照射/停止することで、照明あり撮像画像および照明なし撮像画像を撮像する。
計測対象物載置台7に計測対象物5を載置すると、照明部6が発光するように制御され、前記計測対象物5に対して一方の側面から照明光が照射される(S101)。前記撮像部12は、照明光が照射された状態で前記計測対象物5を撮像し、照明あり撮像画像を取得する(S102)。そして、計測対象物全体を撮影したかどうかを判別し(S103)、計測対象物全体を撮影した場合は、S104の処理を行う。計測対象物全体を撮影していない場合は、前記撮像部12を移動等することにより、前記計測対象物の範囲のうち撮影できてない箇所の撮影を行う。
次に、照明部6は発光を停止するように制御され(S104)、前記撮像部12は、照明光が照射されていない状態で前記計測対象物5を撮像し、照明なし撮像画像を取得する(S105)。
ここでも、計測対象物全体を撮影したかどうかを判別し(S106)、計測対象物全体を撮影した場合は、撮影画像を記憶部41に格納し、処理を終了する。計測対象物全体を撮影していない場合は、前記撮像部12を移動等することにより、前記計測対象物の範囲のうち撮影できてない箇所の撮影を行う。
このように撮像画像を照明あり撮像画像と照明なし撮像画像を撮像することで、照明光成分に依存しない画像を画像処理により得ることができる。
図5は、上記実施形態の画像処理部4の撮像画像演算部42の処理の流れを示すフロー図であり、図6は、上記実施形態の照明あり撮像画像と照明なし撮像画像の参考写真であり、(a)は照明あり撮像画像、(b)は照明なし撮像画像である。図7は、上記実施形態の光源補正画像の参考写真であり、(a)は照明あり撮像画像によって生成された光源補正画像、(b)は照明なし撮像画像によって生成された光源補正画像であり、図8は、上記実施形態の差分画像とエッジ撮像データの参考写真であり、(a)は差分画像、(b)はエッジ撮像データである。
前記撮像画像演算部42は、前記撮像画像記憶部411に格納された撮像画像を補正し、特定形状を抽出するための演算部であり、差分処理部421と光源補正部422とエッジ抽出部424と特定形状抽出部423から構成される。
前記光源補正部422は、照明あり撮像画像(図6(a))と照明なし撮像画像(図6(b))に対して光源を考慮した光源補正処理を行い、光源補正画像を生成する(図7)(S201)。光源補正処理のアルゴリズムとしては、Retinex理論を用いた画像処理アルゴリズムを採用する。Retinex理論は、人の視覚は照明光を除去して外界を見る明暗恒常性や色恒常性を備えていて、照明光に依存しない各物体の反射率の比によって色を知覚するという概念に基づいており、前記照明あり撮像画像と前記照明なし撮像画像に対して照明光成分を分離して反射光成分を得ることによって、照明光成分に依存しない画像を得ることができる。
Retinex理論を用いた光源補正処理のアルゴリズムには、SSR(Single−Scale−Retinex)、MSR(Multi−Scale−Retinex)、LR(Linear Retinex)等種々の手法があり、適宜選択可能である。
ここでは、簡易的に、[数1]に示すLRを例に説明する。
前記エッジ抽出部424は、前記差分画像(図8(a))に対して、エッジを抽出し、エッジ撮像データ(図8(b))を生成する(S203)。エッジ抽出処理に使用されるエッジフィルタであるが、Sobelフィルタ、ラプラシアンフィルタ、Cannyフィルタから選択可能である。
ここでは、Cannyフィルタを使用してエッジ撮像データを求める方法を説明する。
図9は、上記実施形態のエッジ抽出処理の概要を示すフロー図である。
まず最初にGaussianフィルタ([数4])を使用し、差分画像Rに対して画像の平滑化([数3])を行う(S301)。
ここで、円中心位置SCβを中心とした中心位置近傍範囲SLβ(x,y)を算出するのは、具体的に特定形状をピアッシング孔Hとした場合、ピアッシング孔Hの中心位置が円中心位置SCβに相当し、ピアッシング孔Hの中心位置の近傍範囲SLβ(x,y)、つまりピアッシング孔Hを含めた周辺画像を算出することと同様である。
図11は、上記実施形態の特定形状抽出処理の概要を示すフロー図であり、図12は、上記実施形態のエッジ撮像データの法線ベクトルから円中心位置を算出する方法を説明する概念図である。図13は、上記実施形態の特定形状抽出処理における円中心位置候補から円中心位置を算出する方法を説明する概念図である。
前記特定形状抽出部423は、特定形状(具体的にはピアッシング孔H)の中心位置である撮像画像用円中心位置SCβを算出する。
最初に前記エッジ撮像データθs(x,y)の法線ベクトルNs(x,y)を算出する(S301)。ピアッシング孔Hの円形状のエッジ撮像データθs(x,y)は円形状のエッジ上に沿うような傾きをもつ。よって、エッジ撮像データθs(x,y)の法線ベクトルNs(x,y)を算出し、法線ベクトルNs(x,y)に沿って所定範囲に直線を引くと、法線ベクトルに沿った直線が交差する交点Kη(η=1,2,・・・,U U:交点の総数)を算出することができる(S302)。この交点Kηで交差している直線の数Nkηが多いほど特定形状(ピアッシング孔H)の中心位置(撮像画像用円中心位置SCβ)であると考えられるため、交点Kηで交差している直線の数Nkηが基準数以上であるかを判定する(S304)。直線の数Nkηが基準数以上である交点Kηは円中心位置SCβの候補とし(S305)、直線の数Nkηが基準数よりも小さい交点Kηは円中心位置SCβの候補から外す(S309)。次に、円中心位置SCβの候補である交点Kηを中心として放射状に所定角度間隔で所定長さの直線Nrを引き、直線Nrが勾配ベクトルΔS(s,y)と約90°で交差する交点Lの数NLが、所定領域V(交点Kηを中心として半径r1≦V≦半径r2の領域)の範囲に基準数以上存在するか判定する(S307)(図13)。交点Lの数NLが基準数以上である交点Kηは円中心位置SCβとし(S308)、交点Lの数NLが基準数より小さい交点Kηは円中心位置SCβから外す(S310)。S304からS310までを全ての交点Kη(η=1,2,・・・,U U:交点の総数)に対して行うことで、円中心位置SCβ(撮像画像用円中心位置SCβ)(β=1,2,・・・,Q Q:算出された円中心位置の総数)を算出する。
その後、算出された円中心位置SCβ(撮像画像用円中心位置SCβ)を中心として半径rの範囲を含む領域を撮像画像用中心位置近傍範囲SLβ(x,y)(β=1,2,・・・,Q Q:算出された円中心位置の総数)とする(S313)。ここで、半径rは事前に3次元基準データから特定形状(ピアッシング孔)の半径の平均を算出してもよいし、表示部13から事前に設定されていてもよい。
このようにエッジ撮像データθs(x,y)を使用して円中心位置SCβの候補の交点Kηを算出するとともに、候補となった交点Kηを中心に全方位に直線を引くことで円中心位置SCβを算出するため、円中心位置の誤認率が少なくなり、精度の高い中心位置近傍範囲SLβ(x,y)を算出することができる。
前記計測位置算出部43は、前記特定形状抽出部423において算出された前記撮像画像用中心位置近傍範囲SLβ(x,y)(β=1,2,・・・,Q Q:算出された円中心位置の総数)の中から位置計測部2が計測する計測範囲を選択する。ここで、撮像画像の座標と位置計測データの座標は位置合わせされていないため、計測範囲と位置計測部が計測した計測範囲とはずれる可能性がある。
前記撮像画像用中心位置近傍範囲SLβ(x,y)のうち、位置計測部2の現在位置に一番近い撮像画像用中心位置近傍範囲SLβを選択する。位置計測部2の現在位置に一番近い撮像画像用中心位置近傍範囲SLβを選択した場合は、位置計測部2の移動を少なくすることができ、効率的な計測が可能となる。
また前記撮像画像用中心位置近傍範囲SLβ(x,y)のうち、撮像画像用円中心位置SCβの精度が一番高い(交点Kηで交差している直線の数Nkηが一番多い、所定領域Vの範囲に存在する交点Lの数NLが一番多い等)撮像画像用中心位置近傍範囲SLβ(x,y)を選択してもよい。このように撮像画像用円中心位置SCβの精度が一番高い中心位置近傍範囲SLβ(x,y)を選択することで、位置合わせの精度を上げることが可能となる。
前記撮像画像用中心位置近傍範囲SLβ(x,y)の中から1つの近傍範囲を選択してもよいし、2つ以上の近傍範囲を選択してもよい。選択する近傍範囲が少ない場合は、位置計測部2が計測する計測時間や位置合わせを行う際の演算時間を短縮できるため効率的に作業を行うことが可能で、選択する近傍範囲が多い場合は位置合わせの精度が向上する効果がある。またミクロジョイント切断装置においてミクロジョイント部を検出する場合は、全ての撮像画像用円中心位置SCβに対応する前記撮像画像用中心位置近傍範囲SLβ(x,y)を全て計測範囲とし、位置計測データを取得する。このように画像処理装置100の使用用途によって適宜選択可能である。
図14は、上記実施形態の画像処理部4の位置合わせ部45における位置合わせ処理を示すフロー図である。
位置合わせ部45は前記特定形状抽出部423において算出された前記撮像画像用中心位置近傍範囲SLβ(x,y)と、前記位置計測部2で計測された位置計測データから、テンプレートマッチングを行い、前記撮像画像と位置計測データの位置合わせを行う。
まず、位置合わせ部45は位置計測データZ(xn,yα)を以下(数9)により、閾値Zhを基準として二値化処理を行い、二値化画像を生成する(S401)。
そして、特定形状抽出部423における特定形状抽出処理と同様の処理を行い、法線ベクトルを算出し(S403)、位置計測用円中心位置ICγと位置計測用中心位置近傍範囲ILγ(x,y)(γ=1,2,・・・,W W:算出された円中心位置の総数)を算出する(S404,S405)。そして算出された位置計測用中心位置近傍範囲ILγ(x,y)をテンプレート画像とし、撮像画像用中心位置近傍範囲SLβ(x,y)を入力画像としてテンプレートマッチングを行うことで撮像画像と位置計測データとの位置合わせを行う(S406)。位置合わせを行うことで、位置合わせ情報_撮像画像/位置計測データ(撮像画像と位置計測データの変換行列)を算出することが可能となる。
ここで、簡単のために、前記撮像画像用中心位置近傍範囲SLβの中から1つだけ選択した計測範囲に対して位置計測データを取得し、テンプレートマッチングを行った場合の説明を行う。
テンプレートマッチングとはテンプレート画像を各入力画像で走査させ、各入力画像における類似度を算出し、最大(もしくは、しきい値以上)の類似度をとる位置を検出する手法であり、SAD(Sum of Abusolute Difference)、SSD(Sum of Squared Difference)、NCC(Normalized Cross−Correlation)、ZNCC(Zero−means Normalized Cross−Correlation)等の手法から選択することができる。
ここでは簡易的に、[数10]に示すSADを例に説明する。
本発明の実施例においては、テンプレート画像を位置計測用中心位置近傍範囲ILγ(x,y)とし、入力画像を撮像画像用中心位置近傍範囲SLβ(x,y)(β=1,2,・・・,Q Q:算出された円中心位置の総数)としてテンプレートマッチングを行う。
位置計測用中心位置近傍範囲ILγ(x,y)に対して類似度が高い撮像画像用中心位置近傍範囲SLβ(x,y)を算出することで、撮像画像と位置計測データの位置合わせを行い、撮像画像系の座標と位置計測系のデータの座標を合わせるための位置合わせ情報_撮像画像/位置計測データ(撮像画像と位置計測データの変換行列)を算出することが可能となる。
次に3次元の情報(3次元基準データ)を利用して、前記計測対象物の傾き情報と位置合わせ情報_3次元基準データ/位置計測データを算出する。
図16は、上記実施形態の画像処理部4の傾き情報抽出部44における処理の流れを示すフロー概略図であり、図19は、PPFを説明するための概念図である。
傾き情報抽出部44は、3次元CADデータ等の3次元基準データと位置計測データを使用して、計測対象物の傾き情報と位置合わせ情報_3次元基準データ/位置計測データを抽出する。傾き情報抽出部44で使用される手法であるが、Point Pair Feature(PPF)を利用した3次元位置姿勢認識手法を利用する。
Point Pair Feature(PPF)とは、法線方向を持った2点対で構成される特徴量(図19)のことであり、法線(n1,n2)を持った2点(m1,m2)で構成された[数11]で示すような特徴量をもつ。
次に、位置計測データから参照する点を選択して、それ以外の全ての点とペアリングを行うことで位置計測データ用PPFを作成する(S702)。
そして、位置計測データ用PPFのプロパティをハッシュキーとして対応するテーブルに登録されている3次元基準データ用PPFを検索し、位置計測データ用PPFと3次元基準データ用PPFの幾何変換パラメータを求める(S703)。
幾何変換パラメータの算出方法であるが、3次元基準データの座標系で算出されたPPFを法線(nmr,nmi)を持った2点(mr,mi)で構成された特徴量をもつとし、位置計測データの座標系で表されたPPFを法線(nsr,nsi)を持った2点(sr,si)で構成された特徴量ともつとした場合、基準点mr,srを原点に一致するように、基準点に付随した法線nmr,nsrがX軸に一致するように変換する。さらにmiX軸周りに回転角αだけ回転させ、siに一致させる。この一連の幾何変換パラメータは[数12]で表される。
次に、投票型の認識手法を使用して計測対象物の傾き(mrの位置でmrの法線方向まわりに回転角αで回転した位置)を演算する。具体的には、投票の累積空間として行が3次元基準データの基準点mr、列が回転角αである2次元配列を用意する。位置計測データ用PPFに対してハッシュキーとして対応するテーブルに登録されている3次元基準データ用PPFを検索し、幾何変換パラメータを求め、3次元基準データ用PPFの基準点mrと回転角αを求める。そして累積空間において対応する基準点mrと回転角αの累積値を+1とする。この操作を全てのsrに対して繰り返すことで、最後に累積空間でのピークを見つける。このピーク値に存在するmrと回転角αが傾き情報に使用する値であり、3次元基準データはmrの位置でmrの法線方向まわりに回転角αで回転すると正確な位置となることがわかる(S704)。この情報を使用して、3次元基準データの傾き情報(θx,θy,θz)を求めることができるとともに、3次元基準データと位置計測データの位置合わせ情報(3次元基準データ/位置計測データ)を算出することが可能となる。
図20は、本発明の第2の実施形態であるミクロジョイント切断システム200の構成を示す概略図である。
ここで第1の実施形態の画像処理装置100とミクロジョイント切断装置20を接続した第2の実施形態であるミクロジョイント切断システム200の構成を説明する。第1の実施の形態と同様の構成に関しては、同一部分に同一符号を付して重複する説明を省略する。
本発明のミクロジョイント切断システム200は、画像処理装置100とミクロジョイント切断装置20から構成され、前記画像処理装置100とミクロジョイント切断装置20はネットワークで接続されている。
ミクロジョイント切断装置20は、ミクロジョイントを切断するための装置であり、先端に加工ツール211を備えた産業用ロボット21と、産業用ロボットコントローラ22から構成される。
産業用ロボット21は先端に備えられた加工ツール211の3次元の移動を可能とするとともに加工ツール211を回転させて板材の所定位置の切断が可能となっており、産業用ロボットコントローラ22の指示により、加工ツール211を移動させ、ミクロジョイントを切断する。
産業用ロボットコントローラ22は、前記産業用ロボット21や前記加工ツール211の移動制御や切断制御を行うための装置であり、記画像処理装置100にて算出した情報からミクロジョイント切断の軌跡を導出し、ミクロジョイント切断の軌跡に沿って前記産業用ロボット21の加工ツール211を動作させる。
産業用ロボットコントローラ22は、位置計測用円中心位置ICγ、位置計測用中心位置近傍範囲ILγ(x,y)(γ=1,2,・・・,W W:算出された円中心位置の総数)を前記画像処理装置100から取得し、まずγ=1(S801)として、位置計測用円中心位置IC1を加工ツール開始位置とする(加工ツール開始位置決定処理)(S802)。そして、位置計測用中心位置近傍範囲IL1(x,y)を使用してミクロジョイントの探索を行う(ミクロジョイント部探索処理)(S803)。位置計測用中心位置近傍範囲IL1(x,y)においてミクロジョイント部が探索されると、位置計測用中心位置近傍範囲IL1(x,y)において加工ツール終了位置を決定し(S804)、加工ツール開始位置からミクロジョイントを切断する軌跡Tr_γを導出する(S805)。全ての位置計測用中心位置近傍範囲ILγ(x,y)(γ=1,2,・・・,W W:算出された円中心位置の総数)に関して軌跡Tr_γを算出したかどうか確認し(S806)、全ての位置計測用中心位置近傍範囲ILγ(x,y)に関して軌跡Tr_γを算出していない場合は全ての軌跡Tr_γを算出するまで(S802)〜(S805)を繰り返す(S808)。その後、全ての軌跡Tr_γを通る全体の切断軌跡Tr_allを算出する(S807)。
次に、全体の切断軌跡Tr_allに沿って、加工ツール211を移動制御する(S901)。全体の切断軌跡Tr_allは、ロボット座標系と位置計測部2の座標系の変換行列によってロボット座標系に変換されているものとする。加工ツール211はミクロジョイント部において、画像処理装置100で算出された傾き情報より加工ツール211がミクロジョイント部周辺の板材に垂直になるように傾けた状態でミクロジョイント部を切断する(S902)。
このように、正確な位置情報をもとに加工ツール211の切断軌跡を算出することが可能であり、かつ傾き情報によって、ミクロジョイント部以外の箇所を傷つけることなく正確にミクロジョイントを切断することが可能となる。
2 位置計測部、
3 位置計測制御部、
4 画像処理部、
5 計測対象物、
6 照明部、
7 計測対象物載置台、
8 PLC(プログラマブルロジックコントローラ)、
9 補助継電器(リレー)、
12 撮像部、
13 表示部、
H ピアッシング孔、
M ミクロジョイント部
Claims (7)
- 計測対象物の位置を算出する画像処理装置であって、前記画像処理装置は、前記計測対象物に照明光を照射する照明部と、前記計測対象物をはさんで前記照明部と相対する位置から前記計測対象物全体の撮像画像を取得する撮像部と、前記計測対象物の特定形状の範囲の位置計測データを計測する位置計測部と、画像処理部を備え、前記画像処理部は、前記撮像画像から前記位置計測部が計測する計測範囲を算出する計測位置算出部と、前記位置計測データと3次元基準データから前記計測対象物の傾き情報(X軸、Y軸、Z軸回りの回転角度で示させるθx,θy,θz)を求める傾き情報抽出部とを有するものであり、前記計測対象物であるレーザー加工を施す加工板のピアッシング孔とその形状周辺に対して必要な形状を切り取るに際して、前記撮像画像を使用して前記計測対象物の切断開始点のピアッシング孔である円の中心位置を算出してから、撮像画像用中心位置近傍範囲を抽出して、前記計測位置算出部は、前記撮像画像用中心位置近傍範囲から位置計測部が計測する計測範囲を算出し、前記計測範囲に基づいて前記位置計測部を前記計測範囲位置までレーザ加工ヘッドを移動させ、前記計測対象物に対してレーザーもしくは超音波を照射して走査することで、前記計測対象物の位置計測データを取得することを特徴とするレーザ加工用の画像処理装置。
- 前記切断開始点であるピアッシング孔から必要な形状に沿ってレーザ加工ヘッドを移動させ、切断の終点には切断されないミクロジョイント部を形成し、このミクロジョイント部を残して、前記ピアッシング孔の位置から連続するミクロジョイントを切断するミクロジョイント切断装置を備え、前記ミクロジョイント切断装置は前記位置計測データと傾き情報からミクロジョイントを切断することを特徴とする請求項1記載のレーザ加工用の画像処理装置。
- 前記撮像画像は、前記計測対象物に前記照明光を照射した状態で撮像した照明あり撮像画像と、前記計測対象物に前記照明光を照射しない状態で撮像した照明なし撮像画像であり、前記計測位置算出部は前記照明あり撮像画像と前記照明なし撮像画像の差分処理を行った差分画像を使用して前記計測範囲であるピアッシング孔Hを含めた周辺画像を算出することを特徴とする請求項1または2記載のレーザ加工用の画像処理装置。
- 計測対象物の位置を算出する画像処理装置であって、前記画像処理装置は、前記計測対象物に照明光を照射する照明部と、前記計測対象物をはさんで前記照明部と相対する位置から前記計測対象物全体の撮像画像を取得する撮像部と 、前記計測対象物の特定形状の範囲の位置計測データを計測する位置計測部と、画像処理部を備え、前記画像処理部は、前記撮像画像から前記位置計測部が計測する計測範囲を算出する計測位置算出部と、前記位置計測データと3次元基準データから前記計測対象物の傾き情報(X軸、Y軸、Z軸回りの回転角度で示させるθx,θy,θz)を求める傾き情報抽出部を有する画像処理装置と、ミクロジョイントを切断するミクロジョイント切断装置とを備え、前記ミクロジョイント切断装置は前記位置計測データと傾き情報からミクロジョイントを切断することを特徴とするレーザ加工用の画像処理装置。
- 前記傾き情報抽出部が前記位置計測データと3次元基準データからPPFを使用することで前記計測対象物の傾き情報を算出し、前記3次元基準データが3次元CADデータであり、前記傾き情報抽出部は、前記位置計測データと3次元基準データからPPFを使用することで前記計測対象物の傾き情報(X軸、Y軸、Z軸回りの回転角度で示させるθx,θy,θz)を算出することを特徴とする請求項4記載のレーザ加工用の画像処理装置。
- 計測対象物の位置を算出する画像処理方法であって、照明部により前記計測対象物に照明光を照射し前記計測対象物をはさんで前記照明部と相対する位置から前記計測対象物の撮像画像を取得する撮像画像取得ステップと、前記計測対象物の特定形状の範囲の位置計測データを計測する位置計測データ取得ステップと、前記撮像画像から位置計測部が計測する計測範囲を算出する計測位置算出ステップと、前記位置計測データと3次元基準データから前記計測対象物の傾き情報(X軸、Y軸、Z軸回りの回転角度で示させるθx,θy,θz)を求める傾き情報抽出ステップを備え、前記計測対象物であるレーザー加工を施す加工板のピアッシング孔とその形状周辺に対して必要な形状を切り取るに際して、前記撮像画像を使用して前記計測対象物の切断開始点のピアッシング孔である円の中心位置を算出してから、撮像画像用中心位置近傍範囲を抽出して、前記計測位置算出ステップは、前記撮像画像用中心位置近傍範囲から位置計測部が計測する計測範囲を算出し、前記計測範囲に基づいて前記位置計測部を前記計測範囲位置までレーザ加工ヘッドを移動させ、前記計測対象物に対してレーザーもしくは超音波を照射して走査することで、前記計測対象物の位置計測データを取得することを特徴とするレーザ加工用の画像処理方法。
- 前記切断開始点であるピアッシング孔から必要な形状に沿ってレーザ加工ヘッドを移動させ、切断の終点には切断されないミクロジョイント部を形成し、このミクロジョイント部を残して切断するミクロジョイント切断装置であって、前記ピアッシング孔の位置から連続するミクロジョイントを切断するミクロジョイント切断装置を備え、前記ミクロジョイント切断装置は前記位置計測データと傾き情報からミクロジョイントを切断することを特徴とする請求項6記載のレーザ加工用の画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016059619A JP6621351B2 (ja) | 2016-03-24 | 2016-03-24 | レーザー加工用の画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016059619A JP6621351B2 (ja) | 2016-03-24 | 2016-03-24 | レーザー加工用の画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017173142A JP2017173142A (ja) | 2017-09-28 |
JP6621351B2 true JP6621351B2 (ja) | 2019-12-18 |
Family
ID=59971982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016059619A Expired - Fee Related JP6621351B2 (ja) | 2016-03-24 | 2016-03-24 | レーザー加工用の画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6621351B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022201422A1 (ja) * | 2021-03-25 | 2022-09-29 | ||
DE102022102465A1 (de) | 2022-02-02 | 2023-08-03 | TRUMPF Werkzeugmaschinen SE + Co. KG | Verfahren zum Trennen eines Werkstückteils von einem Restteil |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019110114A1 (en) * | 2017-12-07 | 2019-06-13 | Bystronic Laser Ag | Device for monitoring beam treatment of a workpiece and use thereof, device for beam treatment of a workpiece and use thereof, method for monitoring beam treatment of a workpiece, method for beam treatment of a workpiece |
JP7418743B2 (ja) * | 2019-05-21 | 2024-01-22 | 株式会社別川製作所 | 対象ワークの識別移載装置及び識別移載方法 |
JP2021109298A (ja) * | 2020-01-15 | 2021-08-02 | Dmg森精機株式会社 | 画像処理装置、工作機及び画像処理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IT1266150B1 (it) * | 1994-06-17 | 1996-12-23 | Crea Srl | Procedimento per la separazione di microgiunti e macchina per l'attuazione di tale procedimento. |
JP2002289628A (ja) * | 2001-03-23 | 2002-10-04 | Seiko Epson Corp | 画像認識方法及び画像認識装置並びに半導体装置の製造方法及び製造装置 |
JP5360097B2 (ja) * | 2011-03-15 | 2013-12-04 | 株式会社デンソー | 反り検査装置および反り検査方法 |
JP5829933B2 (ja) * | 2012-02-02 | 2015-12-09 | Nsウエスト株式会社 | 車両用計器の表示パネル用検査装置 |
-
2016
- 2016-03-24 JP JP2016059619A patent/JP6621351B2/ja not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022201422A1 (ja) * | 2021-03-25 | 2022-09-29 | ||
WO2022201422A1 (ja) * | 2021-03-25 | 2022-09-29 | 三菱電機株式会社 | 画像処理装置、プログラム及び画像処理方法 |
JP7317260B2 (ja) | 2021-03-25 | 2023-07-28 | 三菱電機株式会社 | 画像処理装置、プログラム及び画像処理方法 |
DE112021006891T5 (de) | 2021-03-25 | 2023-11-23 | Mitsubishi Electric Corporation | Bildbearbeitungseinrichtung, programm und bildbearbeitungsverfahren |
DE102022102465A1 (de) | 2022-02-02 | 2023-08-03 | TRUMPF Werkzeugmaschinen SE + Co. KG | Verfahren zum Trennen eines Werkstückteils von einem Restteil |
Also Published As
Publication number | Publication date |
---|---|
JP2017173142A (ja) | 2017-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6621351B2 (ja) | レーザー加工用の画像処理装置及び画像処理方法 | |
CN108297096B (zh) | 校准装置、校准方法以及计算机能够读取的介质 | |
JP5911934B2 (ja) | 輪郭線計測装置およびロボットシステム | |
JP4309439B2 (ja) | 対象物取出装置 | |
JP4836086B2 (ja) | 3次元形状検出装置 | |
JP5141452B2 (ja) | 姿勢計測装置及び姿勢計測方法 | |
JP2009053147A (ja) | 3次元計測方法および3次元計測装置 | |
JP6836561B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5418176B2 (ja) | パンタグラフ高さ測定装置及びそのキャリブレーション方法 | |
Zhang et al. | A two-step method for extrinsic calibration between a sparse 3d lidar and a thermal camera | |
JP2007101197A (ja) | 物体探索装置,物体探索装置を備えるロボットシステム及び物体探索方法 | |
JP5156601B2 (ja) | 形状測定装置およびプログラム | |
JP6768985B1 (ja) | 開先形状測定方法、自動溶接方法、および自動溶接装置 | |
JP5438475B2 (ja) | 隙間段差計測装置、隙間段差計測方法、及びそのプログラム | |
JP7353757B2 (ja) | アーチファクトを測定するための方法 | |
US10861179B2 (en) | Image inspecting apparatus, image inspecting method and image inspecting program | |
KR20210019014A (ko) | 공간의 복잡한 표면에서 지점의 위치를 결정하기 위한 방법 및 플랜트 | |
JP2003136465A (ja) | 検出対象物の3次元位置・姿勢決定方法とロボット用視覚センサ | |
JP6797638B2 (ja) | 画像測定装置 | |
JP2010146357A (ja) | 3次元画像処理方法および3次元画像処理装置 | |
WO2020217970A1 (ja) | ワイヤ形状測定装置及びワイヤ三次元画像生成方法並びにワイヤ形状測定方法 | |
TWI699756B (zh) | 基於彈性特徵影像尺的定位量測系統 | |
JP2009250777A (ja) | 表面検査装置および表面検査方法 | |
KR102665372B1 (ko) | 겐트리 탑재형 3d 형상 스캐닝 장치 및 이를 이용한 스캐닝 방법 | |
US20240070910A1 (en) | Processing method and processing device for generating cross-sectional image from three-dimensional position information acquired by visual sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190311 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190409 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6621351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |