JP7269864B2

JP7269864B2 - ワーク撮影画像処理装置及びワーク撮影画像処理方法

Info

Publication number: JP7269864B2
Application number: JP2019191675A
Authority: JP
Inventors: 聡志 ▲高▼津
Original assignee: Amada Co Ltd
Current assignee: Amada Co Ltd
Priority date: 2019-10-21
Filing date: 2019-10-21
Publication date: 2023-05-09
Anticipated expiration: 2039-10-21
Also published as: JP2021065950A; EP4049805A1; EP4049805A4; WO2021079802A1; US20220414843A1; EP4049805B1

Description

本発明は、ワーク撮影画像処理装置及びワーク撮影画像処理方法に関する。

ワーク保持用ロボットが、パレットのような配置場所に配置されているワークを保持して、プレスブレーキ等の加工機へと搬送することがある（特許文献１参照）。画像処理装置は、配置場所に配置されているワークをカメラによって撮影した撮影画像に基づいてワークの位置を検出する。

特開２０１８－１２０３８８号公報

ワークの形状を適切に撮影するために、カメラはワークの直上からワークを撮影する必要がある。ところが、カメラがワークの直上に位置していると、クレーンがワークを配置場所に配置したり、ワーク保持用ロボットがワークを搬送したりする際に、ワーク、クレーン、またはワーク保持用ロボットがカメラと干渉することがあるため、カメラを退避させなければならない。そこで、カメラを配置場所の中央の直上から外れてワーク保持用ロボットから離れた位置に配置すれば干渉を回避することができる。

ところが、カメラを配置場所の中央の直上から外れた位置に配置するとワークは斜め方向から撮影されるため、ワークの形状が適切に撮影されない。例えばワークが矩形状であれば、ワークは台形状に撮影されてしまう。撮影されたワークがワークの形状を適切に表していないと配置場所に配置されているワークの位置を正しく認識することができず、ワーク保持用ロボットがワークを保持することができないことがある。そこで、配置場所の中央の直上から外れた位置に配置したカメラによってワークを撮影したワーク撮影画像を適切な形状に補正することが必要である。

本発明は、配置場所の中央の直上から外れた位置に配置したカメラによってワークを撮影したワーク撮影画像の台形状の歪みを補正することができるワーク撮影画像処理装置及びワーク撮影画像処理方法を提供することを目的とする。

本発明は、ワークの配置場所の中央の直上から外れた位置に配置されているカメラによって格子模様を撮影した第１の撮影画像に基づいて、前記カメラのレンズによる画像の歪を補正するための第１の変換パラメータを算出する第１の変換パラメータ算出部と、前記カメラによってジグボードを撮影した第２の撮影画像に含まれている前記レンズによる画像の歪を、前記第１の変換パラメータを用いて補正するレンズ歪み補正部と、前記レンズ歪み補正部によって画像の歪が補正された前記第２の撮影画像内の前記ジグボードにおける複数の第１の基準点を抽出し、前記ジグボードにおける現実の前記第１の基準点と、抽出された前記第２の撮影画像内の前記第１の基準点とに基づいて、前記カメラによって撮影されている３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第２の変換パラメータを算出する第２の変換パラメータ算出部と、前記レンズ歪み補正部によって画像の歪が補正された前記第２の撮影画像内の、前記ジグボードにおける現実の所定の箇所に対応する領域を前記第２の変換パラメータを用いて抽出し、抽出された前記第２の撮影画像内の領域の画像に基づいて複数の第２の基準点を抽出し、前記第１の変換パラメータを用いて前記第２の基準点に前記レンズによる画像の歪を加え、前記ジグボードにおける現実の前記第２の基準点と、前記レンズによる画像の歪が加えられた前記第２の撮影画像内の前記第２の基準点とに基づいて、前記３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第３の変換パラメータを算出する第３の変換パラメータ算出部と、ワークが配置されている前記配置場所を前記カメラによって撮影した第３の撮影画像が生成されたとき、前記第３の変換パラメータを用いて、前記カメラによって撮影されている３次元空間内の２次元的な座標が前記第３の撮影画像のどの画素に対応するかを特定し、特定された各座標に対応する画素を２次元状に配列させて、前記第３の撮影画像の台形状の歪を補正した第４の撮影画像を生成する台形歪補正部とを備えるワーク撮影画像処理装置を提供する。

本発明は、ワークの配置場所の中央の直上から外れた位置に配置されているカメラによって格子模様を撮影した第１の撮影画像に基づいて、前記カメラのレンズによる画像の歪を補正するための第１の変換パラメータを算出し、前記カメラによってジグボードを撮影した第２の撮影画像に含まれている前記レンズによる画像の歪を、前記第１の変換パラメータを用いて補正し、画像の歪が補正された前記第２の撮影画像内の前記ジグボードにおける複数の第１の基準点を抽出し、前記ジグボードにおける現実の前記第１の基準点と、抽出された前記第２の撮影画像内の前記第１の基準点とに基づいて、前記カメラによって撮影されている３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第２の変換パラメータを算出し、画像の歪が補正された前記第２の撮影画像内の、前記ジグボードにおける現実の所定の箇所に対応する領域を前記第２の変換パラメータを用いて抽出し、抽出された前記第２の撮影画像内の領域の画像に基づいて複数の第２の基準点を抽出し、前記第１の変換パラメータを用いて前記第２の基準点に前記レンズによる画像の歪を加え、前記ジグボードにおける現実の前記第２の基準点と、前記レンズによる画像の歪が加えられた前記第２の撮影画像内の前記第２の基準点とに基づいて、前記３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第３の変換パラメータを算出し、ワークが配置されている前記配置場所を前記カメラによって撮影した第３の撮影画像が生成されたとき、前記第３の変換パラメータを用いて、前記カメラによって撮影されている３次元空間内の２次元的な座標が前記第３の撮影画像のどの画素に対応するかを特定し、特定された各座標に対応する画素を２次元状に配列させて、前記第３の撮影画像の台形状の歪を補正した第４の撮影画像を生成するワーク撮影画像処理方法を提供する。

本発明のワーク撮影画像処理装置及びワーク撮影画像処理方法によれば、配置場所の中央の直上から外れた位置に配置したカメラによってワークを撮影したワーク撮影画像の台形状の歪みを補正することができる。

配置場所に配置されているワークをワーク保持用ロボットによって保持して加工機へと搬送してワークを加工する加工システムの構成例を示す斜視図である。一実施形態のワーク撮影画像処理装置を含む加工システムの構成例を示すブロック図である。一実施形態のワーク撮影画像処理装置の全体的な動作、及び一実施形態のワーク撮影画像処理方法による全体的な処理を示すフローチャートである。図３のステップＳ１の具体的な処理を示すフローチャートである。図３のステップＳ１で使用されるチェスボードの一例を示す平面図である。カメラによって図５に示すチェスボードを撮影したチェスボード撮影画像を示す図である。図３のステップＳ２の具体的な処理を示すフローチャートである。図３のステップＳ２で使用されるキャリブレーション用のジグボードを示す平面図である。ジグボードを水平方向及び垂直方向に複数回変位させた状態を示す概念図である。図３のステップＳ３の具体的な処理を示すフローチャートである。図３のステップＳ４の具体的な処理を示すフローチャートである。ジグボード撮影画像の開口周辺の画像のみを抽出した状態を示す図である。図３のステップＳ５の具体的な処理を示すフローチャートである。ジグボード撮影画像の開口エッジ画像に沿った直線で形成される交点を示す図である。ジグボードを水平方向及び垂直方向に複数回変位させたときのジグボード撮影画像によって形成される交点の群を示す図である。図３のステップＳ６の具体的な処理を示すフローチャートである。図３のステップＳ７の具体的な処理を示すフローチャートである。図３のステップＳ７で実行される処理を示す概念図である。一実施形態のワーク撮影画像処理装置を示すブロック図である。

以下、一実施形態のワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システムについて、添付図面を参照して説明する。まず、図１及び図２を用いて、配置場所に配置されているワークをワーク保持用ロボットによって保持して加工機へと搬送してワークを加工する加工システムの構成例を説明する。

図１において、配置場所の一例であるパレット２０には、ワークＷが配置されている。ここでは、パレット２０に複数枚のワークＷが積載されている。パレット２０の両側方には、フレーム２１ａ及び２１ｂが配置されている。フレーム２１ａは、１つの垂直フレームと垂直フレームの上端部に連結された水平フレームを有する。フレーム２１ｂは、一対の垂直フレームと一対の垂直フレームの上端部に連結された水平フレームを有する。

フレーム２１ａ及び２１ｂの水平フレームの対向する面には、それぞれ照明器具２２ａ及び２２ｂが取り付けられている。照明器具２２ａ及び２２ｂは例えば複数個の発光ダイオード（ＬＥＤ）を有する。照明器具２２ａ及び２２ｂはパレット２０に配置されているワークＷに照明光を照射する。

フレーム２１ａには、所定の高さまで延びる垂直フレームと垂直フレームの上端部に連結された水平フレームとよりなるＬ字状の支柱２３が取り付けられている。支柱２３（水平フレーム）の先端部にはカメラ３０が取り付けられている。カメラ３０はいわゆる単眼カメラである。カメラ３０は、パレット２０の中央の直上よりもワーク保持用ロボット１０から離れる方向に外れた位置に配置されて、パレット２０及びワークＷを撮影する。即ち、カメラ３０は、パレット２０及びワークＷを斜め上方の位置から撮影する。これにより、カメラ３０は、ワーク保持用ロボット１０がパレット２０に配置されているワークＷを保持して搬送する動作を妨げることがない。

カメラ３０は、パレット２０に配置されているワークＷを撮影するとき、照明器具２２ａ及び２２ｂによってワークＷに照明光を照射するのがよい。ワークＷに照明光を照射するとワークＷのエッジが明確化され、パターンマッチングによってワークＷの位置を検出する際にワークＷの位置が検出しやすくなる。

パレット２０と加工機の一例であるプレスブレーキ４０との間には、多関節のワーク保持用ロボット１０が配置されている。ワーク保持用ロボット１０は、先端部に、ワークＷを吸着するためのグリッパ１１を有する。グリッパ１１は、複数の吸着パッド１２を有する。グリッパ１１は最上位の１枚のワークＷを吸着して保持し、ワークＷを加工するためにプレスブレーキ４０に搬送する。

図２に示すように、カメラ３０が生成した撮影画像データは画像処理装置３００に供給される。画像処理装置３００は、本実施形態のワーク撮影画像処理装置として機能する。上記のようにカメラ３０はパレット２０の中央の直上から外れた位置に配置されていて、ワークＷを斜め方向から撮影しているから、ワークＷの撮影画像は形状が歪んでいる。画像処理装置３００は、後述するように、撮影画像を適切な形状に補正する。画像処理装置３００は補正された撮影画像に基づいてワークＷの位置を検出し、検出した位置情報をロボット制御装置１００に供給する。

ロボット制御装置１００は、ワークＷの位置情報に基づいてパレット２０上のワークＷを保持するよう、ワーク保持用ロボット１０を制御する。

画像処理装置３００及びロボット制御装置１００は、コンピュータ機器によって構成することができる。ロボット制御装置１００に画像処理装置３００の機能を持たせることによって、ロボット制御装置１００と画像処理装置３００とが一体化されていてもよい。

画像処理装置３００は、図３のフローチャートに示す処理を実行して撮影画像を補正する。画像処理装置３００は、ステップＳ１にて、カメラ３０のレンズの歪みベクトルを補正する。画像処理装置３００は、ステップＳ２にて、キャリブレーション用のジグボードを撮影し、ステップＳ３にて、仮キャリブレーションを実行する。画像処理装置３００は、ステップＳ４にて、ジグボードの穴の位置の画像を抽出し、ステップＳ５にて、ジグボードの穴に沿った直線の交点を求める。画像処理装置３００は、ステップＳ６にて、本キャリブレーションを実行する。後述するように、ステップＳ１～Ｓ６の処理によって、カメラ３０によって撮影した台形状の歪みを補正した２次元画像を生成するための変換パラメータが生成される。

パレット２０に配置されたワークＷの位置を検出するために、カメラ３０がパレット２０を撮影すると、画像処理装置３００は、ステップＳ７にて、台形状の歪みを補正した２次元画像を生成し、検出したワークＷの位置情報をロボット制御装置１００に供給する。

以下、ステップＳ１～Ｓ７の処理を具体的に説明する。図４は、ステップＳ１の具体的な処理を示す。図４において、カメラ３０は、ステップＳ１１にて、図５に示すようなチェスボード５０を撮影する。チェスボード５０は、白の正方形と黒の正方形を直交する２つの方向に交互に並べたものであり、格子模様の一例であるが任意の図形パターンでもよい。カメラ３０がチェスボード５０を撮影すると、図６に示すようなチェスボード撮影画像５０ｉ（第１の撮影画像）が得られる。チェスボード撮影画像５０ｉは画像処理装置３００に入力される。画像処理装置３００は、ステップＳ１２にて、チェスボード撮影画像５０ｉの格子点を検出する。

カメラ３０はステップＳ１１にてチェスボード５０を複数回撮影して、複数のチェスボード撮影画像５０ｉを画像処理装置３００に供給するのがよい。このとき、カメラ３０はチェスボード５０を複数の角度で撮影してもよい。チェスボード撮影画像５０ｉが台形状に歪まないようにチェスボード５０を撮影してもよいし、チェスボード撮影画像５０ｉが台形状に歪むようにチェスボード５０を撮影してもよい。カメラ３０がチェスボード５０を複数回撮影する場合、画像処理装置３００は、各チェスボード撮影画像５０ｉの格子点を検出し、各チェスボード撮影画像５０ｉの格子点を平均して、チェスボード撮影画像５０ｉの格子点を検出する。

図５と図６とを比較すれば明らかなように、チェスボード撮影画像５０ｉはチェスボード５０と比較して、カメラ３０のレンズの歪曲収差等に起因して歪んでいる。画像処理装置３００は、ステップＳ１３にて、レンズによる歪みを補正する第１の変換パラメータを算出する。第１の変換パラメータを算出する式は知られているので、第１の変換パラメータを算出する式の詳細は省略する。

図７は、ステップＳ２の具体的な処理を示す。図７において、ロボット制御装置１００は、ステップＳ２１にて、図８に示すようなジグボード６０をワーク保持用ロボット１０で吸着する。ロボット制御装置１００は、ステップＳ２２にて、ジグボード６０をパレット２０の上方で水平方向及び垂直方向に複数回変位させ、カメラ３０は各位置のジグボード６０を撮影する。

ジグボード６０は板金によって構成されている。図８に示すように、ジグボード６０には、長手方向と平行の複数の溝状の開口６１と、幅方向である短手方向と平行の複数の溝状の開口６２が形成されている。各開口６１の両端部に、開口６１と所定の距離だけ離れて２つの開口６２が配置されている。開口６１の方向と開口６２の方向とは直交している。２つの開口６２の間で開口６１側には、ＡＲマーカ６３が設けられている。一例として、板金にＡＲマーカのシールが貼付され、板金がジグボード６０にねじ止め等によって固定されることによって、ＡＲマーカ６３が設けられている。ＡＲマーカはマーカの一例である。

図９に示すように、ジグボード６０の幅は５００ｍｍである。一例として、ロボット制御装置１００は、カメラ３０がジグボード６０を撮影したら、ジグボード６０を水平方向に３００ｍｍだけ変位させる。ロボット制御装置１００は、例えばジグボード６０を最初に配置させた位置から水平方向に８回変位させるようワーク保持用ロボット１０を制御する。ロボット制御装置１００は、ジグボード６０を図１における照明器具２２ａと照明器具２２ｂとを結ぶ方向に変位させる。

ロボット制御装置１００は、各水平位置で、例えばジグボード６０を垂直方向に９回変位させる。カメラ３０は、各水平及び垂直位置で、ジグボード６０を撮影する。即ち、本実施形態においては、カメラ３０は、ジグボード６０を水平位置または垂直位置が異なる位置で９０回撮影し、各位置のジグボード６０の撮影画像データが画像処理装置３００に入力される。

ジグボード６０を水平方向に変位させる回数は任意であり、場合によってはジグボード６０を水平方向に変位させなくてもよい。ジグボード６０を水平方向に変位させる方が、また変位させる回数を多くする方が後述する第２及び第３の変換パラメータの精度を向上させることができる。

ジグボード６０を垂直方向に変位させるのは、ジグボード６０の高さ方向の位置と撮影画像の大きさとの対応関係を検出するためである。高さ方向の位置と大きさとの対応関係が分かれば、パレット２０上に複数枚のワークＷが積載されているときに、最上位のワークＷがどの高さにあるのかを検出することができる。最上位のワークＷがどの高さにあるのかが分かれば、ワーク保持用ロボット１０がグリッパ１１によって最上位のワークＷを吸着するときの吸着ミスを少なくことができる。ワークＷの高さ方向の位置を検出する必要がない場合には、ジグボード６０を垂直方向に変位させなくてもよい。

ところで、ステップＳ１の処理で用いる図５に示すチェスボード５０をジグボード６０の裏面に設けてもよい。チェスボード５０をジグボード６０の裏面に設けている場合には、図４のステップＳ１１の前にジグボード６０をワーク保持用ロボット１０で吸着してジグボード６０を裏返し、カメラ３０でジグボード６０を撮影すればよい。その後、ジグボード６０を表向きにして、図７のステップＳ２２の処理を実行させればよい。

図１０は、ステップＳ３の具体的な処理を示す。図１０において、画像処理装置３００は、ステップＳ３１にて、ジグボード６０の撮影画像に含まれているレンズによる画像の歪みを第１の変換パラメータを用いて補正する。これによって、ジグボード６０の撮影画像のレンズに起因する歪みが除去される。画像処理装置３００は、ステップＳ３２にて、撮影画像のＡＲマーカ６３の位置を検出する。

ロボット制御装置１００がワーク保持用ロボット１０を制御してジグボード６０を変位させた位置は既知である。画像処理装置３００は、ステップＳ３３にて、現実のジグボード６０のＡＲマーカ６３の中心点と撮影画像のＡＲマーカ６３の中心点とに基づいて第２の変換パラメータを算出する。第２の変換パラメータは、カメラ３０によって撮影されている３次元空間内の２次元的な座標を撮影画像の画素の位置に変換するための変換パラメータである。

ＡＲマーカ６３の中心点はジグボード６０の第１の基準点の一例である。ＡＲマーカ６３以外で第１の基準点を設定してもよい。

図１１は、ステップＳ４の具体的な処理を示す。図１１において、画像処理装置３００は、最小高さから最大高さまで、ステップＳ４１及びＳ４２の処理を繰り返す。画像処理装置３００は、ステップＳ４１にて、各高さのジグボード６０の撮影画像を抽出する。画像処理装置３００は、ステップＳ４２にて、開口６１及び６２の周辺の画像のみを抽出する。

図１２は、ジグボード６０を撮影したジグボード撮影画像６０ｉ（第２の撮影画像）を示している。ジグボード撮影画像６０ｉは、開口６１及び６２それぞれの開口エッジ画像６１ｉ及び６２ｉと、ＡＲマーカ６３のマーカ画像６３ｉを含む。画像処理装置３００は、一点鎖線で囲んでいるように、開口エッジ画像６１ｉ及び６２ｉを含むように画像を抽出する。現実のジグボード６０内の開口６１及び６２の位置は既知である。開口６１及び６２の位置に対応する開口エッジ画像６１ｉ及び６２ｉの位置は第２の変換パラメータを用いて得ることができる。よって、画像処理装置３００は、開口エッジ画像６１ｉ及び６２ｉを含むように画像を抽出することができる。

図１３は、ステップＳ５の具体的な処理を示す。図１３において、画像処理装置３００は、最小高さから最大高さまで、ステップＳ５１及びＳ５２の処理を繰り返す。画像処理装置３００は、ステップＳ５１にて、各高さのジグボード撮影画像６０ｉの開口エッジ画像６１ｉ及び６２ｉに沿った直線を設定する。図１４に示すように、一例として、画像処理装置３００は、開口エッジ画像６１ｉのマーカ画像６３ｉと対向する辺に沿った直線７１と、開口エッジ画像６２ｉのマーカ画像６３ｉと対向する辺に沿った直線７２とを設定する。直線７１と直線７２とは直交する。

図１４では１つのジグボード撮影画像６０ｉのみを示しているが、図９のように水平方向に変位させた全ての位置のジグボード撮影画像６０ｉにおいて同様に直線７１及び７２が設定される。２本の直線７１は、ジグボード６０を水平方向に変位させた各位置のジグボード撮影画像６０ｉにおいて設定される。１４本の直線７２は、水平方向の各位置のジグボード撮影画像６０ｉで一直線に連結する。

図１３に戻り、画像処理装置３００は、ステップＳ５２にて、直線７１と直線７２との交点を抽出する。図１４に示す直線７１と直線７２との交点を黒丸で示している。図１５は、最小高さから最大高さまでの全ての水平位置における交点を示している。図１３に示す処理によって図１５に示す交点の群が得られる。ジグボード６０の垂直位置が高いほど、ジグボード撮影画像６０ｉは大きくなる。よって、実際には、図１５に示す１つの水平位置の交点の群は、垂直位置が高いほど間隔がわずかに広がった状態となる。

直線７１と直線７２との交点はジグボード６０の第２の基準点の一例である。ジグボード撮影画像６０ｉにさらに多くの直線を設定して、第２の基準点としての交点を増やしてもよい。直線の交点以外で第２の基準点を設定してもよい。

図１６は、ステップＳ６の具体的な処理を示す。図１６において、画像処理装置３００は、ステップＳ６１にて、ジグボード撮影画像６０ｉの各交点に第１の変換パラメータによって歪みベクトルを加える。これによって、図１５に示す交点の群は、カメラ３０のレンズの歪みベクトルが加えられた状態に変換される。画像処理装置３００は、ステップＳ６２にて、ジグボード６０の現実の交点の位置と歪みベクトルを加えたジグボード撮影画像６０ｉの交点の位置とに基づいて第３の変換パラメータを算出する。第３の変換パラメータは、カメラ３０によって撮影されている３次元空間内の２次元的な座標を撮影画像の画素の位置に変換するための変換パラメータである。第３の変換パラメータは第２の変換パラメータよりも精度が向上している。

図１７は、ステップＳ７の具体的な処理を示す。パレット２０に配置されたワークＷの位置を検出するために、カメラ３０が、ワークＷが配置されているパレット２０を撮影する。カメラ３０が生成した撮影画像データ（第３の撮影画像）は画像処理装置３００に供給される。

図１７において、画像処理装置３００は、ステップＳ７１にて、第３の変換パラメータを用いて、２次元的な座標に対応する撮影画像上の画素の位置を特定し、特定された位置の画素を画像メモリ内に２次元状に配列させる。これによって、台形状の歪みが補正された補正撮影画像（第４の撮影画像）が生成される。画像処理装置３００は、ステップＳ７２にて、補正撮影画像に基づいてワークＷの位置を検出し、ワークＷの位置情報をロボット制御装置１００に供給する。

図１８は、ステップＳ７で実行される処理を概念的に示している。図１８において、（ａ）は複数枚のワークＷが積載されているパレット２０をカメラ３０で撮影した３次元空間を示している。図示のように座標Ｘ，Ｙ，Ｚが定義されている。図１８において、（ｂ）はカメラ３０による台形状の歪みを含む撮影画像である。３次元空間内の２次元的な座標Ｘ，Ｙが（０，０）の位置がパレット２０の角であるとする。第３の変換パラメータによって、（ａ）の座標Ｘ，Ｙ＝（０，０）に対応する（ｂ）の撮影画像上の画素の位置が特定される。（ｂ）の撮影画像上の特定された位置の画素が（ｃ）に示すように２次元状に配列される。

画像処理装置３００は、座標Ｙ＝０で座標Ｘを順に増加させてＸの最大値まで各座標に対応する撮影画像上の画素の位置を特定して、特定された位置の画素を２次元状に配列する。画像処理装置３００は、座標Ｙ＝１以降も同様の動作を繰り返す。このとき、画像処理装置３００は、画素を補間して２次元状に配列することがある。すると、図１８の（ｂ）に示す歪んだ撮影画像は、（ｃ）に示すような台形状の歪みが除去された２次元画像に変換される。

画像処理装置３００を図１９に示すように構成することによって、図３に示す処理が実行できる。画像処理装置３００は、中央処理装置（ＣＰＵ）３１０と、画像メモリ３２０とを備える。ＣＰＵ３１０は、機能的な構成として、第１の変換パラメータ算出部３１１、レンズ歪み補正部３１２、第２の変換パラメータ算出部３１３、第３の変換パラメータ算出部３１４、台形歪補正部３１５を備える。

カメラ３０がチェスボード５０のような格子模様を撮影すると、画像メモリ３２０には、チェスボード撮影画像５０ｉ（第１の撮影画像）が記憶される。第１の変換パラメータ算出部３１１は、チェスボード撮影画像５０ｉに基づいて、カメラ３０のレンズによる画像の歪を補正するための第１の変換パラメータを算出する。第１の変換パラメータは、レンズ歪み補正部３１２及び第３の変換パラメータ算出部３１４に供給される。

カメラ３０がジグボード６０を撮影すると、画像メモリ３２０には、ジグボード撮影画像６０ｉ（第２の撮影画像）が記憶される。レンズ歪み補正部３１２は、ジグボード撮影画像６０ｉに含まれているレンズによる画像の歪を、第１の変換パラメータを用いて補正する。

第２の変換パラメータ算出部３１３は、画像の歪が補正されたジグボード撮影画像６０ｉ内のジグボード６０における複数の第１の基準点を抽出する。第１の基準点は一例としてＡＲマーカ６３の中心点である。第２の変換パラメータ算出部３１３は、ジグボード６０における現実の第１の基準点と、抽出されたジグボード撮影画像６０ｉ内の第１の基準点とに基づいて、第２の変換パラメータを算出する。第２の変換パラメータは、カメラ３０によって撮影されている３次元空間内の２次元的な座標をジグボード撮影画像６０ｉ内の画素の位置に変換するための変換パラメータである。

第３の変換パラメータ算出部３１４は、画像の歪が補正されたジグボード撮影画像６０ｉ内の、ジグボード６０における現実の所定の箇所に対応する領域を第２の変換パラメータを用いて抽出する。所定の箇所は一例として開口６１及び６２である。第３の変換パラメータ算出部３１４は、抽出されたジグボード撮影画像６０ｉ内の領域の画像に基づいて複数の第２の基準点を抽出する。第２の基準点は一例として開口６１及び６２に沿った直線の交点である。

第３の変換パラメータ算出部３１４は、第１の変換パラメータを用いて第２の基準点にレンズによる画像の歪を加える。第３の変換パラメータ算出部３１４は、ジグボード６０における現実の第２の基準点と、レンズによる画像の歪が加えられたジグボード撮影画像６０ｉ内の第２の基準点とに基づいて、第３の変換パラメータを算出する。第３の変換パラメータは、２次元的な座標をジグボード撮影画像６０ｉ内の画素の位置に変換するための変換パラメータである。第３の変換パラメータは画像メモリ３２０に記憶される。

ワークＷが配置されているパレット２０がカメラ３０によって撮影されると、画像メモリ３２０には第３の撮影画像が記憶される。台形歪補正部３１５は、第３の変換パラメータを用いて、カメラ３０によって撮影されている３次元空間内の２次元的な座標が第３の撮影画像のどの画素に対応するかを特定する。台形歪補正部３１５は、特定された各座標に対応する画素を２次元状に配列させて、第３の撮影画像の台形状の歪を補正した第４の撮影画像を生成して、画像メモリ３２０に記憶させる。

ＣＰＵ３１０は、第４の撮影画像に基づいてワークＷの位置を検出するので、パレット２０に配置されているワークＷの位置を正しく認識することができる。パレット２０に配置されているワークＷの位置を正しく認識されるので、ワーク保持用ロボット１０は、ロボット制御装置１００による制御によって、ワークＷを正確に保持することができる。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。ＣＰＵ３１０がコンピュータプログラムを実行することによって、図１８に示すように台形状の歪を補正する画像処理装置３００が構成されていてもよい。画像処理装置３００は集積回路等のハードウェアで構成されていてもよくコンピュータプログラムを含むソフトウェアで構成されていてもよく、両者が混在していてもよい。ソフトウェアとハードウェアとの使い分けは任意である。

１０ワーク保持用ロボット
１１グリッパ
１２吸着パッド
２０パレット（配置場所）
３０カメラ
４０プレスブレーキ（加工機）
５０チェスボード（格子模様）
６０ジグボード
１００ロボット制御装置
３００画像処理装置（ワーク撮影画像処理装置）
３１０中央処理装置
３１１第１の変換パラメータ算出部
３１２レンズ歪み補正部
３１３第２の変換パラメータ算出部
３１４第３の変換パラメータ算出部
３１５台形歪補正部
３２０画像メモリ
Ｗワーク

Claims

ワークの配置場所の中央の直上から外れた位置に配置されているカメラによって格子模様を撮影した第１の撮影画像に基づいて、前記カメラのレンズによる画像の歪を補正するための第１の変換パラメータを算出する第１の変換パラメータ算出部と、
前記カメラによってジグボードを撮影した第２の撮影画像に含まれている前記レンズによる画像の歪を、前記第１の変換パラメータを用いて補正するレンズ歪み補正部と、
前記レンズ歪み補正部によって画像の歪が補正された前記第２の撮影画像内の前記ジグボードにおける複数の第１の基準点を抽出し、前記ジグボードにおける現実の前記第１の基準点と、抽出された前記第２の撮影画像内の前記第１の基準点とに基づいて、前記カメラによって撮影されている３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第２の変換パラメータを算出する第２の変換パラメータ算出部と、
前記レンズ歪み補正部によって画像の歪が補正された前記第２の撮影画像内の、前記ジグボードにおける現実の所定の箇所に対応する領域を前記第２の変換パラメータを用いて抽出し、抽出された前記第２の撮影画像内の領域の画像に基づいて複数の第２の基準点を抽出し、前記第１の変換パラメータを用いて前記第２の基準点に前記レンズによる画像の歪を加え、前記ジグボードにおける現実の前記第２の基準点と、前記レンズによる画像の歪が加えられた前記第２の撮影画像内の前記第２の基準点とに基づいて、前記３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第３の変換パラメータを算出する第３の変換パラメータ算出部と、
ワークが配置されている前記配置場所を前記カメラによって撮影した第３の撮影画像が生成されたとき、前記第３の変換パラメータを用いて、前記カメラによって撮影されている３次元空間内の２次元的な座標が前記第３の撮影画像のどの画素に対応するかを特定し、特定された各座標に対応する画素を２次元状に配列させて、前記第３の撮影画像の台形状の歪を補正した第４の撮影画像を生成する台形歪補正部と、
を備えるワーク撮影画像処理装置。
前記ジグボードには複数のマーカが設けられており、
前記第２の変換パラメータ算出部は、前記マーカの中心点を前記第１の基準点として抽出する
請求項１に記載のワーク撮影画像処理装置。
前記ジグボードには複数の開口が形成されており、
前記第２の撮影画像は、前記開口に対応した開口エッジ画像を含み、
前記第３の変換パラメータ算出部は、
画像の歪が補正された前記第２の撮影画像内の前記開口エッジ画像を含む領域を抽出し、
前記開口エッジ画像に沿った直線の交点を前記第２の基準点として抽出する
請求項１または２に記載のワーク撮影画像処理装置。
ワークの配置場所の中央の直上から外れた位置に配置されているカメラによって格子模様を撮影した第１の撮影画像に基づいて、前記カメラのレンズによる画像の歪を補正するための第１の変換パラメータを算出し、
前記カメラによってジグボードを撮影した第２の撮影画像に含まれている前記レンズによる画像の歪を、前記第１の変換パラメータを用いて補正し、
画像の歪が補正された前記第２の撮影画像内の前記ジグボードにおける複数の第１の基準点を抽出し、
前記ジグボードにおける現実の前記第１の基準点と、抽出された前記第２の撮影画像内の前記第１の基準点とに基づいて、前記カメラによって撮影されている３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第２の変換パラメータを算出し、
画像の歪が補正された前記第２の撮影画像内の、前記ジグボードにおける現実の所定の箇所に対応する領域を前記第２の変換パラメータを用いて抽出し、
抽出された前記第２の撮影画像内の領域の画像に基づいて複数の第２の基準点を抽出し、
前記第１の変換パラメータを用いて前記第２の基準点に前記レンズによる画像の歪を加え、
前記ジグボードにおける現実の前記第２の基準点と、前記レンズによる画像の歪が加えられた前記第２の撮影画像内の前記第２の基準点とに基づいて、前記３次元空間内の２次元的な座標を前記第２の撮影画像内の画素の位置に変換する第３の変換パラメータを算出し、
ワークが配置されている前記配置場所を前記カメラによって撮影した第３の撮影画像が生成されたとき、前記第３の変換パラメータを用いて、前記カメラによって撮影されている３次元空間内の２次元的な座標が前記第３の撮影画像のどの画素に対応するかを特定し、特定された各座標に対応する画素を２次元状に配列させて、前記第３の撮影画像の台形状の歪を補正した第４の撮影画像を生成する
ワーク撮影画像処理方法。
前記ジグボードには複数のマーカが設けられており、
前記マーカの中心点を前記第１の基準点として抽出する
請求項４に記載のワーク撮影画像処理方法。
前記ジグボードには複数の開口が形成されており、
前記第２の撮影画像は、前記開口に対応した開口エッジ画像を含み、
画像の歪が補正された前記第２の撮影画像内の前記開口エッジ画像を含む領域を抽出し、
前記開口エッジ画像に沿った直線の交点を前記第２の基準点として抽出する
請求項４または５に記載のワーク撮影画像処理方法。