JP2021102253A - 画像処理装置、ロボットシステム、及び画像処理方法 - Google Patents

Abstract

【課題】従来、産業機械の分野において、様々な部材が存在する作業セルをカメラで撮像した画像データにおいて、作業対象となる検出対象部を正確に検出する技術が求められている。【解決手段】画像処理装置１０は、予め定めた複数の撮像位置に配置されたカメラ２２、２４によって検出対象部を撮像した画像データを取得する画像取得部３２と、第１の撮像位置で撮像された第１の画像データと、第２の撮像位置で撮像された第２の画像データとを、検出対象部の位置に設定された投影面に投影させた投影画像データを生成する投影画像生成部３６と、投影画像生成部３６が生成した投影画像データにおいて、第１の画像データに写る検出対象部と、第２の画像データに写る検出対象部とが重複して投影された重複投影画像データを検出する重複検出部３８とを備える。【選択図】図１

Description

本発明は、画像処理装置、ロボットシステム、及び画像処理方法に関する。

複数の撮像位置で撮像した画像データから、所定の位置にある被写体を抽出する技術が知られている（例えば、特許文献１）。

特開平０８−２１０８４７号公報

従来、産業機械の分野において、様々な部材が存在するワークセルをカメラで撮像した画像データにおいて、作業対象となる検出対象部を正確に検出する技術が求められている。

本開示の一態様において、画像処理装置は、予め定めた複数の撮像位置に配置されたカメラによって検出対象部を撮像した画像データを取得する画像取得部と、第１の撮像位置で撮像された第１の画像データと、第２の撮像位置で撮像された第２の画像データとを、検出対象部の位置に設定された投影面に投影させた投影画像データを生成する投影画像生成部と、投影画像生成部が生成した投影画像データにおいて、第１の画像データに写る検出対象部と、第２の画像データに写る検出対象部とが重複して投影された重複投影画像データを検出する重複検出部とを備える。

本開示の他の態様において、画像処理方法は、予め定めた複数の撮像位置に配置されたカメラによって検出対象部を撮像した画像データを取得し、第１の撮像位置で撮像された第１の画像データと、第２の撮像位置で撮像された第２の画像データとを、検出対象部の位置に設定された投影面に投影させた投影画像データを生成し、生成した投影画像データにおいて、第１の画像データに写る検出対象部と、第２の画像データに写る検出対象部とが重複して投影された重複投影画像データを検出する。

本開示によれば、仮に、ワークセル内に、検出対象部以外の物体が存在していたとしても、該物体を誤検出してしまうのを防止し、検出対象部を示す重複投影画像データを、確実且つ自動的に検出することができる。

一実施形態に係る画像処理装置、カメラ、及び位置測定器のブロック図である。 複数のカメラが撮像位置に配置された状態を示している。 図１に示す画像処理装置の動作フローの一例を示すフローチャートである。 第１の撮像位置に配置されたカメラが撮像した画像データの画像の一例である。 第２の撮像位置に配置されたカメラが撮像した画像データの画像の一例である。 投影画像データの画像の一例を示す。 第２の投影画像データの画像の一例を示す。 第１の撮像位置に配置されたカメラが撮像した画像データの画像の他の例である。 第２の撮像位置に配置されたカメラが撮像した画像データの画像の他の例である。 第１の撮像位置に配置されたカメラが撮像した画像データの画像のさらに他の例である。 第２の撮像位置に配置されたカメラが撮像した画像データの画像のさらに他の例である。 投影画像データの画像の一例を示す。 図１２に示す投影画像データで検出された重複投影画像データを示す。 他の実施形態に係る画像処理装置、カメラ、及び位置測定器のブロック図である。 一実施形態に係るロボットシステムのブロック図である。 図１５に示すロボットシステムの図である。 他の実施形態に係るロボットシステムの図である。

以下、本開示の実施の形態を図面に基づいて詳細に説明する。なお、以下に説明する種々の実施形態において、同様の要素には同じ符号を付し、重複する説明を省略する。まず、図１を参照して、一実施形態に係る画像処理装置１０について説明する。画像処理装置１０は、プロセッサ１４、メモリ１６、及びＩ／Ｏインターフェース１８を有するコンピュータである。

プロセッサ１４は、ＣＰＵ又はＧＰＵ等を有し、メモリ１６及びＩ／Ｏインターフェース１８とバス２０を介して通信可能に接続されている。プロセッサ１４は、メモリ１６及びＩ／Ｏインターフェース１８と通信しつつ、後述する画像処理装置１０の機能を実行するための演算処理を行う。メモリ１６は、ＲＯＭ又はＲＡＭ等を有し、各種データを一時的又は恒久的に記憶する。Ｉ／Ｏインターフェース１８は、イーサネット（登録商標）ポート、ＵＳＢポート、又はＨＤＭＩ（登録商標）端子等を有し、プロセッサ１４の指令の下、外部機器とデータを通信する。

本実施形態においては、画像処理装置１０のＩ／Ｏインターフェース１８に、複数のカメラ２２及び２４と、位置測定器２６とが、無線又は有線で通信可能に接続されている。図２に示すように、カメラ２２及び２４は、同じ構成を有し、光学レンズ２８（フォーカスレンズ等）、及び撮像センサ３０（ＣＣＤ、ＣＭＯＳ等）を有する。

カメラ２２には、カメラ座標系Ｃ_Ｃ１が設定されている。カメラ座標系Ｃ_Ｃ１は、カメラ２２が撮像する画像データの各画素の座標を規定する座標系である。カメラ座標系Ｃ_Ｃ１は、そのｘ−ｙ平面が、カメラ２２の視線方向と直交するように、該カメラ２２に対して設定されている。カメラ２２は、予め定めた第１の撮像位置Ｐ_１に配置されている。カメラ２２は、第１の撮像位置Ｐ_１に配置された状態でワークＷを撮像する。

一方、カメラ２４には、カメラ座標系Ｃ_Ｃ２が設定されている。カメラ座標系Ｃ_Ｃ２は、カメラ２４が撮像する画像データの各画素の座標を規定する座標系である。カメラ座標系Ｃ_Ｃ２は、そのｘ−ｙ平面が、カメラ２４の視線方向と直交するように、該カメラ２４に対して設定されている。

カメラ２４は、予め定めた第２の撮像位置Ｐ_２に配置されている。カメラ２４は、第２の撮像位置Ｐ_２に配置された状態でワークＷを撮像する。なお、本稿において、「撮像位置」とは、カメラ２２、２４の３次元空間内の位置と、該カメラ２２、２４の姿勢（すなわち、視線方向）とを意味することがある。

したがって、第１の撮像位置Ｐ_１は、該第１の撮像位置Ｐ_１に配置されたカメラ２２のカメラ座標系Ｃ_Ｃ１の原点位置及び各軸の方向によって、表すことができる。同様に、第２の撮像位置Ｐ_２は、該第２の撮像位置Ｐ_２に配置されたカメラ２４のカメラ座標系Ｃ_Ｃ２の原点位置及び各軸の方向によって、表すことができる。

以下の説明においては、第１の撮像位置Ｐ_１は、該第１の撮像位置Ｐ_１に配置されたカメラ２２のカメラ座標系Ｃ_Ｃ１の原点位置及び各軸の方向を示すことがあり、また、第２の撮像位置Ｐ_２は、該第２の撮像位置Ｐ_２に配置されたカメラ２４のカメラ座標系Ｃ_Ｃ２の原点位置及び各軸の方向を示すことがある。

ワークＷは、ワークセル内の予め定められた位置に設置されている。本実施形態においては、ワークＷは、円柱状であって、その頂端に表面Ｗ_Ｓ（検出対象部）を有する。本実施形態においては、表面Ｗ_Ｓは、円形の輪郭（又はエッジ）Ｅを有する平面である。一方、ワークセルの３次元空間には、基準座標系Ｃ_Ｒが設定されている。基準座標系Ｃ_Ｒは、３次元空間内に固定された固定座標系である。

基準座標系Ｃ_Ｒは、例えば、ワークセルの３次元空間を規定するワールド座標系、ワークＷに対して設定されるワーク座標系、又は、後述するロボットに対して設定されるロボット座標系等である。本実施形態においては、ワークＷは、その表面Ｗ_Ｓが基準座標系Ｃ_Ｒのｘ−ｙ平面と略平行となるように、固定されている。一方、ワークＷとは別の位置に、表面Ｗ_Ｓに類似する形状を有する非検出対象部ＮＷが存在している。この非検出対象部ＮＷは、例えば、ワークセル内の物体に形成された模様等である。

第１の撮像位置Ｐ_１と基準座標系Ｃ_Ｒとの位置関係は、キャリブレーションによって既知とされている。したがって、第１の撮像位置Ｐ_１（すなわち、図２中のカメラ座標系Ｃ_Ｃ１の原点位置及び各軸の方向）は、基準座標系Ｃ_Ｒの座標及びベクトル（又は関数）として、表される。カメラ座標系Ｃ_Ｃ１の座標と基準座標系Ｃ_Ｒの座標とは、第１の座標変換データを介して、相互に変換可能となっている。この第１の座標変換データは、例えばヤコビ行列であって、第１の撮像位置Ｐ_１と基準座標系Ｃ_Ｒとのキャリブレーションによって取得され得る。

同様に、第２の撮像位置Ｐ_２と基準座標系Ｃ_Ｒとの位置関係は、キャリブレーションによって既知とされている。したがって、カメラ座標系Ｃ_Ｃ２の座標と基準座標系Ｃ_Ｒの座標とは、第２の座標変換データを介して、相互に変換可能となっている。この第２の座標変換データは、例えばヤコビ行列であって、第２の撮像位置Ｐ_２と基準座標系Ｃ_Ｒとのキャリブレーションによって取得され得る。

第１の撮像位置Ｐ_１に配置されたカメラ２２がワークＷを撮像すると、ワークＷからの光（すなわち、被写体像）Ａ_１は、カメラ２２の光学レンズ２８によって導光されて、撮像センサ３０に結像される。また、非検出対象部ＮＷからの光（被写体像）Ａ_２も、カメラ２２の光学レンズ２８によって導光されて、撮像センサ３０に結像される。

撮像センサ３０は、受光した被写体像Ａ_１及びＡ_２を光電変換し、画像データＩＤ_１を生成する。こうして、カメラ２２は、ワークＷの画像データＩＤ_１を撮像する。画像データＩＤ_１の画像の一例を、図４に示す。画像データＩＤ_１には、非検出対象部ＮＷとともに、表面Ｗ_Ｓの輪郭Ｅが見えるようにワークＷが写っている。画像データＩＤ_１の各画素は、カメラ座標系Ｃ_Ｃ１の座標として表される。

同様に、第２の撮像位置Ｐ_２に配置されたカメラ２４がワークＷを撮像すると、ワークＷからの光（被写体像）Ａ_３は、カメラ２４の光学レンズ２８によって導光されて、撮像センサ３０に結像される。また、非検出対象部ＮＷからの光（被写体像）Ａ_４も、カメラ２４の光学レンズ２８によって導光されて、撮像センサ３０に結像される。

撮像センサ３０は、受光した被写体像Ａ_３及びＡ_４を光電変換し、画像データＩＤ_２を生成する。こうして、カメラ２４は、ワークＷの画像データＩＤ_２を撮像する。画像データＩＤ_２の画像の一例を、図５に示す。画像データＩＤ_２には、非検出対象部ＮＷとともに表面Ｗ_Ｓの輪郭Ｅが見えるようにワークＷが画像データＩＤ_１とは異なる位置に写っている。画像データＩＤ_２の各画素は、カメラ座標系Ｃ_Ｃ２の座標として表される。なお、図２中の被写体像Ａ_１及びＡ_３は、ワークＷの表面Ｗ_Ｓ（具体的には、輪郭Ｅ）の光路をそれぞれ示している。

位置測定器２６は、表面Ｗ_Ｓの位置を測定する。例えば、位置測定器２６は、物体へレーザ光を出射するレーザ出射部と、該物体で反射されたレーザ光を受光する受光部（ともに図示せず）とを有し、三角測距方式により、該物体までの距離を測定する。代替的には、位置測定器２６は、２つのカメラを有し、該２つのカメラで撮像した画像から物体までの距離を測定してもよい。

本実施形態においては、位置測定器２６は、カメラ２２に一体に設けられている。すなわち、カメラ２２及び位置測定器２６は、物体を撮像するとともに該物体までの距離を測定する３次元視覚センサを構成する。位置測定器２６は、カメラ２２とともに第１の撮像位置Ｐ_１に配置された状態で、第１の撮像位置Ｐ_１からワークＷの表面Ｗ_Ｓまでの距離ｄ_１を測定する。

一方、第１の撮像位置Ｐ_１と基準座標系Ｃ_Ｒの原点との距離ｄ_０は、既知となっている。したがって、既知の距離ｄ_０と、位置測定器２６が測定した距離ｄ_１とから、表面Ｗ_Ｓの、基準座標系Ｃ_Ｒのｚ軸方向の位置を求めることができる。図２に示す例では、表面Ｗ_Ｓは、基準座標系Ｃ_Ｒのｚ軸座標ｚ＝ｚ_０の位置にある。

一例として、プロセッサ１４は、位置測定器２６が測定した距離ｄ_１を、Ｉ／Ｏインターフェース１８を介して位置測定器２６から取得し、予めメモリに記憶した距離ｄ_０と、取得した距離ｄ_１とを用いて、表面Ｗ_Ｓの基準座標系Ｃ_Ｒのｚ軸座標ｚ_０を演算により求める。代替的には、位置測定器２６は、演算用のプロセッサをさらに有し、予め取得した既知の距離ｄ_０と、測定した距離ｄ_１とを用いて、表面Ｗ_Ｓの、基準座標系Ｃ_Ｒのｚ軸座標ｚ_０を演算により求めてもよい。

次に、図３を参照して、画像処理装置１０の動作について説明する。図３に示すフローは、プロセッサ１４が、オペレータ、上位コントローラ、又はコンピュータプログラムから起動指令を受け付けたときに、開始する。ステップＳ１において、プロセッサ１４は、カメラ２２及び２４が撮像した画像データＩＤ_１及びＩＤ_２を取得する。

具体的には、カメラ２２は、第１の撮像位置Ｐ_１に配置された状態で画像データＩＤ_１を撮像し、カメラ２４は、第２の撮像位置Ｐ_２に配置された状態で画像データＩＤ_２を撮像する。カメラ２２及び２４は、撮像した画像データＩＤ_１及びＩＤ_２を、Ｉ／Ｏインターフェース１８へ送信する。プロセッサ１４は、Ｉ／Ｏインターフェース１８を通して画像データＩＤ_１及びＩＤ_２を取得し、メモリ１６に記憶する。このように、本実施形態においては、プロセッサ１４は、画像データＩＤ_１及びＩＤ_２を取得する画像取得部３２（図１）として機能する。

ステップＳ２において、プロセッサ１４は、検出対象部としての表面Ｗ_Ｓの位置の情報を受け付ける。一例として、位置測定器２６は、表面Ｗ_Ｓの位置の情報として、測定した距離ｄ_１をＩ／Ｏインターフェース１８へ送信する。Ｉ／Ｏインターフェース１８は、距離ｄ_１を受け付け、プロセッサ１４は、Ｉ／Ｏインターフェース１８を介して距離ｄ_１を取得する。そして、プロセッサ１４は、距離ｄ_０及びｄ_１を用いて、表面Ｗ_Ｓの基準座標系Ｃ_Ｒのｚ軸座標ｚ_０を求め、メモリ１６に記憶する。

他の例として、位置測定器２６は、距離ｄ_０及びｄ_１を用いて、表面Ｗ_Ｓの基準座標系Ｃ_Ｒのｚ軸座標ｚ_０を求め、表面Ｗ_Ｓの位置の情報として、表面Ｗ_Ｓの座標ｚ_０をＩ／Ｏインターフェース１８へ送信する。Ｉ／Ｏインターフェース１８は、座標ｚ_０を受け付け、プロセッサ１４は、Ｉ／Ｏインターフェース１８を介して座標ｚ_０を取得して、メモリ１６に記憶する。このように本実施形態においては、Ｉ／Ｏインターフェース１８は、表面Ｗ_Ｓの位置の情報を受け付ける情報受付部３４（図１）として機能する。

ステップＳ３において、プロセッサ１４は、投影画像データＰＤ（図６）を生成する。具体的には、プロセッサ１４は、基準座標系Ｃ_Ｒにおいて、ステップＳ２で取得した表面Ｗ_Ｓの位置（すなわち、座標ｚ_０の位置）に投影面ＰＰを設定する。その結果、図２に示すように、基準座標系Ｃ_Ｒにおいて投影面ＰＰが設定される。この投影面ＰＰは、基準座標系Ｃ_Ｒのｘ−ｙ平面（すなわち、ワークＷの表面Ｗ_Ｓ）と平行な仮想平面である。

次いで、プロセッサ１４は、画像データＩＤ_１から、表面Ｗ_Ｓの輪郭Ｅの画像データＩＤ_{１_Ｅ}を抽出する。例えば、プロセッサ１４は、ワークＷの図面データ（２Ｄ又は３ＤＣＡＤモデル）を取得し、表面Ｗ_Ｓの輪郭Ｅのモデル形状に類似する形状を画像データＩＤ_１から検索することによって、画像データＩＤ_１から輪郭Ｅの画像データＩＤ_{１_Ｅ}を抽出してもよい。

このとき、輪郭Ｅに類似する形状を有する非検出対象部ＮＷの輪郭の画像データＩＤ_{１_Ｎ}も、画像データＩＤ_{１_Ｅ}とともに抽出され得る。同様にして、プロセッサ１４は、画像データＩＤ_２から輪郭Ｅの画像データＩＤ_{２_Ｅ}を抽出する。このとき、非検出対象部ＮＷの輪郭の画像データＩＤ_{２_Ｎ}も、画像データＩＤ_{２_Ｅ}とともに抽出され得る。

次いで、プロセッサ１４は、抽出した画像データＩＤ_{１_Ｅ}及びＩＤ_{１_Ｎ}と、画像データＩＤ_{２_Ｅ}及びＩＤ_{２_Ｎ}とを、設定した投影面ＰＰに投影させる。具体的には、プロセッサ１４は、第１の撮像位置Ｐ_１と基準座標系Ｃ_Ｒとの位置関係を示す第１の座標変換データを用いて、画像データＩＤ_{１_Ｅ}及びＩＤ_{１_Ｎ}の各画素のカメラ座標系Ｃ_Ｃ１の座標を、基準座標系Ｃ_Ｒにおけるｚ軸座標ｚ_０の位置でのｘ−ｙ座標に変換する。

該ｘ−ｙ座標に変換された各点は、被写体像Ａ_１及びＡ_２を受光した撮像センサ３０の各画素から該被写体像Ａ_１及びＡ_２の光路に沿って延びる線と投影面ＰＰとの交点であって、これら交点の基準座標系Ｃ_Ｒの座標は、投影面ＰＰの位置が既知であれば、第１の座標変換データを用いた座標変換によって求めることができる。こうして、画像データＩＤ_{１_Ｅ}を投影面ＰＰに投影させた輪郭投影画像データＰＥ_１（図６）と、画像データＩＤ_{１_Ｎ}を投影面ＰＰに投影させた輪郭投影画像データＰＮ_１とを、生成することができる。

同様にして、プロセッサ１４は、第２の撮像位置Ｐ_２と基準座標系Ｃ_Ｒとの位置関係を示す第２の座標変換データと、投影面ＰＰの座標ｚ_０とを用いて、画像データＩＤ_{２_Ｅ}及びＩＤ_{２_Ｎ}を投影面ＰＰに投影させる。その結果、画像データＩＤ_{２_Ｅ}を投影面ＰＰに投影させた輪郭投影画像データＰＥ_２と、画像データＩＤ_{２_Ｎ}を投影面ＰＰに投影させた輪郭投影画像データＰＮ_２とを、生成することができる。

次いで、プロセッサ１４は、投影面ＰＰにおける投影画像データＰＤの範囲を画定する画像枠Ｆを設定し、図６に示すような投影画像データＰＤを生成する。したがって、本実施形態においては、プロセッサ１４は、投影画像データＰＤを生成する投影画像生成部３６（図１）として機能する。

なお、プロセッサ１４は、生成した画像枠Ｆの投影画像データＰＤを、表示装置に表示させてもよい。また、生成する投影画像データＰＤの画像枠Ｆの投影面ＰＰ上の位置及びサイズは、オペレータが手動で設定してもよい。この場合において、プロセッサ１４は、オペレータから、画像枠Ｆの縦横サイズを、基準座標系Ｃ_Ｒのｙ軸の座標範囲とｘ軸の座標の範囲の入力として受け付けてもよい。又は、プロセッサ１４は、輪郭投影画像データＰＥ_１、ＰＥ_２、ＰＮ_１、ＰＮ_２を含むように自動で設定してもよい。

投影画像データＰＤの各画素は、投影座標系Ｃ_Ｐによって座標化される。投影座標系Ｃ_Ｐは、その原点が基準座標系Ｃ_Ｒのｚ軸座標ｚ_０の位置に配置され、そのｘ軸及びｙ軸が投影面ＰＰと平行となる座標系である。投影座標系Ｃ_Ｐと基準座標系Ｃ_Ｒとは、設定される画像枠Ｆに応じた既知の位置関係となる。なお、本実施形態においては、投影座標系Ｃ_Ｐのｘ軸及びｙ軸が、それぞれ、基準座標系Ｃ_Ｒのｘ軸及びｙ軸と平行となるように、画像枠Ｆが設定されている。

投影座標系Ｃ_Ｐにおけるｘ軸及びｙ軸方向のサイズと、基準座標系Ｃ_Ｒにおけるｘ軸及びｙ軸方向のサイズとは、設定された画像枠Ｆのサイズに応じて互いに対応付けられている（例えば、投影座標系Ｃ_Ｐのｘ軸方向の距離「１」は、基準座標系Ｃ_Ｒのｘ軸方向の距離「１０」に対応する）。

このように、投影座標系Ｃ_Ｐと基準座標系Ｃ_Ｒとは、既知の位置関係となっており、投影座標系Ｃ_Ｐの原点位置及び各軸の方向は、基準座標系Ｃ_Ｒの座標及びベクトル（又は関数）として、表すことができる。したがって、投影座標系Ｃ_Ｐの座標と、基準座標系Ｃ_Ｒの座標とは、第３の座標変換データを介して、相互に変換可能となっている。

ステップＳ４において、プロセッサ１４は、投影画像データＰＤにおいて、画像データＩＤ_１に写る画像データＩＤ_{１_Ｅ}と、画像データＩＤ_２に写る画像データＩＤ_{２_Ｅ}とが重複して投影された重複投影画像データＯＤを検出する。ここで、カメラ２２に入射する表面Ｗ_Ｓの被写体像Ａ_１と、カメラ２４に入射する表面Ｗ_Ｓの被写体像Ａ_３とは、表面Ｗ_Ｓの位置で一致する。

換言すれば、カメラ２２が撮像した表面Ｗ_Ｓの輪郭Ｅの画像データＩＤ_{１_Ｅ}を、表面Ｗ_Ｓの位置に設定した投影面ＰＰへ投影した投影位置と、カメラ２４が撮像した表面Ｗ_Ｓの輪郭Ｅの画像データＩＤ_{２_Ｅ}を、表面Ｗ_Ｓの位置に設定した投影面ＰＰへ投影した投影位置とは、互いに一致する。この一致した投影位置において、画像データＩＤ_{１_Ｅ}と画像データＩＤ_{２_Ｅ}とが重複して投影されて、投影画像データＰＤにおいて重複投影画像データＯＤを形成する。

その一方で、カメラ２２が撮像した非検出対象部ＮＷの輪郭の画像データＩＤ_{１_Ｎ}を投影面ＰＰへ投影した投影位置と、カメラ２４が撮像した非検出対象部ＮＷの輪郭の画像データＩＤ_{２_Ｎ}を投影面ＰＰへ投影した投影位置とは、互いからずれることになる（輪郭投影画像データＰＮ_１、ＰＮ_２）。プロセッサ１４は、重複投影画像データＯＤを投影画像データＰＤから検出する。

一例として、プロセッサ１４は、投影画像データＰＤの各画素の明るさを、画像データＩＤ_１から投影された輪郭投影画像データＰＥ_１又はＰＮ_１を写している場合は「１」としてカウントする一方、輪郭投影画像データＰＥ_１及びＰＮ_１のいずれも写さない場合は「０」としてカウントする。

また、プロセッサ１４は、投影画像データＰＤの各画素の明るさを、画像データＩＤ_２から投影された輪郭投影画像データＰＥ_２又はＰＮ_２を写している場合は「１」としてカウントする一方、輪郭投影画像データＰＥ_２及びＰＮ_２のいずれも写さない場合は「０」としてカウントする。

そして、プロセッサ１４は、投影画像データＰＤの各画素において、カウントした明るさを加算する。この場合、画像データＩＤ_１から投影された輪郭投影画像データＰＥ_１又はＰＮ_１と、画像データＩＤ_２から投影された輪郭投影画像データＰＥ_２又はＰＮ_２との双方を写す画素（すなわち、投影画像データＰＥ_１又はＰＮ_１と、投影画像データＰＥ_２又はＰＮ_２とが重複して投影された画素）の明るさは、「２」となる。

一方、画像データＩＤ_１から投影された輪郭投影画像データＰＥ_１又はＰＮ_１と、画像データＩＤ_２から投影された輪郭投影画像データＰＥ_２又はＰＮ_２とのいずれか一方を写す画素の明るさは「１」となり、輪郭投影画像データＰＥ_１、ＰＮ_１、ＰＥ_２及びＰＮ_２のいずれも写していない画素の明るさは「０」となる。

プロセッサ１４は、投影画像データＰＤにおいて明るさが「２」となる画素を抽出し、抽出した画素が写す画像データを、重複投影画像データＯＤとして検出する。このように、本例では、プロセッサ１４は、投影画像データＰＤの画素の明るさに基づいて、重複投影画像データＯＤを検出する。なお、輪郭投影画像データＰＥ_１、ＰＮ_１、ＰＥ_２、ＰＮ_２を写す又は写さない画素の明るさは、「０」、「１」の２値に限らず、他の如何なる値に設定されてもよい。

他の例として、プロセッサ１４は、投影画像データＰＤから、各々の輪郭投影画像データＰＥ_１、ＰＮ_１、ＰＥ_２及びＰＮ_２の形状を抽出し、輪郭投影画像データＰＥ_１、ＰＮ_１、ＰＥ_２及びＰＮ_２の、互いに対応する特徴点（中心点、頂点、エッジ等）を特定する。本実施形態においては、プロセッサ１４は、該特徴点として、輪郭投影画像データＰＥ_１の中心点ＣＥ_１、輪郭投影画像データＰＥ_２の中心点ＣＥ_２、輪郭投影画像データＰＮ_１の中心点ＣＮ_１、及び輪郭投影画像データＰＮ_２の中心点ＣＮ_２を特定する。

そして、プロセッサ１４は、特定した特徴点（中心点）ＣＥ_１、ＣＥ_２、ＣＮ_１及びＣＮ_２の投影座標系Ｃ_Ｐの座標を取得し、複数の輪郭投影画像データＰＥ_１、ＰＮ_１、ＰＥ_２及びＰＮ_２のうち、２つの輪郭投影画像データの特徴点の距離ｄを算出する。プロセッサ１４は、距離ｄが予め定めた閾値ｄ_ｔｈよりも小さい場合に、該２つの輪郭投影画像データのうちの一方を重複投影画像データＯＤとして検出する。

ここで、距離ｄは、投影画像データＰＤにおける２つの輪郭投影画像データの位置が一致しているか否かを定量的に示すパラメータであって、図６に示す例では、特徴点ＣＥ_１及びＣＥ_２の間の距離ｄ_Ｅが、例えば特徴点ＣＮ_１及びＣＮ_２の間の距離ｄ_Ｎよりも、小さくなっている（具体的には、ｄ_Ｅ≒０）。よって、距離ｄが閾値ｄ_ｔｈよりも小さい場合は、２つの輪郭投影画像データＰＥ_１及びＰＥ_２の位置が一致し、該位置において画像データＩＤ_{１_Ｅ}と画像データＩＤ_{２_Ｅ}とが重複して投影されていると見做すことができる。

図６に示す例では、プロセッサ１４は、特徴点ＣＥ_１及びＣＥ_２の距離ｄ_Ｅが閾値ｄ_ｔｈよりも小さいと判定し、輪郭投影画像データＰＥ_１及びＰＥ_２の一方を、重複投影画像データＯＤとして検出する。以上のような方法で、プロセッサ１４は、重複投影画像データＯＤを検出できる。したがって、本実施形態においては、プロセッサ１４は、重複投影画像データＯＤを検出する重複検出部３８（図１）として機能する。

ステップＳ５において、プロセッサ１４は、ステップＳ４で検出した重複投影画像データＯＤに基づいて、基準座標系Ｃ_Ｒにおける表面Ｗ_Ｓの位置データを取得する。具体的には、プロセッサ１４は、投影画像データＰＤを画像処理し、重複投影画像データＯＤの形状を抽出する。このとき、プロセッサ１４は、重複投影画像データＯＤの画像の輪郭線を滑らかに接続する画像フィルタ処理を実行し、重複投影画像データＯＤを更新してもよい。

そして、プロセッサ１４は、重複投影画像データＯＤの投影座標系Ｃ_Ｐの位置を取得する。例えば、プロセッサ１４は、重複投影画像データＯＤの投影座標系Ｃ_Ｐの位置として、重複投影画像データＯＤの特徴点（中心点ＣＯ）を画像処理により特定し、該特徴点ＣＯの投影座標系Ｃ_Ｐにおける座標（ｘ_Ｐ，ｙ_Ｐ）を取得する。なお、この特徴点ＣＯは、上述の特徴点ＣＥ_１又はＣＥ_２に略一致する。

そして、プロセッサ１４は、投影座標系Ｃ_Ｐの座標（ｘ_Ｐ，ｙ_Ｐ）を、投影面ＰＰの座標ｚ_０と第３の座標変換データとを用いて、基準座標系Ｃ_Ｒの座標（ｘ_Ｒ，ｙ_Ｒ，ｚ_０）に変換する。この座標（ｘ_Ｒ，ｙ_Ｒ，ｚ_０）は、基準座標系Ｃ_Ｒにおける表面Ｗ_Ｓの特徴点（中心点）の位置を示す位置データとなる。このように本実施形態においては、プロセッサ１４は、重複投影画像データＯＤに基づいて、基準座標系Ｃ_Ｒにおける表面Ｗ_Ｓの位置データ：座標（ｘ_Ｒ，ｙ_Ｒ，ｚ_０）を取得する位置データ取得部４０（図１）として機能する。

以上のように、本実施形態においては、投影画像データＰＤにおいて重複投影画像データＯＤを自動で検出する。この構成によれば、仮に、ワークセル内に、検出対象部としての表面Ｗ_Ｓに類似する形状の非検出対象部ＮＷが存在していたとしても、該非検出対象部ＮＷを誤検出してしまうのを防止し、検出対象部としての表面Ｗ_Ｓを示す重複投影画像データＯＤを、確実且つ自動的に検出することができる。

また、本実施形態においては、位置測定器２６が表面Ｗ_Ｓの位置を測定し、該位置の情報を情報受付部３４が受け付けている。この構成によれば、プロセッサ１４は、表面Ｗ_Ｓの位置を自動で取得することができる。また、本実施形態においては、プロセッサ１４は、基準座標系Ｃ_Ｒにおける表面Ｗ_Ｓの位置データ：座標（ｘ_Ｒ，ｙ_Ｒ，ｚ_０）を取得している。この構成によれば、ワークＷに対して作業を行うロボットの制御に用いる位置データを自動で取得することができる。なお、ロボットの制御については、後述する。

なお、上述のステップＳ４において、プロセッサ１４は、重複投影画像データＯＤを検出したときに、投影画像生成部３６として機能して、重複投影画像データＯＤのみが写る第２の投影画像データＰＤ２をさらに生成してもよい。この第２の投影画像データＰＤ２の例を、図７に示す。

図７に示すように、第２の投影画像データＰＤ２においては、ステップＳ４で検出した重複投影画像データＯＤが写る一方、図６の投影画像データＰＤに写っていた輪郭投影画像データＰＮ_１及びＰＮ_２を含む、重複投影画像データＯＤ以外の画像が、視覚的に識別不能となるように単一の明るさで示されている（又は、消去されている）。

例えば、プロセッサ１４は、検出した重複投影画像データＯＤを写す画素以外の画素の明るさを、重複投影画像データＯＤを写す画素の明るさ（例えば、「２」）とは異なる単一の明るさ（例えば、「０」）とするように投影画像データＰＤを修正することによって、図７に示す第２の投影画像データＰＤ２を生成する。

代替的には、プロセッサ１４は、検出した重複投影画像データＯＤの投影座標系Ｃ_Ｐの座標を記憶し、該座標を、投影座標系Ｃ_Ｐが設定された新たな画像データにプロットすることによって、第２の投影画像データＰＤ２を新たな画像データとして生成してもよい。このように生成された第２の投影画像データＰＤ２においては、重複投影画像データＯＤのみが明瞭に写されることになる。

そして、プロセッサ１４は、ステップＳ５において、第２の投影画像データＰＤ２を画像処理することにより重複投影画像データＯＤの形状を抽出し、特徴点ＣＯを特定して、投影座標系Ｃ_Ｐにおける特徴点ＣＯの座標（ｘ_Ｐ，ｙ_Ｐ）を取得する。この構成によれば、プロセッサ１４は、重複投影画像データＯＤ及び特徴点ＣＯを抽出する画像処理を、より効果的に実行することができる。

さらに、第２の投影画像データＰＤ２によれば、仮に、カメラ２２が撮像した画像データＩＤ_１、又はカメラ２４が撮像した画像データＩＤ_２にノイズ等が写っていたとしても、重複投影画像データＯＤ及びその特徴点ＣＯを正確に抽出できる。この効果について、図８及び図９を参照して説明する。

図８及び図９に示す例では、ステップＳ１で撮像された画像データＩＤ_１及びＩＤ_２に、ノイズＨがそれぞれ写り込んでいる。このようなノイズＨは、例えば、撮像時に被写体へ照射される光の方向及び照度や、撮像センサ３０の光電変換時に発生する電気的ノイズ、又は、切粉等の異物からの反射光等に起因し得る。

このような画像データＩＤ_１及びＩＤ_２を用いて、プロセッサ１４がステップＳ２〜Ｓ４を実行し、ステップＳ４において第２の投影画像データＰＤ２を生成した場合、第２の投影画像データＰＤ２においては、重複投影画像データＯＤ以外の画像が視覚的に消去されるので、ノイズＨの画像も視覚的に消去されることになる。したがって、画像データＩＤ_１及びＩＤ_２にノイズＨが写り込んでいたとしても、第２の投影画像データＰＤ２から重複投影画像データＯＤ及びその特徴点ＣＯを正確に抽出できる。

次に、図３、図１０〜図１２を参照して、画像処理装置１０の他の機能について説明する。本実施形態においては、ワークＷは、略矩形の表面Ｗ_Ｓを有しており、該表面Ｗ_Ｓは、上述の実施形態と同様に、基準座標系Ｃ_Ｒのｚ軸座標_０の位置にある。ここで、図１０に示すように、ステップＳ１でカメラ２２が撮像した画像データＩＤ_１において、ワークＷの表面Ｗ_Ｓの一部が写らない場合がある。このような現象は、カメラ２２とワークＷとの間に障害物がある場合、又は、上述のノイズ等に起因して生じ得る。

画像データＩＤ_１においては、表面Ｗ_ＳのエッジＥのうち、図１０中の実線で示す部分Ｅ１の画像データＩＤ_{１_Ｅ１}が写っている一方、点線で示す部分Ｅ２は写っていない。同様に、図１１に示すように、ステップＳ１でカメラ２４が撮像した画像データＩＤ_２においては、表面Ｗ_ＳのエッジＥのうち、実線で示す部分Ｅ３の画像データＩＤ_{１_Ｅ３}が写っている一方、点線で示す部分Ｅ４は写っていない。

このような画像データＩＤ_１及びＩＤ_２を用いて、図３のフローを実行した場合、ステップＳ３において、プロセッサ１４は、画像データＩＤ_１に写る画像データＩＤ_{１_Ｅ１}と、画像データＩＤ_２に写るＩＤ_{２_Ｅ３}とを、投影面ＰＰに投影させ、図１２に示す投影画像データＰＤを生成する。図１２に示す投影画像データＰＤにおいては、画像データＩＤ_{１_Ｅ１}が輪郭投影画像データＰＥ_Ｅ１として投影され、画像データＩＤ_{２_Ｅ３}が輪郭投影画像データＰＥ_Ｅ２として投影される一方、輪郭Ｅの一部に対応する、点線Ｇで示す画像データが欠落している。

ステップＳ４において、プロセッサ１４は、投影画像データＰＤにおいて、画像データＩＤ_１に写る画像データＩＤ_{１_Ｅ１}と、画像データＩＤ_２に写る画像データＩＤ_{２_Ｅ３}とが重複して投影された重複投影画像データＯＤを検出する。具体的には、プロセッサ１４は、投影画像データＰＤの各画素の明るさを、輪郭投影画像データＰＥ_Ｅ１を写している場合は「１」としてカウントする一方、輪郭投影画像データＰＥ_Ｅ１を写していない場合は「０」としてカウントする。

また、プロセッサ１４は、投影画像データＰＤの各画素の明るさを、輪郭投影画像データＰＥ_Ｅ３を写している場合は「１」としてカウントする一方、輪郭投影画像データＰＥ_Ｅ３を写していない場合は「０」としてカウントする。そして、プロセッサ１４は、投影画像データＰＤの各画素において、カウントした明るさを加算する。

この場合、輪郭投影画像データＰＥ_Ｅ１及びＰＥ_Ｅ３の双方を写す画素（すなわち、画像データＩＤ_{１_Ｅ１}及びＩＤ_{２_Ｅ３}が重複して投影された画素）の明るさは、「２」となる。一方、輪郭投影画像データＰＥ_Ｅ１及びＰＥ_Ｅ３のいずれか一方を写す画素の明るさは「１」となり、輪郭投影画像データＰＥ_Ｅ１及びＰＥ_Ｅ３のいずれも写していない画素の明るさは「０」となる。

そして、プロセッサ１４は、投影画像データＰＤにおいて明るさが「２」となる画素を抽出し、抽出した画素が写す画像データを、重複投影画像データＯＤとして検出する。その結果、図１３に示す画像データＯＤが検出される。この画像データＯＤにおいては、輪郭Ｅの一部に対応する、点線Ｊで示す画像データが欠落している。

ステップＳ５において、プロセッサ１４は、ステップＳ４で検出した図１３に示す重複投影画像データＯＤに基づいて、基準座標系Ｃ_Ｒにおける表面Ｗ_Ｓの位置データを取得する。具体的には、プロセッサ１４は、図１３に示す投影画像データＰＤを画像処理し、重複投影画像データＯＤの形状を抽出する。

このとき、プロセッサ１４は、ワークＷの図面データから輪郭Ｅのモデル形状を取得し、該モデル形状と重複投影画像データＯＤとを比較して、例えば欠落部分Ｊに相当する画像データを推定して補完することによって、輪郭Ｅの全周に対応する重複投影画像データＯＤの形状を抽出してもよい。

そして、プロセッサ１４は、重複投影画像データＯＤの投影座標系Ｃ_Ｐにおける位置として、重複投影画像データＯＤの特徴点（中心点、頂点等）を画像処理により特定し、該特徴点の投影座標系Ｃ_Ｐにおける座標を取得する。そして、プロセッサ１４は、投影座標系Ｃ_Ｐの座標を基準座標系Ｃ_Ｒの座標に変換し、基準座標系Ｃ_Ｒにおける表面Ｗ_Ｓの特徴点の位置を示す位置データとして取得する。

このように、画像処理装置１０によれば、ステップＳ１でカメラ２２又は２４が撮像した画像データＩＤ_１又はＩＤ_２において、ワークＷの表面Ｗ_Ｓの一部が写らなかったとしても、例えばワークＷの図面データと、画像データの一部が欠落した重複投影画像データＯＤとの比較に基づいて、重複投影画像データＯＤ及びその特徴点を抽出することができる。

次に、図１４を参照して、画像処理装置１０のさらに他の機能について説明する。本実施形態においては、画像処理装置１０のＩ／Ｏインターフェース１８に、上述の位置測定器２６が接続されていない一方で、表示装置４１及び入力装置４２が、有線又は無線で通信可能に接続されている。

表示装置４１は、ＬＣＤ又は有機ＥＬディスプレイ等を有し、プロセッサ１４は、Ｉ／Ｏインターフェース１８を介して、表示装置４１に画像データを送信し、該表示装置４１に画像を表示させる。入力装置４２は、キーボード、マウス、又はタッチセンサ等を有し、オペレータが入力した情報を、Ｉ／Ｏインターフェース１８を介してプロセッサ１４へ送信する。なお、表示装置４１及び入力装置４２は、画像処理装置１０に一体に設けられてもよいし、画像処理装置１０とは別体として設けられてもよい。

次に、図３を参照して、本実施形態に係る画像処理装置１０の動作について説明する。本実施形態の動作は、図１に示す実施形態と、ステップＳ２において相違する。具体的には、ステップＳ２において、プロセッサ１４は、表面Ｗ_Ｓの位置の情報を受け付ける。例えば、プロセッサ１４は、表面Ｗ_Ｓの基準座標系Ｃ_Ｒのｚ軸座標を入力するための入力画像データを生成し、表示装置４１に表示させる。このとき、プロセッサ１４は、入力画像とともに、ワークＷの既知の公称寸法又は図面データを表示装置４１に表示させてもよい。

オペレータは、ワークＷの公称寸法又は図面データ考慮して、表示装置４１に表示された入力画像を視認しつつ入力装置４２を操作し、表面Ｗ_Ｓの位置の情報として、表面Ｗ_Ｓの基準座標系Ｃ_Ｒのｚ軸座標ｚ＝ｚ_０を入力する。Ｉ／Ｏインターフェース１８は、情報受付部３４として機能し、入力装置４２に入力された表面Ｗ_Ｓの位置の情報（座標ｚ_０）を、該入力装置４２から受け付ける。

プロセッサ１４は、Ｉ／Ｏインターフェース１８を通して、表面Ｗ_Ｓの位置の情報（座標ｚ_０）を取得し、メモリ１６に記憶する。このように、本実施形態によれば、オペレータは、入力装置４２に表面Ｗ_Ｓの位置の情報（座標ｚ_０）を任意に入力し、ステップＳ３で設定する投影面ＰＰの位置を、ワークＷの既知の公称寸法又は図面データ等を考慮して、任意に設定できる。

次に、図１５及び図１６を参照して、一実施形態に係るロボットシステム５０について説明する。ロボットシステム５０は、制御装置５２、ロボット５４、画像処理装置１０、カメラ２２及び２４、位置測定器２６、表示装置４１、及び入力装置４２を備える。制御装置５２は、ロボット５４、カメラ２２及び２４、並びに位置測定器２６の動作を制御する。

本実施形態においては、ロボット５４は、垂直多関節ロボットであって、ロボットベース５６、旋回胴５８、ロボットアーム６０、手首部６２、及びエンドエフェクタ６４を有する。ロボットベース５６は、ワークセルの床に固定されている。旋回胴５８は、ロボットベース５６に鉛直軸周りに旋回可能に設けられている。

ロボットアーム６０は、旋回胴５８に回動可能に取り付けられた下腕部６６と、該下腕部６６の先端部に回動可能に取り付けられた上腕部６８とを有する。手首部６２は、上腕部６８の先端部に連結され、エンドエフェクタ６４を回動可能に支持する。エンドエフェクタ６４は、ロボットハンド、切削工具、レーザ加工ヘッド、溶接トーチ、又は塗料塗布器等であって、ワークＷに対して所定の作業（ハンドリング、切削加工、レーザ加工、溶接、塗工等）を行う。

ロボット５４の各コンポーネント（ロボットベース５６、旋回胴５８、ロボットアーム６０、手首部６２）には、サーボモータが内蔵されている。サーボモータは、プロセッサ１４からの指令に応じて、ロボット５４の各可動コンポーネント（旋回胴５８、ロボットアーム６０、手首部６２）を動作させ、エンドエフェクタ６４を、３次元空間内の任意の位置及び姿勢に配置する。

本実施形態においては、画像処理装置１０は、制御装置５２に実装されている。すなわち、制御装置５２は、プロセッサ１４、メモリ１６、及びＩ／Ｏインターフェース１８を有するコンピュータであって、プロセッサ１４、メモリ１６、及びＩ／Ｏインターフェース１８は、画像処理装置１０を構成する。

プロセッサ１４は、ロボット５４によってワークＷに作業を行う前に、図３に示すフローを実行し、ステップＳ５で表面Ｗ_Ｓの位置データ：座標（ｘ_Ｒ，ｙ_Ｒ，ｚ_０）を取得する。そして、プロセッサ１４は、位置データ：座標（ｘ_Ｒ，ｙ_Ｒ，ｚ_０）に基づいてロボット５４を制御し、該ロボット５４によってワークＷ（例えば、表面Ｗ_Ｓ）に対して作業を行う。

以上のように、本実施形態においては、撮像位置Ｐ_１及びＰ_２でカメラ２２及び２４が撮像した画像データＩＤ_１及びＩＤ_２から、ワークＷの表面Ｗ_Ｓの位置データ：座標（ｘ_Ｒ，ｙ_Ｒ，ｚ_０）を取得し、該位置データ：座標（ｘ_Ｒ，ｙ_Ｒ，ｚ_０）に基づいてロボット５４を制御することによって、ワークＷに対する作業を正確に実行することができる。

なお、ロボットシステム５０において、制御装置５２と画像処理装置１０とを別体として構成することもできる。この場合、制御装置５２は、プロセッサ及びメモリを有する１つのコンピュータであって、画像処理装置１０に通信可能に接続される。そして、画像処理装置１０のプロセッサ１４は、ステップＳ５で位置データ：座標（ｘ_Ｒ，ｙ_Ｒ，ｚ_０）を取得したときに、該位置データを制御装置５２に送信してもよい。

また、１つのカメラ２２を用いて、図３に示すフローを実行することもできる。このような形態を図１７に示す。図１７に示すロボットシステム５０’においては、上述のカメラ２４が設けられておらず、位置測定器２６が一体に設けられたカメラ２２が、ロボット５４のエンドエフェクタ６４に設置されている。

本実施形態においては、カメラ２２は、ロボット５４の手先（又は、ＴＣＰ）に対して、キャリブレーションにより既知の位置関係に配置されている。したがって、制御装置５２は、基準座標系Ｃ_Ｒにおけるカメラ２２の位置及び姿勢（すなわち、カメラ座標系Ｃ_Ｃ１の原点位置及び各軸の方向）を認識できるようになっている。

ロボットシステム５０’において図３に示すフローを実行する場合、プロセッサ１４は、ステップＳ１において、ロボット５４を動作させて、カメラ２２を第１の撮像位置Ｐ_１に配置し、カメラ２２によって画像データＩＤ_１を撮像する。また、プロセッサ１４は、ロボット５４を動作させて、カメラ２２を第２の撮像位置Ｐ_２に配置し、カメラ２２によって画像データＩＤ_２を撮像する。このように、１つのカメラ２２を複数の撮像位置Ｐ_１、Ｐ_２に配置して撮像した画像データＩＤ_１、ＩＤ_２を用いて、図３に示すフローを実行することができる。

なお、上述の画像処理装置１０から、位置データ取得部４０を省略することもできる。例えば、重複検出部３８が投影画像データＰＤにて重複投影画像データＯＤを検出したときに、重複投影画像データＯＤを基に、オペレータが手動で表面Ｗ_Ｓの位置データ：座標（ｘ_Ｒ，ｙ_Ｒ，ｚ_０）を求めてもよい。また、画像処理装置１０から、メモリ１６又はＩ／Ｏインターフェース１８を省略してもよい。

また、上述の実施形態においては、検出対象部が表面Ｗ_Ｓである場合について述べたが、これに限らず、検出対象部は、例えば、物体（ワークＷ）の側面に形成されるエッジ、凸部、凹部等、如何なる構造のものであってもよい。また、表面Ｗ_Ｓは、円形に限らず、楕円形、多角形等、如何なる形状であってもよい。また、表面Ｗ_Ｓは、基準座標系Ｃ_Ｒのｘ−ｙ平面に対して傾斜してもよい。この場合において、プロセッサ１４は、上述のステップＳ３において、投影面ＰＰを表面Ｗ_Ｓと平行に設定してもよい。

また、第１の撮像位置Ｐ_１及び第２の撮像位置Ｐ_１は、図２に示す位置に限定されず、如何なる位置であってもよい。また、計ｎ個（ｎは３以上の正数）のカメラを、それぞれ、第１の撮像位置Ｐ_１、第２の撮像位置Ｐ_２、・・・第ｎの撮像位置Ｐ_ｎに配置させて、画像データＩＤ_１、ＩＤ_２、・・・ＩＤ_ｎを撮像させ、これら画像データＩＤ_１、ＩＤ_２、・・・ＩＤ_ｎを用いて、図３に示すフローを実行することもできる。この場合において、プロセッサ１４は、ステップＳ４において、少なくとも２つの（例えば、全ての）画像データＩＤ_ｎに写る表面Ｗ_Ｓ（検出対象部）が重複された重複投影画像データＯＤを検出する。

また、上述の実施形態においては、ステップＳ３において、プロセッサ１４が画像枠Ｆを設定する場合について述べた。しかしながら、プロセッサ１４は、投影画像データＰＤを、画像枠Ｆで区切ることなく、基準座標系Ｃ_Ｒにおけるｚ軸座標ｚ_０の位置でのｘ−ｙ座標の点の集合体として生成することができる。以上、実施形態を通じて本開示を説明したが、上述の実施形態は、特許請求の範囲に係る発明を限定するものではない。

１０ 画像処理装置
１４ プロセッサ
２２，２４ カメラ
２６ 位置測定器
３２ 画像取得部
３４ 情報受付部
３６ 投影画像生成部
３８ 重複検出部
４０ 位置データ取得部
５０，５０’ ロボットシステム
５２ 制御装置
５４ ロボット

Claims (9)

1. 予め定めた複数の撮像位置に配置されたカメラによって検出対象部を撮像した画像データを取得する画像取得部と、
   第１の前記撮像位置で撮像された第１の前記画像データと、第２の前記撮像位置で撮像された第２の前記画像データとを、前記検出対象部の位置に設定された投影面に投影させた投影画像データを生成する投影画像生成部と、
   前記投影画像生成部が生成した前記投影画像データにおいて、前記第１の画像データに写る前記検出対象部と、前記第２の画像データに写る前記検出対象部とが重複して投影された重複投影画像データを検出する重複検出部と、を備える、画像処理装置。
2. 前記投影画像生成部は、前記重複検出部が検出した前記重複投影画像データのみが写る第２の投影画像データをさらに生成する、請求項１に記載の画像処理装置。
3. 前記検出対象部の前記位置の情報を受け付ける情報受付部をさらに備え、
   前記投影画像生成部は、前記情報受付部が受け付けた前記位置に前記投影面を設定して前記投影画像データを生成する、請求項１又は２に記載の画像処理装置。
4. 前記情報受付部は、
   前記情報を入力可能な入力装置から該情報を受け付けるか、又は、
   前記検出対象部の前記位置を測定する位置測定器から前記情報を受け付ける、請求項３に記載の画像処理装置。
5. 前記検出対象部は、平面であって、
   前記投影面は、前記平面と平行に設定される、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 各々の前記撮像位置は、基準座標系に対して既知の位置関係となるように定められ、
   前記画像処理装置は、前記重複検出部が検出した前記重複投影画像データに基づいて、前記基準座標系における前記検出対象部の位置データを取得する位置データ取得部をさらに備える、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 請求項６に記載の画像処理装置と、
   前記カメラと、
   前記検出対象部を有するワークに対して作業を行うロボットと、
   前記位置データ取得部が取得した前記位置データに基づいて、前記作業を実行させるように前記ロボットを制御する制御装置と、を備える、ロボットシステム。
8. 前記第１の撮像位置で前記第１の画像データを撮像する第１の前記カメラと、
   前記第２の撮像位置で前記第２の画像データを撮像する第２の前記カメラと、を備える、請求項７に記載のロボットシステム。
9. 予め定めた複数の撮像位置に配置されたカメラによって検出対象部を撮像した画像データを取得し、
   第１の前記撮像位置で撮像された第１の前記画像データと、第２の前記撮像位置で撮像された第２の前記画像データとを、前記検出対象部の位置に設定された投影面に投影させた投影画像データを生成し、
   生成した前記投影画像データにおいて、前記第１の画像データに写る前記検出対象部と、前記第２の画像データに写る前記検出対象部とが重複して投影された重複投影画像データを検出する、画像処理方法。

Images