JP7450691B1 - 干渉判別表示システム、干渉判別表示方法及び干渉判別表示プログラム - Google Patents

Abstract

【課題】ワーク保持用ロボットに対する干渉を正確に判別表示する。【解決手段】干渉判別表示システムは、積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を有する補助装置と、積載エリア内のワークを保持するグリッパ及びアーム部を有するワーク保持用ロボットと、ワーク、補助装置並びにグリッパ及びアーム部が存在する積載エリアを撮像可能な撮像装置と、撮像画像に基づいて、積載エリア内における補助装置、ワーク並びにグリッパ及びアーム部をそれぞれ検出する制御装置と、検出された補助装置、ワーク並びにグリッパ及びアーム部をそれぞれ表示可能な表示装置と、を備え、制御装置は、グリッパ及びアーム部の少なくとも一つと、補助装置及びワークの少なくとも一つと、の干渉状態を判定する判定部を含み、表示装置は、判定された干渉状態を表す情報を表示画面上に表示可能に構成される。【選択図】図１

Description

本発明は、干渉判別表示システム、干渉判別表示方法及び干渉判別表示プログラムに関する。

従来から、積載エリアに積載した複数の板材等のワークを供給ロボット等のローディング装置によって、曲げ加工等を行うプレスブレーキ等の加工機へ供給することが行われている。例えば、ローディングに際しては、ワークを他のワークから分離する特許文献１に記載のワークめくり装置（１枚取り装置）が用いられる。

また、積載エリア内に配置されているワークの位置は、特許文献２に記載のワーク検出装置によって検出することができる。そして、位置が検出されたワークを、配置位置及び配置の向きが判別されたワークめくり装置で１枚取りし、ワーク保持用ロボットのグリッパで１枚取りされたワークを保持して、加工機に搬送することが行われる。

特開２０２２－１２０６６３号公報 特開２０２２－１２０６６４号公報

しかしながら、例えば、積載エリアが広く複数箇所にワークが配置されワークめくり装置が設置されたような状況下では、グリッパを含むワーク保持用ロボットが１枚取りされたワークを保持しようとする際に、積載エリア内のワークめくり装置や積載されたワークの山に衝突して干渉が発生してしまうおそれがある。

本発明の一態様は、ワーク保持用ロボットに対する干渉を正確に判別表示することができる干渉判別表示システム、干渉判別表示方法及び干渉判別表示プログラムである。

本発明の一態様に係る干渉判別表示システムは、積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を有する補助装置と、前記積載エリア内の前記ワークを保持するグリッパ及びアーム部を有するワーク保持用ロボットと、前記ワーク、前記補助装置並びに前記グリッパ及び前記アーム部が存在する前記積載エリアを撮像可能な撮像装置と、前記撮像装置によって撮像された撮像画像に基づいて、前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ検出する制御装置と、前記制御装置によって検出された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ表示可能な表示装置と、を備え、前記制御装置は、検出された前記グリッパ及び前記アーム部の少なくとも一つと、前記補助装置及び前記ワークの少なくとも一つと、の干渉状態を判定する判定部を含み、前記表示装置は、前記制御装置の前記判定部によって判定された前記干渉状態を表す情報を表示画面上に表示可能に構成されている。

本発明の一態様に係る干渉判別表示方法は、ワークが積載されると共に、前記ワークに対する作業を補助する配置自在な可搬性を有する補助装置の一部並びに前記ワークを保持するワーク保持用ロボットのグリッパ及びアーム部が前記ワーク上に配置された積載エリアを、撮像装置により撮像する工程と、前記撮像装置によって撮像された撮像画像に基づいて、制御装置により前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ検出する工程と、前記制御装置によって検出された前記グリッパ及び前記アーム部の少なくとも一つと、前記補助装置及び前記ワークの少なくとも一つと、の干渉状態を判定する工程と、前記制御装置によって検出された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部を表示装置により表示画面上にそれぞれ表示する工程と、を備え、前記表示する工程は、前記判定する工程で判定された前記干渉状態を表す情報を前記表示画面上に併せて表示する工程を含む。

本発明の一態様に係る干渉判別表示プログラムは、ワークが積載されると共に、前記ワークに対する作業を補助する配置自在な可搬性を有する補助装置の一部並びに前記ワークを保持するワーク保持用ロボットのグリッパ及びアーム部が前記ワーク上に配置された積載エリアを、撮像装置により撮像させる処理と、前記撮像装置によって撮像された撮像画像に基づいて、制御装置により前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ検出させる処理と、前記制御装置によって検出された前記グリッパ及び前記アーム部の少なくとも一つと、前記補助装置及び前記ワークの少なくとも一つと、の干渉状態を判定させる処理と、前記制御装置によって検出された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部を表示装置により表示画面上にそれぞれ表示させると共に、前記判定させる工程で判定された前記干渉状態を表す情報を前記表示装置により前記表示画面上に併せて表示させる処理と、をコンピュータに実行させる。

本発明の一態様に係る干渉判別表示システム、干渉判別表示方法及び干渉判別表示プログラムによれば、ワークが積載され、補助装置の一部並びにワーク保持用ロボットのグリッパ及びアーム部がワーク上に配置された、これらが存在する積載エリアの撮像画像に基づき、積載エリア内における補助装置、ワーク並びにグリッパ及びアーム部をそれぞれ検出し、検出されたグリッパ及びアーム部の少なくとも一つと、補助装置及びワークの少なくとも一つと、の干渉状態を判定し、判定された干渉状態を表す情報を表示画面上に表示することができるので、ワーク保持用ロボットに対する干渉を正確に判別表示することができる。

本発明の一態様に係る干渉判別表示システム、干渉判別表示方法及び干渉判別表示プログラムによれば、ワーク保持用ロボットに対する干渉を正確に判別表示することができる。

図１は、本発明の一実施形態に係る干渉判別表示システムの構成例を概略的に示す斜視図である。 図２は、一実施形態に係る干渉判別表示システムにおける補助装置に設けられた指標の一例を示す図である。 図３は、一実施形態に係る干渉判別表示システムにおける制御装置の機能的構成を概略的に示すブロック図である。 図４は、一実施形態に係る干渉判別表示システムにおける制御装置のハードウェア構成を概略的に示す構成図である。 図５は、一実施形態に係る干渉判別表示システムの撮像装置により撮像された撮像画像を概念的に示すイメージ図である。 図６は、一実施形態に係る干渉判別表示システムの撮像装置により撮像された撮像画像における補助装置の実在領域を概念的に示すイメージ図である。 図７は、一実施形態に係る干渉判別表示システムの干渉判別表示処理の一例を示すフローチャートである。 図８は、撮像画像を用いたマッチングを概念的に説明するためのイメージ図である。 図９は、撮像画像におけるワークの画像と探索範囲内でマッチングされたワークモデルを概念的に説明するためのイメージ図である。 図１０は、撮像画像を用いたデータ作成及びマッチングを概念的に説明するためのイメージ図である。 図１１は、一実施形態に係る干渉判別表示システムの表示装置による表示例を説明するための図である。 図１２は、一実施形態に係る干渉判別表示システムの表示装置による表示例を説明するための図である。 図１３は、一実施形態に係る干渉判別表示システムの表示装置による他の表示例を説明するための図である。 図１４は、一実施形態に係る干渉判別表示システムの表示装置による他の表示例を説明するための図である。

以下、添付の図面を参照して、本発明の実施形態に係る干渉判別表示システム、干渉判別表示方法及び干渉判別表示プログラムを詳細に説明する。ただし、以下の実施形態は、各請求項に係る発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。また、以下の実施形態において、同一又は相当する構成要素には、同一の符号を付して重複した説明を省略する。また、実施形態においては、各構成要素の配置、縮尺及び寸法等が誇張或いは矮小化されて、実際のものとは一致しない状態で示されている場合、並びに一部の構成要素につき記載が省略されて示されている場合がある。

［干渉判別表示システムの全体構成］
図１は、本発明の一実施形態に係る干渉判別表示システムの構成例を概略的に示す斜視図である。
図１に示すように、一実施形態に係る干渉判別表示システム１００は、積載エリアＴＡ内に積載されたワークＷに対する作業（例えば、曲げ加工機等へのローディング等）を補助する配置自在な可搬性を有するワークめくり装置（補助装置）１０と、積載エリアＴＡ内のワークＷを保持するグリッパ４１及びアーム部４２を有するワーク保持用ロボット４０と、ワークＷ、ワークめくり装置（補助装置）１０並びにグリッパ４１及びアーム部４２が存在し得る積載エリアＴＡを撮像可能なカメラ（撮像装置）２０と、カメラ（撮像装置）２０によって撮像された撮像画像に基づいて、積載エリアＴＡ内におけるワークめくり装置（補助装置）１０及びワークＷをそれぞれ検出、並びにグリッパ４１及びアーム部４２を事前の位置情報と検出されたワークＷの位置とに基づき演算して検出する制御装置３０と、制御装置３０によって検出されたワークめくり装置（補助装置）１０、ワークＷ並びにグリッパ４１及びアーム部４２をそれぞれ表示可能なディスプレイ（表示装置）６９と、を備える。制御装置３０は、検出されたグリッパ４１及びアーム部４２の少なくとも一つと、ワークめくり装置（補助装置）１０及びワークＷの少なくとも一つと、の干渉状態を判定する判定部を含む。ディスプレイ（表示装置）６９は、制御装置３０の判定部によって判定された干渉状態を表す情報を表示画面６９ａ上に表示可能に構成されている。

一実施形態の干渉判別表示システム１００において、図示の各ワークめくり装置（１枚取り装置）１０は、いわゆる１枚取り装置として機能する。すなわち、ワークめくり装置１０は、ワーク保持用ロボット４０によるローディング作業に際し、複数のワークＷが積載されたワーク山から、最上部にあるワークＷを１枚取りする。

ワークめくり装置１０は、配置自在な可搬性を備える。ワークめくり装置１０は、積載エリアＴＡ内外の複数箇所に自在に配置され得る。一実施形態においては、ワークめくり装置１０は、パレットＰ上の積載エリアＴＡ内に複数配置されたワークＷに、それぞれ対応するよう配置されている。より具体的には、ワークめくり装置１０は、積載エリアＴＡ内において各ワークＷに対し、例えば、その一部がワーク上に配置されるよう一対一の対応関係で配置され得る。

ワークめくり装置１０は、例えば、上面視矩形状の外径を有する装置本体１０Ａと、この装置本体１０Ａに対して、いわゆる片持ち状に設けられた可動部であるめくりユニット１０Ｂと、を有する。装置本体１０Ａは、装置の上方側に設けられた天面部１１と、この天面部１１から装置の前方側において、左右二箇所で傾斜する斜面部１２と、天面部１１（及び斜面部１２）とそれぞれ装置の左右側において繋がる一対の側面部１３と、を有する。

装置本体１０Ａの天面部１１、斜面部１２及び一対の側面部１３の所定箇所には、それぞれワークめくり装置１０の位置及び方向を識別可能な指標としてのマーカ１４，１５，１６が設けられている。具体的には、マーカ１４，１６は、装置本体１０Ａの天面部１１及び一対の側面部１３の所定箇所に複数設けられている。また、マーカ１５は、装置本体１０Ａの斜面部１２の所定箇所に複数設けられている。

より具体的には、マーカ１４は、装置本体１０Ａの天面部１１における装置の後方側に近い左右二箇所に設けられている。また、マーカ１６は、装置本体１０Ａの一対の側面部１３における装置の上方側に近い箇所にそれぞれ設けられている。すなわち、マーカ１６は、マーカ１４の側方かつ直下に設けられている。また、マーカ１５は、装置本体１０Ａの二箇所の斜面部１２における傾斜方向両端部近傍箇所にそれぞれ設けられている。マーカ１４～１６の詳細については後述する。

めくりユニット１０Ｂは、例えば、エアの噴射圧力及び吸着力によって、パレットＰ上の積載エリアＴＡ内に載置された複数の板状のワークＷのワーク山から、最上部のワークＷを、他のワークＷからめくって分離する機能を有する。なお、装置本体１０Ａには、めくりユニット１０Ｂの駆動系の各種機器が内蔵されている。

このように、ワークめくり装置１０は、めくりユニット１０ＢによってワークＷを１枚取りする１枚取り装置として用いられ得るが、１枚取り装置の詳細構成については公知であるため、ここでは説明を省略する。なお、一実施形態のワークめくり装置１０においては、めくりユニット１０Ｂの配置側を装置の前方側と定義する。

一実施形態の補助装置としては、上記のようなワークめくり装置１０を例に挙げて説明するが、補助装置はワークＷに対する各種の作業を補助することができるものであれば、これに限定されるものではない。なお、図示は省略するが、各ワークめくり装置１０、カメラ２０及び制御装置３０は、それぞれ有線又は無線により、互いにデータや信号を送受信可能に接続されている。

ワーク保持用ロボット４０は、パレットＰと、ワークＷの搬送先（例えば、曲げ加工機等）との間に配置されている。ワーク保持用ロボット４０は、積載エリアＴＡに積載された複数のワークＷからなるワーク山のうち、ワークめくり装置１０により１枚取りされた最上部のワークＷを保持し、このワークＷを曲げ加工機等の搬送先に向けて搬送するように構成されている。

具体的には、ワーク保持用ロボット４０は、パレットＰ近傍の床面上にワーク保持用ロボット４０を設置するための設置台４３と、ワークＷを保持可能なロボットハンドとしてのグリッパ４１と、グリッパ４１をワークＷに対して近接及び離隔させるアーム部４２と、を備えている。

なお、ワーク保持用ロボット４０は、種々の公知の構成を採用可能であるため、その詳細な説明は省略するが、例えば、グリッパ４１がワークＷに接触したことを検出可能な検出センサ（図示せず）と、ワーク保持用ロボット４０の制御を行う制御部（図示せず）と、を備えて構成され得る。

カメラ２０は、例えば、安価で汎用性の高い単眼カメラ（すなわち、１台のカメラ）により構成され得る。カメラ２０は、積載エリアＴＡの全体を撮像範囲として撮像可能となるように、例えば、パレットＰの積載エリアＴＡの中央直上に、カメラスタンド２１等の支持部材を介して配置されている。

カメラ２０は、例えば、可視光を捉える公知の光学式カメラ、及びレーザ光を送信して走査し、反射光を受光することで３次元距離画像を撮像画像として取得する３Ｄ距離画像センサ等により構成され得る。なお、カメラ２０によるパレットＰ上の積載エリアＴＡの撮像に関して、得られる撮像画像の各種キャリブレーションは予め行われているものとする。

また、図示は省略するが、パレットＰの周囲所定箇所には、積載エリアＴＡに積載されたワークＷに照射光を照射する、複数個の発光ダイオード（ＬＥＤ）等を有する照明設備が設けられている。カメラ２０により積載エリアＴＡを撮像する際には、この照明設備によってワークＷに照射光を照射するようにすれば、撮像画像の明るさを適正露出にて適切に調整することができる。

制御装置３０は、干渉判別表示システム１００全体の制御を行うＮＣ装置等の機能を有する。また、制御装置３０は、カメラ２０によって撮像された撮像画像に基づいて、画像解析及び画像補正等の画像処理全般を行う画像処理装置の機能を有する。制御装置３０は、ディスプレイ６９と、例えば、キーボード及びマウス等の入力装置からなる入力部３５ａと、を備えて構成されている。なお、制御装置３０は、ディスプレイ６９及び入力部３５ａに代わり同等の機能を備えることが可能な構成（例えば、遠隔から利用可能な表示手段及び入力手段等）であれば、これに限定されるものではない。

制御装置３０は、具体的には、ワークめくり装置１０の積載エリアＴＡ内における配置位置及び配置の向きを判別し、ワークめくり装置１０を検出する。また、制御装置３０は、積載エリアＴＡ上のワークＷの実際の積載位置（実積載位置）を特定し、ワークＷを検出する。

更に、制御装置３０は、例えば、ワーク保持用ロボット４０の設置位置を含む事前の位置情報も加味して、演算により積載エリアＴＡ内におけるグリッパ４１及びアーム部４２を含むワーク保持用ロボット４０の全体的な位置を特定し、ワーク保持用ロボット４０を検出する。この検出の際には、少なくともグリッパ４１及びアーム部４２の位置が把握できるよう、ワーク保持用ロボット４０の検出が行われていればよい。そして、制御装置３０は、検出されたワーク保持用ロボット４０に対する、ワークめくり装置１０及びワークＷの少なくとも一つの干渉状態を判定する。

ディスプレイ６９は、上記のように制御装置３０に備えられ、検出されたワークめくり装置１０、ワークＷ及びグリッパ４１を含むワーク保持用ロボット４０をそれぞれ表示可能な表示画面６９ａを有する。ディスプレイ（表示装置）６９は、干渉状態を表す情報を、グリッパ及びアーム部４２の少なくとも一つに対するワークめくり装置（補助装置）１０及びワークＷの少なくとも一つの干渉箇所が視認可能となるよう表示する。

具体的には、ディスプレイ（表示装置）６９は、干渉箇所をその他の箇所と識別可能な特殊表示により表示する。特殊表示は、例えば、干渉箇所を囲む枠表示、干渉箇所を強調する強調表示、干渉箇所を点滅させる点滅表示、干渉箇所を塗り潰す塗り潰し表示、及び干渉箇所の色を反転させる色反転表示等が挙げられる。

なお、上述したものと併せて、干渉状態を表す態様としては、例えば、ディスプレイ（表示装置）は、干渉状態を表す情報を、グリッパ４１及びアーム部４２の少なくとも一つに対するワークめくり装置（補助装置）１０及びワークＷの少なくとも一つの干渉距離を表す数値情報として表示するようにしてもよい。この場合、干渉距離を表す数値情報は、例えば、２次元座標系の数値情報（Ｘ方向の数値及びＹ方向の数値）等が挙げられる。

また、干渉状態を表す情報と共に、或いは干渉状態を表す情報と切り替えて、ディスプレイ（表示装置）６９は、干渉状態を回避する場合のワークめくり装置（補助装置）１０の配置の向きを含む配置可能位置に関する情報を表示可能に構成されている。この場合、配置可能位置に関する情報は、例えば、上記のような特殊表示により表示され得る。

［指標としてのマーカ］
図２は、一実施形態に係る干渉判別表示システムにおける補助装置に設けられた指標の一例を示す図である。
上記のように、制御装置３０は、ワークめくり装置１０を検出する際に、マーカ１４～１６に基づいて、ワークめくり装置１０の積載エリアＴＡ内における配置位置及び配置の向きを判別し得る。

図２に示すように、ワークめくり装置１０の装置本体１０Ａに設けられたマーカ１４～１６は、例えば、公知のＡｒＵｃｏマーカやＣｈＡｒＵｃｏマーカ等を含むＡＲ（拡張現実）マーカにより構成することができる。マーカ１４（１５，１６）は、マーカ全体を表す全体領域１８と、マーカによる位置及び方向を識別させるための識別領域１９と、を少なくとも備えたフィルム状部材や板状部材により構成されている。

マーカ１４～１６の識別領域１９の形状は、例えば、図２に示す例では単純な矩形を組み合わせた形状である。識別領域１９の形状は、その他、図示は省略するが、複数の矩形や正方形を組み合わせたり、全体領域１８内の識別領域１９の位置を変更したりした形状であってもよい。識別領域１９の形状は、ワークめくり装置１０の位置及び方向を、少なくともそれ単体で識別できる形状であれば、図示のものに限定されるものではなく、より複雑な形状や、より単純な形状等の種々の形状を採用し得る。

マーカ１４～１６は、カメラ２０の画素数や撮影解像度等の撮像性能に応じて、その寸法（全体領域１８及び識別領域１９の大きさや形状等）が設定され得る。マーカ１４～１６は、積載エリアＴＡを上方から撮像した撮像画像から十分にワークめくり装置１０の配置位置及び配置の向きを判別可能となるように検出され得るものであれば、少なくとも装置本体１０Ａの天面部１１に一つ設けられていればよい。すなわち、ワークめくり装置１０が正規の配置状態である場合は、天面部１１が撮像画像に最も写り込みやすいからである。

なお、マーカ１６は、例えばワークめくり装置１０が正規の配置状態ではない場合（転倒した場合等）であっても、側面部１３が上向きとなって静止したときに、ワークめくり装置１０の位置及び方向（積載エリアＴＡ内における転倒時の配置位置及び配置の向き）を識別可能とするために設けられている。

［制御装置の機能的構成］
図３は、一実施形態に係る干渉判別表示システムにおける制御装置の機能的構成を概略的に示すブロック図である。
図３に示すように、カメラ２０により撮像された撮像画像の画像データは、制御装置３０に入力される。制御装置３０は、機能的には、画像取得部３１と、画像処理部３２と、演算部３３と、記憶部３４と、操作部３５と、を備える。

なお、ワークめくり装置１０の検出、ワークＷの検出は、主に制御装置３０の画像処理部３２に含まれる検出部３２ａによって行われる。ワーク保持用ロボット４０のグリッパ４１及びアーム部４２の位置（移動位置）の演算は、記憶部３４から読み出されたグリッパ４１及びアーム部４２の基準位置（事前の位置情報）と検出されたワークＷの位置とに基づき演算部３３で行われ、記憶部３４に格納される。また、検出部３２ａによって検出されたワークめくり装置１０及びワークＷの少なくとも一つと、記憶部３４に格納されたグリッパ４１及びアーム部４２（の移動位置）の少なくとも一つと、の干渉状態の判定は、主に制御装置３０の画像処理部３２に含まれる判定部３２ｂによって行われる。

画像処理部３２の検出部３２ａは、ワークめくり装置１０を、例えば、積載エリアＴＡ内における配置位置及び配置の向きを判別（以下、このような処理を「判別処理」と呼ぶことがある。）して検出する。また、検出部３２ａは、ワークＷを、例えば、積載エリアＴＡ上の実積載位置を特定して検出する。画像処理部３２の判定部３２ｂは、検出部３２ａによって検出されたワークめくり装置１０及びワークＷの少なくとも一つと、記憶部３４に格納されたグリッパ４１及びアーム部４２（の移動位置）の少なくとも一つと、の干渉状態を、これらによる干渉の有無を判断するための干渉計算を行って判定する。

画像取得部３１は、カメラ２０から出力された撮像画像の画像データを取得する。画像処理部３２は、画像取得部３１が取得した画像データに対して、二値化処理やソーベル法を用いた輪郭検出処理（エッジ検出処理）、モルフォロジー処理、ニュートン法を用いた近似処理、テンプレートマッチング処理等を含む各種画像変換・画像解析処理（以下、このような処理を「画像処理」と総称する。）を施す。

検出部３２ａは、例えば、画像処理後の画像データに基づくマーカ検出機能及びマッチング処理機能を有し、上記判別処理を実行する。なお、画像データ（ラスタデータ）は、画像処理部３２による画像処理によって、積載エリアＴＡ内のワークめくり装置１０、ワークＷ等の写し出された各物体の輪郭成分を特徴量（幾何学形状データ）として抽出し、線状に繋げた線分で表現可能な数値データ（ベクタデータ）に変換され得るものである。例えば、後述するマッチング処理は、処理負荷の軽減を図るため、特に言及しない場合はベクタデータ同士で行われ得る。

検出部３２ａは、検出したワークめくり装置１０の実在領域Ｒ（図６参照）を、演算により位置が検出されたワーク保持用ロボット４０のグリッパ４１及びアーム部４２に対する装置の干渉領域として特定する。また、検出部３２ａは、検出されたワークＷの実積載位置（ｘ位置、ｙ位置及び積載高さ）の情報に基づいて、ワーク山の立体的な領域をグリッパ４１及びアーム部４２に対する特定された干渉領域に含めて認識する。判定部３２ｂは、上述した干渉状態の判定に際し、このようなワークめくり装置１０及びワークＷの干渉領域が、グリッパ４１及びアーム部４２の少なくとも一つに干渉するかを干渉計算により判断し、干渉状態を判定する。

演算部３３は、グリッパ４１及びアーム部４２の移動位置の演算、画像処理部３２からの検出結果及び判定結果に基づいて、検出されたワークＷに対応するワークめくり装置１０の動作を制御するための演算、及びディスプレイ６９に画像データを表示出力するための演算等を含めた干渉判別表示システム１００全体を制御するための各種演算処理を行って、各部に対して制御出力を行う。

記憶部３４は、ワークＷやワークめくり装置１０を二次元又は三次元で表すＣＡＤデータ（形状データ）、各種形状の基準となるモデル（ワークモデル）画像及びマーカ１４～１６の基準となるモデル（マーカモデル）画像等の画像データ、並びに上位システムから受信したＣＡＭ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｍａｎｕｆａｃｔｕｒｉｎｇ）データに含まれる各種データ及び各種プログラムデータ等の、制御装置３０にて利用する各種のデータを読み書き可能に記憶する。

なお、ワークモデルは、例えば、各種ワークＷの二次元形状を表す形状データからなる。ワークモデル画像は、例えば積載エリアＴＡ上に実際に積載されたワークＷの配置箇所や積載高さ、回転具合等によってカメラ２０で撮像した際に見た目が異なって写る複数の画像（例えば、傾いて見えたりする画像や、歪んで見たりする画像等）が、各ワークＷ毎に複数種類記憶されていてもよい。また、ワークモデル画像は、上述した形状データ（各画像に応じて寸法が変更された形状データ）とそれぞれ紐付けられていてもよい。

また、マーカモデル画像は、ワークめくり装置１０におけるマーカ１４～１６の高さ位置や回転具合等を加味した場合の該当する画像（例えば、傾いて見えたりする画像や、歪んで見えたりする画像等）が、例えばテンプレート画像として、記憶部３４のデータベース（Ｄａｔａｂａｓｅ：ＤＢ）内に複数種類記憶されている。操作部３５は、制御装置３０のユーザによる操作入力を、入力部３５ａを介して受け付ける。

［制御装置のハードウェア構成］
図４は、一実施形態に係る干渉判別表示システムにおける制御装置のハードウェア構成を概略的に示す構成図である。
図４に示すように、制御装置３０は、ハードウェア構成として、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６３と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）６４と、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）６５と、を備える。また、制御装置３０は、入力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）６６と、出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）６７と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）６８と、を備える。各構成部６１～６８は、それぞれバス６０によって相互に通信可能に接続されている。

ＣＰＵ６１は、ＲＡＭ６２、ＲＯＭ６３、ＨＤＤ６４、及びＳＳＤ６５等に記憶された各種プログラムを実行することで、制御装置３０を含めた干渉判別表示システム１００の全体を制御する。これと共に、ＣＰＵ６１は、干渉判別表示プログラムを実行することで、上記画像処理部３２及び演算部３３の機能を実現する。

例えば、干渉判別プログラムは、ワークＷが積載されると共に、ワークＷに対する作業を補助する配置自在な可搬性を有するワークめくり装置（補助装置）１０の一部がワークＷ上に配置された積載エリアＴＡを、カメラ（撮像装置）２０により撮像させる処理と、カメラ（撮像装置）２０によって撮像された撮像画像に基づいて、制御装置３０により積載エリアＴＡ内におけるワークめくり装置（補助装置）１０及びワークＷをそれぞれ検出、並びにワークＷを保持するグリッパ４１及びアーム部４２を事前の位置情報と検出されたワークＷの位置とに基づき演算して検出させる処理と、制御装置３０によって検出されたグリッパ４１及びアーム部４２の少なくとも一つと、ワークめくり装置（補助装置）１０及びワークＷの少なくとも一つと、の干渉状態を判定させる処理と、制御装置３０によって検出されたワークめくり装置（補助装置）１０、ワークＷ並びにグリッパ４１及びアーム部４２をディスプレイ（表示装置）６９により表示画面６９ａ上にそれぞれ表示させると共に、判定させる工程で判定された干渉状態を表す情報をディスプレイ（表示装置）６９により表示画面６９ａ上に併せて表示させる処理と、をＣＰＵ（コンピュータ）６１に実行させるものである。

ＲＡＭ６２は、ＣＰＵ６１の作業領域として使用され得る。ＲＯＭ６３は、上記各種プログラムを少なくとも読み出し可能に格納する。ＨＤＤ６４及びＳＳＤ６５は、上述した各種のデータを読み書き可能に記憶し、ＲＡＭ６２及びＲＯＭ６３と共に上記記憶部３４の機能を実現する。

入力Ｉ／Ｆ６６には、カメラ２０が接続されて撮像画像が取得される。従って、入力Ｉ／Ｆ６６は、上記画像取得部３１の機能を実現する。これと共に、入力Ｉ／Ｆ６６には、上記操作部３５の入力部３５ａとして機能するタッチパネル６９ｃが接続され、ユーザからの操作入力に伴う情報を受け付ける。なお、入力Ｉ／Ｆ６６には、図示しないキーボードやマウス等の入力手段も接続され得る。

出力Ｉ／Ｆ６７には、例えば、表示装置としての制御装置３０のディスプレイ６９が接続され、表示画面６９ａ上にモニタ表示される各種情報が出力される。上記タッチパネル６９ｃは、ディスプレイ６９上に設けられていてもよい。なお、制御装置３０は、通信Ｉ／Ｆ６８を介して、図示しないインターネット等のネットワークや外部機器等と接続され得る。

［補助装置の判別処理］
図５は、一実施形態に係る干渉判別表示システムの撮像装置により撮像された撮像画像を概念的に示すイメージ図である。
制御装置３０は、上記の判別処理に際して、まず、図５に示すような積載エリアＴＡを撮像して画像処理された撮像画像２２から、例えば、画像処理部３２の検出部３２ａがエッジ検出処理等を行う。これにより、検出部３２ａは、ワークめくり装置１０の装置本体１０Ａの天面部１１及び斜面部１２に設けられたマーカ１４，１５（又は側面部１３に設けられたマーカ１６、以下同じ。）を検出する。

そして、画像処理部３２は、検出部３２ａにより検出されたマーカ１４，１５の、例えば四隅のピクセル（画素）の位置情報（ピクセル位置）を記憶部３４に記録する。なお、ここで、ピクセル（画素）とは、制御装置３０で撮像画像を取り扱うときの色情報（色調、階調等）を持つ最小単位又は最小要素のことを言う。

次に、画像処理部３２は、撮像画像２２内におけるマーカ１４，１５について、記憶部３４に記憶されたＣＡＤデータによる装置の各部及び積載エリアＴＡ等の寸法情報、並びにマーカモデル画像の画像データに基づいて、ワークめくり装置１０における実際のマーカ１４，１５の位置を表す位置モデルを取得する。

そして、画像処理部３２の検出部３２ａは、マッチング処理によって、（１）位置モデルとピクセル位置をニュートン法等の近似処理にかけて、マーカ１４，１５の積載エリアＴＡ内での物理的位置（ｘ，ｙ，ｚ位置）と回転状態（ｒｚ）を算出する。また、検出部３２ａは、（２）算出結果に基づき物理的位置（ｘ，ｙ，ｚ位置）と回転状態（ｒｚ）を反映した状態のマーカ１４，１５を示すマーカ画像を生成する。

また、検出部３２ａは、（３）生成したマーカ画像が示すマーカ１４，１５を、例えば、記憶部３４に予め記憶された各種のマーカモデル画像と、例えばテンプレートマッチング処理を行うことによって探索する。更に、検出部３２ａは、（４）探索したマーカモデル画像が示すマーカのマッチング情報（ｘ，ｙ，ｚ位置及び回転ｒｚ）を基に、記憶部３４に記憶されたマーカ１４，１５のピクセル位置を更新する。

検出部３２ａは、上記（１）～（４）の各処理を複数回（例えば、５回）繰り返すことによって判別精度を向上させた上で、ワークめくり装置１０の積載エリアＴＡ内における実際の位置と姿勢（すなわち、配置位置及び配置の向き）を判別する。そして、検出部３２ａは、マッチング情報が十分に収束した場合、記憶部３４に記憶されている各種データに基づいて、積載エリアＴＡ内におけるワークめくり装置１０の実在領域Ｒ（図６参照）を算出して、実在領域Ｒを干渉領域に含めた上でワークめくり装置１０を検出する。

これにより、例えば、積載エリアＴＡに対して配置自在に配置された複数のワークめくり装置１０の配置位置及び配置の向きを、制御装置３０によって各ワークめくり装置１０ごとに正確に把握して配置状況を判断することが可能となる。そして、制御装置３０によって、配置状況が判別した各ワークめくり装置１０に応じた各種の動作制御等を確実に行うことが可能となる。

［ワークの検出処理］
図６は、一実施形態に係る干渉判別表示システムの撮像装置により撮像された撮像画像における補助装置の実在領域を概念的に示すイメージ図である。
制御装置３０は、ワークＷの検出に際して、図６に示すように、画像処理部３２において、検出部３２ａにより検出されたワークめくり装置１０の算出された実在領域Ｒを、撮像画像２２から除外する。そして、検出部３２ａは、ワークめくり装置１０の実在領域Ｒが除外された撮像画像２２を探索範囲として、まず、この探索範囲に写るワークＷの画像と、記憶部３４に予め記憶されたワークモデルとのマッチングを行う。そして、検出部３２ａは、積載エリアＴＡ内のワークＷの大体の位置を表す存在位置を検出する。

画像処理部３２は、検出部３２ａにより存在位置が判明したワークＷの画像に対してマッチしたワークモデルの形状データについて、例えば、ワークめくり装置１０の実在領域ＲのうちのワークＷ上に被る領域（図５参照）に重なる部分の輪郭成分を表す線分を編集して、新たな形状データを作成する。具体的には、画像処理部３２は、形状データの輪郭成分を表す線分を分割又は消去して無効化するように編集を行う。

そして、検出部３２ａは、画像処理部３２により作成された新たな形状データが示すワークモデルと、ワークＷの画像とのマッチングを行って、積載エリアＴＡ上のワークＷの実積載位置を特定することで、ワークＷを検出する。具体的には、検出部３２ａは、ワークＷの実積載位置として、積載エリアＴＡ上のワークＷの高さ、ワークＷの大きさ及びワークＷの回転角度を含む三次元位置を特定する。

［干渉判別表示システムによる干渉判別表示処理］
図７は、一実施形態に係る干渉判別表示システムの干渉判別表示処理の一例を示すフローチャートである。図８は、撮像画像を用いたマッチングを概念的に説明するためのイメージ図である。図９は、撮像画像におけるワークの画像と探索範囲内でマッチングされたワークモデルを概念的に説明するためのイメージ図である。図１０は、撮像画像を用いたデータ作成及びマッチングを概念的に説明するためのイメージ図である。また、図１１及び図１２は、一実施形態に係る干渉判別表示システムの表示装置による表示例を説明するための図である。

上記のように構成された制御装置３０を備えた干渉判別表示システム１００における干渉判別表示処理は、例えば、一実施形態に係る干渉判別表示方法により実現される。干渉判別表示方法は、ワークＷが積載されると共に、ワークＷに対する作業を補助する配置自在な可搬性を有するワークめくり装置（補助装置）１０の一部がワークＷ上に配置された積載エリアＴＡを、カメラ（撮像装置）２０により撮像する工程と、カメラ（撮像装置）２０によって撮像された撮像画像２２に基づいて、制御装置３０により積載エリアＴＡ内におけるワークめくり装置（補助装置）１０、ワークＷをそれぞれ検出、並びにワークＷを保持するワーク保持用ロボット４０のグリッパ４１及びアーム部４２を事前の位置情報と検出されたワークＷの位置とに基づき演算して検出する工程と、制御装置３０によって検出されたグリッパ４１及びアーム部４２の少なくとも一つと、ワークめくり装置（補助装置）１０及びワークＷの少なくとも一つと、の干渉状態を判定する工程と、制御装置３０によって検出されたワークめくり装置（補助装置）１０、ワークＷ並びにグリッパ４１及びアーム部４２をディスプレイ（表示装置）６９によりそれぞれ表示する工程と、を備える。表示する工程は、判定する工程で判定された干渉状態を表す情報を表示画面６９ａ上に併せて表示する工程を含む。

この方法により実現される干渉判別表示処理は、例えば、次のように行われる。図７に示すように、まず、制御装置３０は、ワークめくり装置１０の検出が開始されるのを待って（ステップＳ１００のＮｏ）、検出が開始されたら（ステップＳ１００のＹｅｓ）、カメラ２０によって、積載エリアＴＡを撮像する（ステップＳ１０１）。ステップＳ１００の検出の開始は、例えば、タッチパネル６９ｃにあるスタートボタンをユーザが押下したことを検出する手動検出、或いは実行中の干渉判別表示プログラムに予め組み込まれたスタートトリガによる自動検出によって、開始の有無が判断され得る。

積載エリアＴＡが撮像されたら、画像取得部３１を介して画像処理部３２がカメラ２０から撮像画像の画像データを取得し、上述したように画像データを画像解析する。そして、検出部３２ａによって、マーカ１４～１６を検出して、上記のようにワークめくり装置１０の装置ごとの配置位置及び配置の向きを判別し、ワークめくり装置１０を検出する（ステップＳ１０２）。

次に、検出したワークめくり装置１０の実在領域Ｒを算出し、これを干渉領域に含める処理等を行って干渉領域を特定する（ステップＳ１０３）。このステップＳ１０３では、例えば、ワークめくり装置１０の実在領域Ｒにおける外形部分を、干渉領域として特定してもよい。

次に、上記のように積載エリアＴＡ内におけるワークＷの実際の積載位置（実積載位置）を特定して、ワークＷを検出する（ステップＳ１０４）。ワークＷの検出は、具体的には、図８に示すように、検出部３２ａによって、実在領域Ｒが除外された撮像画像２２の全域（積載エリアＴＡ）を探索範囲ＳＲとして、この探索範囲ＳＲに写る各ワークＷの画像と、例えば記憶部３４に予め記憶されたワークＷの二次元形状を表す形状データからなる複数のワークモデルＷｍとのマッチングを施す。なお、ワークモデルＷｍの形状データは、例えば点（ｘ，ｙ座標点）、線分（ｘ，ｙ座標点間を結ぶライン）、面（ｘ，ｙ座標点間を結ぶラインで閉じた線分）により画定されるベクタデータであり、ワークＷの縦、横、長さ、厚さ等の各寸法や形状を規定している。

このマッチングにより、図９に示すように、ワークＷの画像と探索範囲ＳＲ内でマッチングされたワークモデルＷｍに、例えば記憶部３４内のデータベース（ＤＢ）において予め紐付けられている形状データを参照して演算することにより、探索範囲ＳＲのどの位置にワークモデルＷｍに該当するワークＷがあるか（ワークモデルＷｍに当てはまったか）が分かる。これにより、積載エリアＴＡ内のワークＷの大体の存在位置を把握することが可能となる。なお、図９を含む以降の説明においては、積載エリアＴＡ内の複数のワークＷ及びワークめくり装置１０のうち、一つのワークＷ及びワークめくり装置１０について着目して説明するが、他のワークＷ及びワークめくり装置１０についても同様であることは言うまでもない。

このマッチングの後は、以下の各処理を、複数回（例えば、４回）繰り返す。すなわち、ワークＷの積載エリアＴＡ内における存在位置が判明したら、画像処理部３２によって、そのワークＷの画像にマッチングでマッチしたワークモデルＷｍの形状データについて、ワークめくり装置１０の実在領域ＲのうちのワークＷ上に被る領域１０ＢＲ（図１０参照）に重なる部分の輪郭成分を表す線分を編集して新たな形状データのワークモデルＷｍｒを作成する。

すなわち、画像処理部３２は、図１０に示すように、マッチしたワークモデルＷｍの形状データをＤＢから読み出して、ワークめくり装置１０の被る領域１０ＢＲと重なる部分の輪郭成分を表す線分Ｌ及び線分Ｓ１～Ｓ４について、編集として例えば線分Ｌを線分Ｌ１，Ｌ２に分割すると共に、線分Ｓ１～Ｓ４については消去することによって、ワークモデルＷｍから線分Ｌｄ，Ｓｄが無効化された新たな形状データ（変形データ）のワークモデルＷｍｒを作成する。そして、検出部３２ａは、変形データが示すワークモデルＷｍｒと、ワークＷの画像とのマッチングを施して、探索範囲ＳＲの絞り込み（例えば、探索範囲ＳＲよりもミクロな探索範囲ＳＳＲを探索範囲とする）を行う。

このような各処理を複数回繰り返すが、これらの処理は、例えば、ワークＷとワークモデルＷｍｒとが、細部にまで亘って十分にマッチングされたことが判定（確認）されるまで繰り返される。そして、マッチングが完了した場合、検出部３２ａは、探索範囲ＳＲにおける正確なマッチング情報（ワークＷの積載位置座標、積載高さ、積載寸法、積載角度等の各種情報）を、撮像画像２２及び記憶部３４の各種データに基づく画像処理部３２の演算により得る。これにより、積載エリアＴＡ上のワークＷの実積載位置を特定して、ワークＷを検出する。

ワークＷの検出と併せて、演算部３３は、上記のように積載エリアＴＡ内におけるグリッパ４１及びアーム部４２を含むワーク保持用ロボット４０の全体的な移動位置を特定し、ワーク保持用ロボット４０の少なくともグリッパ４１及びアーム部４２を演算により検出する（ステップＳ１０５）。

そして、判定部３２ｂによって、グリッパ４１及びアーム部４２を含むワーク保持用ロボット４０と、ワークＷのワーク山やワークめくり装置１０と、の干渉計算を行う（ステップＳ１０６）。なお、干渉計算におけるワーク山は、ワーク保持用ロボット４０が保持するワークＷのワーク山ではなく、積載エリアＴＡ内に積載された他のワークＷのワーク山のことを指すが、これに限定されるものではなく、積載エリアＴＡ内に積載されたすべてのワークＷのワーク山であってもよい。

制御装置３０は、図１１に示すように、ディスプレイ６９の表示画面６９ａ上に、例えば、検出されたワークめくり装置１０、ワークＷ及びグリッパ４１（状況により、併せてアーム部４２）の位置が視認可能となるように、画像処理部３２によってこれらの検出物を撮像画像２２上に描画した状態で表示する（ステップＳ１０７）。なお、上記ステップＳ１０６の干渉計算の前に、ステップＳ１０７の表示処理を行うようにしてもよい。また、図１１に示す例は、干渉が発生していない状態の表示例を示している。アーム部４２は、ワークめくり装置１０及び他のワークＷのワーク山よりも十分に高い位置で可動して干渉することがない状況の場合は、非表示であってもよい。

そして、判定部３２ｂは、干渉計算の結果に基づき、グリッパ４１及びアーム部４２の少なくとも一つと、ワークめくり装置１０及びワークＷの少なくとも一つと、の干渉状態を判定する（ステップＳ１０８）。干渉が発生していないと判定した場合（ステップＳ１０８のＮｏ）は、本フローチャートによる干渉判別表示処理を終了する。

一方、干渉が発生していると判定した場合（ステップＳ１０８のＹｅｓ）は、制御装置３０は、図１２に示すように、ディスプレイ６９の表示画面６９ａ上に、例えば、干渉状態を表す情報として、ワーニング６９ｂと干渉箇所ＣＡを視認可能となるように表示して（ステップＳ１０９）、本フローチャートによる干渉判別表示処理を終了する。

図１２に示す例では、「干渉が発生」している旨の警告文を表示するワーニング６９ｂと、その他の箇所と識別可能に強調表示された干渉箇所ＣＡと、が表示されているが、これに限定されるものではない。ワーニング６９ｂは、上記のような文字の他、図形、記号、音声、その他の知覚可能な種々の情報により構成され得る。干渉箇所ＣＡも、上述したような特殊表示による表示であれば、強調表示に限定されない。

［一実施形態に係る干渉判別表示システムの効果］
以上説明したように、一実施形態に係る干渉判別表示システム１００は、カメラ２０により撮像された撮像画像２２に基づいて、配置位置及び配置の向きを含むワークめくり装置１０を検出し、ワークＷの実積載位置を検出して、演算により検出されたワーク保持用ロボット４０のグリッパ４１及びアーム部４２の位置に対する干渉状態を判定している。また、判定結果に基づき干渉状態を表す情報をディスプレイ６９の表示画面６９ａ上に表示することができるので、ワーク保持用ロボット４０に対する干渉を正確に判別表示することができる。

［変形例］
以上、本発明の好適な実施形態について説明したが、本発明の技術的範囲は、一実施形態に記載の範囲には限定されない。上述した実施形態には、多様な変更又は改良を加えることが可能である。
図１３及び図１４は、一実施形態に係る干渉判別表示システムの表示装置による他の表示例を説明するための図である。

図１３に示すように、上記ステップＳ１０９での表示処理において、ディスプレイ６９の表示画面６９ａ上に、干渉状態を表す情報として、例えば干渉箇所ＣＡと共に表示選択欄８０を表示するようにしてもよい。表示選択欄８０は、例えば、ワーニング６９ｂと共に、或いはワーニング６９ｂを所定時間表示した後にワーニング６９ｂと切り替えられて表示されてもよい。図示の例では、ワーニング６９ｂと切り替えられて表示選択欄８０が表示された態様を表している。

表示選択欄８０には、例えば、表示画面６９ａ上に表示された干渉箇所ＣＡの詳細情報の表示の有無を選択するチェックボックス８１と、干渉箇所ＣＡが発生しないようなワークめくり装置１０の配置可能位置の表示の有無を選択するチェックボックス８２と、が設けられている。

図示のように、例えば、ユーザが入力部３５ａ等を介して、チェックボックス８１をチェックした場合、干渉箇所ＣＡがｘ方向に何ミリ、ｙ方向に何ミリであるか（ｘ：○ｍｍ，ｙ：○ｍｍ等）が把握可能な詳細情報が表示される。この詳細情報は、例えば、グリッパ４１に対してワークめくり装置１０がｘ方向に何ミリ及びｙ方向に何ミリ干渉しているかが分かるように表示されてもよい。また、詳細情報は、表示選択欄８０の他に、干渉箇所ＣＡから吹き出し表示のような態様で表示されてもよい。

一方、例えば、ユーザが入力部３５ａ等を介して、チェックボックス８２をチェックした場合、図１４に示すように、上記干渉箇所ＣＡが発生しないようなワークめくり装置１０の配置可能位置８９が表示される。この配置可能位置８９は、上記のような特殊表示で表示されてもよいし、めくりユニット１０Ｂに相当する部分のみが表示されてもよい。配置可能位置８９は、予め設計により定められていてもよいし、ＣＡＭデータに基づき制御装置３０側で特定するようにしてもよいし、カメラ２０側で計算により算出するようにしてもよい。

なお、上述した一実施形態では、ワーク保持用ロボット４０のグリッパ４１及びアーム部４２の位置を、撮像画像２２から検出することについて説明したが、これに限定されるものではない。グリッパ４１及びアーム部４２の位置は、例えば、予め記憶部３４内に格納されたワーク保持用ロボット４０の動作制御プログラムに基づくフォローイング軌跡等の位置情報によって、検出されてもよい。

また、上述した一実施形態では、上記ステップＳ１０９においてワーニング６９ｂと干渉箇所ＣＡを表示するようにしたが、これに限定されるものではない。干渉箇所ＣＡの表示は、上述したようなチェックボックスによる選択式で、表示又は非表示を切り替えられるように構成してもよい。

以上、本発明の実施の形態を説明したが、この実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ ワークめくり装置（補助装置）
１０Ａ 装置本体
１０Ｂ めくりユニット
１４，１５，１６ マーカ
１８ 全体領域
１９ 識別領域
２０ カメラ（撮像装置）
２２ 撮像画像
３０ 制御装置
３１ 画像取得部
３２ 画像処理部
３２ａ 検出部
３２ｂ 判定部
４０ ワーク保持用ロボット
４１ グリッパ
４２ アーム部
６９ ディスプレイ（表示装置）
６９ａ 表示画面
１００ 干渉判別表示システム
Ｐ パレット
ＴＡ 積載エリア
Ｗ ワーク

Claims (14)

1. 積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を有する補助装置と、
   前記積載エリア内の前記ワークを保持するグリッパ及びアーム部を有するワーク保持用ロボットと、
   前記ワーク、前記補助装置並びに前記グリッパ及び前記アーム部が存在する前記積載エリアを撮像可能な撮像装置と、
   前記撮像装置によって撮像された撮像画像に基づいて、前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部のそれぞれの位置を検出または演算する制御装置と、
   前記制御装置によって検出または演算された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部の位置をそれぞれ表示可能な表示装置と、を備え、
   前記制御装置は、検出または演算された前記グリッパ及び前記アーム部の位置と、前記補助装置及び前記ワークの位置と、の干渉状態を判定する判定部を含み、
   前記表示装置は、前記制御装置の前記判定部によって判定された前記干渉状態を表す情報を表示画面上に表示可能に構成されている
   干渉判別表示システム。
2. 前記制御装置は、
   前記積載エリア内における前記補助装置の配置位置及び前記ワークの実積載位置を特定して検出する検出部と、
   前記グリッパ及び前記アーム部の基準位置と、前記検出部により検出された前記ワークの実積載位置とに基づいて前記グリッパ及び前記アーム部の移動位置を演算する演算部と
   を更に有する
   請求項１に記載の干渉判別システム。
3. 前記表示装置は、前記干渉状態を表す情報を、前記グリッパ及び前記アーム部の位置に対する前記補助装置及び前記ワークの位置の干渉箇所が視認可能となるよう表示する
   請求項１に記載の干渉判別表示システム。
4. 前記表示装置は、前記干渉箇所をその他の箇所と識別可能な特殊表示により表示する
   請求項３に記載の干渉判別表示システム。
5. 前記表示装置は、前記干渉状態を表す情報を、前記グリッパ及び前記アーム部の位置に対する前記補助装置及び前記ワークの位置の干渉距離を表す数値情報として表示する
   請求項１～４のいずれか１項に記載の干渉判別表示システム。
6. 積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を有する補助装置と、
   前記積載エリア内の前記ワークを保持するグリッパ及びアーム部を有するワーク保持用ロボットと、
   前記ワーク、前記補助装置並びに前記グリッパ及び前記アーム部が存在する前記積載エリアを撮像可能な撮像装置と、
   前記撮像装置によって撮像された撮像画像に基づいて、前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ検出する制御装置と、
   前記制御装置によって検出された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ表示可能な表示装置と、を備え、
   前記制御装置は、検出された前記グリッパ及び前記アーム部の少なくとも一つと、前記補助装置及び前記ワークの少なくとも一つと、の干渉状態を判定する判定部を含み、
   前記表示装置は、前記制御装置の前記判定部によって判定された前記干渉状態を表す情報を表示画面上に表示可能に構成されており、
   前記表示装置は、前記干渉状態を回避する場合の前記補助装置の配置の向きを含む配置可能位置に関する情報を表示可能に構成されている
   干渉判別表示システム。
7. ワークが積載されると共に、前記ワークに対する作業を補助する配置自在な可搬性を有する補助装置の一部並びに前記ワークを保持するワーク保持用ロボットのグリッパ及びアーム部が前記ワーク上に配置された積載エリアを、撮像装置により撮像する工程と、
   前記撮像装置によって撮像された撮像画像に基づいて、制御装置により前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部のそれぞれの位置を検出または演算する工程と、
   前記制御装置によって検出または演算された前記グリッパ及び前記アーム部の位置と、前記補助装置及び前記ワークの位置と、の干渉状態を判定する工程と、
   前記制御装置によって検出または演算された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部の位置を表示装置によりそれぞれ表示する工程と、を備え、
   前記表示する工程は、前記判定する工程で判定された前記干渉状態を表す情報を表示画面上に併せて表示する工程を含む
   干渉判別表示方法。
8. 前記検出または演算する工程において、前記積載エリア内における前記補助装置の配置位置及び前記ワークの実積載位置を特定して検出すると共に、前記グリッパ及び前記アーム部の基準位置と、検出した前記ワークの実積載位置とに基づいて前記グリッパ及び前記アーム部の移動位置を演算する
   請求項７に記載の干渉判別方法。
9. 前記表示する工程では、前記干渉状態を表す情報を、前記グリッパ及び前記アーム部の位置に対する前記補助装置及び前記ワークの位置の干渉箇所が視認可能となるよう表示する
   請求項７に記載の干渉判別表示方法。
10. 前記表示する工程では、前記干渉箇所をその他の箇所と識別可能な特殊表示により表示する
    請求項９に記載の干渉判別表示方法。
11. 前記表示する工程では、前記干渉状態を表す情報を、前記グリッパ及び前記アーム部の位置に対する前記補助装置及び前記ワークの位置の干渉距離を表す数値情報として表示する
    請求項７～１０のいずれか１項に記載の干渉判別表示方法。
12. ワークが積載されると共に、前記ワークに対する作業を補助する配置自在な可搬性を有する補助装置の一部並びに前記ワークを保持するワーク保持用ロボットのグリッパ及びアーム部が前記ワーク上に配置された積載エリアを、撮像装置により撮像する工程と、
    前記撮像装置によって撮像された撮像画像に基づいて、制御装置により前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部をそれぞれ検出する工程と、
    前記制御装置によって検出された前記グリッパ及び前記アーム部の少なくとも一つと、前記補助装置及び前記ワークの少なくとも一つと、の干渉状態を判定する工程と、
    前記制御装置によって検出された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部を表示装置によりそれぞれ表示する工程と、を備え、
    前記表示する工程は、前記判定する工程で判定された前記干渉状態を表す情報を表示画面上に併せて表示する工程を含み、
    前記表示する工程では、前記干渉状態を回避する場合の前記補助装置の配置の向きを含む配置可能位置に関する情報を表示する
    干渉判別表示方法。
13. ワークが積載されると共に、前記ワークに対する作業を補助する配置自在な可搬性を有する補助装置の一部並びに前記ワークを保持するワーク保持用ロボットのグリッパ及びアーム部が前記ワーク上に配置された積載エリアを、撮像装置により撮像させる処理と、
    前記撮像装置によって撮像された撮像画像に基づいて、制御装置により前記積載エリア内における前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部のそれぞれの位置を検出または演算させる処理と、
    前記制御装置によって検出または演算された前記グリッパ及び前記アーム部の位置と、前記補助装置及び前記ワークの位置と、の干渉状態を判定させる処理と、
    前記制御装置によって検出または演算された前記補助装置、前記ワーク並びに前記グリッパ及び前記アーム部の位置を表示装置により表示画面上にそれぞれ表示させると共に、前記判定させる処理で判定された前記干渉状態を表す情報を前記表示装置により前記表示画面上に併せて表示させる処理と、をコンピュータに実行させる
    干渉判別表示プログラム。
14. 前記検出または演算させる処理において、前記制御装置により前記積載エリア内における前記補助装置の配置位置及び前記ワークの実積載位置を特定して検出させると共に、前記制御装置により前記グリッパ及び前記アーム部の基準位置と、検出させた前記ワークの実積載位置とに基づいて前記グリッパ及び前記アーム部の移動位置を演算させる
    請求項１３に記載の干渉判別表示プログラム。

Images