JP7481591B1 - サーチモデルを生成する装置及び方法、作業位置を教示する装置及び方法、並びに制御装置 - Google Patents

Abstract

画像データからワークを探索するためには、様々な姿勢のサーチモデルを用意する必要があるところ、サーチモデルを生成する作業を簡単化したいという要求がある。ワークを撮像した画像データから該ワークを探索するためのサーチモデルを生成する装置は、ワークをモデル化したワークモデルの姿勢を仮想空間内で変化させる変化量の入力を受け付ける入力受付部と、入力受付部が受け付けた変化量に従って、仮想空間内でワークモデルの姿勢を模擬的に変化させるシミュレート部と、シミュレート部が姿勢を変化させたときに、仮想空間内の所定の視点から見たワークモデルの形状を表すサーチモデルを、ワークモデルに基づいて生成するサーチモデル生成部とを備える。

Description

本開示は、サーチモデルを生成する装置及び方法、作業位置を教示する装置及び方法、並びに制御装置に関する。

画像データからワークを探索するためのサーチモデルを生成するとともに、ワークに対する作業位置を教示する装置が知られている（例えば、特許文献１）。

特開２０１８－１４４１６１号

画像データからワークを探索するためには、様々な姿勢のサーチモデルを用意する必要があるところ、サーチモデルを生成する作業を簡単化したいという要求がある。また、従来、生成した複数のサーチモデルの各々に作業位置を教示する必要があり、教示に掛かる作業が煩雑化していた。

本開示の一態様において、ワークを撮像した画像データから該ワークを探索するためのサーチモデルを生成する装置は、ワークをモデル化したワークモデルの姿勢を仮想空間内で変化させる変化量の入力を受け付ける入力受付部と、入力受付部が受け付けた変化量に従って、仮想空間内でワークモデルの姿勢を模擬的に変化させるシミュレート部と、シミュレート部が姿勢を変化させたときに、仮想空間内の所定の視点から見たワークモデルの形状を表すサーチモデルを、ワークモデルに基づいて生成するサーチモデル生成部とを備える。

本開示の他の態様において、ワークを撮像した画像データから該ワークを探索するためのサーチモデルを生成する方法は、プロセッサが、ワークをモデル化したワークモデルの姿勢を仮想空間内で変化させる変化量の入力を受け付け、受け付けた変化量に従って、仮想空間内でワークモデルの姿勢を模擬的に変化させ、姿勢を変化させたときに、仮想空間内の所定の視点から見たワークモデルの形状を表すサーチモデルを、ワークモデルに基づいて生成する。

本開示のさらに他の態様において、ロボットがワークに対して作業を行う作業位置を教示する装置は、ワークの全体形状をモデル化したワークモデルに対して作業位置を教示するための入力を受け付ける入力受付部と、入力受付部が受け付けた入力に応じて教示された作業位置を、ワークモデルと作業位置との位置関係を示す教示位置として、ワークモデルと関連付けて記憶する位置記憶部であって、記憶した該教示位置を用いて、ワークモデルに基づいて生成されるサーチモデルによって画像データから探索されたワークに対する作業位置が演算される、位置記憶部とを備える。

本開示のさらに他の態様において、ロボットがワークに対して作業を行う作業位置を教示する方法は、プロセッサが、ワークの全体形状をモデル化したワークモデルに対して作業位置を教示するための入力を受け付け、受け付けた入力に応じて教示された作業位置を、ワークモデルと作業位置との位置関係を示す教示位置として、ワークモデルと関連付けて記憶し、記憶した教示位置を用いて、ワークモデルに基づいて生成されるサーチモデルによって画像データから探索されたワークに対する作業位置が演算される。

一実施形態に係るロボットシステムの概略図である。 図１に示すロボットシステムのブロック図である。 一実施形態に係るワークと、該ワークのワークモデルを示す。 教示設定画像データの一例を示す。 ロボットモデル及びワークモデルを配置した仮想空間の画像データの一例を示す。 図５に示す仮想空間においてエンドエフェクタモデルを移動させた状態を示す。 回転カーソル画像の一例を示す。 図５に示す仮想空間においてエンドエフェクタモデルを移動させた状態を示す。 ロボットシステムの他の機能を示すブロック図である。 サーチモデル設定画像データの一例を示す。 図３に示すワークモデルを視点ＶＰから見たときの図である。 図１１に示すワークモデルに基づいて生成されたサーチモデルを示す。 ロボットシステムのさらに他の機能を示すブロック図である。 図１３のロボットシステムの動作フローの一例を示すフローチャートである。 図１４中のステップＳ２で撮像される画像データの一例を示す。 図１５に示す画像データに、サーチモデルをマッチングした状態を示す。 図１４中のステップＳ５で生成されるリストデータのデータ構造の一例を示す。 図１７に示す優先順位によって目標位置を並べ替えたリストデータを示す。 図１８に示す目標位置を所定の条件に従ってさらに並べ替えたリストデータを示す。 図１４中のステップＳ６のフローの一例を示す。 ロボットシステムのさらに他の機能を示すブロック図である。 図１４中のステップＳ６のフローの他の例を示す。 図２２中のステップＳ３１を説明するための図である。 他の実施形態に係る制御装置の概略図である。 図２４に示す制御装置のブロック図である。

以下、本開示の実施の形態を図面に基づいて詳細に説明する。なお、以下に説明する種々の実施形態において、同様の要素には同じ符号を付し、重複する説明を省略する。まず、図１及び図２を参照して、一実施形態に係るロボットシステム１０について説明する。ロボットシステム１０は、ロボット１２、視覚センサ１４、及び制御装置１６を備える。

本実施形態においては、ロボット１２は、垂直多関節ロボットであって、ロボットベース１８、旋回胴２０、下腕部２２、上腕部２４、手首部２６、及びエンドエフェクタ２８を有する。ロボットベース１８は、作業セルの床又は無人搬送機（ＡＧＶ）の上に固定されている。旋回胴２０は、鉛直軸周りに旋回可能となるように、ロボットベース１８に設けられている。

下腕部２２は、その基端部が旋回胴２０に水平軸周りに回動可能に設けられ、上腕部２４は、その基端部が下腕部２２の先端部に回動可能に設けられている。手首部２６は、互いに直交する２つの軸の周りに回動可能となるように上腕部２４の先端部に設けられた手首ベース２６ａと、手首軸Ａ１の周りに回動可能となるように該手首ベース２６ａに設けられた手首フランジ２６ｂとを有する。

エンドエフェクタ２８は、手首フランジ２６ｂに着脱可能に取り付けられている。エンドエフェクタ２８は、例えば、ワーク２００を把持可能なロボットハンド、ワーク２００を溶接する溶接トーチ、又は、ワーク２００をレーザ加工するレーザ加工ヘッド等であって、ワーク２００に対して所定の作業（ワークハンドリング、溶接、又はレーザ加工等）を行う。

ロボット１２の各コンポーネント（ロボットベース１８、旋回胴２０、下腕部２２、上腕部２４、手首部２６）には、サーボモータ３０（図２）が設けられている。これらサーボモータ３０は、制御装置１６からの指令に応じて、ロボット１２の各駆動軸を回動させる。その結果、ロボット１２は、エンドエフェクタ２８を移動させて任意の位置に配置することができる。

図１に示すように、ロボット１２には、ロボット座標系Ｃ１、及びツール座標系Ｃ２が設定されている。ロボット座標系Ｃ１は、ロボット１２の各可動コンポーネント（すなわち、旋回胴２０、下腕部２２、上腕部２４、手首ベース２６ａ、手首部２６、及びエンドエフェクタ２８）の動作を制御するための制御座標系Ｃである。本実施形態においては、ロボット座標系Ｃ１は、その原点がロボットベース１８の中心に配置され、そのｚ軸が旋回胴２０の旋回軸と平行となる（具体的には、一致する）ように、ロボットベース１８に対して固定されている。

一方、ツール座標系Ｃ２は、作業時にロボット１２を制御するためにロボット座標系Ｃ１におけるエンドエフェクタ２８の位置を規定する制御座標系Ｃである。本実施形態においては、ツール座標系Ｃ２は、その原点（いわゆる、ＴＣＰ）が、エンドエフェクタ２８の作業位置（すなわち、ワーク把持位置、溶接位置、又はレーザ光出射口）に配置され、そのｚ軸が、手首軸Ａ１と平行となる（具体的には、一致する）ように、エンドエフェクタ２８に対して設定されている。

エンドエフェクタ２８を移動させるとき、制御装置１６は、ロボット座標系Ｃ１においてツール座標系Ｃ２を設定し、設定したツール座標系Ｃ２によって表される位置にエンドエフェクタ２８を位置決めするように、ロボット１２の各サーボモータ３０への指令を生成する。こうして、制御装置１６は、ロボット座標系Ｃ１における任意の位置にエンドエフェクタ２８を位置決めできる。なお、本稿において「位置」とは、位置及び姿勢を表す場合がある。

視覚センサ１４は、ワーク２００の画像データ１４０（図１５）を撮像する。本実施形態においては、視覚センサ１４は、例えば、撮像センサ（ＣＭＯＳ、ＣＣＤ等）、及び該撮像センサへ被写体像を導光する光学レンズ（コリメートレンズ、フォーカスレンズ等）を有する３次元視覚センサである。視覚センサ１４は、ロボットの可動コンポーネント（例えば、エンドエフェクタ２８又は手首フランジ２６ｂ）に対して固定され、ロボット１２によって移動されてもよい。

代替的には、視覚センサ１４は、その視野内にワーク２００を収めることが可能な位置に定点固定されてもよい。視覚センサ１４は、光軸Ａ２に沿って被写体（つまり、ワーク２００）を撮像するとともに、該被写体までの距離ｄを測定するように構成されている。視覚センサ１４は、撮像した画像データ１４０を、制御装置１６に供給する。

制御装置１６は、ロボット１２及び視覚センサ１４の動作を制御する。図２に示すように、制御装置１６は、プロセッサ３２、メモリ３４、Ｉ／Ｏインターフェース３６、表示装置３８、及び入力装置４０等を有するコンピュータである。プロセッサ３２は、ＣＰＵ又はＧＰＵ等を有し、メモリ３４、Ｉ／Ｏインターフェース３６、表示装置３８、及び入力装置４０とバス４２を介して通信可能に接続され、これらコンポーネントと通信しつつ、後述する各種機能を実現するための演算処理を行う。

メモリ３４は、ＲＡＭ又はＲＯＭ等を有し、各種データを一時的又は恒久的に記憶する。メモリ３４は、揮発性メモリ、不揮発性メモリ、磁気記憶媒体、又は光記憶媒体等、コンピュータが読取可能な非一時的記憶媒体から構成され得る。Ｉ／Ｏインターフェース３６は、例えば、イーサネット（登録商標）ポート、ＵＳＢポート、光ファイバコネクタ、又はＨＤＭＩ（登録商標）端子を有し、プロセッサ３２からの指令の下、外部機器との間でデータを有線又は無線で通信する。ロボット１２の各サーボモータ３０、及び視覚センサ１４は、Ｉ／Ｏインターフェース３６に通信可能に接続されている。

表示装置３８は、液晶ディスプレイ又は有機ＥＬディスプレイ等を有し、プロセッサ３２からの指令の下、各種データを視認可能に表示する。入力装置４０は、押しボタン、スイッチ、キーボード、マウス、又はタッチパネル等を有し、オペレータからデータの入力を受け付ける。なお、表示装置３８及び入力装置４０は、制御装置１６の筐体に一体に組み込まれてもよいし、又は、制御装置１６の筐体とは別体の１つのコンピュータ（ＰＣ等）として、Ｉ／Ｏインターフェース３６に接続されてもよい。

以下、エンドエフェクタ２８がロボットハンドであり、プロセッサ３２が、ロボット１２に実行させる所定の作業として、容器Ｂ内にバラ積みにされたワーク２００を、エンドエフェクタ２８によって、所定の作業位置Ｐｗ（つまり、把持位置）で把持して取り上げるワークハンドリングを行う場合について説明する。

オペレータは、この作業（つまり、ワークハンドリング）を実行するための動作プログラムＯＰを構築するために、該動作プログラムＯＰの各種パラメータを設定する作業を行う。動作プログラムＯＰは、ワーク２００の画像データ１４０を画像処理して該画像データ１４０に写るワーク２００を検出する検出プログラムＯＰ１等のコンピュータプログラムを含む。具体的には、オペレータは、ワーク２００に対して作業（ワークハンドリング）を行う作業位置Ｐｗ（把持位置）を教示する教示プロセスを実行する。

図３に、作業対象となるワーク２００の一例を示す。本実施形態においては、ワーク２００は、中心軸Ａ３を有する円筒状の部材であって、シャフト２０２及びフランジ２０４を有する。ワーク２００は、中心軸Ａ３を基準として回転対称となる全体形状を有している。オペレータは、教示プロセスのために、ワーク２００の全体形状をモデル化したワークモデル２００Ｍを作成する。ワークモデル２００Ｍは、例えば３次元ＣＡＤモデルであって、ＣＡＤ装置（図示せず）を用いてオペレータによって作成される。

なお、以下の説明において、ある部材ＸＸ（例えば、ロボット１２）のモデルを、部材モデルＸＸＭ（ロボットモデル１２Ｍ）として言及する。したがって、ワークモデル２００Ｍは、シャフトモデル２０２Ｍ、及びフランジモデル２０４Ｍを有する。ワークモデル２００Ｍは、ワーク２００の全体形状（つまり、ワーク２００の全ての面及びエッジ等）を表している。図３に示すように、ワークモデル２００Ｍには、ワーク座標系Ｃ３が設定される。

ワーク座標系Ｃ３は、作業時にロボット１２を制御するために、作業対象のワーク２００のロボット座標系Ｃ１における位置を規定する制御座標系Ｃである。本実施形態においては、ワーク座標系Ｃ３は、その原点がワークモデル２００Ｍ（すなわち、ワーク２００）の重心に配置され、そのｚ軸が、中心軸Ａ３と平行となる（具体的には、一致する）ように、ワークモデル２００Ｍに対して設定されている。なお、ワーク座標系Ｃ３の原点は、ＣＡＤ装置でワークモデル２００Ｍを作成するときに基準とするＣＡＤ原点であってもよい。

ＣＡＤ装置によって作成されたワークモデル２００Ｍは、制御装置１６にダウンロードされ、メモリ３４に記憶される。ワークモデル２００Ｍのデータ（又は、データファイル）には、該ワークモデル２００Ｍを識別するための識別情報Ｉｓ（例えば、モデル名、ファイル名、又は識別コードを表す文字又は記号）が付帯される。

プロセッサ３２は、教示プロセスの開始後、図４に示す教示設定画像データ１００を生成し、表示装置３８に表示する。教示設定画像データ１００は、作業を実行するための動作プログラムＯＰと、ロボット１２のエンドエフェクタとを選択するためのグラフィカルユーザインタフェース（ＧＵＩ）である。具体的には、教示設定画像データ１００は、プログラム選択画像１０２、ワーク情報画像１０４、エンドエフェクタ選択画像１０６、及び、モデル読込ボタン画像１０８を含む。

プログラム選択画像１０２は、予め用意された複数の動作プログラムＯＰの中から、作業に用いる動作プログラムＯＰを選択するためのＧＵＩである。例えば、オペレータが、入力装置４０を操作してプログラム選択画像１０２を画像上でクリックすると、メモリ３４に記憶されている種々の動作プログラムＯＰの一覧（例えば、プログラム名又はプログラム識別コード等の一覧表）が表示される。

オペレータは、表示された動作プログラムＯＰの中から、作業時に用いる動作プログラムＯＰを選択できるようになっている。以下、種々の動作プログラムＯＰのうち、動作プログラムＯＰ_A（図４に示す「動作プログラムＡ」）が選択され、該動作プログラムＯＰ_Aのパラメータを設定する場合について説明する。

ワーク情報画像１０４は、プログラム選択画像１０２で選択された動作プログラムＯＰ_Aに関連付けて登録されているワークモデルを表示する。図４に示す例では、動作プログラムＯＰ_Aに関連付けて、図３に示すワーク２００が登録されている例を示している。一方、エンドエフェクタ選択画像１０６は、予め用意された複数のタイプのエンドエフェクタの中から、実際の作業に用いるエンドエフェクタを選択するためのＧＵＩである。

例えば、オペレータが、入力装置４０を操作してエンドエフェクタ選択画像１０６を画像上でクリックすると、メモリ３４に記憶されている種々のタイプのエンドエフェクタの一覧（例えば、型名、型番又は識別コード等の一覧表）が表示される。オペレータは、表示された種々のエンドエフェクタの中から、作業時に用いるエンドエフェクタを選択できるようになっている。以下、エンドエフェクタとして、図１に示すエンドエフェクタ２８が選択された場合について説明する。

モデル読込ボタン画像１０８は、作業位置Ｐｗの教示のために、ワークモデル２００Ｍと、ロボット１２をモデル化したロボットモデル１２Ｍと、制御座標系Ｃとを読み込んで仮想空間ＶＳ内に配置するためのＧＵＩである。プロセッサ３２は、入力装置４０を通してオペレータからモデル読込ボタン画像１０８をクリック操作する入力を受け付けると、ワークモデル２００Ｍ、及びロボットモデル１２Ｍを、制御座標系Ｃとしてのロボット座標系Ｃ１、ツール座標系Ｃ２、及びワーク座標系Ｃ３ととともに、仮想空間ＶＳ（図５）に配置する。

プロセッサ３２は、プログラム選択画像１０２で選択された動作プログラムＯＰ_Aに関連付けて登録されているワークモデル２００Ｍと、エンドエフェクタ選択画像１０６で選択されたエンドエフェクタ２８のエンドエフェクタモデル２８Ｍを有するロボットモデル１２Ｍとを、ロボット座標系Ｃ１、ツール座標系Ｃ２、及びワーク座標系Ｃ３ととともに、仮想空間ＶＳに配置する。

プロセッサ３２は、この仮想空間ＶＳにおいて、実機のロボット１２と同様に、ロボット座標系Ｃ１をロボットベースモデル１８Ｍに設定するとともに、ツール座標系Ｃ２をエンドエフェクタモデル２８Ｍに設定する。なお、プロセッサ３２は、エンドエフェクタ選択画像１０６で選択されたエンドエフェクタモデル２８Ｍのみを仮想空間ＶＳに配置する一方、ロボットベースモデル１８Ｍ、旋回胴モデル２０Ｍ、下腕部モデル２２Ｍ、上腕部モデル２４Ｍ、及び手首部モデル２６Ｍを仮想空間ＶＳに配置しなくてもよい。また、プロセッサ３２（モデル配置部５２）は、ワークモデル２００Ｍに関連付けて登録されているワーク座標系Ｃ３の設定情報を参照し、ワーク座標系Ｃ３をワークモデル２００Ｍに設定する。例えば、ワーク座標系Ｃ３の原点は、ワークモデル２００Ｍの重心（又は、ＣＡＤ原点）に配置するように設定される。

このように、本実施形態においては、プロセッサ３２は、ワークモデル２００Ｍ、ロボットモデル１２Ｍ、及び制御座標系Ｃ（具体的には、ロボット座標系Ｃ１、ツール座標系Ｃ２、ワーク座標系Ｃ３）を仮想空間ＶＳに配置するモデル配置部５２（図２）として機能する。なお、プロセッサ３２（モデル配置部５２）は、仮想空間ＶＳにワークモデル２００Ｍを配置したときに、ワーク座標系Ｃ３の原点を、該ワークモデル２００Ｍの重心（又は、ＣＡＤ原点）として自動で計算した上で、該ワーク座標系Ｃ３を仮想空間ＶＳに配置してもよい。

次いで、プロセッサ３２は、ワークモデル２００Ｍ、ロボットモデル１２Ｍ、及び制御座標系Ｃ（ロボット座標系Ｃ１、ツール座標系Ｃ２）が配置された仮想空間ＶＳの画像データ１１０を生成し、表示装置３８に表示する。画像データ１１０の一例を、図５に示す。このように、本実施形態においては、プロセッサ３２は、仮想空間ＶＳの画像データ１１０を生成する画像生成部５４（図２）として機能する。

本実施形態においては、オペレータは、入力装置４０を操作して、仮想空間ＶＳ内でロボットモデル１２Ｍを模擬的に移動させつつ、該ワークモデル２００Ｍに対して作業位置Ｐｗを教示する。プロセッサ３２は、仮想空間ＶＳ内でワークモデル２００Ｍに対して作業位置Ｐｗを教示するための入力Ｆを受け付ける。

具体的には、プロセッサ３２は、入力Ｆとして、仮想空間ＶＳでロボットモデル１２Ｍ、及び制御座標系Ｃ（ロボット座標系Ｃ１、ツール座標系Ｃ２、ワーク座標系Ｃ３）を模擬的に移動させる入力Ｆｍを受け付ける。ここで、プロセッサ３２は、画像生成部５４として機能して、画像データ１１０に、移動選択ボタン画像１１２をさらに表示する。

移動選択ボタン画像１１２は、エンドエフェクタモデル２８Ｍを、ツール座標系Ｃ２とともに、仮想空間ＶＳ内で並進移動させるか、又は回転移動させるかを選択するためのＧＵＩである。オペレータは、入力装置４０を操作して、移動選択ボタン画像１１２を画像上でクリックすることで、並進移動又は回転移動を選択可能となっている。

図５に示す画像データ１１０においては、「並進移動」が選択されている。この場合、オペレータは、入力装置４０を操作して、ロボットモデル１２Ｍ（具体的には、エンドエフェクタモデル２８Ｍ）及びツール座標系Ｃ２を仮想空間ＶＳ内で模擬的に並進移動させることができるようになっている。移動選択ボタン画像１１２によって「並進移動」が選択されているとき、プロセッサ３２は、仮想空間ＶＳ内でエンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を並進移動させるための入力Ｆｍ_tを受け付け可能となる。

一例として、オペレータは、エンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を並進移動させるために、入力装置４０を操作して、仮想空間ＶＳ内でエンドエフェクタモデル２８Ｍ（又は、ツール座標系Ｃ２）をドラッグアンドドロップする入力Ｆｍ_t1を与える。プロセッサ３２は、該入力Ｆｍ_t1を受け付け、仮想空間ＶＳ内でロボットモデル１２Ｍの可動コンポーネントモデル（具体的には、旋回胴モデル２０Ｍ、下腕部モデル２２Ｍ、上腕部モデル２４Ｍ、手首部モデル２６Ｍ）を模擬的に動作させて、エンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を仮想空間ＶＳ内で並進移動させる。

他の例として、オペレータは、仮想空間ＶＳ内でエンドエフェクタモデル２８Ｍ（つまり、ツール座標系Ｃ２の原点）を変位させる変位量δを指定する入力Ｆｍ_t2を与える。例えば、オペレータは、変位量δとして、ロボット座標系Ｃ１のｘ軸方向の変位量δｘ、ｙ軸方向の変位量δｙ、ｚ軸方向の変位量δｚを入力してもよい。プロセッサ３２は、入力Ｆｍ_t2を受け付け、仮想空間ＶＳ内でエンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を、変位量δ（δｘ、δｙ、δｚ）だけ並進移動させる。

さらに他の例として、オペレータは、ロボット座標系Ｃ１におけるツール座標系Ｃ２の原点の座標Ｑ（ｘ，ｙ，ｚ）を指定する入力Ｆｍ_t3を与える。プロセッサ３２は、入力Ｆｍ_t3を受け付け、仮想空間ＶＳ内でエンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を、座標Ｑ（ｘ，ｙ，ｚ）の位置まで並進移動させる。なお、プロセッサ３２は、画像生成部５４として機能し、上述した変位量δ又は座標Ｑを入力するための画像を、画像データ１１０にさらに表示してもよい。

こうして、プロセッサ３２は、オペレータから並進移動のための入力Ｆｍ_tを受け付け、仮想空間ＶＳ内でエンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を模擬的に並進移動させる。このとき、エンドエフェクタモデル２８Ｍの姿勢は変化しない。また、エンドエフェクタモデル２８Ｍの並進移動とともに、ツール座標系Ｃ２の原点が変位する一方、ツール座標系Ｃ２の各軸方向は変化しない。この並進移動により、図６に示すように、エンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を、ワークモデル２００Ｍに対して所望の位置に配置させることができる。

一方、オペレータが移動選択ボタン画像１１２をクリック操作して「回転移動」を選択した場合、プロセッサ３２は、仮想空間ＶＳ内でエンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を回転移動させるための入力Ｆｍ_rを受け付け可能となる。本実施形態においては、プロセッサ３２は、「回転移動」が選択されると、画像生成部５４として機能して、画像データ１１０において回転カーソル画像１１４をツール座標系Ｃ２に重畳表示する。

回転カーソル画像１１４の一例を、図７に示す。回転カーソル画像１１４は、仮想空間ＶＳ内でエンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を回転移動させる方向を指定するためのＧＵＩである。具体的には、回転カーソル画像１１４は、ｘ軸回転リング１１４ａ、ｙ軸回転リング１１４ｂ、及びｚ軸回転リング１１４ｃを有する。ｘ軸回転リング１１４ａは、エンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を、移動前のツール座標系Ｃ２のｘ軸周りに回転移動させるためのＧＵＩである。

オペレータが入力装置４０を操作してｘ軸回転リング１１４ａを画像上で操作（クリック又はドラッグアンドドロップ）する入力Ｆｍ_r1を与えると、プロセッサ３２は、入力Ｆｍ_r1を受け付けて、仮想空間ＶＳ内で、エンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を、移動前のツール座標系Ｃ２のｘ軸周りに回転させる。一方、オペレータがｙ軸回転リング１１４ｂを画像上で操作する入力Ｆｍ_r2を与えると、プロセッサ３２は、入力Ｆｍ_r2を受け付けて、エンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を、移動前のツール座標系Ｃ２のｙ軸周りに回転させる。

また、オペレータがｚ軸回転リング１１４ｃを画像上で操作する入力Ｆｍ_r3を与えると、プロセッサ３２は、入力Ｆｍ_r3を受け付けて、エンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を、移動前のツール座標系Ｃ２のｚ軸周りに回転させる。このような回転移動により、図８に示すように、エンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２の姿勢を、ワークモデル２００Ｍに対して任意に変化させることができる。この回転移動によって、エンドエフェクタモデル２８Ｍの姿勢が変化する一方、エンドエフェクタモデル２８Ｍの位置は変位しない。また、エンドエフェクタモデル２８Ｍの回転移動とともに、ツール座標系Ｃ２の各軸の方向は変化する一方、原点位置は変位しない。

オペレータは、上述のようにエンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２を仮想空間ＶＳ内で模擬的に移動させることで、該エンドエフェクタモデル２８Ｍ及び該ツール座標系Ｃ２を、ワークモデル２００Ｍに対して所望の作業位置Ｐｗに配置させることができる。そして、オペレータは、入力装置４０を操作して、作業位置Ｐｗを記憶するための入力Ｆｒを与える。プロセッサ３２は、入力Ｆｒを受け付けると、作業位置Ｐｗをメモリ３４に記憶する。

こうして、作業位置Ｐｗがワークモデル２００Ｍに対して教示される。このように、本実施形態においては、プロセッサ３２は、オペレータから、作業位置Ｐｗを教示するための入力Ｆ（入力Ｆｍ及びＦｒ）を受け付けて、該入力Ｆに応じて、作業位置Ｐｗをワークモデル２００Ｍに対して教示する。したがって、プロセッサ３２は、作業位置Ｐｗを教示するための入力Ｆを受け付ける入力受付部５６（図２）として機能する。

プロセッサ３２は、オペレータから上述の入力Ｆｒを受け付けると、この時点でのツール座標系Ｃ２の、ワーク座標系Ｃ３における座標Ｑｗ（ｘ_w，ｙ_w，ｚ_w，ｗ_w，ｐ_w，ｒ_w）を取得する。この座標Ｑｗは、ワークモデル２００Ｍに対して教示された作業位置Ｐｗ（換言すれば、作業実行時のエンドエフェクタ２８の位置及び姿勢）を表し、ワークモデル２００Ｍ（ワーク座標系Ｃ３）と作業位置Ｐｗとの位置関係を示すデータとなる。より具体的には、座標Ｑｗのうち、座標（ｘ_w，ｙ_w，ｚ_w）は、ワーク座標系Ｃ３（つまり、ワークモデル２００Ｍ）に対するツール座標系Ｃ２（つまり、エンドエフェクタモデル２８Ｍ）の位置を表し、座標（ｗ_w，ｐ_w，ｒ_w）は、ワーク座標系Ｃ３に対するツール座標系Ｃ２の姿勢（いわゆる、ヨー、ピッチ、ロール）を表す。

プロセッサ３２は、取得した座標Ｑｗを、ワークモデル２００Ｍと作業位置Ｐｗとの位置関係を示す教示位置Ｐｗ_tとして、メモリ３４に記憶する。ここで、本実施形態においては、プロセッサ３２は、教示位置Ｐｗ_tのデータを、ワークモデル２００Ｍ（例えば、識別情報Ｉｓ）と関連付けて、メモリ３４に記憶する。こうして、教示位置Ｐｗ_tとワークモデル２００Ｍとは、互いに関連付けられる。

プロセッサ３２は、実際の作業時に、上述のように記憶した教示位置Ｐｗ_tを用いて、ワーク２００に対する作業位置Ｐｗを演算により求める。実際の作業において、プロセッサ３２は、ワークモデル２００Ｍに基づいて生成されるサーチモデル２００Ｓを用いて、視覚センサ１４がワーク２００を撮像した画像データ１４０（図１５）から、該画像データ１４０に写るワーク２００を探索する。なお、サーチモデル２００Ｓについては、後述する。

このように、本実施形態においては、プロセッサ３２は、ワークモデル２００Ｍに対して教示された作業位置Ｐｗを、教示位置Ｐｗ_t（具体的には、座標Ｑｗ）として、ワークモデル２００Ｍと関連付けて記憶する位置記憶部５８（図２）として機能する。なお、プロセッサ３２は、教示位置Ｐｗ_tのためのデータベースＤＢを生成し、取得した教示位置Ｐｗ_tのデータ（座標Ｑｗ）を、該データベースＤＢに格納してもよい。このデータベースＤＢは、ワークモデル２００Ｍ（識別情報Ｉｓ）と関連付けられて、メモリ３４に記憶され得る。このような教示プロセスの結果、実際の作業に使用するエンドエフェクタ２８（エンドエフェクタモデル２８Ｍ）の情報と、教示された教示位置Ｐｗ_tのデータ（座標Ｑｗ）とが登録されることになる。

以上のように、本実施形態においては、プロセッサ３２は、モデル配置部５２、画像生成部５４、入力受付部５６、及び位置記憶部５８として機能して、作業位置Ｐｗを教示する。したがって、モデル配置部５２、画像生成部５４、入力受付部５６、及び位置記憶部５８は、作業位置Ｐｗを教示する装置５０（図２）を構成する。

この装置５０においては、入力受付部５６が、ワークモデル２００Ｍに対して作業位置Ｐｗを教示するための入力Ｆ（Ｆｍ、Ｆｒ）を受け付け、位置記憶部５８が、入力Ｆに応じて教示された作業位置Ｐｗを、ワークモデル２００Ｍ（又は、ワーク座標系Ｃ３）と作業位置Ｐｗとの位置関係を示す教示位置Ｐｗ_t（座標Ｑｗ）として、ワークモデル２００Ｍと関連付けて記憶する。そして、実際の作業において、このように記憶した教示位置Ｐｗ_tを用いて、サーチモデル２００Ｓによって画像データ１４０から探索されたワーク２００に対する作業位置Ｐｗが演算される。

この構成によれば、オペレータは、サーチモデル２００Ｓではなく、ワークモデル２００Ｍに対して作業位置Ｐｗ（教示位置Ｐｗ_t）を教示することができることから、後述するサーチモデル２００Ｓを生成する毎に、該サーチモデル２００Ｓに作業位置Ｐｗを教示する必要がなくなる。よって、複数の姿勢のサーチモデル２００Ｓを生成した場合においても、これらのサーチモデル２００Ｓの間で作業位置Ｐｗを共有できる。これにより、作業位置Ｐｗを教示する作業を、大幅に簡単化できる。

また、装置５０においては、モデル配置部５２は、ロボットモデル１２Ｍ及び制御座標系Ｃ（ロボット座標系Ｃ１、ツール座標系Ｃ２、ワーク座標系Ｃ３）の少なくとも一方と、ワークモデル２００Ｍとを仮想空間ＶＳに配置し、画像生成部５４は、該仮想空間ＶＳの画像データ１１０を生成する（図５）。そして、入力受付部５６は、教示するための入力Ｆとして、仮想空間ＶＳでロボットモデル１２Ｍ又は制御座標系Ｃを模擬的に移動させる入力Ｆｍを受け付ける。この構成によれば、オペレータは、仮想空間ＶＳの画像データ１１０を視認しつつ、ロボットモデル１２Ｍ（具体的には、エンドエフェクタモデル２８Ｍ）又は制御座標系Ｃ（具体的には、ツール座標系Ｃ２）を模擬的に操作することで、所望の作業位置Ｐｗを容易に教示することができる。

また、装置５０においては、入力受付部５６は、入力Ｆｍとして、エンドエフェクタモデル２８Ｍを、該ツール座標系Ｃ２の原点が変位するように並進移動させる入力Ｆｍ_t（Ｆｍ_t1、Ｆｍ_t2、Ｆｍ_t3）、又は、エンドエフェクタモデル２８Ｍを、ツール座標系Ｃ２の軸（ｘ軸、ｙ軸又はｚ軸）の周りに回転移動させる入力Ｆｍ_r（Ｆｍ_r1、Ｆｍ_r2、Ｆｍ_r3）を受け付ける。この構成によれば、オペレータは、仮想空間ＶＳ内でエンドエフェクタモデル２８Ｍを、ツール座標系Ｃ２とともに、簡単な操作で、より多様に操作することができる。

また、装置５０においては、画像生成部５４は、並進移動又は回転移動を選択するための移動選択ボタン画像１１２を画像データ１１０にさらに表示する。そして、入力受付部５６は、移動選択ボタン画像１１２によって並進移動が選択されているときは、並進移動させる入力Ｆｍ_tを受け付け可能となる一方、移動選択ボタン画像１１２によって回転移動が選択されているときは、回転移動させる入力Ｆｍ_rを受け付け可能となる。この構成によれば、オペレータによる仮想空間ＶＳ内でのエンドエフェクタモデル２８Ｍ及びツール座標系Ｃ２の操作性を、より向上させることができる。

なお、オペレータは、上述の教示プロセスにおいて、１つのワークモデル２００Ｍに対し、複数の作業位置Ｐｗ₁、Ｐｗ₂、・・・Ｐｗ_mを教示してもよい。この場合、プロセッサ３２は、教示プロセスにおいて、入力受付部５６として機能し、複数の作業位置Ｐｗ_mを教示するための入力Ｆ（Ｆｍ、Ｆｒ）を受け付ける。そして、プロセッサ３２は、位置記憶部５８として機能して、複数の教示位置Ｐｗ_t1、Ｐｗ_t2、・・・Ｐｗ_tm（つまり、座標Ｑｗ₁（ｘ_w1，ｙ_w1，ｚ_w1，ｗ_w1，ｐ_w1，ｒ_w1）、Ｑｗ₂（ｘ_w2，ｙ_w2，ｚ_w2，ｗ_w2，ｐ_w2，ｒ_w2）、・・・Ｑｗ_m（ｘ_wm，ｙ_wm，ｚ_wm，ｗ_wm，ｐ_wm，ｒ_wm））を、ワークモデル２００Ｍと関連付けて、メモリ３４にそれぞれ記憶する。

この場合において、プロセッサ３２は、入力受付部５６として機能して、教示した複数の作業位置Ｐｗ_tm（ｍ＝１，２，３，・・・）の優先順位を定める入力Ｇをさらに受け付けてもよい。例えば、オペレータは、教示位置Ｐｗ_tmが記憶された後、入力装置４０を操作して、記憶された各々の教示位置Ｐｗ_tmに対し、「高優先度」、「中優先度」、又は「低優先度」というラベル情報によって示される優先順位を付与する入力を与える。プロセッサ３２は、優先順位を示すラベル情報を、メモリ３４に記憶した教示位置Ｐｗ_tmに付帯して記憶する。これにより、オペレータは、複数の作業位置Ｐｗ_tm（つまり、複数の教示位置Ｐｗ_tm）に対して、所望の優先順位を付与することができる。

なお、上述の実施形態においては、プロセッサ３２は、モデル配置部５２として機能して、ロボットモデル１２Ｍと、制御座標系Ｃとしてのロボット座標系Ｃ１、ツール座標系Ｃ２、及びワーク座標系Ｃ３とを、ワークモデル２００Ｍとともに仮想空間ＶＳに配置する場合について述べた。しかしながら、これに限らず、プロセッサ３２は、ロボットモデル１２Ｍ又は制御座標系Ｃを仮想空間ＶＳに配置しなくてもよい。

例えば、プロセッサ３２は、制御座標系Ｃとしてのツール座標系Ｃ２のみを仮想空間ＶＳに配置してもよい。この場合、プロセッサ３２は、画像生成部５４として機能し、ツール座標系Ｃ２のみを配置した仮想空間ＶＳの画像データ１１０を生成する。また、プロセッサ３２は、入力受付部５６として機能して、仮想空間ＶＳにおいてツール座標系Ｃ２を模擬的に移動させる入力Ｆｍをオペレータから受け付ける。

代替的には、プロセッサ３２は、モデル配置部５２として機能して、制御座標系Ｃを仮想空間ＶＳに配置せずに、ロボットモデル１２Ｍ（例えば、エンドエフェクタモデル２８Ｍ）のみを仮想空間ＶＳに配置してもよい。この場合、プロセッサ３２は、画像生成部５４として、ロボットモデル１２Ｍ（エンドエフェクタモデル２８Ｍ）のみを配置した仮想空間ＶＳの画像データ１１０を生成する。

このように、プロセッサ３２（モデル配置部５２）は、ロボットモデル１２Ｍ及び制御座標系Ｃの少なくとも一方と、ワークモデル２００Ｍとを仮想空間ＶＳに配置する。なお、プロセッサ３２は、モデル配置部５２として、ロボットモデル１２Ｍ、ロボット座標系Ｃ１、ツール座標系Ｃ２、ワーク座標系Ｃ３、及びワークモデル２００Ｍを仮想空間ＶＳに配置する一方、画像生成部５４として、ツール座標系Ｃ２のみを表示した仮想空間ＶＳの画像データ１１０を生成してもよい。

また、上述の本実施形態においては、プロセッサ３２（画像生成部５４）が、移動選択ボタン画像１１２で「回転移動」が選択されているときに、回転カーソル画像１１４（図７、図８）を表示し、該回転カーソル画像１１４への操作に応じて、ロボットモデル１２Ｍを回転移動させる場合について述べた。しかしながら、プロセッサ３２は、回転カーソル画像１１４を表示することなく、例えば、エンドエフェクタモデル２８Ｍを回転させる回転量と、回転中心とする制御座標系Ｃの軸とを指定する入力を受け付けてもよい。

また、画像データ１１０から移動選択ボタン画像１１２を省略してもよい。この場合において、プロセッサ３２は、オペレータによる入力装置４０への所定のコマンド入力（例えば、ファンクションキー入力等）に応じて、並進移動と回転移動とを切り替えるように構成されてもよい。なお、装置５０から、モデル配置部５２及び画像生成部５４を省略することもできる。例えば、オペレータは、図５に示すような画像データ１１０を視認することなく、作業位置Ｐｗの座標Ｑｗを手動で入力してもよい。また、ワークモデル２００Ｍは、２次元ＣＡＤモデルであってもよい。なお、プロセッサ３２は、上述した教示プロセスを、コンピュータプログラムＰＧ１に従って実行してもよい。このコンピュータプログラムＰＧ１は、メモリ３４に予め記憶され得る。

次に、図９を参照して、ロボットシステム１０の他の機能について説明する。本実施形態においては、プロセッサ３２は、ワーク２００を撮像した画像データ１４０から該ワーク２００を探索するためのサーチモデル２００Ｓを生成するサーチモデル生成プロセスを実行する。以下、上述の動作プログラムＯＰ_Aを実行して作業を行うときに用いるサーチモデル２００Ｓを生成する場合について説明する。

サーチモデル生成プロセスの開始後、プロセッサ３２は、図１０に示すサーチモデル設定画像データ１２０を生成し、表示装置３８に表示する。サーチモデル設定画像データ１２０は、オペレータによるサーチモデル２００Ｓの生成作業を補助するためのＧＵＩである。具体的には、サーチモデル設定画像データ１２０は、位置入力画像１２２、１２４及び１２６と、姿勢入力画像１２８、１３０及び１３２と、姿勢間隔入力画像１３４と、モデル読込ボタン画像１３６とを含む。

モデル読込ボタン画像１３６は、メモリ３４に記憶された様々なワークモデルの中から、実際の作業対象とするワークのワークモデルを選択するためのＧＵＩである。例えば、オペレータが、入力装置４０を操作してモデル読込ボタン画像１３６を画像上でクリックすると、メモリ３４に記憶されている種々のワークモデルの一覧（例えば、ファイル名、モデル名、又はワークの識別コード等の一覧表）が表示される。オペレータは、表示されたワークモデルの中から、作業対象とするワークのワークモデルを選択できるようになっている。本実施形態においては、ワークモデルとして、図３に示すワークモデル２００Ｍが選択されたものとする。

位置入力画像１２２、１２４及び１２６は、ワーク座標系Ｃ３の原点位置を設定するためのものである。具体的には、位置入力画像１２２、１２４及び１２６は、それぞれ、初期設定としてのワーク座標系Ｃ３の原点（例えば、ワークモデルの重心又はＣＡＤ原点）を、該ワーク座標系Ｃ３のｘ軸方向、ｙ軸方向、及びｚ軸方向へ変位させる変位量を入力可能となっている。

姿勢入力画像１２８、１３０及び１３２は、ワーク座標系Ｃ３の姿勢（つまり、各軸の方向）を設定するためのものである。具体的には、姿勢入力画像１２８、１３０及び１３２は、それぞれ、初期設定としてのワーク座標系Ｃ３の各軸の方向を、該ワーク座標系Ｃ３のｘ軸周り、ｙ軸周り、及びｚ軸周りへ回転させる角度を入力可能となっている。これら位置入力画像１２２、１２４及び１２６と、姿勢入力画像１２８、１３０及び１３２とによって、オペレータは、サーチモデル２００Ｓに設定されるワーク座標系Ｃ３の位置及び姿勢を任意に調整可能となる。

姿勢間隔入力画像１３４は、サーチモデル２００Ｓを生成するためにワークモデル２００Ｍの姿勢を仮想空間ＶＳ内で変化させる変化量θを入力するためのＧＵＩである。オペレータは、入力装置４０を操作して、姿勢間隔入力画像１３４内に変化量θを、角度θ(図１０の例では、θ＝９°)として入力可能となっている。プロセッサ３２は、入力受付部５６として機能して、変位量θ（角度θ）の入力を受け付ける。

オペレータは、位置入力画像１２２、１２４及び１２６と、姿勢入力画像１２８、１３０及び１３２と、姿勢間隔入力画像１３４とに所望の値を入力した後、モデル読込ボタン画像１３６をクリック操作し、次いで、ワークモデル２００Ｍを選択する。プロセッサ３２は、オペレータによる入力操作に応じて、ワークモデル２００Ｍのモデルデータ（つまり、ＣＡＤデータ）を読み込み、ワーク座標系Ｃ３とともに仮想空間ＶＳ内に配置する。このとき、プロセッサ３２は、ワーク座標系Ｃ３を、位置入力画像１２２、１２４及び１２６と、姿勢入力画像１２８、１３０及び１３２とによって設定された位置及び姿勢に配置する。

次いで、プロセッサ３２は、仮想空間ＶＳに配置したワークモデル２００Ｍを、所定の基準視点ＶＰ（図３）から見たときの第１の姿勢のサーチモデル２００Ｓ₁を生成する。図１１に、基準視点ＶＰから見たときの、第１の姿勢のワークモデル２００Ｍを示す。プロセッサ３２は、ワークモデル２００Ｍのモデルデータに基づいて、第１の姿勢のワークモデル２００Ｍのモデルコンポーネント（面、エッジ等のモデル）に点群を付与することで、第１の姿勢のサーチモデル２００Ｓ₁を生成する。

第１の姿勢のサーチモデル２００Ｓ₁の一例を、図１２に示す。このサーチモデル２００Ｓ₁においては、仮想空間ＶＳ内で基準視点ＶＰから見ることができるワークモデル２００Ｍのモデルコンポーネント（面モデル、エッジモデル）が３次元点群によって表されている。これら点群によって、サーチモデル２００Ｓ₁は、基準視点ＶＰから見た第１の姿勢のワークモデル２００Ｍの形状を表す。また、サーチモデル２００Ｓ₁には、ワーク座標系Ｃ３が設定される。なお、プロセッサ３２は、ワークモデル２００Ｍを読み込んだときに、基準視点ＶＰを仮想空間ＶＳ内の任意の位置に自動で設定してもよい。また、プロセッサ３２は、基準視点ＶＰを定める入力をオペレータから受け付けてもよい。

次いで、プロセッサ３２は、姿勢間隔入力画像１３４を通して入力を受け付けた変化量（角度）θに従って、仮想空間ＶＳ内でワークモデル２００Ｍの姿勢を模擬的に変化させる演算処理を行う。具体的には、プロセッサ３２は、ワークモデル２００Ｍを、ワーク座標系Ｃ３のｘ軸（又はｙ軸）とｚ軸との周りに、姿勢間隔入力画像１３４に入力された角度θだけ回転させる模擬回転動作ＶＲを繰り返し実行することで、ワークモデル２００Ｍの姿勢を仮想空間ＶＳ内で変化させる。

例えば、プロセッサ３２は、第１の姿勢のサーチモデル２００Ｓ₁を生成した後、基準視点ＶＰから見たワークモデル２００Ｍ（図１１）を、ワーク座標系Ｃ３のｘ軸の周りに角度θ（＝９°）だけ回転させる第１の模擬回転動作ＶＲ_xを実行する。その結果、基準視点ＶＰから見たワークモデル２００Ｍの姿勢が、第１の姿勢から第２の姿勢に変化する。このように、本実施形態においては、入力を受け付けた変化量（角度）θに従って、仮想空間ＶＳ内でワークモデル２００Ｍの姿勢を模擬的に変化させるシミュレート部６２（図９）として機能する。

そして、プロセッサ３２は、第２の姿勢のワークモデル２００Ｍに基づいて、基準視点ＶＰから見た第２の姿勢のワークモデル２００Ｍの形状を表す第２の姿勢のサーチモデル２００Ｓ₂を生成する。その後、プロセッサ３２は、ワークモデル２００Ｍをワーク座標系Ｃ３のｘ軸周りに角度θだけ回転させる第１の模擬回転動作ＶＲ_xを繰り返し実行し、該第１の模擬回転動作ＶＲ_xを実行する毎にサーチモデル２００Ｓ_nを生成する。例えば、プロセッサ３２は、ワークモデル２００Ｍをワーク座標系Ｃ３のｘ軸周りに、図１１に示す第１の姿勢を０°として、０°～π（例えば、π＝１８０°又は３６０°）の範囲で、角度θずつ回転させてもよい。

第１の模擬回転動作ＶＲ_xに加えて、プロセッサ３２は、基準視点ＶＰから見たワークモデル２００Ｍを、ワーク座標系Ｃ３のｚ軸の周りに角度θだけ回転させる第２の模擬回転動作ＶＲ_zを繰り返し実行する。そして、プロセッサ３２は、第２の模擬回転動作ＶＲ_zを実行する毎に、サーチモデル２００Ｓ_nを生成する。例えば、プロセッサ３２は、ワークモデル２００Ｍを、ワーク座標系Ｃ３のｚ軸周りに、図１１に示す第１の姿勢を０°として、－π～π（例えば、π＝１８０°）の範囲で、角度θずつ回転させてもよい。

こうして、プロセッサ３２は、模擬回転動作ＶＲ（ＶＲ_x、ＶＲ_z）を繰り返し実行することで、基準視点ＶＰから見たワークモデル２００Ｍの姿勢を、第１の姿勢、第２の姿勢、第３の姿勢、・・・第ｎの姿勢に変化させ、第１の姿勢のサーチモデル２００Ｓ₁、第２の姿勢のサーチモデル２００Ｓ₂、第３の姿勢のサーチモデル２００Ｓ₃、・・・第ｎの姿勢のサーチモデル２００Ｓ_nを生成する。

その結果、プロセッサ３２は、計ｎ個：ｎ＝（π/θ＋1）・（２πｓｉｎφ／θ＋１）のサーチモデル２００Ｓ_nを生成する。なお、φは、ワークモデル２００Ｍを、ワーク座標系Ｃ３のｚ軸周りに回転させた角度を示す。このように、本実施形態においては、プロセッサ３２は、ワークモデル２００Ｍに基づいてサーチモデル２００Ｓ_nを生成するサーチモデル生成部６４（図９）として機能する。このように生成されたサーチモデル２００Ｓ_nは、実際の作業のために視覚センサ１４が撮像したワーク２００の画像データ１４０から該ワーク２００を探索するために用いられる。実際の作業のフローについては、後述する。

なお、プロセッサ３２は、サーチモデル２００Ｓ_nを生成するとき、仮想空間ＶＳ内で基準視点ＶＰから見ることができる表側のモデルコンポーネントの点群データを生成する一方で、基準視点ＶＰから見ることができない裏側のモデルコンポーネント（例えば、図１１のワークモデル２００Ｍのモデルコンポーネントのうち、紙面裏側のエッジモデル及び面モデル）の点群データを生成しなくてもよい。この構成によれば、サーチモデル２００Ｓ_nのデータ量を削減できる。

上述のサーチモデル生成プロセスの結果、モデル読込ボタン画像１３６の操作によって選択されたワークモデル２００Ｍのデータが、その識別情報Ｉｓとともに、動作プログラムＯＰ_Aに関連付けて登録される。また、サーチモデル２００Ｓ_nのデータが、動作プログラムＯＰ_A及びワークモデル２００Ｍ（識別情報Ｉｓ）と関連付けて登録される。こうして、動作プログラムＯＰ_A、教示位置Ｐｗ_t、ワークモデル２００Ｍ、及びサーチモデル２００Ｓ_nは、互いに関連付けられる。

以上のように、本実施形態においては、プロセッサ３２は、入力受付部５６、シミュレート部６２、及びサーチモデル生成部６４として機能して、サーチモデル２００Ｓ_nを生成する。したがって、入力受付部５６、シミュレート部６２、及びサーチモデル生成部６４は、サーチモデル２００Ｓ_nを生成する装置６０（図９）を構成する。

この装置６０においては、入力受付部５６は、ワークモデル２００Ｍの姿勢を仮想空間ＶＳ内で変化させる変化量θの入力を受け付け、シミュレート部６２は、入力受付部５６が受け付けた変化量θに従って、仮想空間ＶＳ内でワークモデル２００Ｍの姿勢を模擬的に変化させる。そして、サーチモデル生成部６４は、シミュレート部６２が姿勢を変化させたときに、仮想空間ＶＳ内の所定の視点ＶＰから見たワークモデル２００Ｍの形状を表すサーチモデル２００Ｓ_nを、ワークモデル２００Ｍに基づいて生成する。

この構成によれば、オペレータは、変化量θを入力するだけで、様々な姿勢のサーチモデル２００Ｓ_nを自動で生成することができる。これにより、サーチモデル２００Ｓ_nを用意する作業を、大幅に簡単化できる。また、オペレータは、変化量θを適宜選択することによって、生成するサーチモデル２００Ｓ_nの姿勢及びその数を、任意に設計できる。したがって、サーチモデル２００Ｓ_nの設計自由度を高めることもできる。

また、装置６０においては、入力受付部５６は、変化量θとして、仮想空間ＶＳに設定された座標系Ｃ（ワーク座標系Ｃ３）の軸（ｘ軸、ｙ軸、ｚ軸）の周りにワークモデル２００Ｍを回転させる角度θの入力を受け付け、シミュレート部６２は、ワークモデル２００Ｍを該軸の周りに角度θだけ回転させる模擬回転動作ＶＲを繰り返し実行することで、ワークモデル２００Ｍの姿勢を変化させる。

そして、サーチモデル生成部６４は、シミュレート部６２が模擬回転動作ＶＲを実行する毎に、サーチモデル２００Ｓ_nを生成する。この構成によれば、オペレータは、仮想空間ＶＳに設定した座標系Ｃの軸を基準として、ワークモデル２００Ｍの姿勢を変化させることができる。よって、生成するサーチモデル２００Ｓ_nの姿勢を、効果的に設計することができる。

また、装置６０においては、シミュレート部６２は、ワークモデル２００Ｍを第１の軸（例えば、ワーク座標系Ｃ３のｘ軸）の周りに回転させる第１の模擬回転動作ＶＲ_xと、ワークモデル２００Ｍを、第１の軸と直交する第２の軸（例えば、ワーク座標系Ｃ３のｚ軸）の周りに回転させる第２の模擬回転動作ＶＲ_zとを実行する。この構成によれば、生成するサーチモデル２００Ｓ_nの姿勢を、より多様且つ簡単に設計できる。

なお、上述の実施形態においては、プロセッサ３２（入力受付部５６）が、変位量θとして、ワーク座標系Ｃ２の軸周りにワークモデル２００Ｍを回転させる角度θの入力を受け付ける場合について述べた。しかしながら、これに限らず、変位量θは、所要値（例えば、θ＝９°）として、予め定められてもよい。

また、図１０に示すサーチモデル設定画像データ１２０は、一例であって、他の如何なるＧＵＩが採用されてもよい。例えば、変位量θは、ワークモデル２００Ｍを、ワーク座標系Ｃ３のｘ軸（又はｙ軸）の周りに回転させる角度θｘと、ワーク座標系Ｃ３のｚ軸の周りに回転させる角度θｚとを有し、サーチモデル設定画像データ１２０は、角度θｘを入力するための姿勢間隔入力画像１３４ｘと、角度θｚを入力するための姿勢間隔入力画像１３４ｚとを有してもよい。なお、プロセッサ３２は、上述したサーチモデル生成プロセスを、コンピュータプログラムＰＧ２に従って実行してもよい。このコンピュータプログラムＰＧ２は、メモリ３４に予め記憶され得る。

次に、図１３を参照して、ロボットシステム１０のさらに他の機能について説明する。プロセッサ３２は、上述の装置５０（つまり、モデル配置部５２、画像生成部５４、入力受付部５６、及び位置記憶部５８）として機能し、上述の教示プロセスを実行して、ワークモデル２００Ｍに対して作業位置Ｐｗ（すなわち、教示位置Ｐｗ_t）を教示する。

ここで、本実施形態においては、この教示プロセスにおいて、１つのワークモデル２００Ｍに対し、計３つの作業位置Ｐｗ₁、Ｐｗ₂及びＰｗ₃が教示されたとする。すなわち、この場合、プロセッサ３２は、入力受付部５６として機能して、１つのワークモデル２００Ｍに対し、計３つの作業位置Ｐｗ₁、Ｐｗ₂及びＰｗ₃を教示する入力Ｆを受け付ける。そして、プロセッサ３２は、位置記憶部５８として機能して、第１の教示位置Ｐｗ_t1（座標Ｑｗ₁）、第２の教示位置Ｐｗ_t2（座標Ｑｗ₂）、及び、第３の教示位置Ｐｗ_t3（座標Ｑｗ₃）を、ワークモデル２００Ｍと関連付けて、メモリ３４に予め記憶する。

また、この教示プロセスにおいて、オペレータは、記憶した３つの教示位置Ｐｗ_tm（ｍ＝１，２，３）に対し、第１の教示位置Ｐｗ_t1に「高優先度」の優先順位を付与し、第２の教示位置Ｐｗ_t2に「中優先度」の優先順位を付与し、第３の教示位置Ｐｗ_t3に「低優先度」の優先順位を付与したものとする。すなわち、この場合、プロセッサ３２は、入力受付部５６として機能して、３つの作業位置Ｐｗ_tmの優先順位（「高優先度」、「中優先度」、「低優先度」）を定める入力Ｇを受け付ける。

また、プロセッサ３２は、上述の装置６０（つまり、入力受付部５６、シミュレート部６２、及びサーチモデル生成部６４）として機能し、上述のサーチモデル生成プロセスを実行して、ワークモデル２００Ｍに基づいて、様々な姿勢のサーチモデル２００Ｓ_nを生成する。生成されたサーチモデル２００Ｓ_nは、メモリ３４に予め記憶される。

プロセッサ３２は、教示プロセス及びサーチモデル生成プロセスの実行後に、図１４に示すフローを実行する。図１４のフローは、容器Ｂ内のワーク２００に対して作業（ワークハンドリング）を行うためのものである。オペレータは、入力装置４０を操作して、図１４のフローを実行するための動作プログラムＯＰとして、上述の教示プロセス及びサーチモデル生成プロセスによって各種パラメータを設定した動作プログラムＯＰ_Aを指定する。

プロセッサ３２は、オペレータ又は上位コントローラから作業開始指令を受け付けたときに、動作プログラムＯＰ_Aを実行し、これにより、図１４のフローを開始する。ステップＳ１において、プロセッサ３２は、ワークモデル２００Ｍに教示された教示位置Ｐｗ_tm（ｍ＝１，２，３）を取得する。具体的には、プロセッサ３２は、実行中の動作プログラムＯＰ_A及びワークモデル２００Ｍに関連付けられて登録されている教示位置Ｐｗ_tmのデータを、メモリ３４から読み出して取得する。

ステップＳ２において、プロセッサ３２は、容器Ｂ内のワーク２００を視覚センサ１４によって撮像する。具体的には、プロセッサ３２は、視覚センサ１４を動作させて、ワーク２００の画像データ１４０を撮像させる。プロセッサ３２は、撮像された画像データ１４０を視覚センサ１４から取得する。画像データ１４０の一例を、図１５に示す。

図１５に示すように、本実施形態においては、画像データ１４０は、３次元点群画像データであって、撮像されたワーク２００の視覚的特徴（つまり、面、エッジ等）は、点群によって表されている。また、該点群を構成する各点は、上述の距離ｄの情報を有している。なお、図１５は、画像データ１４０に、計３個のワーク２００が写っている例を示しているが、実際は３個以上のワークが写り得る点、理解されたい。

ステップＳ３において、プロセッサ３２は、直近のステップＳ２で取得した画像データ１４０に写るワーク２００を、予め生成したサーチモデル２００Ｓ_nを用いて探索することによって、該画像データ１４０に写るワーク２００の検出位置Ｐｄを取得する。具体的には、プロセッサ３２は、画像データ１４０に写るワーク２００を表す点群に、様々な姿勢のサーチモデル２００Ｓ_nを順にマッチングし、該マッチングを実行する毎に、マッチングの結果としてのスコアＳＣを計算する。

このスコアＳＣは、ワーク２００を表す点群とサーチモデル２００Ｓ_nとの類似度（又は、相違度）を表し、スコアＳＣが高いほど（又は、低いほど）、両者が類似していることを示す。プロセッサ３２は、計算したスコアＳＣが所定の閾値を超えたときに、ワーク２００の点群とサーチモデルＳ_nとが高度にマッチングしたと判定する。図１６に、ワーク２００の点群に対してサーチモデル２００Ｓ₁、２００Ｓ₁₁及び２００Ｓ₂₁が高度にマッチングした状態を示す。

ワーク２００の点群にマッチングしたサーチモデル２００Ｓ₁、２００Ｓ₁₁及び２００Ｓ₂₁の各々には、上述のしたように、ワーク座標系Ｃ３が設定されている。プロセッサ３２は、マッチングしたサーチモデル２００Ｓ₁、２００Ｓ₁₁及び２００Ｓ₂₁に設定されたワーク座標系Ｃ３の、ロボット座標系Ｃ１における座標Ｑｄ₁、Ｑｄ₁₁及びＱｄ₂₁をそれぞれ取得する。

ここで、ロボット座標系Ｃ１における視覚センサ１４の位置は、キャリブレーションによって既知とされている。よって、視覚センサ１４が撮像した画像データ１４０に写る点群の、ロボット座標系Ｃ１における座標も既知となる。そのため、プロセッサ３２は、図１６に示すようにサーチモデル２００Ｓ₁、２００Ｓ₁₁及び２００Ｓ₂₁を点群にマッチングしたときの、各々のワーク座標系Ｃ３のロボット座標系Ｃ１における座標Ｑｄ₁、Ｑｄ₁₁及びＱｄ₂₁を取得できる。

こうして、プロセッサ３２は、サーチモデル２００Ｓ_nを用いて、画像データ１４０に写るワーク２００を探索する。プロセッサ３２は、探索の結果として取得した座標Ｑｄ₁、Ｑｄ₁₁及びＱｄ₂₁を、画像データ１４０の撮像時におけるワーク２００の位置を示す検出位置Ｐｄ₁、Ｐｄ₁₁及びＰｄ₂₁として、メモリ３４に記憶する。

このように、本実施形態においては、プロセッサ３２は、画像データ１４０に写るワーク２００を、サーチモデル２００Ｓ_nを用いて探索することによって、該ワーク２００の位置を、検出位置Ｐｄ₁、Ｐｄ₁₁及びＰｄ₂₁（具体的には、座標Ｑｄ₁、Ｑｄ₁₁及びＱｄ₂₁）として取得する位置検出部６６（図１３）として機能する。

ステップＳ４において、プロセッサ３２は、ステップＳ１で取得した教示位置Ｐｗ_tmと、直前のステップＳ３で取得した検出位置Ｐｄ_q（ｑ＝１，１１，２１）とに基づいて、該検出位置Ｐｄ_qを検出したワーク２００に対する作業の目標位置Ｐｔを求める。具体的には、プロセッサ３２は、検出位置Ｐｄ₁を表すロボット座標系Ｃ１の座標Ｑｄ₁と、第１の教示位置Ｐｗ_t1を表すワーク座標系Ｃ３の座標Ｑｗ₁と、ロボット座標系Ｃ１とワーク座標系Ｃ３との変換行列ＭＸ（例えば、同次変換行列、又はヤコビ行列）とを用いて所定の演算（具体的には、座標と変換行列との乗算）をすることで、座標Ｑｗ₁をロボット座標系Ｃ１に表した座標Ｑｒ_{1_1}を求める。

この座標Ｑｒ_{1_1}は、検出位置Ｐｄ₁を検出したワーク２００（つまり、図１６中のサーチモデル２００Ｓ₁をマッチングしたワーク２００）に対して教示された第１の教示位置Ｐｗ_t1の、ロボット座標系Ｃ１における座標を表している。プロセッサ３２は、この座標Ｑｒ_{1_1}を、検出位置Ｐｄ₁のワークＷに対する第１の作業位置Ｐｗ₁を表す第１の目標位置Ｐｔ_{1_1}として求める。

同様にして、プロセッサ３２は、検出位置Ｐｄ₁について、第２の教示位置Ｐｗ_t2に対応する第２の目標位置Ｐｔ_{1_2}（ロボット座標系Ｃ１の座標Ｑｒ_{1_2}）を求めるとともに、第３の教示位置Ｐｗ_t3に対応する第３の目標位置Ｐｔ_{1_3}（ロボット座標系Ｃ１の座標Ｑｒ_{1_3}）を求める。こうして、プロセッサ３２は、ステップＳ３で検出された１つのワーク２００の検出位置Ｐｄ₁について、３つの目標位置Ｐｔ_{1_1}、Ｐｔ_{1_2}及びＰｔ_{1_3}を求める。

同様に、プロセッサ３２は、検出位置Ｐｄ₁₁（つまり、図１６中のサーチモデル２００Ｓ₁₁をマッチングしたワーク２００）について、第１の教示位置Ｐｗ_t1に対応する第１の目標位置Ｐｔ_{11_1}（ロボット座標系Ｃ１の座標Ｑｒ_{2_1}）と、第２の教示位置Ｐｗ_t2に対応する第２の目標位置Ｐｔ_{11_2}（ロボット座標系Ｃ１の座標Ｑｒ_{11_2}）と、第３の教示位置Ｐｗ_t3に対応する第３の目標位置Ｐｔ_{11_3}（ロボット座標系Ｃ１の座標Ｑｒ_{11_3}）とを求める。

また、プロセッサ３２は、検出位置Ｐｄ₂₁（つまり、図１６中のサーチモデル２００Ｓ₂₁をマッチングしたワーク２００）について、第１の教示位置Ｐｗ_t1に対応する第１の目標位置Ｐｔ_{21_1}（ロボット座標系Ｃ１の座標Ｑｒ_{21_1}）と、第２の教示位置Ｐｗ_t2に対応する第２の目標位置Ｐｔ_{21_2}（ロボット座標系Ｃ１の座標Ｑｒ_{21_2}）と、第３の教示位置Ｐｗ_t3に対応する第３の目標位置Ｐｔ_{21_3}（ロボット座標系Ｃ１の座標Ｑｒ_{21_3}）とを求める。

このように、プロセッサ３２は、ステップＳ３で３つの検出位置Ｐｄ_q（ｑ＝１，１１，２１）を取得した場合、計９つの目標位置Ｐｔ_{q_m}（ｑ＝１，１１，２１ ｍ＝１，２，３）を演算により求めることになる。プロセッサ３２は、求めた目標位置Ｐｔ_{q_m}を、メモリ３４に記憶する。このように、本実施形態においては、プロセッサ３２は、ステップＳ１で取得した教示位置Ｐｗ_tmと、ステップＳ３で取得した検出位置Ｐｄ_q（座標Ｑｄ_q）とに基づいて目標位置Ｐｔ_{q_m}（座標Ｑｒ_{q_m}）を演算により求める位置演算部６８（図１３）として機能する。

ステップＳ５において、プロセッサ３２は、直前のステップＳ４で求めた複数の目標位置Ｐｔ_{q_m}をリスト形式で並べたリストデータ１５０を生成する。このリストデータ１５０の一例を、図１７に示す。図１７に示すリストデータ１５０において、「Ｎｏ」と示される列１５２は、目標位置Ｐｔ_{q_m}の順序を表している。また、「検出位置ＩＤ」と示される列１５４は、ステップＳ３で求められた検出位置Ｐｄ_q（ｑ＝１，１１，２１）の識別ＩＤ：「ｑ」を表す。

また、「教示位置ＩＤ」と示される列１５６は、予め教示された教示位置Ｐｗ_tm（ｍ＝１，２，３）の識別ＩＤ：「ｍ」を表す。また、「優先順位」と示される列１５８は、教示位置Ｐｗ_tmの各々に予め付与された優先順位を表す。また、「目標位置」と示される列１６０は、ステップＳ４で求められた目標位置Ｐｔ_{q_m}（つまり、座標Ｑｒ_{q_m}）を示す。また、「ステータス」と示される列１５２は、作業の状態を表す。この列１６２の「作業待ち」は、ワーク２００に対する作業が未完であって、該作業を実行する予定である状態を表している。

ここで、プロセッサ３２は、図１７のリストデータ１５０に含まれる目標位置Ｐｔ_{q_m}を、「優先順位」に従って並べ替える。その結果、プロセッサ３２は、図１８に示すようにリストデータ１５０を更新する。更新後のリストデータ１５０においては、複数の目標位置Ｐｔ_{q_m}が、高優先度、中優先度、及び低優先度の順で並べ替えられている。

図１８に示すリストデータ１５０には、高優先度の目標位置Ｐｔ_{q_m}として、３つの目標位置Ｐｔ_{1_1}（座標Ｑｒ_{1_1}）、Ｐｔ_{11_1}（座標Ｑｒ_{11_1}）、及びＰｔ_{21_1}（座標Ｑｒ_{21_1}）が含まれている。中優先度及び低優先度についても同様に、３つの目標位置Ｐｔ_{q_m}がそれぞれ含まれている。そこで、プロセッサ３２は、同じ優先度が付与された３つの目標位置Ｐｔ_{q_m}に対して作業の順序の優先順位をさらに定めるべく、同じ優先度の目標位置Ｐｔ_{q_m}を、ロボット座標系Ｃ１のｚ座標の大きさ（換言すれば、鉛直方向の高さ）に従ってさらに並べ替える。

仮に、高優先度の目標位置Ｐｔ_{1_1}のｚ座標：ｚ_{1_1}と、目標位置Ｐｔ_{11_1}のｚ座標：ｚ_{11_1}と、目標位置Ｐｔ_{21_1}のｚ座標：ｚ_{21_1}との間で、ｚ_{21_1}＞ｚ_{1_1}＞ｚ_{11_1}の関係が成り立つとする。また、中優先度の目標位置Ｐｔ_{1_2}、ｔ_{11_2}及びｔ_{21_2}のｚ座標について、ｚ_{21_2}＞ｚ_{1_2}＞ｚ_{11_2}の関係が成り立つとする。さらに、低優先度の目標位置Ｐｔ_{1_3}、ｔ_{11_3}及びｔ_{21_3}のｚ座標について、ｚ_{21_3}＞ｚ_{1_3}＞ｚ_{11_3}の関係が成り立つとする。

この場合、プロセッサ３２は、同じ優先度の目標位置Ｐｔ_{q_m}をｚ座標に従って並べ替えて、図１９に示すようにリストデータ１５０をさらに更新する。こうして、プロセッサ３２は、複数の目標位置Ｐｔ_{q_m}を並べたリストデータ１５０を生成する。したがって、プロセッサ３２は、リストデータ１５０を生成するリスト生成部７０（図１３）として機能する。

再度、図１４を参照し、ステップＳ６において、プロセッサ３２は、干渉検証プロセスを実行する。このステップＳ６について、図２０を参照して説明する。ステップＳ２１において、プロセッサ３２は、ロボット１２を目標位置Ｐｔ_{q_m}に位置決めしたときに該ロボット１２と環境物Ｅ（図示せず）との間で干渉が生じるか否かを判定する。

具体的には、プロセッサ３２は、この時点で図１９のリストデータ１５０において「ステータス」が「作業待ち」となっている目標位置Ｐｔ_{q_m}のうち、列１５２に示す順序が最上位（つまり、列１５８の優先順位が最上位）である目標位置Ｐｔ_{q_m}について干渉が生じるか否かを判定する。仮に、このステップＳ２１を第１回目に実行する場合、プロセッサ３２は、図１９のリストデータ１５０の最上位（順序Ｎｏ．１）にある「高優先度」の目標位置Ｐｔ_{21_1}：座標Ｑｒ_{21_1}（ｘ_{21_1}，ｙ_{21_1}，ｚ_{21_1}，ｗ_{21_1}，ｐ_{21_1}，ｒ_{21_1}）に関する干渉判定を行うことになる。

より具体的には、プロセッサ３２は、ステップＳ２で取得した画像データ１４０と、座標Ｑｒ_{21_1}と、ロボットモデル１２Ｍとに基づいて、ロボットモデル１２Ｍのエンドエフェクタモデル２８Ｍを、ロボット座標系Ｃ１の座標Ｑｒ_{21_1}に位置決めしたときに、該エンドエフェクタモデル２８Ｍが環境物Ｅ（例えば、容器Ｂ又は他のワーク２００）のモデルと干渉するか否かを計算する。

プロセッサ３２は、干渉が生じる場合はＹＥＳと判定し、ステップＳ２２へ進む一方、ＮＯと判定した場合は、図１４中のステップＳ７へ進む。このように、本実施形態においては、プロセッサ３２は、ロボット１２を目標位置Ｐｔ_{q_m}に位置決めしたときに該ロボット１２と環境物Ｅとの間で干渉が生じるか否かを判定する干渉判定部７２（図１３）として機能する。

ステップＳ２２において、プロセッサ３２は、ロボット１２と環境物Ｅとの干渉を回避可能か否か判定する。具体的には、プロセッサ３２は、予め定めた干渉回避条件ＣＤに従って、ロボット座標系Ｃ１において、直近のステップＳ２１で干渉判定した目標位置Ｐｔ_{q_m}（例えば、目標位置Ｐｔ_{21_1}）を、干渉を回避可能、且つ作業を実行可能な位置まで変位させた補正位置Ｐｔ_{q_m}’を計算する。

干渉回避条件ＣＤは、例えば、目標位置Ｐｔ_{q_m}からの変位量（具体的には、位置及び姿勢の変化量）の許容範囲を含む。プロセッサ３２は、このステップＳ２２において、補正位置Ｐｔ_{q_m}’を計算できた場合はＹＥＳと判定し、ステップＳ２３へ進む一方、ＮＯと判定した場合はステップＳ２４へ進む。ステップＳ２３において、プロセッサ３２は、直近のステップＳ２１で干渉判定した目標位置Ｐｔ_{q_m}を、直前のステップＳ２２で計算した補正位置Ｐｔ_{q_m}’へ補正する。そして、プロセッサ３２は、図１４中のステップＳ７へ進む。このように、本実施形態においては、プロセッサ３２は、目標位置Ｐｔ_{q_m}を補正する位置補正部７４（図１３）として機能する。

ステップＳ２４において、プロセッサ３２は、ステータスを更新する。具体的には、プロセッサ３２は、リスト生成部７０として機能し、図１９に示すリストデータ１５０において、直近のステップＳ２１で干渉判定した目標位置Ｐｔ_{q_m}（例えば、目標位置Ｐｔ_{21_1}）の「ステータス」を、ステップＳ２２で干渉回避の計算に失敗したことを表す「干渉回避計算失敗」に変更する。なお、プロセッサ３２は、「干渉回避計算失敗」とした目標位置Ｐｔ_{q_m}を、リストデータ１５０から削除してもよい。

そして、プロセッサ３２は、ステップＳ２１へ戻り、図１９に示すリストデータ１５０中の列１５２の順序が次位であり、且つ、ステータスが「作業待ち」となっている目標位置Ｐｔ_{q_m}（例えば、順序Ｎｏ．２の目標位置Ｐｔ_{1_1}）について、ステップＳ２１～Ｓ２４のフローを順次実行する。こうして、プロセッサ３２は、図１９のリストデータ１５０の列１５２に示す順序（換言すれば、列１５８の優先順位）に従って、目標位置Ｐｔ_{q_m}に関して干渉判定を順に行う。

再度、図１４を参照し、ステップＳ７において、プロセッサ３２は、ワーク２００に対する作業を実行する。例えば、プロセッサ３２が、直前のステップＳ２１で、図１９のリストデータ１５０で最上位の目標位置Ｐｔ_{21_1}についてＮＯと判定したとする。この場合、このステップＳ７において、プロセッサ３２は、目標位置Ｐｔ_{21_1}のデータ（座標Ｑｒ_{21_1}）に基づいて、ロボット１２の各サーボモータ３０への指令を生成し、該指令に従ってロボット１２を制御することで、ロボット座標系Ｃ１においてエンドエフェクタ２８を座標Ｑｒ_{21_1}に位置決めする。

そして、プロセッサ３２は、エンドエフェクタ２８を動作させて、図１６中のサーチモデル２００Ｓ₂₁をマッチングしたワーク２００を、第１の作業位置Ｐｗ₁で把持する。こうして、ロボット１２は、ワーク２００に対して作業（ワークハンドリング）を実行する。このように、本実施形態においては、プロセッサ３２は、リストデータ１５０において優先順位が最上位の目標位置Ｐｔ_{21_1}に基づいてロボット１２を制御し、該ロボット１２を該最上位の目標位置Ｐｔ_{21_1}に位置決めする動作指令部７６（図１３）として機能する。

一方、プロセッサ３２が、直前のステップＳ２３で、目標位置Ｐｔ_{q_m}を補正位置Ｐｔ_{q_m}’へ補正したとする。この場合、プロセッサ３２は、このステップＳ７において、補正位置Ｐｔ_{q_m}’に基づいてロボット１２を制御し、ロボット座標系Ｃ１においてエンドエフェクタ２８を該補正位置Ｐｔ_{q_m}’に位置決めする。そして、プロセッサ３２は、エンドエフェクタ２８を動作させて、ワーク２００を、補正位置Ｐｔ_{q_m}’に対応する作業位置Ｐｗ₁’で把持する。

ステップＳ８において、プロセッサ３２は、直前のステップＳ７で実行した作業が適切に完了したか否かを判定する。プロセッサ３２は、ＹＥＳと判定した場合はステップＳ９へ進む一方、ＮＯと判定した場合はステップＳ１０へ進む。ステップＳ９において、プロセッサ３２は、リスト生成部７０として機能し、図１９のリストデータ１５０において、直近のステップＳ７の作業に用いた目標位置Ｐｔ_{q_m}の「ステータス」を、作業が適切に完了したことを表す「作業成功」に変更する。

例えば、図１９のリストデータ１５０の最上位の目標位置Ｐｔ_{21_1}を用いてステップＳ７の作業を完了した場合、プロセッサ３２は、リストデータ１５０において、最上位の目標位置Ｐｔ_{21_1}の「ステータス」を「作業成功」に変更する。このとき、プロセッサ３２は、リストデータ１５０の列１５４において、目標位置Ｐｔ_{21_1}と同じ識別ＩＤ：ｍ＝２１が付された順序Ｎｏ．４の目標位置Ｐｔ_{21_2}と、順序Ｎｏ．７の目標位置Ｐｔ_{21_3}の「ステータス」も、併せて「作業成功」に変更する。なお、プロセッサ３２は、「作業成功」とした目標位置Ｐｔ_{q_m}（例えば、目標位置Ｐｔ_{21_1}、Ｐｔ_{21_2}及びＰｔ_{21_3}）を、リストデータ１５０から削除してもよい。

ステップＳ１０において、プロセッサ３２は、リスト生成部７０として機能し、図１９のリストデータ１５０において、直近のステップＳ７の作業に用いた目標位置Ｐｔ_{q_m}の「ステータス」を、作業が適切に完了しなかったことを表す「作業失敗」に変更する。例えば、プロセッサ３２が、直近のステップＳ７において、順序Ｎｏ．１の目標位置Ｐｔ_{21_1}を用いて作業を実行した結果、ステップＳ８でＮＯと判定したとする。この場合、プロセッサ３２は、このステップＳ１０において、順序Ｎｏ．１の目標位置Ｐｔ_{21_1}の「ステータス」を「作業失敗」に変更する。

このとき、プロセッサ３２は、目標位置Ｐｔ_{21_1}と同じ識別ＩＤ：ｍ＝２１が付された順序Ｎｏ．４の目標位置Ｐｔ_{21_2}、及び、順序Ｎｏ．７の目標位置Ｐｔ_{21_3}の「ステータス」も併せて「作業失敗」に変更してもよい。なお、プロセッサ３２は、「作業失敗」とした目標位置Ｐｔ_{q_m}を、リストデータ１５０から削除してもよい。

ステップＳ１１において、プロセッサ３２は、この時点でリストデータ１５０において列１５２の「ステータス」が「作業待ち」となっている目標位置Ｐｔ_{q_m}が在るか否かを判定する。プロセッサ３２は、ＹＥＳと判定した場合は、ステップＳ６へ戻り、「作業待ち」の目標位置Ｐｔ_{q_m}のうち、列１５２に示す順序が最上位（つまり、列１５８の優先順位が最上位）である目標位置Ｐｔ_{q_m}について、ステップＳ６～Ｓ１０を順次実行する。一方、プロセッサ３２は、ＮＯと判定した場合はステップＳ１２へ進む。

ステップＳ１２において、プロセッサ３２は、容器Ｂ内の全てのワーク２００に対して作業を完了したか否かを判定する。プロセッサ３２は、ＹＥＳと判定した場合は、図１４に示すフローを終了する一方、ＮＯと判定した場合はステップＳ２へ戻る。そして、プロセッサ３２は、ステップＳ２で再度、容器Ｂ内のワーク２００を視覚センサ１４に撮像させ、新たに撮像した画像データ１４０に基づいて、ステップＳ２～Ｓ１２のフローを実行する。

以上のように、本実施形態においては、制御装置１６は、装置５０及び６０、位置検出部６６、位置演算部６８、リスト生成部７０、干渉判定部７２、位置補正部７４、並びに、動作指令部７６の機能を備える。位置検出部６６は、視覚センサ１４が撮像した画像データ１４０に写るワーク２００を、サーチモデル生成部６４が生成したサーチモデル２００Ｓ_nを用いて探索することによって、該画像データ１４０に写る該ワーク２００の位置を、検出位置Ｐｄ_q（座標Ｑｄ_q）として取得する（ステップＳ３）。

位置演算部６８は、位置記憶部５８が記憶した教示位置Ｐｗ_tmと、位置検出部６６が取得した検出位置Ｐｄ_qとに基づいて、該検出位置Ｐｄ_qを検出したワーク２００に対する作業位置Ｐｗ_mを、目標位置Ｐｔ_{q_m}として演算により求める（ステップＳ４）。この構成によれば、上述した利点を有する様々な姿勢のサーチモデル２００Ｓ_nを用いて、画像データ１４０からワーク２００を効果的に探索できる。また、ワークモデル２００Ｍに対して教示した教示位置Ｐｗ_tmを、様々な姿勢のサーチモデル２００Ｓ_nの間で共有して使用し、該サーチモデル２００Ｓ_nによって検出したワーク２００に対する作業の目標位置Ｐｔ_{q_m}を効果的に演算できる。

また、本実施形態においては、リスト生成部７０は、位置演算部６８が求めた複数の目標位置Ｐｔ_{q_m}をリスト形式で並べたリストデータ１５０を生成する（ステップＳ５）。この構成によれば、リストデータ１５０において複数の目標位置Ｐｔ_{q_m}を効果的に管理し、これにより、ワーク２００に対する作業の順序を効果的に管理できる。その結果、作業を円滑に進めることができる。

また、本実施形態においては、入力受付部５６は、教示された作業位置Ｐｗ_mの優先順位を定める入力Ｇをさらに受け付け、リスト生成部７０は、入力受付部５６が受け付けた優先順位に従って複数の目標位置Ｐｔ_{q_m}を並べたリストデータ１５０（図１８、図１９）を生成する。そして、動作指令部７６は、リストデータ１５０において優先順位が最上位の目標位置Ｐｔ_{q_m}（例えば、目標位置Ｐｔ_{21_1}）に基づいてロボット１２を制御し、作業を実行するために該ロボット１２を該最上位の目標位置Ｐｔ_{q_m}に位置決めする（ステップＳ７）。この構成によれば、オペレータは、ロボット１２が作業をし易い目標位置Ｐｔ_{q_m}を優先するように、該優先順位を任意に定めることが可能となる。これにより、作業が失敗する可能性を減少させ、以って、作業効率を向上させることができる。

また、本実施形態においては、干渉判定部７２は、ロボット１２を目標位置Ｐｔ_{q_m}に位置決めしたときに該ロボット１２と環境物Ｅとの間で干渉が生じるか否かを判定する（ステップＳ２１）。ここで、干渉判定部７２は、リストデータ１５０に含まれる複数の目標位置Ｐｔ_{q_m}について、優先順位に従って干渉の判定を順に行う。

そして、動作指令部７６は、リストデータ１５０に含まれる複数の目標位置Ｐｔ_{q_m}のうち、干渉判定部７２によって干渉が生じない（つまり、ステップＳ２１でＮＯ）と判定された最上位の目標位置Ｐｔ_{q_m}（例えば、目標位置Ｐｔ_{21_1}）に基づいて、ロボット１２を制御する。この構成によれば、オペレータが定めた優先順位で干渉判定を行い、干渉が発生しない、より上位の目標位置Ｐｔ_{q_m}を用いて、作業を実行できる。これにより、作業効率を、より効果的に向上させることができる。

なお、上述のステップＳ１０において、プロセッサ３２は、リスト生成部７０として機能して、「ステータス」を「作業失敗」に変更した目標位置Ｐｔ_{q_m}の近傍の目標位置Ｐｔの「ステータス」も、併せて「作業失敗」（又は、「作業保留」）に変更してもよい。例えば、プロセッサ３２は、直近のステップＳ７において、図１９のリストデータ１５０の順序Ｎｏ．１の目標位置Ｐｔ_{21_1}を用いて作業を実行した結果、ステップＳ８でＮＯと判定したとする。

この場合、プロセッサ３２は、上述したように、順序Ｎｏ．１の目標位置Ｐｔ_{21_1}、順序Ｎｏ．４の目標位置Ｐｔ_{21_2}、及び、順序Ｎｏ．７の目標位置Ｐｔ_{21_3}の「ステータス」を併せて「作業失敗」に変更する。このとき、プロセッサ３２は、順序Ｎｏ．１の目標位置Ｐｔ_{21_1}を取得したワーク２００（つまり、図１６中のサーチモデル２００Ｓ₂₁をマッチングしたワーク２００）から所定の距離Δの範囲内のワーク２００について求めた目標位置Ｐｔ_{q_m}の「ステータス」も、「作業失敗」（又は、「作業保留」）に変更する。

例えば、図１６において、サーチモデル２００Ｓ₂₁をマッチングしたワーク２００から所定の距離Δの範囲内に、サーチモデル２００Ｓ₁₁をマッチングしたワーク２００が存在していたとする。この場合、プロセッサ３２は、図１９のリストデータ１５０において、このワーク２００について求めた順序Ｎｏ．３の目標位置Ｐｔ_{11_1}、順序Ｎｏ．６の目標位置Ｐｔ_{11_2}、及び、順序Ｎｏ．９の目標位置Ｐｔ_{11_3}の「ステータス」も、「作業失敗」（又は、「作業保留」）に変更する。

ここで、１つのワーク２００に対する作業が失敗した場合、その近傍に在る別のワーク２００の位置が変化し得る。このような該別のワーク２００の位置の変化が生じた場合、該別のワーク２００について求めた目標位置Ｐｔ_{q_m}にエンドエフェクタ２８を位置決めして作業を実行したとしても、該作業が失敗する可能性が高くなる。よって、作業が失敗した目標位置Ｐｔ_{q_m}の近傍の目標位置Ｐｔの「ステータス」も「作業失敗」に変更することによって、作業の失敗が頻発する可能性を低減し、以って、作業効率を高めることができる。

なお、図１４に示すフローでは、プロセッサ３２は、フロー開始後にステップＳ１を実行する場合について述べた。しかしながら、これに限らず、プロセッサ３２は、例えば、ステップＳ３の後にステップＳ１を実行してもよいし、ステップＳ４の実行前の如何なるタイミングでステップＳ１を実行してもよい。また、図１４のフローから、ステップＳ８～Ｓ１１を省略することもできる。

なお、上述の実施形態においては、プロセッサ３２（装置６０）が、図１４のフローの実行前に、サーチモデル２００Ｓ_nを予め生成する場合について述べた。しかしながら、これに限らず、プロセッサ３２は、図１４のフローの実行中に、サーチモデル２００Ｓ_nを生成してもよい。例えば、オペレータは、図１４のフローの前に、図１０に示すサーチモデル設定画像データ１２０を通して、ワーク座標系Ｃ３の原点位置、及び変化量（角度）θといったパラメータを入力するとともに、モデル読込ボタン画像１３６を通してワークモデル２００Ｍを選択しておく。そして、プロセッサ３２は、図１４のフローの開始後、例えばステップＳ１又はＳ２の直後に、サーチモデル２００Ｓ_nを生成してもよい。

なお、図１３に示す制御装置１６から、リスト生成部７０を省略してもよい。この場合、図１４のフローからステップＳ５が省略される。この場合において、プロセッサ３２は、ステップＳ３で１つのワーク２００を探索し、ステップＳ４で１つの目標位置Ｐｔ_{q_m}を求めてもよい。代替的には、ステップＳ３で複数の検出位置Ｐｄ_qを取得した場合において、プロセッサ３２は、ステップＳ４において、取得した複数の検出位置Ｐｄ_qのうち、ロボット座標系Ｃ１のｚ座標が最も大きい検出位置Ｐｄ_qについて、１つの目標位置Ｐｔ_{q_m}を求めてもよい。

また、上述の実施形態においては、プロセッサ３２（入力受付部５６）が、教示された作業位置Ｐｗ_tmの優先順位を定める入力Ｇを受け付ける場合について述べた。しかしながら、これに限らず、作業位置Ｐｗ_tmに優先順位を付与しなくてもよい。この場合において、プロセッサ３２は、図１７のリストデータ１５０の列１５２に示す順序に従って、図１４中のステップＳ６及びＳ７を実行してもよい。

代替的には、プロセッサ３２は、ステップＳ５において、図１７のリストデータ１５０に含まれる目標位置Ｐｔ_{q_m}を、ロボット座標系Ｃ１のｚ座標の大きさに従って並べ替えてもよいし、又は、容器Ｂの壁面からの距離等、他の如何なる基準に従って並べ替えてもよい。なお、図１３の制御装置１６から、干渉判定部７２を削除してもよい。この場合、図１４のフローから、ステップＳ６が省略される。

次に、図２１を参照して、ロボットシステム１０のさらに他の機能について説明する。本実施形態においては、装置６０は、ワークモデル２００Ｍの対称性に関する対称性情報Ｉｍを取得する情報取得部７８をさらに備える。具体的には、プロセッサ３２は、上述のサーチモデル生成プロセスにおいて、図１０に示すモデル読込ボタン画像１３６への入力操作に応じて選択されたワークモデル２００Ｍを読み込み、仮想空間ＶＳに配置する。

このとき、プロセッサ３２は、情報取得部７８として機能して、ワークモデル２００Ｍのモデルデータ（つまり、ＣＡＤデータ）を解析し、対称性情報Ｉｍを取得する。ここで、ワークは、その全体形状において、所定の対称性を有し得る。例えば、図３に示すワーク２００の場合、その全体形状は、中心軸Ａ３を基準とする回転対称性を有している。また、円筒状のワーク２００に限らず、例えば正ｉ角形（ｉ＝３，４，５，・・・）の全体形状（正４角柱、正３角錐等）を有するワークの場合、その中心軸を基準とした、ｉ回対称性を有することになる。

本実施形態においては、プロセッサ３２は、情報取得部７８として機能して、ワークモデル２００Ｍのモデルデータを解析し、該ワークモデル２００Ｍの中心軸Ａ３（又は、対称軸）のワーク座標系Ｃ３における位置及び方向を示す位置データβと、ｉ回対称性の情報γとを、対称性情報Ｉｍとして自動で取得する。例えば、プロセッサ３２は、対称性の情報γとして、角度α（＝３６０°／ｉ）を取得する。

例えば、図３に示すワーク２００の場合は、α＝０°（又は∞）である一方、正４角柱のワークの場合は、α＝９０°である。プロセッサ３２は、取得した対称性情報Ｉｍ（位置データβ、情報γ：角度α）を、教示された教示位置Ｐｗ_tのデータ（座標Ｑｗ）ととともに、ワークモデル２００Ｍに関連付けて、メモリ３４に記憶する。

次に、図１４及び図２２を参照して、図２１に示す制御装置１６が実行する動作フローについて説明する。本実施形態においては、プロセッサ３２は、図１４中のステップＳ６として、図２２に示すフローを実行する。図２２のフローにおいては、ステップＳ２１でＹＥＳと判定した場合、ステップＳ３１において、プロセッサ３２は、直前のステップＳ２１で干渉性を判定した目標位置Ｐｔ_{q_m}と対称となる対称位置Ｐｔ_{q_m}ｔ”が、ロボット１２と環境物Ｅとの干渉を回避可能か否か判定する。

具体的には、プロセッサ３２は、ワークモデル２００Ｍの対称性情報Ｉｍ（位置データβ、角度α）を入手する。そして、プロセッサ３２は、対称性情報Ｉｍに含まれる位置データβ及び角度αと、干渉を判定した目標位置Ｐｔ_{q_m}とに基づいて、該目標位置Ｐｔ_{q_m}と対称となる対称位置Ｐｔ_{q_m}”を演算する。

この対称位置Ｐｔ_{q_m}”について、図２３を参照して説明する。図２３に示す例では、プロセッサ３２が、直前のステップＳ２１において、ワーク２００Ａに対する作業の目標位置Ｐｔ_{q_m}について干渉を判定し、ＮＯと判定された場合を示している。この目標位置Ｐｔ_{q_m}にエンドエフェクタ２８を位置決めした場合、エンドエフェクタ２８は、容器Ｂ及び他のワーク２００と干渉する。

そこで、プロセッサ３２は、このステップＳ３１において、位置データβに基づいて、直近のステップＳ３でワーク２００Ａにマッチングしたサーチモデル２００Ｓ_nに設定されたワーク座標系Ｃ３に対する中心軸Ａ３の位置を求める。そして、プロセッサ３２は、角度αに基づいて、目標位置Ｐｔ_{q_m}を中心軸Ａ３周りに回転させる回転角度α’を、０°～αの範囲内で、自動で決定する。

本実施形態においては、ワークモデル２００Ｍに関する角度αは、α＝０°（又は∞）であるので、プロセッサ３２は、０°～３６０°の範囲内で任意の回転角度α’を自動で定める。そして、プロセッサ３２は、目標位置Ｐｔ_{q_m}を、中心軸Ａ３の周りに回転角度α’だけ回転させた対称位置Ｐｔ_{q_m}”を演算する。図２３の例では、回転角度α’は、α’＝１８０°として決定されている。なお、仮に角度αが、α＝９０°（つまり、正４角形の外形のワークモデル）である場合、プロセッサ３２は、０°～９０°の範囲内で任意の回転角度α’を自動で定める。このとき、プロセッサ３２は、回転角度α’＝α＝９０°に決定してもよい。

こうして、プロセッサ３２は、中心軸Ａ３を基準として目標位置Ｐｔ_{q_m}と対称となる対称位置Ｐｔ_{q_m}”を求めることができる。次いで、プロセッサ３２は、干渉判定部７２として機能し、この対称位置Ｐｔ_{q_m}”について、再度、干渉判定を行う。対称位置Ｐｔ_{q_m}”にエンドエフェクタ２８を位置決めした場合、図２３に示すように、エンドエフェクタ２８は、容器Ｂ及び他のワーク２００と干渉しない。よって、この場合、プロセッサ３２は、このステップＳ３１でＹＥＳと判定することになる。

仮に、この対称位置Ｐｔ_{q_m}”について干渉が依然として発生すると判定された場合、プロセッサ３２は、０°～αの範囲内（α＝０°の場合は、０°～３６０°の範囲内）で回転角度α’を新たに決定し、新たな対称位置Ｐｔ_{q_m}”を演算して干渉判定を行う。こうして、回転角度α’を０°～αの範囲内で選択して対称位置Ｐｔ_{q_m}”を演算する毎に干渉判定を行うことで、干渉が生じない対称位置Ｐｔ_{q_m}”を検索する。一方、このステップＳ３１において、干渉が生じない対称位置Ｐｔ_{q_m}”を計算できなかった場合、プロセッサ３２は、ＮＯと判定し、ステップＳ２２へ進み、上述したステップＳ２２～Ｓ２４を順次実行する。

ステップＳ３２において、プロセッサ３２は、位置補正部７４として機能して、直近のステップＳ２１で干渉判定した目標位置Ｐｔ_{q_m}を、直前のステップＳ３１で計算した対称位置Ｐｔ_{q_m}”へ補正する。そして、プロセッサ３２は、図１４中のステップＳ７へ進み、このステップＳ７において、動作指令部７６として機能して、対称位置Ｐｔ_{q_m}”に基づいてロボット１２を制御し、図２３に示すようにエンドエフェクタ２８を該対称位置Ｐｔ_{q_m}”に位置決めして、ワーク２００Ａに対する作業を実行する。

以上のように、本実施形態においては、情報取得部７８は、ワーク２００（つまり、ワークモデル２００Ｍ）の対称性に関する対称性情報Ｉｍ（位置データβ、情報γ：角度α）を取得する。そして、位置補正部７４は、情報取得部７８が取得した対称性情報Ｉｍに基づいて、ステップＳ４で位置演算部６８が求めた目標位置Ｐｔ_{q_m}を、該目標位置Ｐｔ_{q_m}と対称となる位置Ｐｔ_{q_m}”へ補正する。

ここで、本実施形態のように、ワークモデル２００Ｍに対して作業位置Ｐｗ_mを教示し、複数のサーチモデル２００Ｓ_nの間で該作業位置Ｐｗ_mを共有した場合、サーチモデル２００Ｓ_n毎に作業位置Ｐｗ_mを教示する場合と比べて、目標位置Ｐｔ_{q_m}を求めたときに図２３で説明したような干渉が発生し易い。本実施形態によれば、ワークモデル２００Ｍに対して作業位置Ｐｗ_mを教示した場合において、対称性情報Ｉｍを利用して目標位置Ｐｔ_{q_m}を対称位置Ｐｔ_{q_m}”へ補正できるので、このような干渉を効果的に回避することができる。

なお、図２２のフローにおいて、プロセッサ３２は、図２０のフローと同様に、ステップＳ２１でＹＥＳと判定したときにステップＳ２２を実行し、該ステップＳ２２でＮＯと判定したときに、ステップＳ３１を実行してもよい。そして、該ステップＳ３１でＹＥＳと判定したときは、ステップＳ３２を実行する一方、ＮＯと判定したときはステップＳ２４へ進んでもよい。

なお、プロセッサ３２は、入力受付部５６として機能して、対称性の情報γの入力を受け付けてもよい。例えば、オペレータは、入力装置４０を操作して、ワーク座標系Ｃ３における中心軸Ａ３（又は、対称軸）の位置データβ、該中心軸Ａ３の位置又は方向を調整させる調整量λ、及び角度α（又は、回転角度α’）の少なくとも１つを入力する。

プロセッサ３２は、入力受付部５６として機能して、位置データβ、調整量λ、及び角度αの入力Ｈを受け付ける。一方、プロセッサ３２は、情報取得部７８として取得した位置データβ及び角度αを、オペレータから受け付けた位置データβ、調整量λ及び角度αに基づいて更新し、更新した位置データβ及び角度αを、対称性情報Ｉｍとして登録してもよい。この場合において、プロセッサ３２は、位置データβ、調整量λ、及び角度αの入力Ｈを受け付けるためのＧＵＩの画像データを生成してもよい。例えば、プロセッサ３２は、このＧＵＩを、図１０に示すサーチモデル設定画像データ１２０に表示してもよい。

なお、上述の実施形態においては、装置６０が情報取得部７８を備える場合について述べたが、装置５０が情報取得部７８の機能を備えてもよい。この場合、プロセッサ３２は、上述の教示プロセスにおいて、モデル配置部５２として機能して、図４に示すモデル読込ボタン画像１０８への入力操作に応じてワークモデル２００Ｍを読み込み、仮想空間ＶＳに配置する。

このとき、プロセッサ３２は、情報取得部７８として機能して、ワークモデル２００Ｍのモデルデータを解析し、対称性情報Ｉｍを取得してもよい。この場合において、プロセッサ３２は、オペレータから位置データβ、調整量λ、及び角度αの入力Ｈを受け付けるためのＧＵＩの画像データを生成し、例えば、図４に示す教示設定画像データ１００に表示してもよい。

なお、制御装置１６は、少なくとも２つのコンピュータから構成されてもよい。このような形態を図２４及び図２５に示す。本実施形態においては、制御装置１６は、ロボットコントローラ１６Ａ、及びパーソナルコンピュータ（ＰＣ）１６Ｂを有する。ロボットコントローラ１６Ａは、プロセッサ３２Ａ、メモリ３４Ａ、Ｉ／Ｏインターフェース３６Ａ、表示装置３８Ａ、及び入力装置４０Ａ等を有する。ＰＣ１６Ｂは、プロセッサ３２Ｂ、メモリ３４Ｂ、Ｉ／Ｏインターフェース３６Ｂ、表示装置３８Ｂ、及び入力装置４０Ｂ等を有する。Ｉ／Ｏインターフェース３６Ａ及び３６Ｂは、互いに通信可能に接続される。

本実施形態においては、装置５０及び６０の機能は、ＰＣ１６Ｂに実装されており、プロセッサ３２Ｂが、上述の教示プロセス、及びサーチモデル生成プロセスを実行する。一方、位置検出部６６、位置演算部６８、リスト生成部７０、干渉判定部７２、及び位置補正部７４の機能は、ロボットコントローラ１６Ａに実装され、プロセッサ３２Ａが、動作プログラムＯＰ_Aを実行することで、図１４のフローを実行する。

なお、装置５０及び６０の機能（つまり、モデル配置部５２、画像生成部５４、入力受付部５６、位置記憶部５８、情報取得部７８、シミュレート部６２、サーチモデル生成部６４）の少なくとも１つが、ロボットコントローラ１６Ａに実装されてもよい。又は、位置検出部６６、位置演算部６８、リスト生成部７０、干渉判定部７２、及び位置補正部７４の機能の少なくとも１つが、ＰＣ１６Ｂに実装されてもよい。

なお、上述の実施形態においては、図１４中のステップＳ３において、プロセッサ３２が、検出位置Ｐｄ_qとして、サーチモデル２００Ｓ_nをマッチングしたときのロボット座標系Ｃ１におけるワーク座標系Ｃ３の座標Ｑｄ_qを取得する場合について述べた。しかしながら、これに限らず、プロセッサ３２は、検出位置Ｐｄ_qとして、ロボット座標系Ｃ１に設定したユーザ座標系Ｃ４おけるワーク座標系Ｃ３の座標を取得してもよい。ユーザ座標系Ｃ４は、例えばオペレータによってロボット座標系Ｃ１の任意の位置（容器Ｂの角等）に設定される制御座標系Ｃである。

この場合において、図１４中のステップＳ４において、プロセッサ３２は、目標位置Ｐｔ_{q_m}を、ユーザ座標系Ｃ４の座標として取得し、ステップＳ７を実行するときに、ユーザ座標系Ｃ４の該座標をロボット座標系Ｃ１の座標に変換してもよい。なお、プロセッサ３２は、ステップＳ３及びＳ４において、検出位置Ｐｄ_q及び目標位置Ｐｔ_{q_m}を、ユーザ座標系Ｃ４以外の如何なる制御座標系Ｃの座標として取得してもよい。

以上、本開示について詳述したが、本開示は上述した個々の実施形態に限定されるものではない。これらの実施形態は、本開示の要旨を逸脱しない範囲で、または、特許請求の範囲に記載された内容とその均等物から導き出される本開示の趣旨を逸脱しない範囲で、種々の追加、置き換え、変更、部分的削除等が可能である。また、これらの実施形態は、組み合わせて実施することもできる。例えば、上述した実施形態において、各動作の順序や各処理の順序は、一例として示したものであり、これらに限定されるものではない。また、上述した実施形態の説明に数値又は数式が用いられている場合も同様である。

本開示は、以下の態様を開示する。
（態様１）ワーク２００を撮像した画像データ１４０から該ワーク２００を探索するためのサーチモデル２００Ｓ_nを生成する装置６０であって、ワーク２００をモデル化したワークモデル２００Ｍの姿勢を仮想空間ＶＳ内で変化させる変化量θの入力を受け付ける入力受付部５６と、入力受付部５６が受け付けた変化量θに従って、仮想空間ＶＳ内でワークモデル２００Ｍの姿勢を模擬的に変化させるシミュレート部６２と、シミュレート部６２が姿勢を変化させたときに、仮想空間ＶＳ内の所定の視点ＶＰから見たワークモデル２００Ｍの形状を表すサーチモデル２００Ｓ_nを、ワークモデル２００Ｍに基づいて生成するサーチモデル生成部６４とを備える、装置６０。
（態様２）入力受付部５６は、変化量θとして、仮想空間ＶＳに設定された座標系Ｃ（ワーク座標系Ｃ３）の軸（ｘ軸、ｙ軸、ｚ軸）の周りにワークモデル２００Ｍを回転させる角度θの入力を受け付け、シミュレート部６２は、ワークモデル２００Ｍを軸の周りに角度θだけ回転させる模擬回転動作ＶＲを繰り返し実行することで、姿勢を変化させ、サーチモデル生成部６４は、シミュレート部６２が模擬回転動作ＶＲを実行する毎に、サーチモデル２００Ｓ_nを生成する、態様１に記載の装置６０。
（態様３）シミュレート部６２は、ワークモデル２００Ｍを第１の軸（ワーク座標系Ｃ３のｘ軸、ｙ軸）の周りに回転させる第１の模擬回転動作ＶＲ_xと、ワークモデルを、第１の軸と直交する第２の軸（ワーク座標系Ｃ３のｚ軸）の周りに回転させる第２の模擬回転動作ＶＲ_zとを実行する、態様２に記載の装置６０。
（態様４）ワークは、対称性を有し、装置６０は、対称性に関する対称性情報Ｉｓを取得する情報取得部７８をさらに備える、態様１～３のいずれかに記載の装置６０。
（態様５）態様１～４のいずれかに記載の装置６０と、画像データ１４０に写るワーク２００を、サーチモデル生成部６４が生成したサーチモデル２００Ｓ_nを用いて探索することによって、該画像データ１４０に写る該ワーク２００の位置Ｐｄを取得する位置検出部６６とを備える、制御装置１６。
（態様６）ワーク２００を撮像した画像データ１４０から該ワーク２００を探索するためのサーチモデル２００Ｓ_nを生成する方法であって、プロセッサ３２が、ワーク２００をモデル化したワークモデル２００Ｍの姿勢を仮想空間ＶＳ内で変化させる変化量θの入力を受け付け、受け付けた変化量θに従って、仮想空間ＶＳ内でワークモデル２００Ｍの姿勢を模擬的に変化させ、姿勢を変化させたときに、仮想空間ＶＳ内の所定の視点ＶＰから見たワークモデル２００Ｍの形状を表すサーチモデル２００Ｓ_nを、ワークモデル２００Ｍに基づいて生成する、方法。
（態様７）ロボット１２がワーク２００に対して作業を行う作業位置Ｐｗを教示する装置５０であって、ワーク２００の全体形状をモデル化したワークモデル２００Ｍに対して作業位置Ｐｗを教示するための入力Ｆ（Ｆｍ、Ｆｒ）を受け付ける入力受付部５６と、入力受付部５６が受け付けた入力Ｆに応じて教示された作業位置Ｐｗを、ワークモデル２００Ｍと作業位置Ｐｗちび位置関係を示す教示位置Ｐｗ_t（座標Ｑｗ）として、ワークモデル２００Ｍと関連付けて記憶する位置記憶部５８であって、記憶した該教示位置Ｐｗ_tを用いて、ワークモデル２００Ｍに基づいて生成されるサーチモデル２００Ｓ_nによって画像データ１４０から探索されたワーク２００に対する作業位置Ｐｗが演算される、位置記憶部５８とを備える、装置５０。
（態様８）ロボット１２をモデル化したロボットモデル１２Ｍ及びロボット１２を制御するための制御座標系Ｃ（ロボット座標系Ｃ１、ツール座標系Ｃ２、ワーク座標系Ｃ３）の少なくとも一方と、ワークモデル２００Ｍとを仮想空間ＶＳに配置するモデル配置部５２と、ワークモデル２００Ｍと、該少なくとも一方とが配置された仮想空間ＶＳの画像データ１１０を生成する画像生成部５４とを備え、入力受付部５６は、教示するための入力Ｆとして、仮想空間ＶＳで該少なくとも一方を模擬的に移動させる入力Ｆｍを受け付ける、態様７に記載の装置６０。
（態様９）ロボット１２は、ワーク２００に対して作業を行うエンドエフェクタ２８を有し、制御座標系Ｃは、エンドエフェクタ２８の位置を規定するツール座標系Ｃ２を有し、モデル配置部５２は、エンドエフェクタ２８をモデル化したエンドエフェクタモデル２８Ｍとツール座標系Ｃ２とを仮想空間ＶＳに配置し、入力受付部５６は、移動させる入力Ｆｍとして、エンドエフェクタモデル２８Ｍを、ツール座標系Ｃ２の原点が変位するように並進移動させる入力Ｆｍ_t（Ｆｍ_t1、Ｆｍ_t2、Ｆｍ_t3）、又は、エンドエフェクタモデル２８Ｍを、ツール座標系Ｃ２の軸（ｘ軸、ｙ軸、ｚ軸）の周りに回転移動させる入力Ｆｍ_r（Ｆｍ_r1、Ｆｍ_r2、Ｆｍ_r3）を受け付ける、態様８に記載の装置６０。
（態様１０）画像生成部５４は、並進移動又は回転移動を選択するための移動選択ボタン画像１１２を画像データ１１０にさらに表示し、入力受付部５６は、移動選択ボタン画像１１２によって並進移動が選択されているときは、並進移動させる入力Ｆｍ_tを受け付け可能となる一方、移動選択ボタン画像１１２によって回転移動が選択されているときは、回転移動させる入力Ｆｍ_rを受け付け可能となる、態様９に記載の装置６０。
（態様１１）態様７～１０のいずれかに記載の装置６０と、画像データ１４０に写るワーク２００を、サーチモデル２００Ｓ_nを用いて探索することによって、該画像データ１４０に写る該ワーク２００の位置を検出位置Ｐｄ_q（座標Ｑｄ_q）として取得する位置検出部６６と、位置記憶部５８が記憶した教示位置Ｐｗ_tmと、位置検出部６６が取得した検出位置Ｐｄ_qとに基づいて、該検出位置Ｐｄ_qを検出したワーク２００に対する作業位置Ｐｗ_mを、目標位置Ｐｔ_{q_m}として演算により求める位置演算部６８とを備える、制御装置１６。
（態様１２）位置演算部６８が求めた複数の目標位置Ｐｔ_{q_m}をリスト形式で並べたリストデータ１５０を生成するリスト生成部７０をさらに備える、態様１１に記載の制御装置１６。
（態様１３）入力受付部５６は、教示された作業位置Ｐｗ_mの優先順位を定める入力Ｇをさらに受け付け、リスト生成部７０は、入力受付部５６が受け付けた優先順位に従って複数の目標位置Ｐｔ_{q_m}を並べたリストデータ１５０を生成し、制御装置１６は、リストデータ１５０において優先順位が最上位の目標位置Ｐｔ_{q_m}に基づいてロボット１２を制御し、作業を実行するために該ロボット１２を該最上位の目標位置Ｐｔ_{q_m}に位置決めする動作指令部７６をさらに備える、態様１２に記載の制御装置１６。
（態様１４）ロボット１２を目標位置Ｐｔ_{q_m}に位置決めしたときに該ロボット１２と環境物Ｅとの間で干渉が生じるか否かを判定する干渉判定部７２をさらに備え、干渉判定部７２は、リストデータ１５０に含まれる複数の目標位置Ｐｔ_{q_m}について、優先順位に従って干渉の判定を順に行い、動作指令部７６は、リストデータ１５０に含まれる複数の目標位置Ｐｔ_{q_m}のうち、干渉判定部７２によって干渉が生じないと判定された最上位の目標位置Ｐｔ_{q_m}に基づいて、ロボット１２を制御する、態様１３に記載の制御装置１６。
（態様１５）全体形状は、対称性を有し、制御装置１６は、該対称性に関する対称性情報Ｉｓに基づいて、位置演算部６８が求めた目標位置Ｐｔ_{q_m}を、該目標位置Ｐｔ_{q_m}と対称となる位置Ｐｔ_{q_m}”へ補正する位置補正部７４をさらに備える、態様１１～１４のいずれかに記載の制御装置１６。
（態様１６）ロボット１２がワーク２００に対して作業を行う作業位置Ｐｗを教示する方法であって、プロセッサ３２が、ワーク２００の全体形状をモデル化したワークモデル２００Ｍに対して作業位置Ｐｗを教示するための入力Ｆ（Ｆｍ、Ｆｒ）を受け付け、受け付けた入力Ｆに応じて教示された作業位置Ｐｗを、教示位置Ｐｗ_t（座標Ｑｗ）として、ワークモデル２００Ｍと関連付けて記憶し、記憶した教示位置Ｐｗ_tを用いて、ワークモデル２００Ｍに基づいて生成されるサーチモデル２００Ｓ_nによって画像データ１４０から探索されたワーク２００に対する作業位置Ｐｗが演算される、方法。

１０ ロボットシステム
１２ ロボット
１４ 視覚センサ
１６ 制御装置
３２ プロセッサ
５０，６０ 装置
５２ モデル配置部
５４ 画像生成部
５６ 入力受付部
５８ 位置記憶部
６２ シミュレート部
６４ サーチモデル生成部
６６ 位置検出部
６８ 位置演算部
７０ リスト生成部
７２ 干渉判定部
７４ 位置補正部
７６ 動作指令部
７８ 情報取得部

Claims (16)

1. ワークを撮像した画像データから該ワークを探索するためのサーチモデルを生成する装置であって、
   前記ワークをモデル化したワークモデルの姿勢を仮想空間内で変化させる変化量の入力を受け付ける入力受付部と、
   前記入力受付部が受け付けた前記変化量に従って、前記仮想空間内で前記ワークモデルの姿勢を模擬的に変化させるシミュレート部と、
   前記シミュレート部が前記姿勢を変化させたときに、前記仮想空間内の所定の視点から見た前記ワークモデルの形状を表す前記サーチモデルを、前記ワークモデルに基づいて生成するサーチモデル生成部と、を備える、装置。
2. 前記入力受付部は、前記変化量として、前記仮想空間に設定された座標系の軸の周りに前記ワークモデルを回転させる角度の入力を受け付け、
   前記シミュレート部は、前記ワークモデルを前記軸の周りに前記角度だけ回転させる模擬回転動作を繰り返し実行することで、前記姿勢を変化させ、
   前記サーチモデル生成部は、前記シミュレート部が前記模擬回転動作を実行する毎に、前記サーチモデルを生成する、請求項１に記載の装置。
3. 前記シミュレート部は、
   前記ワークモデルを第１の前記軸の周りに回転させる第１の前記模擬回転動作と、
   前記ワークモデルを、前記第１の軸と直交する第２の前記軸の周りに回転させる第２の前記模擬回転動作と、を実行する、請求項２に記載の装置。
4. 前記ワークは、対称性を有し、
   前記装置は、前記対称性に関する対称性情報を取得する情報取得部をさらに備える、請求項１に記載の装置。
5. 請求項１に記載の装置と、
   前記画像データに写る前記ワークを、前記サーチモデル生成部が生成した前記サーチモデルを用いて探索することによって、該画像データに写る該ワークの位置を取得する位置検出部と、を備える、制御装置。
6. ワークを撮像した画像データから該ワークを探索するためのサーチモデルを生成する方法であって、
   プロセッサが、
   前記ワークをモデル化したワークモデルの姿勢を仮想空間内で変化させる変化量の入力を受け付け、
   受け付けた前記変化量に従って、前記仮想空間内で前記ワークモデルの姿勢を模擬的に変化させ、
   前記姿勢を変化させたときに、前記仮想空間内の所定の視点から見た前記ワークモデルの形状を表す前記サーチモデルを、前記ワークモデルに基づいて生成する、方法。
7. ロボットがワークに対して作業を行う作業位置を教示する装置であって、
   前記ワークの全体形状をモデル化したワークモデルに対して前記作業位置を教示するための入力を受け付ける入力受付部と、
   前記入力受付部が受け付けた前記入力に応じて教示された前記作業位置を、前記ワークモデルと該作業位置との位置関係を示す教示位置として、該ワークモデルと関連付けて記憶する位置記憶部であって、記憶した該教示位置を用いて、前記ワークモデルに基づいて生成されるサーチモデルによって画像データから探索された前記ワークに対する前記作業位置が演算される、位置記憶部と、を備える、装置。
8. 前記ロボットをモデル化したロボットモデル及び該ロボットを制御するための制御座標系の少なくとも一方と、前記ワークモデルと、を仮想空間に配置するモデル配置部と、
   前記ワークモデルと、前記少なくとも一方とが配置された前記仮想空間の画像データを生成する画像生成部と、を備え、
   前記入力受付部は、前記教示するための入力として、前記仮想空間で前記少なくとも一方を模擬的に移動させる入力を受け付ける、請求項７に記載の装置。
9. 前記ロボットは、前記ワークに対して前記作業を行うエンドエフェクタを有し、
   前記制御座標系は、前記エンドエフェクタの位置を規定するツール座標系を有し、
   前記モデル配置部は、前記エンドエフェクタをモデル化したエンドエフェクタモデルと前記ツール座標系とを前記仮想空間に配置し、
   前記入力受付部は、前記移動させる入力として、
   前記エンドエフェクタモデルを、前記ツール座標系の原点が変位するように並進移動させる入力、又は、
   前記エンドエフェクタモデルを、前記ツール座標系の軸の周りに回転移動させる入力、を受け付ける、請求項８に記載の装置。
10. 前記画像生成部は、前記並進移動又は前記回転移動を選択するための移動選択ボタン画像を前記画像データにさらに表示し、
    前記入力受付部は、
    前記移動選択ボタン画像によって前記並進移動が選択されているときは、前記並進移動させる入力を受け付け可能となる一方、
    前記移動選択ボタン画像によって前記回転移動が選択されているときは、前記回転移動させる入力を受け付け可能となる、請求項９に記載の装置。
11. 請求項７に記載の装置と、
    前記画像データに写る前記ワークを、前記サーチモデルを用いて探索することによって、該画像データに写る該ワークの位置を検出位置として取得する位置検出部と、
    前記位置記憶部が記憶した前記教示位置と、前記位置検出部が取得した前記検出位置とに基づいて、該検出位置を検出した前記ワークに対する前記作業位置を、目標位置として演算により求める位置演算部と、を備える、制御装置。
12. 前記位置演算部が求めた複数の前記目標位置をリスト形式で並べたリストデータを生成するリスト生成部をさらに備える、請求項１１に記載の制御装置。
13. 前記入力受付部は、教示された前記作業位置の優先順位を定める入力をさらに受け付け、
    前記リスト生成部は、前記入力受付部が受け付けた前記優先順位に従って前記複数の目標位置を並べた前記リストデータを生成し、
    前記制御装置は、前記リストデータにおいて前記優先順位が最上位の前記目標位置に基づいて前記ロボットを制御し、前記作業を実行するために該ロボットを該最上位の目標位置に位置決めする動作指令部をさらに備える、請求項１２に記載の制御装置。
14. 前記ロボットを前記目標位置に位置決めしたときに該ロボットと環境物との間で干渉が生じるか否かを判定する干渉判定部をさらに備え、
    前記干渉判定部は、前記リストデータに含まれる前記複数の目標位置について、前記優先順位に従って前記干渉の判定を順に行い、
    前記動作指令部は、前記リストデータに含まれる前記複数の目標位置のうち、前記干渉判定部によって前記干渉が生じないと判定された前記最上位の目標位置に基づいて、前記ロボットを制御する、請求項１３に記載の制御装置。
15. 前記全体形状は、対称性を有し、
    前記制御装置は、前記対称性に関する対称性情報に基づいて、前記位置演算部が求めた前記目標位置を、該目標位置と対称となる位置へ補正する位置補正部をさらに備える、請求項１１に記載の制御装置。
16. ロボットがワークに対して作業を行う作業位置を教示する方法であって、
    プロセッサが、
    前記ワークの全体形状をモデル化したワークモデルに対して前記作業位置を教示するための入力を受け付け、
    受け付けた前記入力に応じて教示された前記作業位置を、前記ワークモデルと該作業位置との位置関係を示す教示位置として、前記ワークモデルと関連付けて記憶し、
    記憶した前記教示位置を用いて、前記ワークモデルに基づいて生成されるサーチモデルによって画像データから探索された前記ワークに対する前記作業位置が演算される、方法。

Images