JP2024005599A - データ収集装置および制御装置 - Google Patents

Abstract

【課題】機械学習用のデータセットを効率的に収集するデータ収集装置および制御装置を提供する。【解決手段】ロボットアームで変形させた対象物を撮影した画像データを取得する取得部と、対象物の変形量に基づいて、対象物が柔軟物であるか否かを判定する判定部と、ロボットアームの制御に用いるために対象物の画像データを判定部の判定結果と対応付けて保存する記憶部と、を備える。【選択図】図１

Description

本発明は、ＡＩ（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）学習用のデータセットを収集するデータ収集装置および制御装置に関する。

近年のロボット技術の進歩により、工場や物流倉庫におけるロボットシステムによる自動化が進んでいる。このようなロボットシステムを一般消費者が多く存在する店舗などの現場に適用させるためには、ロボットシステムが環境に対してロバストである必要がある。一方、特に画像認識に関しては、変化する環境に対するロバスト性を担保することが困難である。環境に対するロバストな画像認識を実現するためには、ＡＩによる画像認識技術が必要となる。ＡＩの画像認識によって対象物の種類、位置および姿勢などを認識することで、ロボットがその対象物を把持したり操作したりすることが可能となる。

しかし、ＡＩによる画像認識には膨大な量の学習用のデータセットが必要となる。膨大な量の学習用のデータセットを収集するためにはコストがかかるため、収集コストを削減することには大きな価値がある。また、対象物の位置と姿勢を認識するためには、対象物を撮影するだけでなく、撮影した画像に対して対象物の位置情報および姿勢情報をラベリングすることが重要である。そこで、対象物の画像と対象物周辺の既知の位置に置かれたマーカーを認識し、マーカーからの相対位置情報および姿勢情報に基づいて対象物の位置および姿勢を推定する方法が開示されている（特許文献１）。

国際公開第２０１９／１８９６６１号

しかし、上記従来の方法では、剛体物からなる対象物については、画像に対して対象物の位置および姿勢をラベリングすることが可能であるが、柔軟物からなる対象物に対しては常に同一の変形状態で撮影を行うことになる。このため、柔軟物の様々な変形状態をデータセットに加えることができないおそれがある。また、柔軟物からなる対象物がデータセット収集時と異なる変形状態となった場合に、対象物の正しい位置および姿勢を推定することができないおそれもある。

本開示は、機械学習用のデータセットを効率的に収集するデータ収集装置および制御装置を提供することを目的とする。

本開示のデータ収集装置は、ロボットアームで変形させた対象物を撮影した画像データを取得する取得部と、対象物の変形量に基づいて、対象物が柔軟物であるか否かを判定する判定部と、ロボットアームの制御に用いるために対象物の画像データを判定部の判定結果と対応付けて保存する記憶部と、を備える。

本開示の制御装置は、ロボットアームで変形させた対象物を撮影した画像データに対して、対象物の変形量に基づいて対象物が柔軟物であるか否かを判定した判定結果が対応付けられたデータを教師データとして訓練した制御モデルを記憶する記憶部と、記憶部に記憶された制御モデルに基づいて、ロボットアームを制御する制御部と、を備える。

本開示に依れば、機械学習用のデータセットを効率的に収集することができる。

実施の形態１に係るデータ収集装置を備えるロボットアーム装置の構成を示す図である。 画像データに対して、判定結果と、撮影位置に対する対象物の位置および姿勢とをラベリングした様子を示す図である。 ロボットアームの把持位置を算出する様子を示す図である。 実施の形態１に係るデータ収集装置の構成を示すブロック図である。 実施の形態１の動作を示すフローチャートである。 ロボットアームの把持位置を算出する様子を示す図である。 実施の形態２に係る学習装置の構成を示すブロック図である。 実施の形態３に係る制御装置を備えるロボットアーム装置の構成を示す図である。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本開示のデータ収集装置は、様々な変形状態をとる柔軟物からなる対象物の位置および姿勢を正確に推定するために、ロボットアームと回転テーブルを動作させることでカメラと対象物の相対位置と対象物の姿勢を変更する。そして、データ収集装置は、ロボットハンドを用いて対象物に変形を加えながら、カメラによって対象物を撮影し、ロボットアームの幾何関係（幾何学的情報）から算出される、カメラに対する対象物の位置と対象物の姿勢とを画像データにラベリングする。

まず、本開示に係るデータ収集装置２１を備えるロボットアーム装置１００の構成について説明する。図１に、本実施の形態１におけるロボットアーム装置１００の全体の構成を示す。

ロボットアーム装置１００は、ロボットアーム７と、カメラ４と、回転テーブル５と、制御装置８と、データ収集装置２１とを含む。制御装置８とデータ収集装置２１は、互いに電気的に接続されている。また、制御装置８とデータ収集装置２１は、それぞれ、ロボットアーム７、カメラ４および回転テーブル５に電気的に接続されている。

ロボットアーム７は、隣接するリンク同士を複数の関節で接続した垂直多関節型ロボット２と、手先として機能するロボットハンド３とを含む。垂直多関節型ロボット２は、延在形状を有し、基端部が固定用土台１に固定される。この固定用土台１は、ロボットアーム７と回転テーブル５を固定するためのもので、例えば床に固定されている。ロボットハンド３は、回転テーブル５に載置された対象物Ｔを把持するもので、垂直多関節型ロボット２の先端部に取り付けられる。

カメラ４は、回転テーブル５に載置された対象物Ｔを撮影するもので、垂直多関節型ロボット２の先端部に取り付けられる。

回転テーブル５は、カメラ４に対する対象物Ｔの姿勢（撮影角度）を変更するもので、固定用土台１に固定される。回転テーブル５は、サーボモータによって回転し、例えば鉛直方向に延びる回転軸の周方向６に回転してもよい。なお、本実施の形態では、回転テーブル５を使用したが、対象物Ｔの撮影角度を変更できればよく、これに限られるものではない。例えば、回転テーブル５を使用する代わりに複数台のカメラを配置してもよい。これにより、効率的に撮影を行うことが可能となる。

データ収集装置２１は、取得部２２と、判定部２３と、記憶部２４とを有する。

取得部２２は、ロボットアーム７のロボットハンド３で変形された対象物Ｔがカメラ４で撮影されると、判定部２３で対象物Ｔの柔軟性を判定するために、対象物Ｔを撮影した画像データをカメラ４から取得するものである。また、取得部２２は、位置・姿勢算出部２２ａと、面積算出部２２ｂとを有する。

面積算出部２２ｂは、ロボットハンド３による変形前の対象物Ｔの画像データと変形後の対象物Ｔの画像データとを取得し、それぞれの画像データおける対象物Ｔの領域面積を算出する。例えば、面積算出部２２ｂは、対象物Ｔが存在していない状態で回転テーブル５を撮影した背景画像データをカメラ４から予め取得し、その背景画像データに基づいて、対象物Ｔを撮影した画像データから背景部分を差分することにより、対象物Ｔの存在する領域である対象物領域を抽出してもよい。そして、面積算出部２２ｂは、抽出された対象物領域に基づいて、対象物Ｔの領域面積を算出する。この領域面積は、対象物Ｔの変形量に応じて変化するため、対象物Ｔの柔軟性を示す指標となり得るものである。

位置・姿勢算出部２２ａは、例えばロボットアーム７の幾何情報に基づいて、画像データの撮影位置に対する対象物Ｔの位置および姿勢を算出する。例えば、位置・姿勢算出部２２ａは、判定部２３で柔軟物か否かを判定された対象物Ｔについて様々な位置および姿勢に変化させ、その画像データの撮影位置に対する対象物Ｔの位置および姿勢を順次算出してもよい。

このとき、ロボットアーム７とカメラ４と回転テーブル５は、それぞれ固定用土台１を介して幾何的に拘束されている。また、位置・姿勢算出部２２ａには、カメラ４の位置および姿勢を示すカメラ座標系１２、ロボットアーム７の基端部の位置および姿勢を示すベース座標系１３および回転テーブル５の位置および回転方向を示す対象物座標系１４が予め設定されている。ここで、カメラ座標系１２は、例えば図１に示すように、互いに直交するｘ，ｙ，ｚ方向の単位ベクトル（ｅ_ｘ，ｅ_ｙ，ｅ_ｚ）から構成され、カメラ４と共に位置および姿勢が変更するように設定してもよい。同様に、ベース座標系１３および対象物座標系１４は、それぞれ、互いに直交するｘ，ｙ，ｚ方向の単位ベクトル（ｅ_ｘ，ｅ_ｙ，ｅ_ｚ）から構成され、ロボットアーム７の基端部および回転テーブル５と共に位置および姿勢が変更するように設定してもよい。なお、回転テーブル５の位置および回転方向に応じて対象物Ｔの位置および姿勢が変化するため、対象物座標系１４は、対象物Ｔの位置および姿勢を示すものとなる。そこで、位置・姿勢算出部２２ａは、ロボットアーム７の各関節角度と回転テーブル５の回転角度に基づいて、これらの座標系の変化を算出し、算出された座標系の変化に基づいてカメラ４に対する対象物Ｔの位置および姿勢を算出してもよい。

具体的には、位置・姿勢算出部２２ａは、ロボットアーム７の各関節角度に基づいて、カメラ座標系１２に対するロボットアーム７のベース座標系１３の位置および姿勢を算出する。また、位置・姿勢算出部２２ａは、回転テーブル５の回転角度に基づいて、ロボットアーム７のベース座標系１３に対する対象物Ｔの対象物座標系１４の位置および姿勢を算出する。これにより、ロボットアーム７のベース座標系１３を介して、カメラ座標系１２と対象物座標系１４とが関連付けられることになる。そこで、位置・姿勢算出部２２ａは、カメラ座標系１２に対するベース座標系１３の位置および姿勢と、ベース座標系１３に対する対象物座標系１４の位置および姿勢とに基づいて、カメラ座標系１２に対する対象物座標系１４の位置および姿勢を算出してもよい。例えば、ベース座標系１３に対するカメラ座標系１２の位置（ｘ、ｙ、ｚ）が（－２，－２，－１）で、ベース座標系１３に対する対象物座標系１４の位置が（－２，－２，０）である場合に、カメラ座標系１２に対する対象物座標系１４の位置は（０，０，１）と算出されることになる。同様に、カメラ座標系１２に対する対象物座標系１４の姿勢の変化は、例えば、ベース座標系１３の単位ベクトルに対するカメラ座標系１２の単位ベクトルの方向と、ベース座標系１３の単位ベクトルに対する対象物座標系１４の単位ベクトルの方向とに基づいて算出されてもよい。

判定部２３は、対象物Ｔの変形量に基づいて対象物Ｔが柔軟物であるか否かを判定する。例えば、判定部２３は、面積算出部２２ｂで算出された対象物Ｔの領域面積に基づいて、対象物Ｔが柔軟物であるか否かを判定してもよい。

記憶部２４は、ロボットアーム７の制御に用いるために、対象物Ｔの画像データを判定部２３の判定結果、すなわち、「柔軟物である」か、又は、「柔軟物でない」と対応付けたデータセットを保存する。また、記憶部２４は、位置・姿勢算出部２２ａで算出された撮影位置に対する対象物Ｔの位置および姿勢を、画像データとさらに対応付けて保存してもよい。

例えば、図２に示すように、記憶部２４は、対象物Ｔを撮影した画像データＤに対して、判定結果と、撮影位置に対する対象物Ｔの位置および姿勢とをラベリングして保存してもよい。このように、画像データＤに対する、判定結果と、対象物Ｔの位置および姿勢とのラベリングにより一組とされたデータは、後述するように機械学習モデルの訓練に利用することができる。

なお、判定部２３は、対象物Ｔが剛体物であるか否かを判定してもよい。例えば、判定部２３は、柔軟物以外の対象物Ｔを剛体物と判定してもよい。この場合、記憶部２４は、柔軟物からなる対象物Ｔだけでなく、剛体物からなる対象物Ｔの画像データを記憶してもよい。このとき、対象物Ｔが柔軟物である場合と剛体物である場合とで、記憶部２４に記憶される画像データＤの撮影方法が異なってもよい。例えば、対象物Ｔが柔軟物である場合、ロボットハンド３で外力を付加した後に対象物Ｔを撮影し、その画像データＤを記憶部２４に記憶してもよい。これにより、様々な形状に変形された対象物Ｔの画像データＤを取得することができる。一方、対象物Ｔが剛体物である場合、外力を付加することなく対象物Ｔを撮影し、その画像データＤを記憶部２４に記憶してもよい。

制御装置８は、対象物Ｔを撮影した画像データＤを含む機械学習用のデータセットをデータ収集装置２１に収集するために、ロボットアーム装置１００の各部を制御する。

次に、判定部２３が対象物Ｔを判定する一例について説明する。

まず、制御装置８が、カメラ座標系１２、ベース座標系１３および対象物座標系１４に基づいてロボットアーム７の各関節を動作させ、カメラ４が配置されたロボットアーム７の先端部を予め設定された初期位置および初期姿勢に移動させる。この初期位置および初期姿勢は、例えば、カメラ４の撮影領域中心付近に対象物Ｔの全体が含まれるように予め設定されてもよい。

制御装置８は、ロボットアーム７を初期位置および初期姿勢とすると、対象物Ｔを撮影するようにカメラ４を制御する。カメラ４は、撮影した画像データＤを取得部２２の面積算出部２２ｂに出力する。そして、面積算出部２２ｂが、カメラ４で撮影された画像データＤから、対象物Ｔに対応する対象物領域を抽出する。

続いて、制御装置８は、ロボットハンド３を制御して、対象物Ｔを予め設定された基準把持力で把持させ、その把持状態から数秒経過後に対象物Ｔを解放させる。その後、ロボットアーム７が初期位置および初期姿勢に戻されて、対象物Ｔがカメラ４で再度撮影される。そして、面積算出部２２ｂが、カメラ４で撮影された画像データＤから対象物領域を抽出する。面積算出部２２ｂは、抽出した対象物領域に基づいて画像データＤにおける対象物領域の面積を算出し、把持前の対象物領域の面積に対する把持後の対象物領域の面積の減少率を下記式１によって算出する。

判定部２３は、対象物領域の面積の減少率が基準値以上である場合、対象物Ｔが柔軟物であると判定する。一方、判定部２３は、対象物領域の面積の減少率が基準値未満である場合、対象物Ｔが剛体物であると判定する。

続いて、取得部２２は、判定部２３で柔軟物と判定された対象物Ｔについて様々な変形状態を撮影した画像データＤを収集する。このとき、制御装置８は、対象物Ｔを変形させるために、対象物Ｔを把持して外力を加えるようにロボットハンド３を制御してもよい。

次に、画像データＤの収集のために対象物Ｔをロボットハンド３で変形させる一例について説明する。

ロボットハンド３は、対象物Ｔを挟み込むことで、柔軟物である対象物Ｔを変形させる。このとき、対象物Ｔの変形パターン画像を効率的に収集するためには、対象物Ｔを短時間で様々な変形状態に変えることが求められ、それを実現するためにはロボットハンド３の把持力と把持位置を速やかに決定することが必要となる。

そこで、図３に示すように、面積算出部２２ｂは、変形していない状態（ロボットハンド３で力を加えない状態）で対象物Ｔを撮影した画像データＤから対象物領域Ｒを抽出する。続いて、面積算出部２２ｂは、抽出された対象物領域Ｒの輪郭に基づいて、回転テーブル５に平行な幅方向Ｄ１の輪郭幅Ｗを複数の高さ位置（回転テーブル５に直交する高さ方向Ｄ２の位置）について算出する。そして、制御装置８は、輪郭幅Ｗが最も大きい位置を把持位置Ｐ１およびＰ２として選択し、その把持位置Ｐ１およびＰ２を把持するようにロボットハンド３を制御する。

これにより、判定部２３において対象物Ｔが柔軟物であると判定された場合、記憶部２４には、位置Ｐ１およびＰ２を把持して対象物Ｔを変形させた画像データＤが保存されることになる。すなわち、記憶部２４は、変形していない状態の対象物Ｔにおいて所定の幅方向Ｄ１における輪郭幅Ｗが最長となる位置Ｐ１およびＰ２をロボットアーム７で変形させた対象物Ｔの画像データＤを判定部２３の判定結果と対応付けて保存する。このように、ロボットハンド３が、対象物Ｔの中で輪郭幅Ｗが最長となる位置Ｐ１およびＰ２を把持することで、対象物Ｔをより大きく変形させることができ、効率的な変形パターン画像を収集することができる。

このとき、ロボットハンド３の把持力は、把持位置Ｐ１およびＰ２の輪郭幅Ｗ（把持輪郭幅）の大きさに応じて設定してもよい。例えば、制御装置８は、予め設定された基準輪郭幅に対する把持輪郭幅Ｗの大きさに応じてロボットハンド３の把持力を決定してもよい。これにより、対象物Ｔの中で最も幅が大きい（膨らみが大きい）位置を、その幅の大きさに応じた把持力で把持することができる。ロボットハンド３の把持力を求める計算式を下記式２に示す。

制御装置８は、把持輪郭幅Ｗが基準輪郭幅と同じである場合は、予め設定された基準把持力で把持するようにロボットハンド３を制御する。また、制御装置８は、把持輪郭幅Ｗが基準輪郭幅よりも大きい場合は、基準輪郭幅に対する把持輪郭幅Ｗの増加量に応じて、基準把持力より大きな把持力で把持するようにロボットハンド３を制御する。このとき、制御装置８は、予め設定された最大把持力を超える場合は、その最大把持力で把持するようにロボットハンド３を制御する。これにより、様々な対象物Ｔに対してほぼ同じ変形量を加えた画像データＤを収集することができる。

上記の実施の形態１では、対象物Ｔを変形させるために、ロボットハンド３で対象物Ｔを挟み込むことで対象物Ｔに外力を加えている。この挟み込みによる外力付加方法は、対象物Ｔの両側部（把持位置Ｐ１およびＰ２）から内側に向かって同一の外力を加えるため、対象物Ｔが回転テーブル５上で大きく移動することなく、対象物Ｔに外力を加えることが可能である。

図４に、データ収集装置２１のハードウェア構成を示す。

データ収集装置２１は、バスＢを介して相互接続される記憶部２４と、プロセッサ２５と、ユーザインタフェース（ＵＩ）２６とを有する。

なお、データ収集装置２１における後述される各種機能及び処理を実現するプログラム又は指示は、ネットワークなどを介し何れかの外部装置からダウンロードされてもよいし、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の着脱可能な記憶媒体から提供されてもよい。

記憶部２４は、例えば、ランダムアクセスメモリ、フラッシュメモリ、ハードディスクドライブなどの１つ以上の非一時的な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）によって実現され、インストールされたプログラム又は指示と共に、プログラム又は指示の実行に用いられるファイル、データ等を格納する。

プロセッサ２５は、１つ以上のプロセッサコアから構成されうる１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）等によって実現されてもよい。プロセッサ２５は、記憶部２４に格納されたプログラム、指示、当該プログラム若しくは指示を実行するのに必要なパラメータなどのデータ等に従って、後述される制御装置８の各種機能及び処理を実行する。

ＵＩ２６は、キーボード、マウス、カメラ、マイクロフォン等の入力装置、ディスプレイ、スピーカ、ヘッドセット、プリンタ等の出力装置、タッチパネル等の入出力装置から構成されてもよく、ユーザと制御装置８との間のインタフェースを実現する。例えば、ユーザは、ディスプレイ又はタッチパネルに表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をキーボード、マウス等を用いて操作し、制御装置８を操作してもよい。

なお、上述したハードウェア構成は単なる一例であり、本開示による制御装置８は、他の何れか適切なハードウェア構成により実現されてもよい。

次に、図５に示すフローチャートを参照して本実施の形態のデータ収集動作について説明する。

初めに、制御装置８が、ステップＳ１で、予め設定されている初期位置および初期姿勢になるようにロボットアーム７を移動させる。この初期位置および初期姿勢は、例えば、カメラ４の撮影領域中心付近に、回転テーブル５に載置された対象物Ｔの全体が含まれるように設定されてもよい。制御装置８は、ロボットアーム７の幾何情報、例えばカメラ座標系１２、ベース座標系１３および対象物座標系１４に基づいて、ロボットアーム７の先端部が初期位置および初期姿勢となるようにロボットアーム７の各関節を駆動させる。

続いて、制御装置８は、対象物Ｔを撮影するようにカメラ４を制御する。カメラ４は、撮影した画像データＤを取得部２２の面積算出部２２ｂに出力する。そして、図６に示すように、面積算出部２２ｂが、ステップＳ２で、画像データＤから対象物Ｔに対応する対象物領域Ｒを抽出し、その対象物領域Ｒの面積を算出する。

このようにして、対象物Ｔが撮影されると、制御装置８は、ステップＳ３で、対象物Ｔの所定の位置Ｐａ１およびＰａ２を基準把持力で把持するようにロボットアーム７を制御する。このとき、所定の位置Ｐａ１およびＰａ２は、例えば、高さ方向Ｄ２において対象物領域Ｒの中央部Ｃに対応する側部を撮影方向から把持するようにロボットアーム７を制御してもよい。すなわち、制御装置８は、高さ方向Ｄ２における対象物領域Ｒの中央部Ｃを通り且つ幅方向Ｄ１に延びる直線が対象物領域Ｒの輪郭と交差する２点Ｐａ１およびＰａ２を把持するようにロボットアーム７を制御する。

その後、制御装置８は、ステップＳ４で、ロボットアームを初期位置および初期姿勢に再度移動させる。また、制御装置８は、対象物Ｔを撮影するようにカメラ４を制御し、撮影された画像データＤがカメラ４から取得部２２に出力される。そして、取得部２２の面積算出部２２ｂが、ステップＳ５で、画像データＤから対象物領域Ｒを抽出して、対象物領域Ｒの面積を算出する。

続いて、判定部２３が、ステップＳ６で、把持前の対象物領域Ｒに対する把持後の対象物領域Ｒの面積の減少率に基づいて、対象物Ｔが柔軟物であるか否かを判定する。

対象物Ｔが柔軟物でないと判定、すなわち剛体物であると判定された場合、制御装置８は、ステップＳ７で、回転テーブル５を一定角度回転させた後に、対象物Ｔを撮影するようにカメラ４を制御する。続いて、制御装置８は、回転テーブル５を先ほどと同じ一定角度さらに回転させた後に、対象物Ｔを撮影するようにカメラ４を制御する。このようにして、制御装置８は、回転テーブル５が１回転するまで、異なる角度からの対象物Ｔの撮影を繰り返す。

回転テーブル５が１回転すると、制御装置８は、ロボットアーム７の各関節角度を変更、すなわち撮影位置に対する対象物Ｔの位置（例えば高さ位置）を変更し、再度、回転テーブル５を一定角度回転させつつ対象物Ｔを撮影するようにカメラ４を制御する。制御装置８は、回転テーブル５が１回転するまで、異なる角度からの対象物Ｔの撮影を繰り返す。このようにして、対象物Ｔは、様々な位置および姿勢で撮影される。そして、記憶部２４が、ステップＳ８で、その様々な位置および姿勢で撮影された対象物Ｔの画像データＤを、判定部２３で判定された「剛体物」との判定結果と対応付けて保存する。また、記憶部２４は、対象物領域に関連する情報を剛体物の画像データＤにさらに対応付けて保存してもよい。

このように、データ収集装置２１は、剛体物の画像データＤを含む機械学習用のデータセットを効率的に収集することができる。また、ロボットアーム７の各関節角度を変更することにより、異なる画角で対象物Ｔを撮影することができ、様々な位置および姿勢で撮影された剛体物の画像データＤを収集することができる。

このとき、位置・姿勢算出部２２ａは、ロボットアーム７の幾何情報、例えばカメラ座標系１２、ベース座標系１３および対象物座標系１４に基づいて、画像データＤの撮影位置に対する対象物Ｔの位置および姿勢を算出してもよい。そして、記憶部２４が、様々な位置および角度で撮影された対象物Ｔの画像データＤに対して、撮影位置に対する対象物Ｔの位置および姿勢を対応付けて保存する。

これにより、剛体物の画像データＤにカメラ４と対象物Ｔとの間の位置および姿勢関係をラベリングした教師データを効率的に収集することができる。

また、制御装置８は、ステップＳ９で、ロボットアーム７の各関節角度を予め指定された回数以上変更したか否かを判定する。制御装置８は、ロボットアーム７の各関節角度を指定回数以上変更していない場合、ステップＳ１０で、ロボットアーム７の各関節角度を変更した後、ステップＳ７に戻って、対象物Ｔを撮影するようにカメラ４を制御する。制御装置８は、ロボットアーム７の各関節角度を指定回数以上変更したと判定されるまで、ステップＳ７、ステップＳ８、ステップＳ９およびステップＳ１０を繰り返す。そして、制御装置８は、ステップＳ９で、ロボットアーム７の各関節角度を指定回数以上変更した場合、画像データＤの収集を終了する。

一方、ステップＳ６において対象物Ｔが柔軟物であると判定された場合、ステップＳ１１に進んで、面積算出部２２ｂが、画像データＤから対象物領域Ｒを抽出する。図３に示すように、制御装置８は、抽出された対象物領域Ｒの輪郭幅Ｗの大きさに基づいて、ロボットハンド３の把持位置Ｐ１およびＰ２と把持力を決定する。次に、制御装置８は、ステップＳ１２で、決定された把持位置Ｐ１およびＰ２と把持力により対象物Ｔに外力を加えるようにロボットハンド３を制御する。

制御装置８は、ステップＳ１３で、回転テーブル５を一定角度回転させた後に、対象物Ｔを撮影するようにカメラ４を制御する。続いて、制御装置８は、回転テーブル５を先ほどと同じ一定角度さらに回転させた後に、対象物Ｔを撮影するようにカメラ４を制御する。このようにして、制御装置８は、回転テーブル５が１回転するまで、異なる角度からの対象物Ｔの撮影を繰り返す。

回転テーブル５が１回転すると、制御装置８は、ロボットアーム７の各関節角度を変更、すなわち撮影位置に対する対象物Ｔの位置（例えば高さ位置）を変更し、再度、回転テーブル５を一定角度回転させつつ対象物Ｔを撮影するようにカメラ４を制御する。制御装置８は、回転テーブル５が１回転するまで、異なる角度からの対象物Ｔの撮影を繰り返す。このようにして、対象物Ｔは、様々な位置および姿勢で撮影される。そして、記憶部２４が、ステップＳ１４で、その様々な位置および姿勢で撮影された対象物Ｔの画像データＤを、判定部２３で判定された「柔軟物」との判定結果と対応付けて保存する。これにより、記憶部２４には、「柔軟物」または「剛体」との判定結果と対応付けて対象物Ｔの画像データＤがそれぞれ保存されることになる。このとき、記憶部２４は、ロボットアーム７による変形前後（把持する前と後）の対象物Ｔを撮影した２つの画像データＤに対して、その対象物Ｔが柔軟物であるか否かを判定した判定結果を対応付けて保存してもよい。また、記憶部２４は、対象物領域Ｒに関連する情報を柔軟物の画像データＤにさらに対応付けて保存してもよい。

このように、データ収集装置２１は、柔軟物の画像データＤを含む機械学習用のデータセットを効率的に収集することができる。また、ロボットアーム７の各関節角度を変更することにより、異なる画角で対象物Ｔを撮影することができ、様々な位置および姿勢で撮影された柔軟物の画像データＤを収集することができる。

このとき、位置・姿勢算出部２２ａは、ロボットアーム７の幾何情報に基づいて、画像データＤの撮影位置に対する対象物Ｔの位置と対象物Ｔの姿勢とを算出してもよい。そして、記憶部２４が、様々な位置および姿勢で撮影された対象物Ｔの画像データＤに対して、対象物Ｔの位置および姿勢を対応付けて保存する。

これにより、柔軟物の画像データＤにカメラ４と対象物Ｔとの間の位置および姿勢関係をラベリングした教師データを効率的に収集することができる。このようにして、記憶部２４には、画像データＤに対して、柔軟物または剛体物との判定結果と、撮影位置に対する対象物Ｔの位置と、撮影姿勢に対する対象物Ｔの姿勢とがそれぞれラベリングされた教師データが収集されることになる。

また、制御装置８は、ステップＳ１５で、ロボットアーム７の各関節角度を予め指定された回数以上変更したか否かを判定する。制御装置８は、ロボットアーム７の各関節角度を指定回数以上変更していない場合、ステップＳ１６で、ロボットアーム７の各関節角度を変更した後、ステップＳ１１に戻って、新たに抽出された対象物領域Ｒに基づいてロボットハンド３の把持位置Ｐ１およびＰ２と把持力を決定する。制御装置８は、ロボットアーム７の各関節角度を指定回数以上変更したと判定されるまで、ステップＳ１１、ステップＳ１２、ステップＳ１３、ステップＳ１４、ステップＳ１５およびステップＳ１６を繰り返す。そして、制御装置８は、ステップＳ１５で、ロボットアーム７の各関節角度を指定回数以上変更した場合、画像データＤの収集を終了する。

本実施の形態によれば、ロボットアーム７で変形させた対象物Ｔを撮影した画像データＤを取得し、その対象物Ｔの変形量に基づいて対象物Ｔが柔軟物であるか否かを判定部２３で判定する。そして、ロボットアーム７の制御に用いるために対象物Ｔの画像データＤを判定部２３の判定結果に対応付けて記憶部２４に保存する。これにより、機械学習用のデータセットを効率的に収集することができる。

（実施の形態２）
以下、本開示の実施の形態２について説明する。ここでは、上記の実施の形態１との相違点を中心に説明し、上記の実施の形態１との共通点については、共通の参照符号を使用して、その詳細な説明を省略する。

実施の形態２は、実施の形態１で収集されたデータセットを教師データとして、ロボットアーム７の制御モデルを構築するものである。

例えば、図７に示すように、実施の形態１のデータ収集装置２１に学習装置３１を接続してもよい。学習装置３１は、学習部３２と、制御モデル記憶部３３とを有する。

学習部３２は、データ収集装置２１で収集されたデータセットを教師データとして機械学習を行い、ロボットアーム７の制御に用いる制御モデルを構築する。すなわち、制御モデルは、ロボットアーム７で変形させた対象物Ｔを撮影した画像データＤに対して、その対象物Ｔが柔軟物であるか否かを判定した判定結果が対応付けられたデータを教師データとして訓練される。このとき、制御モデルは、ロボットアーム７による変形前後（把持する前と後）の対象物Ｔを撮影した２つの画像データＤに対して、その対象物Ｔの判定結果が対応付けられたデータを教師データとして訓練してもよい。これにより、制御モデルは、対象物Ｔの画像データＤを入力とし、対象物Ｔが柔軟物であるか否かを出力するように構築される。また、制御モデルは、画像データＤと、判定結果と、対象物Ｔの位置および姿勢とのデータセットを教師データに用いて訓練されてもよい。これにより、制御モデルは、対象物Ｔの画像データＤの入力に対して、対象物Ｔの位置および姿勢をさらに出力するように構築される。

制御モデル記憶部３３は、学習部３２で構築された制御モデルを記憶する。

なお、学習装置３１のハードウェア構成は、実施の形態１のデータ収集装置２１と同様であるため説明を省略する。

本実施の形態によれば、学習部３２が、ロボットアーム７で変形させた対象物Ｔを撮影した画像データＤに対して、対象物Ｔの変形量に基づいて対象物Ｔが柔軟物であるか否かを判定した判定結果が対応付けられたデータを教師データとして訓練した制御モデルを構築する。このように、効率的に収集された機械学習用のデータセットを用いるため、制御モデルを容易に構築することができる。

（実施の形態３）
以下、本開示の実施の形態３について説明する。ここでは、上記の実施の形態１および２との相違点を中心に説明し、上記の実施の形態１および２との共通点については、共通の参照符号を使用して、その詳細な説明を省略する。

実施の形態３は、実施の形態２で構築された制御モデルを用いて、ロボットアーム７を制御するものである。

図８に、本開示に係る制御装置４１を備えるロボットアーム装置１００の構成を示す。ロボットアーム装置１００は、ロボットアーム７と、カメラ４と、回転テーブル５と、制御装置４１とを有する。制御装置４１は、ロボットアーム７、カメラ４および回転テーブル５に電気的に接続されている。

制御装置４１は、制御部４２と、記憶部４３とを有する。

記憶部４３は、実施の形態２の学習部３２で構築された制御モデルを記憶する。すなわち、記憶部４３は、ロボットアーム７で変形させた対象物Ｔを撮影した画像データＤに対して、対象物Ｔの変形量に基づいて対象物Ｔが柔軟物であるか否かを判定した判定結果が対応付けられたデータを教師データとして訓練した制御モデルを記憶する。例えば、記憶部４３は、画像データＤに対して、判定結果と、対象物Ｔの位置および姿勢とが対応付けられたデータを教師データとして訓練した制御モデルを記憶してもよい。

制御部４２は、記憶部４３に記憶された制御モデルに基づいて、ロボットアーム装置１００の各部を制御する。例えば、制御部４２は、画像データＤの入力に対して、対象物Ｔが柔軟物であるとの情報と対象物Ｔの位置および姿勢とが制御モデルから出力された場合、これらの情報に基づいて、適正な把持力で所定の位置を把持するようにロボットアーム７を制御してもよい。

なお、制御装置４１のハードウェア構成は、実施の形態１のデータ収集装置２１と同様であるため説明を省略する。

次に、本実施の形態のロボットアームを制御する動作について説明する。

まず、制御部４２が、対象物Ｔを把持して回転テーブル５上に載置するようにロボットアーム７を制御する。そして、制御部４２は、ロボットアーム７で把持していない状態の対象物Ｔ、すなわち変形前の対象物Ｔを撮影するようにカメラ４を制御する。続いて、制御部４２は、回転テーブル５に載置された対象物Ｔを把持して変形させるようにロボットアーム７を制御する。例えば、制御部４２は、予め設定された基準把持力で対象物Ｔを把持するようにロボットアーム７を制御してもよい。そして、制御部４２は、再度、回転テーブル５上に載置された対象物Ｔを撮影するようにカメラ４を制御する。

このようにして、変形前後の対象物Ｔが撮影されると、制御部４２は、変形前後の２つの画像データＤを記憶部４３に記憶された制御モデルに入力する。これにより、対象物Ｔが柔軟物であるか否かが制御モデルから出力される。制御部４２は、対象物Ｔが柔軟物である場合には、柔軟物に応じて予め設定された柔軟物用把持力で対象物Ｔを把持し、店舗作業などの所定の作業を行うようにロボットアーム７を制御する。一方、対象物Ｔが柔軟物でない場合には、例えば柔軟物用把持力より大きな把持力で対象物Ｔを把持するようにロボットアーム７を制御する。

一般的に、店舗では、様々な柔軟性を有する商品が扱われている。このため、店舗作業を行うロボットアーム７は、商品の柔軟性に応じた把持力で商品を把持することが求められる。そこで、本開示では、制御部４２が、上記の制御モデルに基づいて、対象物Ｔの柔軟性に応じた把持力で対象物Ｔを把持するようにロボットアーム７を制御する。これにより、対象物Ｔの作業を適切に実施することができる。

また、制御部４２は、制御モデルから対象物Ｔの位置および姿勢がさらに出力された場合には、その出力された対象物Ｔの位置および姿勢に基づいて、対象物Ｔを把持するようにロボットアーム７を制御する。これにより、ロボットアーム７は、対象物Ｔの適切な位置を把持して作業を実施することができる。

本実施の形態によれば、制御部４２が、ロボットアーム７で変形させた対象物Ｔを撮影した画像データＤに対応して、対象物Ｔの変形量に基づいて対象物Ｔが柔軟物であるか否かを判定した判定結果が対応付けられたデータを教師データとして訓練した制御モデルに基づいて、ロボットアーム７を制御する。これにより、制御部４２は、対象物Ｔが柔軟物であるか否かに基づいて、対象物Ｔを適切な把持力で把持するようにロボットアーム７を制御することができる。

以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

本発明のデータ収集装置および制御装置は、様々な対象物を操作する自動化ロボットにおいてＡＩ学習を効率的に行うことができる。

１ 固定用土台
２ 垂直多関節型ロボット
３ ロボットハンド
４ カメラ
５ 回転テーブル
６ 周方向
７ ロボットアーム
８ 制御装置
１２ カメラ座標系
１３ ベース座標系
１４ 対象物座標系
２１ データ収集装置
２２ 取得部
２２ａ 位置・姿勢算出部
２２ｂ 面積算出部
２３ 判定部
２４ 記憶部
２５ プロセッサ
２６ ユーザインタフェース
３１ 学習装置
３２ 学習部
３３ 制御モデル記憶部
４１ 制御装置
４２ 制御部
４３ 記憶部
１００ ロボットアーム装置
Ｃ 中央部
Ｄ１ 幅方向
Ｄ２ 高さ方向
Ｐ１，Ｐ２，Ｐａ１，Ｐａ２ 把持位置
Ｒ 対象物領域
Ｔ 対象物
Ｗ 輪郭幅

Claims (5)

1. ロボットアームで変形させた対象物を撮影した画像データを取得する取得部と、
   前記対象物の変形量に基づいて、前記対象物が柔軟物であるか否かを判定する判定部と、
   前記ロボットアームの制御に用いるために前記対象物の画像データを前記判定部の判定結果と対応付けて保存する記憶部と、を備える、
   データ収集装置。
2. 前記取得部は、前記ロボットアームの幾何情報に基づいて、前記画像データの撮影位置に対する前記対象物の位置および姿勢を算出し、
   前記記憶部は、前記対象物の位置および姿勢を、前記画像データと対応づけて保存する、
   請求項１に記載のデータ収集装置。
3. 前記取得部は、変形前の前記対象物の画像データと変形後の前記対象物の画像データとを取得して、それぞれの画像データにおける前記対象物の領域面積を算出し、
   前記判定部は、前記対象物の領域面積に基づいて前記対象物が柔軟物であるか否かを判定する、
   請求項１に記載のデータ収集装置。
4. 前記記憶部は、前記対象物が柔軟物であると判定された場合、変形していない状態の前記対象物において所定の幅方向における輪郭幅が最長となる位置を前記ロボットアームで変形させた前記対象物の画像データを前記判定部の判定結果と対応付けて保存する、
   請求項３に記載のデータ収集装置。
5. ロボットアームで変形させた対象物を撮影した画像データに対して、前記対象物の変形量に基づいて前記対象物が柔軟物であるか否かを判定した判定結果が対応付けられたデータを教師データとして訓練した制御モデルを記憶する記憶部と、
   前記記憶部に記憶された前記制御モデルに基づいて、前記ロボットアームを制御する制御部と、を備える、
   制御装置。

Images