JP2018161692A5 - - Google Patents

Description

上記課題を解決するために、本発明に係る情報処理装置の一態様は、複数の異なる撮像位置姿勢から対象物体が撮像された画像を取得する第一の取得手段と、対象物体の保持を行うためのマニピュレータの保持位置姿勢を決定する第一の決定手段と、前記第一の決定手段により決定された保持位置姿勢に基づいて、前記マニピュレータを移動し、保持を指示する第一の制御手段と、前記対象物体の保持の成否を判定する判定手段と、前記対象物体の保持を行うときの前記マニピュレータの保持位置姿勢と、当該保持位置姿勢における前記対象物体の保持成否情報とを取得する第二の取得手段と、前記第一の取得手段によって取得された画像のそれぞれに対して前記第二の取得手段により取得された保持位置姿勢と前記保持成否情報とを対応付けた学習データを生成する生成手段と、を備えることを特徴とする情報処理装置。

Claims (19)

1. 複数の異なる撮像位置姿勢から対象物体が撮像された画像を取得する第一の取得手段と、
   対象物体の保持を行うためのマニピュレータの保持位置姿勢を決定する第一の決定手段と、
   前記第一の決定手段により決定された保持位置姿勢に基づいて、前記マニピュレータを移動し、保持を指示する第一の制御手段と、
   前記対象物体の保持の成否を判定する判定手段と、
   前記対象物体の保持を行うときの前記マニピュレータの保持位置姿勢と、当該保持位置姿勢における前記対象物体の保持成否情報とを取得する第二の取得手段と、
   前記第一の取得手段によって取得された画像のそれぞれに対して前記第二の取得手段により取得された保持位置姿勢と前記保持成否情報とを対応付けた学習データを生成する生成手段と、を備えることを特徴とする情報処理装置。
2. 前記学習データは、前記第一の取得手段により取得された画像と教師信号となるラベルとの組であり、
   前記ラベルは、前記画像の撮像を行ったときの前記マニピュレータの撮像位置姿勢と前記対象物体の保持を行うときの前記マニピュレータの保持位置姿勢との相対的な位置姿勢情報と、前記保持成否情報とを含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記第二の取得手段は、
   前記マニピュレータの前記対象物体との接触情報に基づいて前記保持位置姿勢を取得することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記第一の制御手段は、
   前記マニピュレータの前記対象物体との接触情報に基づいて前記対象物体を保持可能であると判定したときに、前記保持を指示することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記第一の取得手段により取得された画像における重力方向を示す重力方向情報を取得する第三の取得手段をさらに備え、
   前記生成手段は、さらに前記第三の取得手段により取得された重力方向情報に基づいて前記学習データを生成することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記対象物体を撮像するための目標の撮像位置姿勢を決定する第二の決定手段と、
   前記第二の決定手段により決定された撮像位置姿勢に基づいて、前記対象物体を撮像する撮像装置および前記対象物体の少なくとも一方を移動し、前記撮像装置に撮像を指示する第二の制御手段と、をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記第二の決定手段は、
   ユーザが指定した撮像位置姿勢の範囲内で前記目標の撮像位置姿勢を決定することを特徴とする請求項６に記載の情報処理装置。
8. 前記第二の制御手段は、さらに前記撮像装置による前記対象物体の撮像時における照明の状態を制御することを特徴とする請求項６または７に記載の情報処理装置。
9. 前記生成手段により生成された学習データを用いてモデルを学習する学習手段と、
   前記学習手段により学習されたモデルに基づいて、画像中の前記対象物体を認識し、認識された前記対象物体を保持の対象として決定する認識手段と、をさらに備えることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記認識手段は、
    前記画像を入力とし、前記学習手段により学習されたモデルに基づいて、前記第二の取得手段によって取得される前記保持位置姿勢と、前記第一の取得手段によって取得される画像の撮像を行う前記撮像位置姿勢とを決定することを特徴とする請求項９に記載の情報処理装置。
11. 前記第二の取得手段は、前記マニピュレータによる複数回の撮像の対象となる前記対象物体に関する学習情報として、前記保持位置姿勢と、前記保持成否情報とを含む情報を取得し、
    前記第一の取得手段は、前記対象物体が複数回撮像された複数の画像を取得し、
    前記生成手段は、前記第二の取得手段により取得された学習情報と、前記第一の取得手段により取得された複数の画像と、前記撮像位置姿勢とに基づいて、前記学習データを生成することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
12. 前記対象物体を撮像する撮像装置と、
    前記撮像装置を移動可能な前記マニピュレータと、をさらに備えることを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
13. 前記マニピュレータの姿勢を取得する姿勢センサをさらに備えることを特徴とする請求項１２に記載の情報処理装置。
14. 前記対象物体を保持可能な保持装置と、
    前記保持装置を移動可能な前記マニピュレータと、をさらに備えることを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。
15. 前記保持装置が物体に接触したときの反力を取得する力覚センサをさらに備えることを特徴とする請求項１４に記載の情報処理装置。
16. 複数の異なる撮像位置から対象物体を撮影した画像を取得する第一の取得手段と、
    前記対象物体をマニピュレータによって保持するための保持位置に基づいて前記対象物体を前記マニピュレータで保持する処理を実行したときに、保持に成功したか失敗したかを示す保持成否情報を取得する第二の取得手段と、
    前記第二の取得手段によって取得された、一度の保持に対応する前記保持位置と前記保持成否情報とを、前記第一の取得手段によって取得されたそれぞれの画像に対応付けることにより学習データを生成する生成手段と、を備えることを特徴とする情報処理装置。
17. 複数の異なる撮像位置姿勢から対象物体が撮像された画像を取得する第一の取得ステップと、
    対象物体の保持を行うためのマニピュレータの保持位置姿勢を決定する第一の決定ステップと、
    前記第一の決定ステップにより決定された保持位置姿勢に基づいて、前記マニピュレータを移動し、保持を指示する第一の制御ステップと、
    前記対象物体の保持の成否を判定する判定ステップと、
    前記対象物体の保持を行うときの前記マニピュレータの保持位置姿勢と、当該保持位置姿勢における前記対象物体の保持成否情報とを取得する第二の取得ステップと、
    前記第一の取得ステップによって取得された画像のそれぞれに対して前記第二の取得ステップにより取得された保持位置姿勢と前記保持成否情報とを対応付けた学習データを生成する生成ステップと、を含むことを特徴とする情報処理方法。
18. 複数の異なる撮像位置から対象物体を撮影した画像を取得する第一の取得ステップと、
    前記対象物体をマニピュレータによって保持するための保持位置に基づいて前記対象物体を前記マニピュレータで保持する処理を実行したときに、保持に成功したか失敗したかを示す保持成否情報を取得する第二の取得ステップと、
    前記第二の取得ステップによって取得された、一度の保持に対応する前記保持位置と前記保持成否情報とを、前記第一の取得ステップによって取得されたそれぞれの画像に対応付けることにより学習データを生成する生成ステップと、を含むことを特徴とする情報処理方法。
19. コンピュータを、請求項１から１６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。