JP7085726B2

JP7085726B2 - ロボットの目標物体把持位置の検出方法

Info

Publication number: JP7085726B2
Application number: JP2020543212A
Authority: JP
Inventors: 杜国光; 王▲カイ▼; 廉士国
Original assignee: Cloudminds Robotics Co Ltd
Current assignee: Cloudminds Robotics Co Ltd
Priority date: 2018-12-12
Filing date: 2019-11-06
Publication date: 2022-06-17
Anticipated expiration: 2039-11-06
Also published as: CN109658413A; WO2020119338A1; CN109658413B; JP2021517681A; US20210023720A1; US11878433B2

Description

本願の実施形態は、ロボットの自律的な把持の分野に関し、特に、ロボットの目標物体把持位置の検出方法、装置、コンピューティングデバイス及びコンピュータ可読記憶媒体に関する。

知能ロボットの分野において、特に家庭サービスロボット及び産業ロボットにとって、ロボットの自律的な把持は、知能ロボットの重要な能力である。ロボットの自律的な把持に対する研究問題について、従来の解決手段には、主に幾何学的分析方法とデータ駆動推論という２つの方法が含まれる。幾何学的分析方法は、作業の複雑度が高く、データ駆動推論方法は、複雑なシーンでの表現が悪い。

ディープラーニングの出現に伴い、ロボットの自律的な把持に関する研究は画期的な進歩を取得した。ディープラーニングアルゴリズムを応用することにより、従来技術は、ロボットが自律的に物体を把持するとき、目標物体を自動的にセグメント化し、把持点を自動的に特定することを実現できる。

本願を実現する過程において、従来技術では、自動的な目標物体のセグメント化はディープ画像に基づくため、複雑な背景の下で物体に対してセグメント化を行うことができず、且つ、把持点を自動的に特定するときの効率が低いことを発見した。

本願は、上記の問題に鑑みてなされたものであり、上記の問題を完全に解決、又は少なくとも部分的に解決するために、ロボットの目標物体把持位置の検出方法、装置、コンピューティングデバイス及びコンピュータ可読記憶媒体を提供する。

上記の技術的問題を解決するために、本願の実施形態に採用された１つの技術的解決手段は、ロボットの目標物体把持位置の検出方法を提供し、当該方法は、目標物体の異なる視野角での目標ＲＧＢ画像及び目標Ｄｅｐｔｈ画像を収集し、ここで、前記目標ＲＧＢ画像と目標Ｄｅｐｔｈ画像は、ピクセルが１対１に対応するステップと、
前記目標ＲＧＢ画像の各々を目標物体セグメンテーションネットワークに入力して計算することで、前記目標ＲＧＢ画像における目標物体のＲＧＢ画素領域及び前記目標Ｄｅｐｔｈ画像における目標物体のＤｅｐｔｈ画素領域を取得するステップと、
前記目標物体のＲＧＢ画素領域を最適把持位置生成ネットワークに入力して、前記目標物体を把持する最適把持位置を取得するステップと、
前記目標物体のＤｅｐｔｈ画素領域及び前記最適把持位置を把持位置クオリティ評価ネットワークに入力して、前記最適把持位置のスコアを計算するステップと、
最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置として選択するステップと、を含む。

ここで、前記目標物体セグメンテーションネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記目標物体セグメンテーションネットワークのトレーニングは、具体的には、
目標物体を含むＲＧＢ画像を取得するステップと、
前記ＲＧＢ画像を予め設定した第１の解像度にスケーリングして、第１のトレーニングセットを取得するステップと、
前記第１のトレーニングセット内の目標物体に対応する画素領域をマークするステップと、
前記第１のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得するステップと、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行うステップと、
前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整するステップと、を含む。

ここで、前記最適把持位置生成ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記最適把持位置生成ネットワークのトレーニングは、具体的には、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域を予め設定した第２の解像度にスケーリングして、第２のトレーニングセットを取得するステップと、
前記第２のトレーニングセット内の画像に最適把持位置の座標を標識するステップと、
前記第２のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得するステップと、を含む。

ここで、前記把持位置クオリティ評価ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記把持位置クオリティ評価ネットワークのトレーニングは、具体的には、
目標物体を含むＤｅｐｔｈ画像を取得するステップと、
前記Ｄｅｐｔｈ画像を予め設定した第３の解像度にスケーリングして、第３のトレーニングセットを取得するステップと、
前記第３のトレーニングセット内のＤｅｐｔｈ画像から１対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得するステップと、
前記Ｄｅｐｔｈ画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得するステップと、を含む。

上記の技術的問題を解決するために、本願の実施形態に採用された別の技術的解決手段は、ロボットの目標物体把持位置の検出装置を提供し、前記装置は、目標物体の異なる視野角での目標ＲＧＢ画像及び目標Ｄｅｐｔｈ画像を収集するために用いられ、ここで、前記目標ＲＧＢ画像と目標Ｄｅｐｔｈ画像は、ピクセルが１対１に対応する収集モジュールと、
前記目標ＲＧＢ画像の各々を目標物体セグメンテーションネットワークに入力して計算して、前記目標画像における目標物体のＲＧＢ画素領域及び前記目標Ｄｅｐｔｈ画像における目標物体のＤｅｐｔｈ画素領域を取得するために用いられるセグメンテーションモジュールと、
前記目標物体のＲＧＢ画素領域を最適把持位置生成ネットワークに入力して、前記目標物体を把持する最適把持位置を取得するために用いられる把持モジュールと、
前記目標物体のＤｅｐｔｈ画素領域及び前記最適把持位置を把持位置クオリティ評価ネットワークに入力して、前記最適把持位置のスコアを計算するために用いられる評価モジュールと、
最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置として選択するために用いられる選択モジュールと、を含む。

ここで、前記セグメンテーションモジュールにおける目標物体セグメンテーションネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記目標物体セグメンテーションネットワークのトレーニングは、具体的には、
目標物体を含むＲＧＢ画像を取得するステップと、
前記ＲＧＢ画像を予め設定した第１の解像度にスケーリングして、第１のトレーニングセットを取得するステップと、
前記第１のトレーニングセット内の目標物体に対応する画素領域をマークするステップと、
前記第１のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得するステップと、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行うステップと、
前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整するステップと、を含む。

ここで、前記把持モジュールにおける最適把持位置生成ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記最適把持位置生成ネットワークのトレーニングは、具体的には、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域を予め設定した第２の解像度にスケーリングして、第２のトレーニングセットを取得するステップと、
前記第２のトレーニングセット内の画像に最適把持位置の座標を標識するステップと、
前記第２のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得するステップと、を含む。

ここで、前記評価モジュールにおける把持位置クオリティ評価ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記把持位置クオリティ評価ネットワークのトレーニングは、具体的には、
目標物体を含むＤｅｐｔｈ画像を取得するステップと、
前記Ｄｅｐｔｈ画像を予め設定した第３の解像度にスケーリングして、第３のトレーニングセットを取得するステップと、
前記第３のトレーニングセット内のＤｅｐｔｈ画像から１対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得するステップと、
前記Ｄｅｐｔｈ画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得するステップと、を含む。

上記の技術的問題を解決するために、本願の実施形態に採用されたもう１つの技術的解決手段は、コンピューティングデバイスを提供し、前記コンピューティングデバイスは、プロセッサ、メモリ、通信用インタフェース及び通信バスを含み、前記プロセッサ、前記メモリ及び前記通信用インタフェースは、前記通信バスを介して互いに通信を行う。
前記メモリは、少なくとも１つの実行可能なコマンドを格納するために用いられ、前記実行可能なコマンドは、前記プロセッサに前記ロボットの目標物体把持位置の検出方法に対応する動作を実行させる。
前記メモリが少なくとも１つの実行可能なコマンドを格納するために用いられ、前記実行可能なコマンドが前記プロセッサにロボットの目標物体把持位置の前記検出方法に対応する動作を実行させる。

上記の技術的問題を解決するために、本願の実施形態に採用されたまた別の技術的解決手段は、コンピュータ可読記憶媒体を提供し、前記記憶媒体には、少なくとも１つの実行可能なコマンドが記憶されており、前記実行可能なコマンドは、前記プロセッサに前記ロボットの目標物体把持位置の検出方法に対応する動作を実行させる。

本願の実施形態の有益な効果は以下のとおりである。従来技術との相違点として、本願の実施形態は、目標物体セグメンテーションネットワークを使用して目標物体に対応する画素領域を取得するとともに、前記目標物体に対応する画素領域を最適把持位置生成ネットワークに入力して、目標物体を把持する最適把持位置を取得し、また、把持位置クオリティ評価ネットワークを用いて前記最適把持位置の得点を計算し、最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置とし、本願により、ロボットは最適把持位置で目標物体を自動的に把持することが実現できる。

上記の説明は、本願の技術的解決手段の概要に過ぎず、本願の技術的手段をより明確に理解して、明細書の内容に従って実施することができるように、且つ、本願の上記の及び他の目的、特徴及び利点をより明確に理解するように、以下では、特に本願の具体的な実施形態を挙げる。

以下の好ましい実施形態の詳細な説明を読むことにより、当業者にとって、様々な他の利点及び利益は明らかになるだろう。添付図面は、好ましい実施形態の目的を示すことのみに用いられ、本願を限定するものとして理解されるべきではない。さらにすべての添付図面において、同じ参照番号は同じ部材を示す。添付図面において：
本願の実施形態に係るロボットの目標物体把持位置の検出方法のフローチャートである。本願の実施形態に係る目標物体セグメンテーションネットワークのトレーニングフローチャートである。本願の実施形態に係る最適把持位置生成ネットワークのトレーニングフローチャートである。本願の実施形態に係る把持位置クオリティ評価ネットワークのトレーニングフローチャートである。本願の実施形態に係るロボットの目標物体把持位置の検出装置の機能ブロック図である。本願の実施形態に係るコンピューティングデバイスの概略図である。

以下、本開示の例示的な実施例について、添付図面を参照しながら、より詳細に説明する。なお、本開示の例示的な実施例が添付図面に示されているが、本開示は、本明細書に記載の実施例に限定されなく、様々な形態で実現できることを理解されたい。逆に、本開示をより完全に理解させるとともに、本開示の範囲を当業者に完全に伝えるために、これらの実施例を提供する。

本願の実施例は不揮発性コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、少なくとも１つの実行可能なコマンドが記憶されており、当該コンピュータ実行可能なコマンドは上記いずれの方法の実施例におけるロボットの目標物体把持位置の検出方法を実行することができる。

図１は、本願に係るロボットの目標物体把持位置の検出方法の実施例のフローチャートである。図１に示すように、当該方法は、ステップＳ１０１～ステップＳ１０５を含む。

ステップＳ１０１：目標物体の異なる視野角での目標ＲＧＢ画像及び目標Ｄｅｐｔｈ画像を収集し、ここで、前記目標ＲＧＢ画像と目標Ｄｅｐｔｈ画像は、ピクセルが１対１に対応する。

本ステップにおいて、目標物体をロボットのロボットアームの下にあるテーブルに置き、現在位置でのＲＧＢ画像及びＤｅｐｔｈ画像を収集し、ここで、前記ＲＧＢ画像及びＤｅｐｔｈ画像はピクセルが１対１に対応するものである。ロボットアームを移動して、他の角度から画像を改めて収集し、本願の実施例において、前、後、左、右、前上、後上、左上、右上など計８つの位置の画像を収集する。

ステップＳ１０２：前記目標ＲＧＢ画像の各々を目標物体セグメンテーションネットワークに入力して計算することで、前記目標ＲＧＢ画像における目標物体のＲＧＢ画素領域及び前記目標Ｄｅｐｔｈ画像における目標物体のＤｅｐｔｈ画素領域を取得する。

本ステップにおいて、前記目標ＲＧＢ画像の各々を目標物体セグメンテーションネットワークに入力して計算することで、前記目標ＲＧＢ画像における目標物体のＲＧＢ画素領域を取得し、ＲＧＢ画像及びＤｅｐｔｈ画像は１対１に対応するものであるため、前記目標ＲＧＢ画像における目標物体のＲＧＢ画素領域に基づいて、前記目標Ｄｅｐｔｈ画像における目標物体のＤｅｐｔｈ画素領域を特定することができる。

なお、前記目標物体セグメンテーションネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、図２は、本願の実施形態に係る目標物体セグメンテーションネットワークのトレーニングフローチャートであり、図２に示すように、目標物体セグメンテーションネットワークのトレーニングは、ステップ１０２１～ステップ１０２６を含む。

ステップＳ１０２１：目標物体を含むＲＧＢ画像を取得する。

ステップＳ１０２２：前記ＲＧＢ画像を予め設定した第１の解像度にスケーリングして、第１のトレーニングセットを取得する。

本ステップにおいて、ネットワーク構造に適応するように、ＲＧＢ画像の各々を予め設定した第１の解像度にスケーリングして、本願の実施例において、前記予め設定した第１の解像度のサイズは３２０＊３２０画素である。

ステップＳ１０２３：前記第１のトレーニングセット内の目標物体に対応する画素領域をマークする。

本ステップにおいて、前記目標物体に対応する画素領域を人為的にマークし、例えば、目標物体に対応する画素領域の前記トレーニングセット内の画像にある位置をブロックフレームでマークする。

ステップＳ１０２４：前記第１のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得する。

本ステップにおいて、前記畳み込みニューラルネットワークモデルは、実例のセグメント化に用いられるいずれか１つの主流畳み込みニューラルネットワークモデルであり、例えば、セグメンテーションネットワーク（ＳｅｇＮｅｔ）、ディープラーニングラボネットワーク（ＤｅｅｐＬａｂｖ１、ＤｅｅｐＬａｂｖ２、ＤｅｅｐＬａｂｖ３、ＤｅｅｐＬａｂｖ３＋＋）、ピラミッドシーン解析ネットワーク（ＰｙｒａｍｉｄＳｃｅｎｅＰａｒｓｉｎｇＮｅｔｗｏｒｋ、ＰＳＰＮｅｔ）及び画像カスケードネットワーク（ＩｍａｇｅＣａｓｃａｄｅＮｅｔｗｏｒｋ、ＩＣＮｅｔ）である。本願の実施例において、セグメンテーションネットワーク（ＳｅｇＮｅｔ）を使用して、前記目標物体に対応する画素領域を１つのカテゴリとし、目標物体を含まない背景に対応する画素領域を１つのカテゴリとし、前記第１のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデルに入力してトレーニングする。本願の実施例において、前記畳み込みニューラルネットワークモデルの層数は２７層であり、トレーニングする際に、畳み込み抽出層によって前記目標物体に対応する画素領域を抽出するとともに、写真が予め設定した第１の解像度のサイズにスケーリングされる、当該プロセスをエンコーダと言う。逆畳み込み計算によって前記目標物体の分類後の特徴を再現させ、且つ、アップサンプリングによって前記目標物体に対応する画素領域の目標寸法を復元させる、当該プロセスをデコーダと言う。前記デコーダの出力をｓｏｆｔ－ｍａｘ分類器の入力とし、画素分類後と確率を計算し、前記確率に基づいて前記目標物体に対応する画素領域を判断する。

ステップＳ１０２５：前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行う。

本ステップにおいて、目標物体を含む画像を前記目標物体セグメンテーションネットワークの入力として、前記目標物体セグメンテーションネットワークが取得したＲＧＢ画素領域を取得し、前記目標物体セグメンテーションネットワークの評価メトリックとして、前記目標物体セグメンテーションネットワークが取得した画素領域を前記マークした目標物体に対応する画素領域と重複対比を行う。

ステップＳ１０２６：前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整する。

本ステップにおいて、前記重複対比結果を予め設定した重複対比結果の閾値と比較し、前記重複対比結果が前記予め設定した重複対比結果の閾値よりも低い場合、前記ニューラルネットワークの構造及び重みを調整する。

ステップＳ１０３：前記目標物体のＲＧＢ画素領域を最適把持位置生成ネットワークに入力して、前記目標物体を把持する最適把持位置を取得する。

本ステップにおいて、前記最適把持位置生成ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、図３は、本願の実施形態に係る最適把持位置生成ネットワークのトレーニングフローチャートであり、図３に示すように、最適把持位置生成ネットワークのトレーニングは、ステップＳ１０３１～ステップＳ１０３３を含む。

ステップＳ１０３１：前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域を予め設定した第２の解像度にスケーリングして、第２のトレーニングセットを取得する。

本ステップにおいて、ネットワーク構造に適応するように、前記目標物体に対応するＲＧＢ画素領域を予め設定した第２の解像度にスケーリングして、本願の実施例において、前記予め設定した第２の解像度は２２７＊２２７画素である。

ステップＳ１０３２：前記第２のトレーニングセット内の画像に最適把持位置の座標を標識する。

本ステップにおいて、前記第２のトレーニングセット内の画像において目標物体に把持位置として（Ｘ、Ｙ、θ）を標識し、ここで、（Ｘ、Ｙ）は把持点であり、θは把持角度であり、把持位置のマークを行う際に、まず、把持角度を定義し、続いて、各把持角度での最適把持位置を標識し、例えば、把持範囲［０、１８０°］を１８個の角度値に均等にセグメント化して、各角度での最適把持位置の座標を標識する。本願の実施例において、訓練データ集合内の画像数を増加するために、前記第２のトレーニングセット内のすべての画像ごとに把持角度及び最適把持位置の座標をマークする。

ステップＳ１０３３：前記第２のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得する。

本ステップにおいて、前記畳み込みニューラルネットワークモデルは、従来の畳み込みニューラルネットワークモデルのいずれかであり、本願の実施例において、ＡｌｅｘＮｅｔモデルを使用し、前記第２のトレーニングセット内の画像及びそれに対応する最適把持位置（Ｘ、Ｙ、θ）を前記畳み込みニューラルネットワークモデルの入力とし、ここで、前記ＡｌｅｘＮｅｔモデルは、５つの畳み込み層及び２つの全結合層を含む７層であり、前記ＡｌｅｘＮｅｔモデルは、トレーニングを経て最適把持位置生成ネットワークを取得し、前記最適把持位置生成ネットワークから出力された予測把持点（Ｘｐ、Ｙｐ）と標識点（Ｘ、Ｙ）とのユークリッド距離を計算するとともに、前記ユークリッド距離に応じて、Ｓｏｆｔｍａｘ損失関数を用いて前記最適把持位置生成ネットワークの重みを調整する。

ステップＳ１０４：前記目標物体のＤｅｐｔｈ画素領域及び前記最適把持位置を把持位置クオリティ評価ネットワークに入力して、前記最適把持位置のスコアを計算する。

本ステップにおいて、前記把持位置クオリティ評価ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、図４は、本願の実施形態に係る把持位置クオリティ評価ネットワークのトレーニングフローチャートであり、図４に示すように、把持位置クオリティ評価ネットワークのトレーニングは、ステップ１０４１～ステップ１０４４を含む。

ステップＳ１０４１：目標物体を含むＤｅｐｔｈ画像を取得する。

本ステップにおいて、前記Ｄｅｐｔｈ画像は、ＲＧＢ画像に基づいて取得したディープ画像であり、ここで、前記Ｄｅｐｔｈ画像と前記ＲＧＢ画像は、ピクセルが１対１に対応する。

ステップＳ１０４２：前記Ｄｅｐｔｈ画像を予め設定した第３の解像度にスケーリングして、第３のトレーニングセットを取得する。

本ステップにおいて、ネットワーク構造に適応するように、前記Ｄｅｐｔｈ画像を予め設定した第３の解像度にスケーリングし、本願の実施例において、前記予め設定した第３の解像度は３２＊３２の画素である。

ステップＳ１０４３：前記第３のトレーニングセット内のＤｅｐｔｈ画像から１対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得する。

ステップＳ１０４４：前記Ｄｅｐｔｈ画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得する。

本ステップにおいて、前記畳み込みニューラルネットワークは９つの層を含み、ここで、４つは畳み込み層で、１つはプーリング層で、４つは全結合層である。前記把持位置クオリティ評価ネットワークから出力された得点及びステップＳ１０４３における前記予め設定したスコアリングアルゴリズムで取得した得点の対比に基づいて、前記把持位置クオリティ評価ネットワークの重みを調整する。

ステップＳ１０５：最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置として選択する。

本実施例にて提供されるロボットの目標物体把持位置の検出方法は、目標物体セグメンテーションネットワークを使用して目標物体に対応する画素領域を取得し、前記目標物体に対応する画素領域を最適把持位置生成ネットワークに入力して、目標物体を把持する最適把持位置を取得するとともに、把持位置クオリティ評価ネットワークを用いて前記最適把持位置の得点を計算し、最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置とし、本願により、ロボットが最適把持位置で目標物体を自動的に把持することを実現できる。

図５は、本願に係るロボットの目標物体把持位置の検出装置の実施例の機能ブロック図である。図５に示すように、当該装置は、収集モジュール５０１、セグメンテーションモジュール５０２、把持モジュール５０３、評価モジュール５０４及び選択モジュール５０５を含み、ここで、収集モジュール５０１は、目標物体の異なる視野角での目標ＲＧＢ画像及び目標Ｄｅｐｔｈ画像を収集するために用いられ、ここで、前記目標ＲＧＢ画像と目標Ｄｅｐｔｈ画像は、ピクセルが１対１に対応し、セグメンテーションモジュール５０２は、前記目標ＲＧＢ画像の各々を目標物体セグメンテーションネットワークに入力して計算して、前記目標画像における目標物体のＲＧＢ画素領域及び前記目標Ｄｅｐｔｈ画像における目標物体のＤｅｐｔｈ画素領域を取得するために用いられ、把持モジュール５０３は、前記目標物体のＲＧＢ画素領域を最適把持位置生成ネットワークに入力して、前記目標物体を把持する最適把持位置を取得するために用いられ、評価モジュール５０４は、前記目標物体のＤｅｐｔｈ画素領域及び前記最適把持位置を把持位置クオリティ評価ネットワークに入力して、前記最適把持位置のスコアを計算するために用いられ、選択モジュール５０５は、最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置として選択するために用いられる。

本実施例において、セグメンテーションモジュール５０２における目標物体セグメンテーションネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、具体的には、
目標物体を含むＲＧＢ画像を取得するステップと、
前記ＲＧＢ画像を予め設定した第１の解像度にスケーリングして、第１のトレーニングセットを取得するステップと、
前記第１のトレーニングセット内の目標物体に対応する画素領域をマークするステップと、
前記第１のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得するステップと、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行うステップと、
前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整するステップと、を含む。

さらに、把持モジュール５０３における最適把持位置生成ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、具体的には、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域を予め設定した第２の解像度にスケーリングして、第２のトレーニングセットを取得するステップと、
前記第２のトレーニングセット内の画像に最適把持位置の座標を標識するステップと、
前記第２のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得するステップと、を含む。

さらに、評価モジュール５０４における把持位置クオリティ評価ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、具体的には、
目標物体を含むＤｅｐｔｈ画像を取得するステップと、
前記Ｄｅｐｔｈ画像を予め設定した第３の解像度にスケーリングして、第３のトレーニングセットを取得するステップと、
前記第３のトレーニングセット内のＤｅｐｔｈ画像から１対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得するステップと、
前記Ｄｅｐｔｈ画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得するステップと、を含む。

本実施例にて提供されるロボットの目標物体把持位置の検出装置は、セグメンテーションモジュールで目標物体に対応する画素領域を取得し、把持モジュールで目標物体を把持する最適把持位置を取得するとともに、評価モジュールで前記最適把持位置の得点を計算し、最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置とし、本願により、ロボットが最適把持位置で目標物体を自動的に把持することを実現できる。

図６は、本願に係るコンピューティングデバイスの実施例の構造概略図であり、本願の具体的な実施例は、コンピューティングデバイスの具体的な実現を限定しない。

図６に示すように、当該コンピューティングデバイスは、プロセッサ（ｐｒｏｃｅｓｓｏｒ）６０２、通信用インタフェース（ＣｏｍｍｕｎｉｃａｔｉｏｎｓＩｎｔｅｒｆａｃｅ）６０４、メモリ（ｍｅｍｏｒｙ）６０６、及び通信バス６０８を含んでもよい。

ここで、プロセッサ６０２、通信用インタフェース６０４、及びメモリ６０６は通信バス６０８を介して互いに通信を行う。

通信用インタフェース６０４は、他のデバイスとの通信に用いられる。

プロセッサ６０２は、プログラム６１０を実行するために用いられ、具体的には、上記のロボットの目標物体把持位置の検出方法の実施例における関連ステップを実行できる。

具体的には、プログラム６１０は、コンピュータ動作コマンドを含むプログラムコードを含んでもよい。

プロセッサ６０２は、中央処理装置ＣＰＵであってもよく、又は特定用途向け集積回路ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）であってもよく、又は本願の実施例を実行する１つ又は複数の集積回路に構成されてもよい。コンピューティングデバイスは、１つ又は複数のプロセッサを含み、１つ又は複数のＣＰＵのように同じタイプのプロセッサであってもよく、１つ又は複数のＣＰＵ及び１つ又は複数のＡＳＩＣのように異なるタイプのプロセッサであってもよい。

メモリ６０６は、プログラム６１０を格納するために用いられる。メモリ６０６は高速ＲＡＭメモリを含んでもよく、例えば、少なくとも１つのディスクメモリのような不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅｍｅｍｏｒｙ）を含んでもよい。

プログラム６１０は、具体的には、
目標物体の異なる視野角での目標ＲＧＢ画像及び目標Ｄｅｐｔｈ画像を収集し、ここで、前記目標ＲＧＢ画像と目標Ｄｅｐｔｈ画像は、ピクセルが１対１に対応動作と、
前記目標ＲＧＢ画像の各々を目標物体セグメンテーションネットワークに入力して計算することで、前記目標ＲＧＢ画像における目標物体のＲＧＢ画素領域及び前記目標Ｄｅｐｔｈ画像における目標物体のＤｅｐｔｈ画素領域を取得する動作と、
前記目標物体のＲＧＢ画素領域を最適把持位置生成ネットワークに入力して、前記目標物体を把持する最適把持位置を取得する動作と、
前記目標物体のＤｅｐｔｈ画素領域及び前記最適把持位置を把持位置クオリティ評価ネットワークに入力して、前記最適把持位置のスコアを計算する動作と、
最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置として選択する動作とをプロセッサ６０２に実行させるために用いられる。

好ましい一実施形態において、プログラム６１０は、具体的には、プロセッサ６０２に下記の動作を実行させるためにさらに用いられ、前記目標物体セグメンテーションネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、具体的には、
目標物体を含むＲＧＢ画像を取得するステップと、
前記ＲＧＢ画像を予め設定した第１の解像度にスケーリングして、第１のトレーニングセットを取得するステップと、
前記第１のトレーニングセット内の目標物体に対応する画素領域をマークするステップと、
前記第１のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得するステップと、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行うステップと、
前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整するステップと、を含む。

好ましい一実施形態において、プログラム６１０は、具体的には、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域を予め設定した第２の解像度にスケーリングして、第２のトレーニングセットを取得する動作と、
前記第２のトレーニングセット内の画像に最適把持位置の座標を標識する動作と、
前記第２のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得する動作とをプロセッサ６０２に実行させるためにさらに用いられる。

好ましい一実施形態において、プログラム６１０は、具体的には、
目標物体を含むＤｅｐｔｈ画像を取得する動作と、
前記Ｄｅｐｔｈ画像を予め設定した第３の解像度にスケーリングして、第３のトレーニングセットを取得する動作と、
前記第３のトレーニングセット内のＤｅｐｔｈ画像から１対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得する動作と、
前記Ｄｅｐｔｈ画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得する動作とをプロセッサ６０２に実行させるためにさらに用いられる。

ここで提供されるアルゴリズム及び表示は、いずれかの特定のコンピュータ、仮想システム又は他のデバイスに固有の関連性を有しない。様々な汎用システムも、ここでの教示と併せて使用可能である。以上の説明から、このようなシステムの構築に必要な構造は明らかである。また、本願も、いかなる特定のプログラミング言語を対象としていない。なお、ここで説明する本願の内容は、様々なプログラミング言語によって実現されることが可能であり、また、特定の言語について行われた上記の説明は、本願の最適な実施形態を開示するためになされたものである。

ここで提供される明細書において、多くの具体的な詳細について説明している。しかしながら、これらの具体的な詳細なしで本願の実施例を実行できることが理解できる。一部の実例において、本明細書に対する理解を曖昧にしないように、公知の方法、構造及び技術は詳細に示されていない。

なお、同様に、本開示を簡潔にし、出願態様のうちの１つ又は２つ以上を理解しやすくするために、本願の例示的な実施例に対する上記の説明において、本願の各特徴は１つの実施例、図面又はそれに対する説明に一緒にまとめられる場合がある。しかしながら、この開示された方法は、特許請求の範囲に記載された本願の請求項が、各請求項に明示的に記載された特徴よりも多くの特徴を反映ものとして解釈されるべきではない。より具体的には、特許請求の範囲に反映されるように、出願態様は前に開示された単一の実施例の全ての特徴よりも少ない。したがって、具体的な実施形態に従う特許請求の範囲は、これを理由に当該発明を実施するための形態に明確に組み込み、ここで、特許請求の各々自体を本願の単独的な実施例とする。

当業者であれば、実施例のデバイスにおけるモジュールを適応的に変更し、且つこれらを当該実施例と異なる１つ又は２つ以上のデバイスに配置することができることは理解できる。実施例におけるモジュール又はユニット又はコンポーネントを１つのモジュール又はユニット又はコンポーネントに組み合わせてもよく、また、これらを複数のサブモジュール又はサブユニット又はサブコンポーネントにセグメント化してもよい。このような特徴及び／又はプロセス又はユニットにおける少なくとも一部が互いに排他的であるほかに、いかなる組み合わせを使用して、本明細書（添付された特許請求、要約及び添付図面を含む）に開示される全ての特徴及びこのように開示されるいずれの方法又はデバイスの全てのプロセス又はユニットを組み合わせることができる。特に明記しない限り、本明細書（添付された特許請求の範囲、要約及び添付図面を含む）に開示される各特徴を、同じ、均等又は類似の目的を提供する代替的な特徴により置き換えてもよい。

また、当業者であれば、本明細書に記載の一部の実施例は、他の特徴ではなく他の実施例に含まれる特徴を含むが、異なる実施例の特徴の組み合わせは本願の範囲内にあり、且つ異なる実施例を形成することを意味することは理解できる。例えば、下記の特許請求の範囲において、特許請求の範囲に記載された実施例のいずれも、いずれの組み合わせで使用することができる。

本願の各部材の実施例は、ハードウェアによって実現されてもよく、又は１つ又は複数のプロセッサ上で実行するソフトウェアモジュールによって実現されてもよく、又はそれらの組み合わせによって実現されてもよい。当業者であれば、実践においてマイクロプロセッサ又はデジタル信号プロセッサ（ＤＳＰ）を用いて本願の実施例に係るロボットの目標物体把持位置の検出装置における一部又は全ての部材の一部又は全ての機能を実現できることを理解すべきである。本願は、ここで説明した方法の一部又は全部を実行するためのデバイス又は装置のプログラム（例えば、コンピュータプログラム及びコンピュータプログラム製品）としても実現可能である。本願を実現するこのようなプログラムは、コンピュータ可読媒体に格納されてもよいし、１つ又は複数の信号の形態を有してもよい。このような信号は、インターネットのホームページからダウンロードされてもよく、又はキャリア信号上で提供されてもよく、又はいずれかの他の形態で提供されてもよい。

なお、上記の実施例は、本願を限定するものではなく、それを説明するものであり、且つ、当業者は、添付された特許請求の範囲から逸脱することなく代替実施例を設計することができることに留意されたい。請求項において、括弧の間に位置するいずれかの参照符号は、特許請求を限定するものとして解釈されるべきではない。「含む」という単語は、請求項に記載されていない要素或いはステップの存在を排除するものではない。要素の前に位置する単語「１」又は「１つ」は、このような要素が複数存在することを排除するものではない。本願は、いくつかの異なる要素を含むハードウェア及び適正にプログラミングされたコンピュータによって実現されることができる。いくつかの装置のユニットを列挙した請求項において、これらの装置のうちのいくつかは、同一のハードウェア項目によって具現化されてもよい。単語第１、第２の、及び第３の等の使用は順序を意味するものではない。これらの単語は名称として解釈できる。

Claims

収集モジュールにより、目標物体の異なる視野角での目標ＲＧＢ画像及び目標Ｄｅｐｔｈ画像を収集し、ここで、前記目標ＲＧＢ画像と目標Ｄｅｐｔｈ画像は、ピクセルが１対１に対応するステップと、
セグメンテーションモジュールにより、前記目標ＲＧＢ画像の各々を目標物体セグメンテーションネットワークに入力して計算することで、前記目標ＲＧＢ画像における目標物体のＲＧＢ画素領域及び前記目標Ｄｅｐｔｈ画像における目標物体のＤｅｐｔｈ画素領域を取得するステップと、
把持モジュールにより、前記目標物体のＲＧＢ画素領域を最適把持位置生成ネットワークに入力し、前記最適把持位置生成ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記最適把持位置生成ネットワークのトレーニングは、具体的には前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域を予め設定した第２の解像度にスケーリングして、第２のトレーニングセットを取得するステップと、前記第２のトレーニングセット内の画像に最適把持位置の座標を標識するように、まず、把持角度を定義し、続いて、各把持角度での最適把持位置を標識するステップと、前記第２のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得するステップと、を含み、前記目標物体を把持する、定義された各把持角度での最適把持位置を取得するステップと、
評価モジュールにより、前記目標物体のＤｅｐｔｈ画素領域及び前記最適把持位置を把持位置クオリティ評価ネットワークに入力して、前記目標物体を把持する、定義された各把持角度での前記最適把持位置のスコアを計算するステップと、
選択モジュールにより、前記目標物体を把持する、定義された各把持角度での前記最適把持位置のスコアにおける最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置として選択するステップと、を含むことを特徴とするロボットの目標物体把持位置の検出方法。
前記目標物体セグメンテーションネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記目標物体セグメンテーションネットワークのトレーニングは、具体的には、
目標物体を含むＲＧＢ画像を取得するステップと、
前記ＲＧＢ画像を予め設定した第１の解像度にスケーリングして、第１のトレーニングセットを取得するステップと、
前記第１のトレーニングセット内の目標物体に対応する画素領域をマークするステップと、
前記第１のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得するステップと、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行うステップと、
前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整するステップと、を含むことを特徴とする請求項１に記載の方法。
前記把持位置クオリティ評価ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記把持位置クオリティ評価ネットワークのトレーニングは、具体的には、
目標物体を含むＤｅｐｔｈ画像を取得するステップと、
前記Ｄｅｐｔｈ画像を予め設定した第３の解像度にスケーリングして、第３のトレーニングセットを取得するステップと、
前記第３のトレーニングセット内のＤｅｐｔｈ画像から１対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得するステップと、
前記Ｄｅｐｔｈ画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得するステップと、を含むことを特徴とする請求項１に記載の方法。
目標物体の異なる視野角での目標ＲＧＢ画像及び目標Ｄｅｐｔｈ画像を収集するために用いられ、ここで、前記目標ＲＧＢ画像と目標Ｄｅｐｔｈ画像は、ピクセルが１対１に対応する収集モジュールと、
前記目標ＲＧＢ画像の各々を目標物体セグメンテーションネットワークに入力して計算することで、前記目標ＲＧＢ画像における目標物体のＲＧＢ画素領域及び前記目標Ｄｅｐｔｈ画像における目標物体のＤｅｐｔｈ画素領域を取得するために用いられるセグメンテーションモジュールと、
前記目標物体のＲＧＢ画素領域を最適把持位置生成ネットワークに入力し、前記最適把持位置生成ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記最適把持位置生成ネットワークのトレーニングは、具体的には、前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域を予め設定した第２の解像度にスケーリングして、第２のトレーニングセットを取得するステップと、前記第２のトレーニングセット内の画像に最適把持位置の座標を標識するように、まず、把持角度を定義し、続いて、各把持角度での最適把持位置を標識するステップと、前記第２のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得するステップを含み、前記目標物体を把持する、定義された各把持角度での最適把持位置を取得するために用いられる把持モジュールと、
前記目標物体のＤｅｐｔｈ画素領域及び前記最適把持位置を把持位置クオリティ評価ネットワークに入力して、前記目標物体を把持する、定義された各把持角度での前記最適把持位置のスコアを計算するために用いられる評価モジュールと、
前記目標物体を把持する、定義された各把持角度での前記最適把持位置のスコアにおける最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置として選択するために用いられる選択モジュールと、を含むことを特徴とするロボットの目標物体把持位置の検出装置。
前記セグメンテーションモジュールにおける目標物体セグメンテーションネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記目標物体セグメンテーションネットワークのトレーニングは、具体的には、
目標物体を含むＲＧＢ画像を取得するステップと、
前記ＲＧＢ画像を予め設定した第１の解像度にスケーリングして、第１のトレーニングセットを取得するステップと、
前記第１のトレーニングセット内の目標物体に対応する画素領域をマークするステップと、
前記第１のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得するステップと、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するＲＧＢ画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行うステップと、
前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整するステップと、を含むことを特徴とする請求項４に記載の装置。
前記評価モジュールにおける把持位置クオリティ評価ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記把持位置クオリティ評価ネットワークのトレーニングは、具体的には、
目標物体を含むＤｅｐｔｈ画像を取得するステップと、
前記Ｄｅｐｔｈ画像を予め設定した第３の解像度にスケーリングして、第３のトレーニングセットを取得するステップと、
前記第３のトレーニングセット内のＤｅｐｔｈ画像から１対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得するステップと、
前記Ｄｅｐｔｈ画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得するステップと、を含むことを特徴とする請求項４に記載の装置。
プロセッサ、メモリ、通信用インタフェース及び通信バスを含み、前記プロセッサ、前記メモリ及び前記通信用インタフェースは、前記通信バスを介して互いに通信を行い、ここで、
前記メモリは、少なくとも１つの実行可能なコマンドを格納するために用いられ、前記実行可能なコマンドは、前記プロセッサに請求項１～３のいずれか一項に記載のロボットの目標物体把持位置の検出方法に対応する動作を実行させる、コンピューティングデバイス。
前記記憶媒体には、少なくとも１つの実行可能なコマンドが記憶されており、前記実行可能なコマンドがプロセッサに請求項１～３のいずれか一項に記載のロボットの目標物体把持位置の検出方法に対応する動作を実行させる、コンピュータ可読記憶媒体。