JP7085726B2 - ロボットの目標物体把持位置の検出方法 - Google Patents
ロボットの目標物体把持位置の検出方法 Download PDFInfo
- Publication number
- JP7085726B2 JP7085726B2 JP2020543212A JP2020543212A JP7085726B2 JP 7085726 B2 JP7085726 B2 JP 7085726B2 JP 2020543212 A JP2020543212 A JP 2020543212A JP 2020543212 A JP2020543212 A JP 2020543212A JP 7085726 B2 JP7085726 B2 JP 7085726B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- network
- grip
- target
- gripping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39484—Locate, reach and grasp, visual guided grasping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Description
前記目標RGB画像の各々を目標物体セグメンテーションネットワークに入力して計算することで、前記目標RGB画像における目標物体のRGB画素領域及び前記目標Depth画像における目標物体のDepth画素領域を取得するステップと、
前記目標物体のRGB画素領域を最適把持位置生成ネットワークに入力して、前記目標物体を把持する最適把持位置を取得するステップと、
前記目標物体のDepth画素領域及び前記最適把持位置を把持位置クオリティ評価ネットワークに入力して、前記最適把持位置のスコアを計算するステップと、
最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置として選択するステップと、を含む。
目標物体を含むRGB画像を取得するステップと、
前記RGB画像を予め設定した第1の解像度にスケーリングして、第1のトレーニングセットを取得するステップと、
前記第1のトレーニングセット内の目標物体に対応する画素領域をマークするステップと、
前記第1のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得するステップと、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するRGB画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行うステップと、
前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整するステップと、を含む。
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するRGB画素領域を予め設定した第2の解像度にスケーリングして、第2のトレーニングセットを取得するステップと、
前記第2のトレーニングセット内の画像に最適把持位置の座標を標識するステップと、
前記第2のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得するステップと、を含む。
目標物体を含むDepth画像を取得するステップと、
前記Depth画像を予め設定した第3の解像度にスケーリングして、第3のトレーニングセットを取得するステップと、
前記第3のトレーニングセット内のDepth画像から1対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得するステップと、
前記Depth画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得するステップと、を含む。
前記目標RGB画像の各々を目標物体セグメンテーションネットワークに入力して計算して、前記目標画像における目標物体のRGB画素領域及び前記目標Depth画像における目標物体のDepth画素領域を取得するために用いられるセグメンテーションモジュールと、
前記目標物体のRGB画素領域を最適把持位置生成ネットワークに入力して、前記目標物体を把持する最適把持位置を取得するために用いられる把持モジュールと、
前記目標物体のDepth画素領域及び前記最適把持位置を把持位置クオリティ評価ネットワークに入力して、前記最適把持位置のスコアを計算するために用いられる評価モジュールと、
最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置として選択するために用いられる選択モジュールと、を含む。
目標物体を含むRGB画像を取得するステップと、
前記RGB画像を予め設定した第1の解像度にスケーリングして、第1のトレーニングセットを取得するステップと、
前記第1のトレーニングセット内の目標物体に対応する画素領域をマークするステップと、
前記第1のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得するステップと、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するRGB画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行うステップと、
前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整するステップと、を含む。
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するRGB画素領域を予め設定した第2の解像度にスケーリングして、第2のトレーニングセットを取得するステップと、
前記第2のトレーニングセット内の画像に最適把持位置の座標を標識するステップと、
前記第2のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得するステップと、を含む。
目標物体を含むDepth画像を取得するステップと、
前記Depth画像を予め設定した第3の解像度にスケーリングして、第3のトレーニングセットを取得するステップと、
前記第3のトレーニングセット内のDepth画像から1対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得するステップと、
前記Depth画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得するステップと、を含む。
前記メモリは、少なくとも1つの実行可能なコマンドを格納するために用いられ、前記実行可能なコマンドは、前記プロセッサに前記ロボットの目標物体把持位置の検出方法に対応する動作を実行させる。
前記メモリが少なくとも1つの実行可能なコマンドを格納するために用いられ、前記実行可能なコマンドが前記プロセッサにロボットの目標物体把持位置の前記検出方法に対応する動作を実行させる。
目標物体を含むRGB画像を取得するステップと、
前記RGB画像を予め設定した第1の解像度にスケーリングして、第1のトレーニングセットを取得するステップと、
前記第1のトレーニングセット内の目標物体に対応する画素領域をマークするステップと、
前記第1のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得するステップと、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するRGB画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行うステップと、
前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整するステップと、を含む。
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するRGB画素領域を予め設定した第2の解像度にスケーリングして、第2のトレーニングセットを取得するステップと、
前記第2のトレーニングセット内の画像に最適把持位置の座標を標識するステップと、
前記第2のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得するステップと、を含む。
目標物体を含むDepth画像を取得するステップと、
前記Depth画像を予め設定した第3の解像度にスケーリングして、第3のトレーニングセットを取得するステップと、
前記第3のトレーニングセット内のDepth画像から1対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得するステップと、
前記Depth画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得するステップと、を含む。
目標物体の異なる視野角での目標RGB画像及び目標Depth画像を収集し、ここで、前記目標RGB画像と目標Depth画像は、ピクセルが1対1に対応動作と、
前記目標RGB画像の各々を目標物体セグメンテーションネットワークに入力して計算することで、前記目標RGB画像における目標物体のRGB画素領域及び前記目標Depth画像における目標物体のDepth画素領域を取得する動作と、
前記目標物体のRGB画素領域を最適把持位置生成ネットワークに入力して、前記目標物体を把持する最適把持位置を取得する動作と、
前記目標物体のDepth画素領域及び前記最適把持位置を把持位置クオリティ評価ネットワークに入力して、前記最適把持位置のスコアを計算する動作と、
最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置として選択する動作とをプロセッサ602に実行させるために用いられる。
目標物体を含むRGB画像を取得するステップと、
前記RGB画像を予め設定した第1の解像度にスケーリングして、第1のトレーニングセットを取得するステップと、
前記第1のトレーニングセット内の目標物体に対応する画素領域をマークするステップと、
前記第1のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得するステップと、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するRGB画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行うステップと、
前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整するステップと、を含む。
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するRGB画素領域を予め設定した第2の解像度にスケーリングして、第2のトレーニングセットを取得する動作と、
前記第2のトレーニングセット内の画像に最適把持位置の座標を標識する動作と、
前記第2のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得する動作とをプロセッサ602に実行させるためにさらに用いられる。
目標物体を含むDepth画像を取得する動作と、
前記Depth画像を予め設定した第3の解像度にスケーリングして、第3のトレーニングセットを取得する動作と、
前記第3のトレーニングセット内のDepth画像から1対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得する動作と、
前記Depth画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得する動作とをプロセッサ602に実行させるためにさらに用いられる。
Claims (8)
- 収集モジュールにより、目標物体の異なる視野角での目標RGB画像及び目標Depth画像を収集し、ここで、前記目標RGB画像と目標Depth画像は、ピクセルが1対1に対応するステップと、
セグメンテーションモジュールにより、前記目標RGB画像の各々を目標物体セグメンテーションネットワークに入力して計算することで、前記目標RGB画像における目標物体のRGB画素領域及び前記目標Depth画像における目標物体のDepth画素領域を取得するステップと、
把持モジュールにより、前記目標物体のRGB画素領域を最適把持位置生成ネットワークに入力し、前記最適把持位置生成ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記最適把持位置生成ネットワークのトレーニングは、具体的には前記目標物体セグメンテーションネットワークが取得した目標物体に対応するRGB画素領域を予め設定した第2の解像度にスケーリングして、第2のトレーニングセットを取得するステップと、前記第2のトレーニングセット内の画像に最適把持位置の座標を標識するように、まず、把持角度を定義し、続いて、各把持角度での最適把持位置を標識するステップと、前記第2のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得するステップと、を含み、前記目標物体を把持する、定義された各把持角度での最適把持位置を取得するステップと、
評価モジュールにより、前記目標物体のDepth画素領域及び前記最適把持位置を把持位置クオリティ評価ネットワークに入力して、前記目標物体を把持する、定義された各把持角度での前記最適把持位置のスコアを計算するステップと、
選択モジュールにより、前記目標物体を把持する、定義された各把持角度での前記最適把持位置のスコアにおける最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置として選択するステップと、を含むことを特徴とするロボットの目標物体把持位置の検出方法。 - 前記目標物体セグメンテーションネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記目標物体セグメンテーションネットワークのトレーニングは、具体的には、
目標物体を含むRGB画像を取得するステップと、
前記RGB画像を予め設定した第1の解像度にスケーリングして、第1のトレーニングセットを取得するステップと、
前記第1のトレーニングセット内の目標物体に対応する画素領域をマークするステップと、
前記第1のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得するステップと、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するRGB画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行うステップと、
前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整するステップと、を含むことを特徴とする請求項1に記載の方法。 - 前記把持位置クオリティ評価ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記把持位置クオリティ評価ネットワークのトレーニングは、具体的には、
目標物体を含むDepth画像を取得するステップと、
前記Depth画像を予め設定した第3の解像度にスケーリングして、第3のトレーニングセットを取得するステップと、
前記第3のトレーニングセット内のDepth画像から1対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得するステップと、
前記Depth画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得するステップと、を含むことを特徴とする請求項1に記載の方法。 - 目標物体の異なる視野角での目標RGB画像及び目標Depth画像を収集するために用いられ、ここで、前記目標RGB画像と目標Depth画像は、ピクセルが1対1に対応する収集モジュールと、
前記目標RGB画像の各々を目標物体セグメンテーションネットワークに入力して計算することで、前記目標RGB画像における目標物体のRGB画素領域及び前記目標Depth画像における目標物体のDepth画素領域を取得するために用いられるセグメンテーションモジュールと、
前記目標物体のRGB画素領域を最適把持位置生成ネットワークに入力し、前記最適把持位置生成ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記最適把持位置生成ネットワークのトレーニングは、具体的には、前記目標物体セグメンテーションネットワークが取得した目標物体に対応するRGB画素領域を予め設定した第2の解像度にスケーリングして、第2のトレーニングセットを取得するステップと、前記第2のトレーニングセット内の画像に最適把持位置の座標を標識するように、まず、把持角度を定義し、続いて、各把持角度での最適把持位置を標識するステップと、前記第2のトレーニングセット内の画像及びそれに対応する最適把持位置の座標を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、最適把持位置生成ネットワークを取得するステップを含み、前記目標物体を把持する、定義された各把持角度での最適把持位置を取得するために用いられる把持モジュールと、
前記目標物体のDepth画素領域及び前記最適把持位置を把持位置クオリティ評価ネットワークに入力して、前記目標物体を把持する、定義された各把持角度での前記最適把持位置のスコアを計算するために用いられる評価モジュールと、
前記目標物体を把持する、定義された各把持角度での前記最適把持位置のスコアにおける最高スコアに対応する最適把持位置をロボットのグローバル最適把持位置として選択するために用いられる選択モジュールと、を含むことを特徴とするロボットの目標物体把持位置の検出装置。 - 前記セグメンテーションモジュールにおける目標物体セグメンテーションネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記目標物体セグメンテーションネットワークのトレーニングは、具体的には、
目標物体を含むRGB画像を取得するステップと、
前記RGB画像を予め設定した第1の解像度にスケーリングして、第1のトレーニングセットを取得するステップと、
前記第1のトレーニングセット内の目標物体に対応する画素領域をマークするステップと、
前記第1のトレーニングセット及び前記目標物体に対応する画素領域を前記畳み込みニューラルネットワークモデル入力としてトレーニングして、前記目標物体セグメンテーションネットワークを取得するステップと、
前記目標物体セグメンテーションネットワークが取得した目標物体に対応するRGB画素領域とマークした目標物体に対応する画素領域とに対して重複対比を行うステップと、
前記重複対比結果に基づいて前記目標物体セグメンテーションネットワークの重みを調整するステップと、を含むことを特徴とする請求項4に記載の装置。 - 前記評価モジュールにおける把持位置クオリティ評価ネットワークは、畳み込みニューラルネットワークモデルに基づいてトレーニングしたネットワークであり、前記把持位置クオリティ評価ネットワークのトレーニングは、具体的には、
目標物体を含むDepth画像を取得するステップと、
前記Depth画像を予め設定した第3の解像度にスケーリングして、第3のトレーニングセットを取得するステップと、
前記第3のトレーニングセット内のDepth画像から1対の把持点の位置をランダムに取るとともに、予め設定したスコアリングアルゴリズムを用いて対応する得点を取得するステップと、
前記Depth画像、把持点の位置及び把持点の位置に対応する得点を入力とし、畳み込みニューラルネットワークモデルに基づいてトレーニングして、把持位置クオリティ評価ネットワークを取得するステップと、を含むことを特徴とする請求項4に記載の装置。 - プロセッサ、メモリ、通信用インタフェース及び通信バスを含み、前記プロセッサ、前記メモリ及び前記通信用インタフェースは、前記通信バスを介して互いに通信を行い、ここで、
前記メモリは、少なくとも1つの実行可能なコマンドを格納するために用いられ、前記実行可能なコマンドは、前記プロセッサに請求項1~3のいずれか一項に記載のロボットの目標物体把持位置の検出方法に対応する動作を実行させる、コンピューティングデバイス。 - 前記記憶媒体には、少なくとも1つの実行可能なコマンドが記憶されており、前記実行可能なコマンドがプロセッサに請求項1~3のいずれか一項に記載のロボットの目標物体把持位置の検出方法に対応する動作を実行させる、コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811518381.7A CN109658413B (zh) | 2018-12-12 | 2018-12-12 | 一种机器人目标物体抓取位置检测的方法 |
CN201811518381.7 | 2018-12-12 | ||
PCT/CN2019/115959 WO2020119338A1 (zh) | 2018-12-12 | 2019-11-06 | 机器人目标物体抓取位置检测的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021517681A JP2021517681A (ja) | 2021-07-26 |
JP7085726B2 true JP7085726B2 (ja) | 2022-06-17 |
Family
ID=66113814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020543212A Active JP7085726B2 (ja) | 2018-12-12 | 2019-11-06 | ロボットの目標物体把持位置の検出方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11878433B2 (ja) |
JP (1) | JP7085726B2 (ja) |
CN (1) | CN109658413B (ja) |
WO (1) | WO2020119338A1 (ja) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658413B (zh) * | 2018-12-12 | 2022-08-09 | 达闼机器人股份有限公司 | 一种机器人目标物体抓取位置检测的方法 |
US11185978B2 (en) * | 2019-01-08 | 2021-11-30 | Honda Motor Co., Ltd. | Depth perception modeling for grasping objects |
CN110136163B (zh) * | 2019-04-29 | 2021-02-12 | 中国科学院自动化研究所 | 手部运动模糊自动抠图及在人体软分割和背景更换的应用 |
CN112101075B (zh) * | 2019-06-18 | 2022-03-25 | 腾讯科技(深圳)有限公司 | 信息植入区域的识别方法、装置、存储介质及电子设备 |
CN110348333A (zh) * | 2019-06-21 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 物体检测方法、装置、存储介质及电子设备 |
CN111359915B (zh) * | 2020-03-24 | 2022-05-24 | 广东弓叶科技有限公司 | 基于机器视觉的物料分选方法及*** |
CN111783537A (zh) * | 2020-05-29 | 2020-10-16 | 哈尔滨莫迪科技有限责任公司 | 一种基于目标检测特征的两阶段快速抓取检测方法 |
CN111652118B (zh) * | 2020-05-29 | 2023-06-20 | 大连海事大学 | 基于水下目标近邻分布的海产品自主抓取引导方法 |
WO2022015807A1 (en) | 2020-07-14 | 2022-01-20 | Vicarious Fpc, Inc. | Method and system for object grasping |
US20220019852A1 (en) | 2020-07-14 | 2022-01-20 | Vicarious Fpc, Inc. | Method and system for generating training data |
US11559885B2 (en) | 2020-07-14 | 2023-01-24 | Intrinsic Innovation Llc | Method and system for grasping an object |
US12017368B2 (en) * | 2020-09-09 | 2024-06-25 | Fanuc Corporation | Mix-size depalletizing |
CN112297013B (zh) * | 2020-11-11 | 2022-02-18 | 浙江大学 | 一种基于数字孪生和深度神经网络的机器人智能抓取方法 |
CN112613478B (zh) * | 2021-01-04 | 2022-08-09 | 大连理工大学 | 一种面向机器人抓取的数据主动式选择方法 |
CN113781493A (zh) * | 2021-01-04 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置、电子设备、介质及计算机程序产品 |
CN112861667A (zh) * | 2021-01-26 | 2021-05-28 | 北京邮电大学 | 一种基于多类别目标分割的机器人抓取检测方法 |
CN112802105A (zh) * | 2021-02-05 | 2021-05-14 | 梅卡曼德(北京)机器人科技有限公司 | 对象抓取方法及装置 |
CN113160313A (zh) * | 2021-03-03 | 2021-07-23 | 广东工业大学 | 一种透明物体抓取控制方法、装置、终端及存储介质 |
US12036678B2 (en) * | 2021-05-25 | 2024-07-16 | Fanuc Corporation | Transparent object bin picking |
CN113327295A (zh) * | 2021-06-18 | 2021-08-31 | 华南理工大学 | 一种基于级联全卷积神经网络的机器人快速抓取方法 |
CN113506314B (zh) * | 2021-06-25 | 2024-04-09 | 北京精密机电控制设备研究所 | 一种复杂背景下对称四边形工件的自动抓取方法及装置 |
US20220410381A1 (en) * | 2021-06-29 | 2022-12-29 | Intrinsic Innovation Llc | Systems and methods for picking objects using 3-d geometry and segmentation |
CN113591841B (zh) * | 2021-07-09 | 2024-07-19 | 上海德托智能工程有限公司 | 定位方法、装置、计算机设备及计算机可读存储介质 |
CN113326666B (zh) * | 2021-07-15 | 2022-05-03 | 浙江大学 | 基于卷积神经网络可微分结构搜寻的机器人智能抓取方法 |
CN113744333B (zh) * | 2021-08-20 | 2024-02-13 | 北京航空航天大学 | 一种物体抓取位置获取方法及装置 |
CN113420746B (zh) * | 2021-08-25 | 2021-12-07 | 中国科学院自动化研究所 | 机器人视觉分拣方法、装置、电子设备和存储介质 |
CN113762159B (zh) * | 2021-09-08 | 2023-08-08 | 山东大学 | 一种基于有向箭头模型的目标抓取检测方法及*** |
NL2029461B1 (en) * | 2021-10-19 | 2023-05-16 | Fizyr B V | Automated bin-picking based on deep learning |
CN113920142B (zh) * | 2021-11-11 | 2023-09-26 | 江苏昱博自动化设备有限公司 | 一种基于深度学习的分拣机械手多物体分拣方法 |
CN116416444B (zh) * | 2021-12-29 | 2024-04-16 | 广东美的白色家电技术创新中心有限公司 | 物体抓取点估计、模型训练及数据生成方法、装置及*** |
CN114683251A (zh) * | 2022-03-31 | 2022-07-01 | 上海节卡机器人科技有限公司 | 机器人抓取方法、装置、电子设备及可读取存储介质 |
CN114426923B (zh) * | 2022-03-31 | 2022-07-12 | 季华实验室 | 一种环境病毒采样机器人及方法 |
CN114750154A (zh) * | 2022-04-25 | 2022-07-15 | 贵州电网有限责任公司 | 一种配网带电作业机器人的动态目标识别定位与抓取方法 |
CN115108117B (zh) * | 2022-05-26 | 2023-06-27 | 盈合(深圳)机器人与自动化科技有限公司 | 一种切割方法、***、终端及计算机存储介质 |
CN114782827B (zh) * | 2022-06-22 | 2022-10-14 | 中国科学院微电子研究所 | 一种基于图像的物体抓取点获取方法和装置 |
CN115147488B (zh) * | 2022-07-06 | 2024-06-18 | 湖南大学 | 一种基于密集预测的工件位姿估计方法与抓取*** |
CN116399871B (zh) * | 2023-04-19 | 2023-11-14 | 广州市阳普机电工程有限公司 | 一种基于机器视觉的汽车零部件装配检测***及方法 |
CN116950429B (zh) * | 2023-07-31 | 2024-07-23 | 中建八局发展建设有限公司 | 一种大型拼接墙快速定位拼接方法、介质及*** |
CN116749241B (zh) * | 2023-08-16 | 2023-11-07 | 苏州视谷视觉技术有限公司 | 一种机器视觉高精度定位抓取装置 |
CN117067219B (zh) * | 2023-10-13 | 2023-12-15 | 广州朗晴电动车有限公司 | 一种电车车身成型的钣金机械臂控制方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780605A (zh) | 2016-12-20 | 2017-05-31 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于深度学习机器人的目标物抓取位置的检测方法 |
CN106874914A (zh) | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
US20170334066A1 (en) | 2016-05-20 | 2017-11-23 | Google Inc. | Machine learning methods and apparatus related to predicting motion(s) of object(s) in a robot's environment based on image(s) capturing the object(s) and based on parameter(s) for future robot movement in the environment |
US10089575B1 (en) | 2015-05-27 | 2018-10-02 | X Development Llc | Determining grasping parameters for grasping of an object by a robot grasping end effector |
WO2018221614A1 (ja) | 2017-05-31 | 2018-12-06 | 株式会社Preferred Networks | 学習装置、学習方法、学習モデル、推定装置及び把持システム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5325468A (en) * | 1990-10-31 | 1994-06-28 | Sanyo Electric Co., Ltd. | Operation planning system for robot |
JP6529302B2 (ja) * | 2015-03-24 | 2019-06-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
US10166676B1 (en) * | 2016-06-08 | 2019-01-01 | X Development Llc | Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot |
JP6665040B2 (ja) * | 2016-06-20 | 2020-03-13 | 三菱重工業株式会社 | ロボット制御システム及びロボット制御方法 |
CN106041937B (zh) * | 2016-08-16 | 2018-09-14 | 河南埃尔森智能科技有限公司 | 一种基于双目立体视觉的机械手抓取控制***的控制方法 |
CN107972026B (zh) * | 2016-10-25 | 2021-05-04 | 河北亿超机械制造股份有限公司 | 机器人、机械臂及其控制方法和装置 |
CN106737692B (zh) * | 2017-02-10 | 2020-04-03 | 杭州迦智科技有限公司 | 一种基于深度投影的机械手爪抓取规划方法及控制装置 |
US11011077B2 (en) * | 2017-06-29 | 2021-05-18 | Verb Surgical Inc. | Virtual reality training, simulation, and collaboration in a robotic surgical system |
CN108229678B (zh) * | 2017-10-24 | 2021-04-06 | 深圳市商汤科技有限公司 | 网络训练方法、操作控制方法、装置、存储介质和设备 |
CN108058172A (zh) * | 2017-11-30 | 2018-05-22 | 深圳市唯特视科技有限公司 | 一种基于自回归模型的机械手抓取方法 |
CN108280856B (zh) * | 2018-02-09 | 2021-05-07 | 哈尔滨工业大学 | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 |
CN108247601A (zh) * | 2018-02-09 | 2018-07-06 | 中国科学院电子学研究所 | 基于深度学习的语义抓取机器人 |
CN108648233B (zh) * | 2018-03-24 | 2022-04-12 | 北京工业大学 | 一种基于深度学习的目标识别与抓取定位方法 |
CN108510062A (zh) * | 2018-03-29 | 2018-09-07 | 东南大学 | 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法 |
CN109658413B (zh) * | 2018-12-12 | 2022-08-09 | 达闼机器人股份有限公司 | 一种机器人目标物体抓取位置检测的方法 |
JP7015265B2 (ja) * | 2019-03-14 | 2022-02-02 | ファナック株式会社 | コネクタを含むワークを把持する作業ツールおよび作業ツールを備えるロボット装置 |
-
2018
- 2018-12-12 CN CN201811518381.7A patent/CN109658413B/zh active Active
-
2019
- 2019-11-06 WO PCT/CN2019/115959 patent/WO2020119338A1/zh active Application Filing
- 2019-11-06 JP JP2020543212A patent/JP7085726B2/ja active Active
-
2020
- 2020-09-25 US US17/032,399 patent/US11878433B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10089575B1 (en) | 2015-05-27 | 2018-10-02 | X Development Llc | Determining grasping parameters for grasping of an object by a robot grasping end effector |
US20170334066A1 (en) | 2016-05-20 | 2017-11-23 | Google Inc. | Machine learning methods and apparatus related to predicting motion(s) of object(s) in a robot's environment based on image(s) capturing the object(s) and based on parameter(s) for future robot movement in the environment |
CN106780605A (zh) | 2016-12-20 | 2017-05-31 | 芜湖哈特机器人产业技术研究院有限公司 | 一种基于深度学习机器人的目标物抓取位置的检测方法 |
CN106874914A (zh) | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
WO2018221614A1 (ja) | 2017-05-31 | 2018-12-06 | 株式会社Preferred Networks | 学習装置、学習方法、学習モデル、推定装置及び把持システム |
Also Published As
Publication number | Publication date |
---|---|
CN109658413A (zh) | 2019-04-19 |
WO2020119338A1 (zh) | 2020-06-18 |
CN109658413B (zh) | 2022-08-09 |
JP2021517681A (ja) | 2021-07-26 |
US20210023720A1 (en) | 2021-01-28 |
US11878433B2 (en) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7085726B2 (ja) | ロボットの目標物体把持位置の検出方法 | |
CN108846826B (zh) | 物体检测方法、装置、图像处理设备及存储介质 | |
JP6188400B2 (ja) | 画像処理装置、プログラム及び画像処理方法 | |
CN107545263B (zh) | 一种物体检测方法及装置 | |
CN109840883B (zh) | 一种训练物体识别神经网络的方法、装置及计算设备 | |
CN106845338B (zh) | 视频流中行人检测方法与*** | |
CN109323709B (zh) | 视觉里程计方法、装置和计算机可读存储介质 | |
CN111008576B (zh) | 行人检测及其模型训练、更新方法、设备及可读存储介质 | |
CN111292334B (zh) | 一种全景图像分割方法、装置及电子设备 | |
WO2023124278A1 (zh) | 图像处理模型的训练方法、图像分类方法及装置 | |
WO2015012896A1 (en) | Gesture recognition method and apparatus based on analysis of multiple candidate boundaries | |
JP2022047508A (ja) | 複数の透明対象物の三次元検出 | |
CN111275758B (zh) | 混合型3d视觉定位方法、装置、计算机设备及存储介质 | |
CN116912608A (zh) | 基于Transformer-CNN混合架构的RGB-D跨模态交互融合机械臂抓取检测方法 | |
CN114029941B (zh) | 一种机器人抓取方法、装置、电子设备及计算机介质 | |
CN113762159B (zh) | 一种基于有向箭头模型的目标抓取检测方法及*** | |
Sun et al. | Uni6Dv2: Noise elimination for 6D pose estimation | |
JP7294454B2 (ja) | オブジェクト検出方法及びオブジェクト検出装置 | |
CN114638891A (zh) | 基于图像和点云融合的目标检测定位方法与*** | |
CN112101185B (zh) | 一种训练皱纹检测模型的方法、电子设备及存储介质 | |
WO2021164615A1 (en) | Motion blur robust image feature matching | |
WO2021179905A1 (en) | Motion blur robust image feature descriptor | |
CN113033256B (zh) | 一种指尖检测模型的训练方法和设备 | |
CN114049318A (zh) | 一种基于多模态融合特征的抓取位姿检测方法 | |
CN114821777A (zh) | 一种手势检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200812 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7085726 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |