JP6586243B2 - ロボットの把持のための深層機械学習方法および装置 - Google Patents
ロボットの把持のための深層機械学習方法および装置 Download PDFInfo
- Publication number
- JP6586243B2 JP6586243B2 JP2018545896A JP2018545896A JP6586243B2 JP 6586243 B2 JP6586243 B2 JP 6586243B2 JP 2018545896 A JP2018545896 A JP 2018545896A JP 2018545896 A JP2018545896 A JP 2018545896A JP 6586243 B2 JP6586243 B2 JP 6586243B2
- Authority
- JP
- Japan
- Prior art keywords
- end effector
- gripping
- robot
- image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/085—Force or torque sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/30—End effector
- Y10S901/31—Gripping jaw
- Y10S901/36—Actuating means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Manufacturing & Machinery (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Description
114 エンドエフェクタ動きベクトルエンジン
116 把持成功エンジン
117 トレーニング例データベース
119 セマンティックトレーニング例データベース、データベース
120 トレーニングエンジン
124 セマンティック把持モデル
125 ネットワーク、把持CNN
126 ネットワーク、STN、空間変換ネットワーク
127 ネットワーク、セマンティックCNN、CNN
161 画像
162 エンドエフェクタ動きベクトル
177 把持尺度
178 STNパラメータ
179 空間変換、空間変換された画像
180 セマンティック特徴
180A ロボット
180B ロボット
182A 把持エンドエフェクタ
182B 把持エンドエフェクタ
184A 視覚センサ
184B 視覚センサ
191A 物体
191B 物体
201 経路
600 把持CNN
661A エンドエフェクタを有する画像、画像
661B エンドエフェクタのない画像、画像
662 エンドエフェクタ動きベクトル
663 初期入力層
664 最大プーリング層
665 畳み込み層
666 畳み込み層
667 最大プーリング層
668 全結合層
669 タイルベクトル
670 畳み込み層
671 畳み込み層
672 最大プーリング層
673 畳み込み層
674 畳み込み層
675 全結合層
676 全結合層
677 成功した把持の尺度、尺度
678 STNパラメータ
679 空間変換、変換された画像
680 セマンティック特徴
825 ロボット
842a センサ
842b センサ
842m センサ
860 ロボット制御システム、制御システム
910 コンピューティングデバイス
912 バスサブシステム
914 プロセッサ
916 ネットワークインターフェースサブシステム
920 ユーザインターフェース出力デバイス
922 ユーザインターフェース入力デバイス
924 記憶サブシステム
925 メモリサブシステム、メモリ
926 ファイル記憶サブシステム
930 メインランダムアクセスメモリ(RAM)
932 読み出し専用メモリ(ROM)
Claims (31)
ロボットの把持エンドエフェクタを現在の姿勢から追加の姿勢に移動させる動きを定義する候補エンドエフェクタ動きベクトルを生成するステップと、
前記ロボットに関連付けられた視覚センサによってキャプチャされた現在の画像を識別するステップであって、前記視覚センサが、前記把持エンドエフェクタと、前記ロボットの環境内の少なくとも1つの物体とを前記現在の画像内にキャプチャする、ステップと、
トレーニングされた把持畳み込みニューラルネットワークへの入力として前記現在の画像と前記候補エンドエフェクタ動きベクトルとを適用するステップと、
前記トレーニングされた把持畳み込みニューラルネットワークを介して、前記候補エンドエフェクタ動きベクトルの適用による前記物体の把持の成功確率を示す尺度を生成するステップであって、前記尺度が、前記トレーニングされた把持畳み込みニューラルネットワークへの前記現在の画像および前記候補エンドエフェクタ動きベクトルの前記適用に基づいて生成される、ステップと、
所望の物体セマンティック特徴を識別するステップと、
セマンティック畳み込みニューラルネットワークへの入力として、前記現在の画像のまたは前記視覚センサによってキャプチャされた追加画像の空間変換画像を適用するステップと、
前記セマンティック畳み込みニューラルネットワークを介して前記空間変換画像に基づいて、前記所望の物体セマンティック特徴が前記空間変換画像内に存在するかどうかを示す追加尺度を生成するステップと、
前記尺度と、前記所望の物体セマンティック特徴が存在するかどうかを示す前記追加尺度とに基づいてエンドエフェクタコマンドを生成するステップと、
前記エンドエフェクタコマンドを前記ロボットの1つまたは複数のアクチュエータに提供するステップと
を備える、方法。
前記空間変換パラメータに基づいて空間変換ネットワークを介して前記空間変換画像を生成するステップであって、前記空間変換画像が、前記現在の画像の一部をクロップしたものである、ステップと
をさらに備える、請求項1に記載の方法。
前記所望の物体セマンティック特徴を識別するステップが前記ユーザインターフェース入力に基づく、
請求項1から3のいずれか一項に記載の方法。
前記尺度に基づいて前記エンドエフェクタコマンドを生成するステップが、前記尺度と前記現在の尺度との比較に基づいて前記エンドエフェクタコマンドを生成するステップを備える、
請求項1から5のいずれか一項に記載の方法。
前記追加尺度が、前記所望の物体セマンティック特徴が前記空間変換画像内に存在することを示すことを判定するステップと、
前記尺度と前記現在の尺度との比較が1つまたは複数の基準を満たすことを判定するステップと
に応答する、請求項6に記載の方法。
1つまたは複数のプロセッサによって、前記把持エンドエフェクタを前記新しい姿勢からさらに追加の姿勢に移動させる新しい動きを定義する追加の候補エンドエフェクタ動きベクトルを生成するステップと、
前記プロセッサのうちの1つまたは複数によって、前記ロボットに関連付けられた視覚センサによってキャプチャされた新しい画像を識別するステップであって、前記視覚センサが、前記新しい姿勢の前記把持エンドエフェクタを前記新しい画像内にキャプチャし、かつ前記環境内の前記物体を前記新しい画像内にキャプチャする、ステップと、
前記プロセッサのうちの1つまたは複数によって、前記トレーニングされた把持畳み込みニューラルネットワークへの入力として前記新しい画像と前記追加の候補エンドエフェクタ動きベクトルとを適用するステップと、
前記トレーニングされた把持畳み込みニューラルネットワークを介して、前記追加の候補エンドエフェクタ動きベクトルを適用した前記物体の把持の成功確率を示す新しい尺度を生成するステップであって、前記新しい尺度が、前記トレーニングされた把持畳み込みニューラルネットワークへの前記新しい画像および前記追加のエンドエフェクタ動きベクトルの前記適用に基づいて生成される、ステップと、
前記セマンティック畳み込みニューラルネットワークへの入力として、前記新しい画像または前記視覚センサによってキャプチャされた新しい追加画像の追加の空間変換画像を適用するステップと、
前記セマンティック畳み込みニューラルネットワークを介して前記追加の空間変換画像に基づいて、前記所望の物体セマンティック特徴が前記追加の空間変換画像内に存在するかどうかを示す新しい追加尺度を生成するステップと、
前記新しい尺度と、前記所望の物体セマンティック特徴が存在するかどうかを示す前記新しい追加尺度とに基づいて新しいエンドエフェクタコマンドを生成するステップと、
前記新しいエンドエフェクタコマンドを前記ロボットの1つまたは複数のアクチュエータに提供するステップと
をさらに備える、請求項1から6および8のいずれか一項に記載の方法。
前記トレーニングされた把持畳み込みニューラルネットワークの初期層への入力として前記現在の画像を適用するステップと、
前記トレーニングされた把持畳み込みニューラルネットワークの追加層に前記候補エンドエフェクタ動きベクトルを適用するステップであって、前記追加層が前記初期層の下流にある、ステップと
を備える、請求項1から9のいずれか一項に記載の方法。
複数の候補エンドエフェクタ動きベクトルを生成するステップと、
前記複数の候補エンドエフェクタ動きベクトルから前記候補エンドエフェクタ動きベクトルを選択するために、前記複数の候補エンドエフェクタ動きベクトルにクロスエントロピー最適化の1回または複数回の反復を実行するステップと
を備える、請求項1から10のいずれか一項に記載の方法。
ロボットに関連付けられた視覚センサによってキャプチャされた現在の画像を識別するステップであって、前記視覚センサが、把持エンドエフェクタと前記ロボットの環境内の少なくとも1つの物体とを前記現在の画像内にキャプチャする、ステップと、
トレーニングされた把持畳み込みニューラルネットワークを介して、前記トレーニングされた把持畳み込みニューラルネットワークへの前記現在の画像の適用に基づいて、
前記ロボットの把持エンドエフェクタによる前記現在の画像内にキャプチャされた物体の把持の成功確率を示す尺度と、
前記現在の画像の一部をクロップするための空間変換パラメータと
を生成するステップと、
前記空間変換パラメータに基づいて、前記現在の画像または前記視覚センサによってキャプチャされた追加画像の空間変換画像を生成するステップと、
トレーニングされたセマンティック畳み込みニューラルネットワークへの入力として前記空間変換画像を適用するステップと、
前記トレーニングされたセマンティック畳み込みニューラルネットワークを介して前記空間変換画像に基づいて、所望の物体セマンティック特徴が前記空間変換画像内に存在するかどうかを示す追加尺度を生成するステップと、
前記尺度と、前記所望の物体セマンティック特徴が前記空間変換画像内に存在するかどうかを示す前記追加尺度とに基づいてエンドエフェクタコマンドを生成するステップと、
前記エンドエフェクタコマンドを前記ロボットの1つまたは複数のアクチュエータに提供するステップと
を備える、方法。
前記トレーニングされた把持畳み込みニューラルネットワークの初期層への入力としての前記現在の画像の適用と、
前記トレーニングされた把持畳み込みニューラルネットワークの追加層への前記候補エンドエフェクタ動きベクトルの適用と
に基づき、前記追加層が前記初期層の下流にある、
請求項13に記載の方法。
前記尺度に基づいて前記エンドエフェクタコマンドを生成するステップが、前記尺度と前記現在の尺度との比較に基づいて前記エンドエフェクタコマンドを生成するステップを備える、
請求項12から14のいずれか一項に記載の方法。
1つまたは複数の非一時的コンピュータ可読媒体内に記憶されたセマンティック把持モデルと、
前記視覚センサによってキャプチャされた現在の画像を識別し、
前記セマンティック把持モデルの一部を介して前記一部への前記現在の画像の適用に基づいて、
ロボットの把持エンドエフェクタによる前記現在の画像内にキャプチャされた物体の把持の成功確率を示す尺度と
前記現在の画像の一部をクロップするための空間変換パラメータと
を生成し、
前記空間変換パラメータに基づいて前記現在の画像の空間変換画像を生成し、
前記セマンティック把持モデルの追加部分への入力として前記空間変換画像を適用し、
前記追加部分を介して前記空間変換画像に基づいて、所望の物体セマンティック特徴が前記空間変換画像内に存在するかどうかを示す追加尺度を生成し、
前記尺度と前記追加尺度とに基づいてエンドエフェクタコマンドを生成し、
前記エンドエフェクタコマンドを提供する
ように構成される少なくとも1つのプロセッサと
を備える、システム。
前記複数のトレーニング例の各々が、
前記把持試行のうちの対応する把持試行の対応する時間インスタンスの画像であって、前記センサが、前記対応する時間インスタンスにおけるロボットエンドエフェクタと1つまたは複数の環境物体とを前記画像内にキャプチャする、画像と、
前記対応する時間インスタンスにおける前記ロボットエンドエフェクタの時間インスタンス姿勢から前記対応する把持試行に関する前記ロボットエンドエフェクタの最終姿勢へ動く前記ロボットエンドエフェクタの動きを定義するエンドエフェクタ動きベクトルと
を含むトレーニング例入力を含み、
前記複数のトレーニング例の各々が、
前記対応する把持試行によって把持された物体のセマンティック特徴を示す少なくとも1つの把持物体ラベルを備える
トレーニング例出力を含む、
ステップと、
前記プロセッサのうちの1つまたは複数によって、前記トレーニング例に基づいてセマンティック畳み込みニューラルネットワークをトレーニングするステップと
を備える、方法。
前記トレーニング例のうちの所与のトレーニング例の前記トレーニング例入力を把持畳み込みニューラルネットワークに適用するステップと、
前記把持畳み込みニューラルネットワークを介して前記所与のトレーニング例の前記トレーニング例入力に基づいて空間変換ネットワークパラメータを生成するステップと、
前記所与のトレーニング例の前記画像の空間変換画像を生成するために前記空間変換ネットワークパラメータを使用するステップであって、前記空間変換画像が、前記空間変換ネットワークパラメータに基づいて前記画像の一部をクロップしたものである、ステップと、
前記セマンティック畳み込みニューラルネットワークを介して前記空間変換画像に基づいて出力を生成するステップと、
前記出力と前記所与のトレーニング例の前記トレーニング例出力とに基づいて前記セマンティック畳み込みニューラルネットワークに対して逆伝播を実行するステップと
を備える、請求項17または18に記載の方法。
前記把持畳み込みニューラルネットワークを介して前記所与のトレーニング例の前記トレーニング例入力に基づいてされた把持の成功確率を示す尺度を生成するステップと、
前記予測された尺度と前記所与のトレーニング例の前記トレーニング例出力とに基づいて、前記把持畳み込みニューラルネットワークに対して逆伝播を実行するステップと
を備える、請求項20に記載の方法。
前記把持畳み込みニューラルネットワークの初期層への入力として前記所与のトレーニング例の前記画像を適用するステップと、
前記把持畳み込みニューラルネットワークの追加層に前記所与のトレーニング例の前記エンドエフェクタ動きベクトルを適用するステップであって、前記追加層が前記初期層の下流にある、ステップと
を備える、請求項19から21のいずれか一項に記載の方法。
第1のロボットによる複数の前記把持試行中に前記第1のロボットの複数の第1のロボットセンサからの出力に基づいて生成された前記トレーニング例の第1のグループと、
第2のロボットによる複数の前記把持試行中に前記第2のロボットの複数の第2のロボットセンサからの出力に基づいて生成された前記トレーニング例の第2のグループと
を備える、請求項17から22のいずれか一項に記載の方法。
前記センサ出力に基づいて生成されたトレーニング例の各々が、
前記把持試行のうちの対応する把持試行の対応する時間インスタンスの画像であって、前記センサが、前記対応する時間インスタンスにおけるロボットエンドエフェクタと1つまたは複数の環境物体とを前記画像内にキャプチャする、画像と、
前記対応する時間インスタンスにおける前記ロボットエンドエフェクタの時間インスタンス姿勢から前記対応する把持試行に関する前記ロボットエンドエフェクタの最終姿勢へ動く前記ロボットエンドエフェクタの動きを定義するエンドエフェクタ動きベクトルと
を含むトレーニング例入力を含み、
前記センサ出力に基づいて生成されたトレーニング例の各々が、
前記対応する把持試行によって把持された物体のセマンティック特徴を示す少なくとも1つの把持物体ラベルを備える
トレーニング例出力を含む、
ステップ
を備える、方法。
第1のロボットによる複数の前記把持試行中に前記第1のロボットの複数の第1のロボットセンサからの出力に基づいて生成された前記トレーニング例の第1のグループと、
第2のロボットによる複数の前記把持試行中に前記第2のロボットの複数の第2のロボットセンサからの出力に基づいて生成された前記トレーニング例の第2のグループと
を備える、請求項26または27に記載の方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662303139P | 2016-03-03 | 2016-03-03 | |
US62/303,139 | 2016-03-03 | ||
US201662422549P | 2016-11-15 | 2016-11-15 | |
US62/422,549 | 2016-11-15 | ||
US15/448,013 | 2017-03-02 | ||
US15/448,013 US9914213B2 (en) | 2016-03-03 | 2017-03-02 | Deep machine learning methods and apparatus for robotic grasping |
PCT/US2017/020455 WO2017151926A1 (en) | 2016-03-03 | 2017-03-02 | Deep machine learning methods and apparatus for robotic grasping |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019509905A JP2019509905A (ja) | 2019-04-11 |
JP6586243B2 true JP6586243B2 (ja) | 2019-10-02 |
Family
ID=59722666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018545896A Active JP6586243B2 (ja) | 2016-03-03 | 2017-03-02 | ロボットの把持のための深層機械学習方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (3) | US9914213B2 (ja) |
EP (1) | EP3414710B1 (ja) |
JP (1) | JP6586243B2 (ja) |
KR (1) | KR102023149B1 (ja) |
CN (2) | CN111832702A (ja) |
WO (1) | WO2017151926A1 (ja) |
Families Citing this family (112)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
US10055667B2 (en) | 2016-08-03 | 2018-08-21 | X Development Llc | Generating a model for an object encountered by a robot |
US11157795B2 (en) * | 2017-03-13 | 2021-10-26 | International Business Machines Corporation | Graph partitioning and placement for multi-chip neurosynaptic networks |
US11106967B2 (en) | 2017-07-03 | 2021-08-31 | X Development Llc | Update of local features model based on correction to robot action |
US10562181B2 (en) * | 2017-07-03 | 2020-02-18 | X Development Llc | Determining and utilizing corrections to robot actions |
WO2019045779A1 (en) * | 2017-09-01 | 2019-03-07 | The Regents Of The University Of California | ROBOTIC SYSTEMS AND METHODS FOR ROBUST STITCHING AND TARGETING OF OBJECTS |
US10354139B1 (en) * | 2017-09-07 | 2019-07-16 | X Development Llc | Generating and utilizing spatial affordances for an object in robotics applications |
JP6608890B2 (ja) * | 2017-09-12 | 2019-11-20 | ファナック株式会社 | 機械学習装置、ロボットシステム及び機械学習方法 |
US10773382B2 (en) * | 2017-09-15 | 2020-09-15 | X Development Llc | Machine learning methods and apparatus for robotic manipulation and that utilize multi-task domain adaptation |
CN111094136B (zh) * | 2017-09-20 | 2022-10-28 | 麦格纳国际公司 | 用于制造业用的适应性箱子拾取的***和方法 |
JP6595555B2 (ja) * | 2017-10-23 | 2019-10-23 | ファナック株式会社 | 仕分けシステム |
US10899011B2 (en) * | 2018-11-14 | 2021-01-26 | Fetch Robotics, Inc. | Method and system for selecting a preferred robotic grasp of an object-of-interest using pairwise ranking |
JP6676030B2 (ja) * | 2017-11-20 | 2020-04-08 | 株式会社安川電機 | 把持システム、学習装置、把持方法、及び、モデルの製造方法 |
US10572775B2 (en) | 2017-12-05 | 2020-02-25 | X Development Llc | Learning and applying empirical knowledge of environments by robots |
JP7122821B2 (ja) * | 2017-12-15 | 2022-08-22 | 川崎重工業株式会社 | ロボットシステム及びロボット制御方法 |
JP7136554B2 (ja) * | 2017-12-18 | 2022-09-13 | 国立大学法人信州大学 | 把持装置、学習装置、プログラム、把持システム、及び学習方法 |
US10754318B2 (en) * | 2017-12-21 | 2020-08-25 | X Development Llc | Robot interaction with objects based on semantic information associated with embedding spaces |
CN108038107B (zh) * | 2017-12-22 | 2021-06-25 | 东软集团股份有限公司 | 基于卷积神经网络的语句情感分类方法、装置及其设备 |
US11475291B2 (en) * | 2017-12-27 | 2022-10-18 | X Development Llc | Sharing learned information among robots |
US11097418B2 (en) * | 2018-01-04 | 2021-08-24 | X Development Llc | Grasping of an object by a robot based on grasp strategy determined using machine learning model(s) |
WO2019139815A1 (en) | 2018-01-12 | 2019-07-18 | Duke University | Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects |
JP6933167B2 (ja) * | 2018-03-14 | 2021-09-08 | オムロン株式会社 | ロボットの制御装置 |
WO2019183141A1 (en) * | 2018-03-21 | 2019-09-26 | Realtime Robotics, Inc. | Motion planning of a robot for various environments and tasks and improved operation of same |
US10766149B2 (en) | 2018-03-23 | 2020-09-08 | Amazon Technologies, Inc. | Optimization-based spring lattice deformation model for soft materials |
CN111615676B (zh) * | 2018-03-26 | 2023-05-23 | 赫尔实验室有限公司 | 用于估计由监督机器学习器做出的决策的不确定性的***和方法 |
SE543130C2 (en) | 2018-04-22 | 2020-10-13 | Zenrobotics Oy | A waste sorting robot gripper |
US11584016B2 (en) | 2018-04-24 | 2023-02-21 | Fanuc Corporation | Robot controller and system |
US10967507B2 (en) * | 2018-05-02 | 2021-04-06 | X Development Llc | Positioning a robot sensor for object classification |
SE544741C2 (en) | 2018-05-11 | 2022-11-01 | Genie Ind Bv | Waste Sorting Gantry Robot and associated method |
JP7057214B2 (ja) * | 2018-05-18 | 2022-04-19 | トヨタ自動車株式会社 | 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法 |
JP7008136B2 (ja) * | 2018-06-14 | 2022-01-25 | ヤマハ発動機株式会社 | 機械学習装置及びこれを備えたロボットシステム |
EP3784451A1 (en) * | 2018-06-15 | 2021-03-03 | Google LLC | Deep reinforcement learning for robotic manipulation |
US11148295B2 (en) * | 2018-06-17 | 2021-10-19 | Robotics Materials, Inc. | Systems, devices, components, and methods for a compact robotic gripper with palm-mounted sensing, grasping, and computing devices and components |
DE102018211044A1 (de) * | 2018-07-04 | 2020-01-09 | Kuka Deutschland Gmbh | Verfahren und System zum Analysieren und/oder Konfigurieren einer industriellen Anlage |
JP7333204B2 (ja) * | 2018-08-10 | 2023-08-24 | 川崎重工業株式会社 | 情報処理装置、ロボット操作システム、及びロボット操作方法 |
KR102565279B1 (ko) | 2018-08-23 | 2023-08-09 | 삼성전자주식회사 | 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들 |
EP3620984B1 (en) * | 2018-09-06 | 2024-04-10 | Accenture Global Solutions Limited | Digital quality control using computer visioning with deep learning |
US11597086B2 (en) | 2018-09-13 | 2023-03-07 | The Charles Stark Draper Laboratory, Inc. | Food-safe, washable interface for exchanging tools |
US11325252B2 (en) | 2018-09-15 | 2022-05-10 | X Development Llc | Action prediction networks for robotic grasping |
US10611026B1 (en) * | 2018-10-16 | 2020-04-07 | University Of South Florida | Systems and methods for learning and generating movement policies for a dynamical system |
US11007642B2 (en) | 2018-10-23 | 2021-05-18 | X Development Llc | Machine learning methods and apparatus for automated robotic placement of secured object in appropriate location |
JP7205752B2 (ja) * | 2018-11-09 | 2023-01-17 | オムロン株式会社 | ロボット制御装置、ロボット制御方法、及びロボット制御プログラム |
EP3653348A1 (en) * | 2018-11-19 | 2020-05-20 | Tata Consultancy Services Limited | System and method for intelligent 3d imaging guided robotic gripper |
CN111275063B (zh) * | 2018-12-04 | 2023-06-09 | 深圳市中科德睿智能科技有限公司 | 一种基于3d视觉的机器人智能抓取控制方法及*** |
US11584020B2 (en) * | 2018-12-04 | 2023-02-21 | Cloudminds Robotics Co., Ltd. | Human augmented cloud-based robotics intelligence framework and associated methods |
JP7044047B2 (ja) * | 2018-12-14 | 2022-03-30 | トヨタ自動車株式会社 | ロボット |
KR102145863B1 (ko) * | 2018-12-17 | 2020-08-19 | 전자부품연구원 | 다중 이종 장치의 학습 방법, 이를 이용한 엣지 서버 및 시스템 |
EP3670106B1 (en) * | 2018-12-18 | 2024-05-15 | Siemens Aktiengesellschaft | Task-specific robot grasping system and method |
CN109702741B (zh) * | 2018-12-26 | 2020-12-18 | 中国科学院电子学研究所 | 基于自监督学习神经网络的机械臂视觉抓取***及方法 |
WO2020142495A1 (en) * | 2018-12-31 | 2020-07-09 | Abb Schweiz Ag | Multiple robot and/or positioner object learning system and method |
US11594090B2 (en) * | 2019-01-03 | 2023-02-28 | Lucomm Technologies, Inc. | Robotic post |
CN109807887B (zh) * | 2019-01-18 | 2020-09-15 | 上海交通大学 | 基于深度神经网络的柔性臂智能感知与控制方法和*** |
CN109531584A (zh) * | 2019-01-31 | 2019-03-29 | 北京无线电测量研究所 | 一种基于深度学习的机械臂控制方法和装置 |
KR102178013B1 (ko) * | 2019-02-08 | 2020-11-12 | 한양대학교 산학협력단 | 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법 |
ES2912406T3 (es) * | 2019-02-15 | 2022-05-25 | Siemens Ag | Sistema y método computarizados que usan diferentes vistas de imágenes para encontrar ubicaciones de agarre y trayectorias para una recogida robótica |
EP3930615A1 (en) * | 2019-02-28 | 2022-01-05 | Koninklijke Philips N.V. | Feedforward continuous positioning control of end-effectors |
US11170526B2 (en) | 2019-03-26 | 2021-11-09 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating tool trajectories |
US11440183B2 (en) * | 2019-03-27 | 2022-09-13 | Abb Schweiz Ag | Hybrid machine learning-based systems and methods for training an object picking robot with real and simulated performance data |
CN110000785B (zh) * | 2019-04-11 | 2021-12-14 | 上海交通大学 | 农业场景无标定机器人运动视觉协同伺服控制方法与设备 |
JP7511259B2 (ja) | 2019-04-17 | 2024-07-05 | リアルタイム ロボティクス, インコーポレーテッド | モーション計画グラフ生成ユーザインターフェース、システム、方法、および物品 |
CN110083160B (zh) * | 2019-05-16 | 2022-04-19 | 哈尔滨工业大学(深圳) | 一种基于深度学习的机器人轨迹规划方法 |
WO2020237215A1 (en) * | 2019-05-23 | 2020-11-26 | Google Llc | Object discovery in images through categorizing object parts |
JP7260402B2 (ja) * | 2019-05-31 | 2023-04-18 | ファナック株式会社 | ケーブルの状態を学習する機械学習装置、ロボットシステム、及び機械学習方法 |
US10576630B1 (en) * | 2019-05-31 | 2020-03-03 | Mujin, Inc. | Robotic system with a robot arm suction control mechanism and method of operation thereof |
CN110302981B (zh) * | 2019-06-17 | 2021-03-23 | 华侨大学 | 一种固废分拣在线抓取方法和*** |
WO2020261881A1 (ja) * | 2019-06-27 | 2020-12-30 | パナソニックIpマネジメント株式会社 | エンドエフェクタの制御システムおよびエンドエフェクタの制御方法 |
JP7229115B2 (ja) * | 2019-07-09 | 2023-02-27 | 株式会社日立製作所 | ロボット制御装置及びロボット |
US11213953B2 (en) * | 2019-07-26 | 2022-01-04 | Google Llc | Efficient robot control based on inputs from remote client devices |
KR102267514B1 (ko) * | 2019-07-29 | 2021-06-21 | 한국기계연구원 | 작업대상물의 피킹 및 플레이스 방법 |
EP3998140A4 (en) * | 2019-08-28 | 2022-09-28 | Daily Color Inc. | ROBOT CONTROL DEVICE |
JP6742040B1 (ja) * | 2019-08-28 | 2020-08-19 | 株式会社DailyColor | ロボット制御装置 |
US11685045B1 (en) * | 2019-09-09 | 2023-06-27 | X Development Llc | Asynchronous robotic control using most recently selected robotic action data |
DE102019214402A1 (de) * | 2019-09-20 | 2021-03-25 | Robert Bosch Gmbh | Verfahren und vorrichtung zum verarbeiten von daten mittels eines neuronalen konvolutionsnetzwerks |
CN110782038A (zh) * | 2019-09-27 | 2020-02-11 | 深圳蓝胖子机器人有限公司 | 自动标记训练样本的方法和***及监督学习的方法和*** |
US11389957B2 (en) * | 2019-09-30 | 2022-07-19 | Mitsubishi Electric Research Laboratories, Inc. | System and design of derivative-free model learning for robotic systems |
US20210125052A1 (en) * | 2019-10-24 | 2021-04-29 | Nvidia Corporation | Reinforcement learning of tactile grasp policies |
US11724401B2 (en) * | 2019-11-13 | 2023-08-15 | Nvidia Corporation | Grasp determination for an object in clutter |
CN110977965B (zh) * | 2019-11-26 | 2023-02-28 | 中国科学院深圳先进技术研究院 | 机器人及其控制方法、计算机存储介质 |
KR102423490B1 (ko) * | 2019-11-27 | 2022-07-21 | 코가로보틱스 주식회사 | 로봇의 파지 방법 및 이를 위한 학습 방법 |
KR102224693B1 (ko) * | 2019-11-29 | 2021-03-08 | 브이아이씨테크 주식회사 | 제어 명령에 따른 이동체의 이동결과 추정을 위한 인공지능 모델 학습방법, 장치 및 프로그램 |
KR102266620B1 (ko) | 2019-12-03 | 2021-06-18 | 경기대학교 산학협력단 | 로봇 물체 조작 학습 시스템 |
JP6792230B1 (ja) * | 2019-12-12 | 2020-11-25 | 株式会社エクサウィザーズ | 情報処理装置、方法およびプログラム |
JP7276108B2 (ja) * | 2019-12-13 | 2023-05-18 | トヨタ自動車株式会社 | 遠隔操作システム及び遠隔操作方法 |
US11584004B2 (en) * | 2019-12-17 | 2023-02-21 | X Development Llc | Autonomous object learning by robots triggered by remote operators |
JPWO2021157104A1 (ja) * | 2020-02-03 | 2021-08-12 | ||
CN111310637B (zh) * | 2020-02-11 | 2022-11-11 | 山西大学 | 一种基于尺度不变网络的机器人目标抓取检测方法 |
CN111360862B (zh) * | 2020-02-29 | 2023-03-24 | 华南理工大学 | 一种基于卷积神经网络的生成最佳抓取位姿的方法 |
US11816754B2 (en) | 2020-03-13 | 2023-11-14 | Omron Corporation | Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium |
KR102485272B1 (ko) * | 2020-03-17 | 2023-01-04 | 전남대학교 산학협력단 | 확률 체계 기반 충돌격자지도를 이용한 충돌 상황을 학습 및 인지하기 위한 장치 및 이를 위한 방법 |
CN111496794B (zh) * | 2020-04-29 | 2022-04-01 | 华中科技大学 | 一种基于仿真工业机器人的运动学自抓取学习方法和*** |
US20210352835A1 (en) * | 2020-05-05 | 2021-11-11 | Integrated Dynamics Engineering Gmbh | Method for processing substrates, in particular wafers, masks or flat panel displays, with a semi-conductor industry machine |
CN111687840B (zh) * | 2020-06-11 | 2021-10-29 | 清华大学 | 一种对空间目标实施抓捕的方法、装置和存储介质 |
US11559885B2 (en) * | 2020-07-14 | 2023-01-24 | Intrinsic Innovation Llc | Method and system for grasping an object |
CN111872937B (zh) * | 2020-07-23 | 2022-04-19 | 西华大学 | 一种任务空间中不确定机械臂的控制方法 |
US11651195B2 (en) * | 2020-08-31 | 2023-05-16 | Verizon Connect Development Limited | Systems and methods for utilizing a machine learning model combining episodic and semantic information to process a new class of data without loss of semantic knowledge |
GB2598758B (en) * | 2020-09-10 | 2023-03-29 | Toshiba Kk | Task performing agent systems and methods |
US11654564B2 (en) * | 2020-09-10 | 2023-05-23 | Fanuc Corporation | Efficient data generation for grasp learning with general grippers |
US11866258B2 (en) | 2020-10-19 | 2024-01-09 | Gideon Brothers d.o.o. | User interface for mission generation of area-based operation by autonomous robots in a facility context |
CN112297013B (zh) * | 2020-11-11 | 2022-02-18 | 浙江大学 | 一种基于数字孪生和深度神经网络的机器人智能抓取方法 |
DE102020214633A1 (de) * | 2020-11-20 | 2022-05-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung |
CN112643668B (zh) * | 2020-12-01 | 2022-05-24 | 浙江工业大学 | 一种适用于密集环境下的机械臂推抓协同方法 |
KR102426189B1 (ko) * | 2020-12-22 | 2022-07-28 | 주식회사 대덕알앤디 | 스마트 eoat 로봇 시스템 |
US20220288783A1 (en) * | 2021-03-10 | 2022-09-15 | Nvidia Corporation | Machine learning of grasp poses in a cluttered environment |
JP2022162857A (ja) * | 2021-04-13 | 2022-10-25 | 株式会社デンソーウェーブ | 機械学習装置及びロボットシステム |
CN113326932B (zh) * | 2021-05-08 | 2022-09-09 | 清华大学 | 基于物体检测的物体操作指令跟随学习方法及装置 |
CN113326933B (zh) * | 2021-05-08 | 2022-08-09 | 清华大学 | 基于注意力机制的物体操作指令跟随学习方法及装置 |
WO2022239878A1 (ko) * | 2021-05-10 | 2022-11-17 | 코가플렉스 주식회사 | 로봇의 파지 방법 및 로봇의 파지를 위한 학습 방법 |
CN113436293B (zh) * | 2021-07-13 | 2022-05-03 | 浙江大学 | 一种基于条件生成式对抗网络的智能抓取图像生成方法 |
US11947632B2 (en) * | 2021-08-17 | 2024-04-02 | Maplebear Inc. | Training a classification model using labeled training data that does not overlap with target classifications for the classification model |
CN113799138A (zh) * | 2021-10-09 | 2021-12-17 | 中山大学 | 一种基于抓取生成卷积神经网络的机械臂抓取方法 |
CN114012722B (zh) * | 2021-11-01 | 2023-05-30 | 苏州科德软体电路板有限公司 | 一种基于深度学习和边缘检测的机械臂抓取目标方法 |
TW202348377A (zh) * | 2022-03-11 | 2023-12-16 | 美商即時機器人股份有限公司 | 用於在共享工作空間中之機器人之使用階段姿態之動作規劃及控制 |
Family Cites Families (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06314103A (ja) * | 1993-04-30 | 1994-11-08 | Fujitsu Ltd | 制御装置と能動的センシング装置 |
JPH0780790A (ja) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | 三次元物体把持システム |
US5699449A (en) * | 1994-11-14 | 1997-12-16 | The University Of Connecticut | Method and apparatus for implementation of neural networks for face recognition |
KR100188249B1 (ko) * | 1997-02-26 | 1999-06-01 | 윤종용 | 공작기계의 원점복귀 방법 |
JP3421608B2 (ja) * | 1999-04-08 | 2003-06-30 | ファナック株式会社 | 教示モデル生成装置 |
DE60130742T2 (de) * | 2001-05-28 | 2008-07-17 | Honda Research Institute Europe Gmbh | Mustererkennung mit hierarchischen Netzen |
DE10130485C2 (de) | 2001-06-25 | 2003-06-26 | Robert Riener | Programmierbarer Gelenksimulator |
WO2003021365A2 (en) | 2001-08-31 | 2003-03-13 | The Board Of Regents Of The University And Community College System, On Behalf Of The University Of Nevada, Reno | Coordinated joint motion control system |
JP3751309B2 (ja) * | 2002-12-12 | 2006-03-01 | 松下電器産業株式会社 | ロボット制御装置 |
US10589087B2 (en) | 2003-11-26 | 2020-03-17 | Wicab, Inc. | Systems and methods for altering brain and body functions and for treating conditions and diseases of the same |
US7336814B2 (en) * | 2004-07-14 | 2008-02-26 | Braintech Canada, Inc. | Method and apparatus for machine-vision |
US20110020779A1 (en) | 2005-04-25 | 2011-01-27 | University Of Washington | Skill evaluation using spherical motion mechanism |
US7533071B2 (en) | 2005-06-28 | 2009-05-12 | Neurosciences Research Foundation, Inc. | Neural modeling and brain-based devices using special purpose processor |
KR101003579B1 (ko) * | 2006-02-02 | 2010-12-22 | 가부시키가이샤 야스카와덴키 | 로봇 시스템 |
JP2007245326A (ja) * | 2006-02-17 | 2007-09-27 | Toyota Motor Corp | ロボットとロボットの制御方法 |
US20080009771A1 (en) | 2006-03-29 | 2008-01-10 | Joel Perry | Exoskeleton |
US20090278798A1 (en) | 2006-07-26 | 2009-11-12 | The Research Foundation Of The State University Of New York | Active Fingertip-Mounted Object Digitizer |
US20100243344A1 (en) | 2006-09-25 | 2010-09-30 | Board Of Trustees Of Leland Stanford Junior University | Electromechanically counterbalanced humanoid robotic system |
RU2361726C2 (ru) * | 2007-02-28 | 2009-07-20 | Общество С Ограниченной Ответственностью "Алгоритм-Робо" | Система управления антропоморфным роботом и способ управления |
US20090132088A1 (en) * | 2007-04-24 | 2009-05-21 | Tairob Ltd. | Transfer of knowledge from a human skilled worker to an expert machine - the learning process |
JP2008296330A (ja) * | 2007-05-31 | 2008-12-11 | Fanuc Ltd | ロボットシミュレーション装置 |
US7997847B2 (en) | 2007-12-10 | 2011-08-16 | Robotic Systems & Technologies, Inc. | Automated robotic system for handling surgical instruments |
US8155479B2 (en) | 2008-03-28 | 2012-04-10 | Intuitive Surgical Operations Inc. | Automated panning and digital zooming for robotic surgical systems |
US9119533B2 (en) | 2008-10-07 | 2015-09-01 | Mc10, Inc. | Systems, methods, and devices having stretchable integrated circuitry for sensing and delivering therapy |
US8204623B1 (en) | 2009-02-13 | 2012-06-19 | Hrl Laboratories, Llc | Planning approach for obstacle avoidance in complex environment using articulated redundant robot arm |
EP2422295A1 (en) | 2009-04-23 | 2012-02-29 | Koninklijke Philips Electronics N.V. | Object-learning robot and method |
WO2011123669A1 (en) | 2010-03-31 | 2011-10-06 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Intuitive user interface control for remote catheter navigation and 3d mapping and visualization systems |
US20110043537A1 (en) | 2009-08-20 | 2011-02-24 | University Of Washington | Visual distortion in a virtual environment to alter or guide path movement |
JP4837116B2 (ja) * | 2010-03-05 | 2011-12-14 | ファナック株式会社 | 視覚センサを備えたロボットシステム |
FI20105732A0 (fi) * | 2010-06-24 | 2010-06-24 | Zenrobotics Oy | Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä |
WO2012047356A2 (en) | 2010-07-26 | 2012-04-12 | The University Of Vermont | Uses of systems with degrees of freedom poised between fully quantum and fully classical states |
RU2475290C1 (ru) | 2010-11-17 | 2013-02-20 | Общество С Ограниченной Ответственностью "Айтэм Мультимедиа" | Устройство для игр |
CN102161198B (zh) * | 2011-03-18 | 2012-09-19 | 浙江大学 | 用于三维空间中移动机械臂路径规划的主从式协进化方法 |
JP5787642B2 (ja) * | 2011-06-28 | 2015-09-30 | キヤノン株式会社 | 対象物保持装置、対象物保持装置の制御方法、およびプログラム |
KR20130017123A (ko) | 2011-08-10 | 2013-02-20 | 한국생산기술연구원 | 로봇 파지 지능 학습 지원 시스템 및 방법 |
US20130041508A1 (en) | 2011-08-12 | 2013-02-14 | Georgia Tech Research Corporation | Systems and methods for operating robots using visual servoing |
JP2013046937A (ja) * | 2011-08-29 | 2013-03-07 | Dainippon Screen Mfg Co Ltd | 対象物把持装置および対象物把持方法および対象物把持プログラム |
JP5623358B2 (ja) * | 2011-09-06 | 2014-11-12 | 三菱電機株式会社 | ワーク取り出し装置 |
TWI454246B (zh) | 2011-09-30 | 2014-10-01 | Mackay Memorial Hospital | Immediate monitoring of the target location of the radiotherapy system |
US8386079B1 (en) * | 2011-10-28 | 2013-02-26 | Google Inc. | Systems and methods for determining semantic information associated with objects |
CN102848388A (zh) * | 2012-04-05 | 2013-01-02 | 上海大学 | 基于多传感器的服务机器人定位和抓取方法 |
US9092698B2 (en) | 2012-06-21 | 2015-07-28 | Rethink Robotics, Inc. | Vision-guided robots and methods of training them |
KR101997566B1 (ko) | 2012-08-07 | 2019-07-08 | 삼성전자주식회사 | 수술 로봇 시스템 및 그 제어방법 |
US20140180479A1 (en) * | 2012-12-20 | 2014-06-26 | Wal-Mart Stores, Inc. | Bagging With Robotic Arm |
US9764468B2 (en) * | 2013-03-15 | 2017-09-19 | Brain Corporation | Adaptive predictor apparatus and methods |
US20150138078A1 (en) * | 2013-11-18 | 2015-05-21 | Eyal Krupka | Hand pose recognition using boosted look up tables |
CN104680508B (zh) | 2013-11-29 | 2018-07-03 | 华为技术有限公司 | 卷积神经网络和基于卷积神经网络的目标物体检测方法 |
US10226869B2 (en) | 2014-03-03 | 2019-03-12 | University Of Washington | Haptic virtual fixture tools |
US9533413B2 (en) | 2014-03-13 | 2017-01-03 | Brain Corporation | Trainable modular robotic apparatus and methods |
JP6415066B2 (ja) * | 2014-03-20 | 2018-10-31 | キヤノン株式会社 | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム |
JP6364856B2 (ja) * | 2014-03-25 | 2018-08-01 | セイコーエプソン株式会社 | ロボット |
US9978013B2 (en) * | 2014-07-16 | 2018-05-22 | Deep Learning Analytics, LLC | Systems and methods for recognizing objects in radar imagery |
US11256982B2 (en) | 2014-07-18 | 2022-02-22 | University Of Southern California | Noise-enhanced convolutional neural networks |
US9802309B2 (en) * | 2014-07-24 | 2017-10-31 | X Development Llc | Methods and systems for generating instructions for a robotic system to carry out a task |
US9767385B2 (en) | 2014-08-12 | 2017-09-19 | Siemens Healthcare Gmbh | Multi-layer aggregation for object detection |
US10768708B1 (en) | 2014-08-21 | 2020-09-08 | Ultrahaptics IP Two Limited | Systems and methods of interacting with a robotic tool using free-form gestures |
US10518409B2 (en) | 2014-09-02 | 2019-12-31 | Mark Oleynik | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries |
US10754328B2 (en) * | 2014-09-05 | 2020-08-25 | Accenture Global Solutions Limited | Self-adaptive device intelligence as a service enterprise infrastructure for sensor-rich environments |
CA2882968C (en) * | 2015-02-23 | 2023-04-25 | Sulfur Heron Cognitive Systems Inc. | Facilitating generation of autonomous control information |
US10335951B2 (en) * | 2015-07-29 | 2019-07-02 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, robot control apparatus, and robot system |
US9616568B1 (en) * | 2015-08-25 | 2017-04-11 | X Development Llc | Generating a grasp affordance for an object based on a thermal image of the object that is captured following human manipulation of the object |
KR101808840B1 (ko) * | 2015-09-04 | 2017-12-13 | 한국전자통신연구원 | 학습 기반 깊이 정보 추출 방법 및 장치 |
CN106548127B (zh) * | 2015-09-18 | 2022-11-04 | 松下电器(美国)知识产权公司 | 图像识别方法 |
US9689696B1 (en) | 2015-09-22 | 2017-06-27 | X Development Llc | Determining handoff checkpoints for low-resolution robot planning |
US9662787B1 (en) | 2015-09-25 | 2017-05-30 | Google Inc. | Hydraulic pressure variation in a legged robot |
US20170106542A1 (en) * | 2015-10-16 | 2017-04-20 | Amit Wolf | Robot and method of controlling thereof |
US9904874B2 (en) * | 2015-11-05 | 2018-02-27 | Microsoft Technology Licensing, Llc | Hardware-efficient deep convolutional neural networks |
US9959468B2 (en) * | 2015-11-06 | 2018-05-01 | The Boeing Company | Systems and methods for object tracking and classification |
JP2017102671A (ja) * | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 識別装置、調整装置、情報処理方法及びプログラム |
US10471594B2 (en) | 2015-12-01 | 2019-11-12 | Kindred Systems Inc. | Systems, devices, and methods for the distribution and collection of multimodal data associated with robots |
US9799198B2 (en) | 2015-12-18 | 2017-10-24 | General Electric Company | System and method for communicating with an operator of the system |
US10229324B2 (en) * | 2015-12-24 | 2019-03-12 | Intel Corporation | Video summarization using semantic information |
US20170213576A1 (en) * | 2016-01-22 | 2017-07-27 | Artur Nugumanov | Live Comics Capturing Camera |
CA3016418C (en) * | 2016-03-03 | 2020-04-14 | Google Llc | Deep machine learning methods and apparatus for robotic grasping |
-
2017
- 2017-03-02 CN CN202010527977.4A patent/CN111832702A/zh active Pending
- 2017-03-02 CN CN201780018883.0A patent/CN108885715B/zh active Active
- 2017-03-02 EP EP17711906.2A patent/EP3414710B1/en active Active
- 2017-03-02 US US15/448,013 patent/US9914213B2/en active Active
- 2017-03-02 JP JP2018545896A patent/JP6586243B2/ja active Active
- 2017-03-02 WO PCT/US2017/020455 patent/WO2017151926A1/en active Application Filing
- 2017-03-02 KR KR1020187027695A patent/KR102023149B1/ko active IP Right Grant
-
2018
- 2018-01-26 US US15/881,189 patent/US10639792B2/en active Active
-
2020
- 2020-03-19 US US16/823,947 patent/US11045949B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9914213B2 (en) | 2018-03-13 |
US20180147723A1 (en) | 2018-05-31 |
EP3414710B1 (en) | 2022-11-02 |
US20200215686A1 (en) | 2020-07-09 |
KR20180114200A (ko) | 2018-10-17 |
US11045949B2 (en) | 2021-06-29 |
US20170252924A1 (en) | 2017-09-07 |
WO2017151926A1 (en) | 2017-09-08 |
KR102023149B1 (ko) | 2019-11-22 |
CN108885715B (zh) | 2020-06-26 |
CN108885715A (zh) | 2018-11-23 |
CN111832702A (zh) | 2020-10-27 |
US10639792B2 (en) | 2020-05-05 |
JP2019509905A (ja) | 2019-04-11 |
EP3414710A1 (en) | 2018-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6586243B2 (ja) | ロボットの把持のための深層機械学習方法および装置 | |
JP6586532B2 (ja) | ロボットの把持のための深層機械学習方法および装置 | |
CN110785268B (zh) | 用于语义机器人抓取的机器学习方法和装置 | |
US11559885B2 (en) | Method and system for grasping an object | |
CN110691676A (zh) | 使用神经网络和几何感知对象表示的机器人抓取预测 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181026 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181026 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20181026 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6586243 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |