JP7512491B2 - リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 - Google Patents
リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 Download PDFInfo
- Publication number
- JP7512491B2 JP7512491B2 JP2023135523A JP2023135523A JP7512491B2 JP 7512491 B2 JP7512491 B2 JP 7512491B2 JP 2023135523 A JP2023135523 A JP 2023135523A JP 2023135523 A JP2023135523 A JP 2023135523A JP 7512491 B2 JP7512491 B2 JP 7512491B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- client device
- manipulation parameters
- remote client
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 claims description 144
- 230000000007 visual effect Effects 0.000 claims description 140
- 238000000034 method Methods 0.000 claims description 99
- 238000010801 machine learning Methods 0.000 claims description 53
- 230000004044 response Effects 0.000 claims description 35
- 239000012636 effector Substances 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 19
- 238000009877 rendering Methods 0.000 claims description 16
- 238000012546 transfer Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 21
- 238000004088 simulation Methods 0.000 description 21
- 238000012790 confirmation Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 230000009471 action Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000010200 validation analysis Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 210000000078 claw Anatomy 0.000 description 4
- 238000013481 data capture Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000036461 convulsion Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/36—Nc in input of data, input key till input tape
- G05B2219/36422—During teaching shut off, disable motor to move arm easy
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39536—Planning of hand motion, grasping
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Description
101B ロボット作業空間
101C 領域
103A コンベヤ部分
103B コンベヤ部分
103C コンベヤ部分
110 システム、リアルエピソードシステム
112 予測エンジン
113 予測された物体操作パラメータ
114 視覚的表現エンジン
115 視覚的表現
116 操作パラメータエンジン
117 物体操作パラメータ
120 シミュレータ
130 リモートクライアントデバイス、シム差分エンジン
132 表示エンジン
134 入力エンジン
135 入力データ
136 入力デバイス
140 シム訓練データシステム
143 訓練データエンジン
144 訓練インスタンス
145 訓練エンジン
152 訓練データデータベース
165 機械学習モデル
170A 第1のロボット
170B 第2のロボット
172A エンドエフェクタ
172B エンドエフェクタ
174A 関連するロボットビジョン構成要素
174B 関連するロボットビジョン構成要素
194 追加のビジョン構成要素
192A サングラス
192B ステープラ
192C へら
193A コンテナ
193B コンテナ
270A ロボットのシミュレーション
270B ロボットのシミュレーション
270C ロボットのシミュレーション
282A1 仮想ボタン
282A2 仮想ボタン
282A3 仮想ボタン
282E1 インジケーション
282E2 インジケーション
288E インジケーション
289A1 経路、軌跡
289B1 中間地点
289B2 中間地点
289B3 把持姿勢
289C1 把持姿勢
289D1 点
289D2 点
289F1 点
289F2 点
292A 物体表現
292B 物体表現
292C 物体表現
292D 物体表現
292E 物体表現
292F 物体表現
300 方法
400 方法
500 方法
600 方法
725 ロボット
740a~740n 動作構成要素
742a~742m センサ
760 制御システム
810 コンピューティングデバイス
812 バスサブシステム
814 プロセッサ
816 ネットワークインターフェースサブシステム
820 ユーザインターフェース出力デバイス
822 ユーザインターフェース入力デバイス
824 ストレージサブシステム
825 メモリサブシステム
826 ファイルストレージサブシステム
830 主ランダムアクセスメモリ(RAM)
832 読み出し専用メモリ(ROM)
Claims (13)
- 少なくとも1つのコンピューティングデバイスにより実行される方法であって、
環境の第1の領域内の1つまたは複数のビジョン構成要素からビジョンデータを受信するステップであって、前記ビジョンデータは、第1の時間における前記第1の領域の特徴を取り込み、前記特徴は、前記第1の時間において前記第1の領域に位置する物体の物体特徴を含む、ステップと、
前記第1の領域から、前記ビジョンデータによって取り込まれない前記環境の異なるロボット作業空間への前記物体の搬送の完了前における、
前記第1の時間における前記第1の領域の前記特徴を取り込む前記ビジョンデータに基づいて生成される視覚的表現を1つまたは複数のネットワークを介してリモートクライアントデバイスに送信するステップであって、前記リモートクライアントデバイスは、前記少なくとも1つのコンピューティングデバイスに対して遠隔に位置し、
前記視覚的表現が、前記物体特徴に基づいて生成される物体表現を含み、
前記物体表現はバウンディング形状を含み、前記バウンディング形状は、
前記バウンディング形状の中心を定義する2以上の座標と、
前記バウンディング形状の向きを定義する1つまたは複数の向きの値と、
前記バウンディング形状のサイズを定義する少なくとも1つのサイズ値と
により定義され、
前記視覚的表現は、前記ビジョンデータ内で可視である前記第1の領域の1つまたは複数の他の物体を省略する、ステップと、
前記リモートクライアントデバイスにおける1つまたは複数のユーザインターフェース入力に基づいて生成されるデータを、前記リモートクライアントデバイスから前記1つまたは複数のネットワークを介して受信するステップであって、前記1つまたは複数のユーザインターフェース入力は、前記第1の時間における前記第1の領域の前記特徴を取り込む前記ビジョンデータに基づいて生成される前記視覚的表現が前記リモートクライアントデバイスにおいてレンダリングされるときの、前記視覚的表現に向けられたものである、ステップと、
前記データに基づいて、前記ロボット作業空間内で動作するロボットによる前記物体の操作に対する1つまたは複数の物体操作パラメータを決定するステップと、
前記1つまたは複数の物体操作パラメータに従って前記ロボットに前記物体を操作させるステップであって、
1つまたは複数のロボットセンサーを使用して、前記物体が前記ロボット作業空間内にあることを前記ロボットが検出することに応答して、前記ロボットは、前記1つまたは複数の物体操作パラメータに従って、前記物体を操作し、
前記1つまたは複数のロボットセンサーは、前記環境の前記第1の領域内の前記ビジョン構成要素に加えられ、
前記第1の領域から前記ロボット作業空間への前記物体の搬送の後で、かつ前記第1の時間に続く第2の時間において、前記物体が前記ロボット作業空間内にある、ステップと
を含む、方法。 - 前記1つまたは複数の物体操作パラメータを決定するステップも、前記第1の領域から前記ロボット作業空間への前記物体の搬送の完了前に行われる、請求項1に記載の方法。
- 前記1つまたは複数の物体操作パラメータが、前記物体の把持のための把持姿勢を含み、
前記1つまたは複数の物体操作パラメータに従って前記ロボットに前記物体を操作させるステップが、前記ロボットのエンドエフェクタに前記把持姿勢までトラバースさせ、前記把持姿勢までトラバースした後に前記物体の把持を試みさせるステップを含む、請求項1に記載の方法。 - 前記データは、第1の基準座標系に対して1つもしくは複数の姿勢および/または1つもしくは複数の点を定義し、
前記1つまたは複数の物体操作パラメータを生成するステップが、
前記1つもしくは複数の姿勢および/または前記1つもしくは複数の点を、前記基準座標系とは異なるロボット座標系に変換するステップと、
前記物体操作パラメータを生成する際に前記変換された姿勢および/または点を使用するステップを
を含む、請求項1に記載の方法。 - 前記ロボットに前記物体を操作させた後において、
1つまたは複数の追加のセンサーからの追加のセンサーデータに基づいて、前記操作の成功の測定値を決定するステップと、
成功の前記測定値が閾値を満たすことに基づいて、正の訓練インスタンスを生成するステップと、
前記正の訓練インスタンスに基づいて、機械学習モデルを訓練するステップと
をさらに含む、請求項1に記載の方法。 - 前記1つまたは複数の追加のセンサーが、前記1つまたは複数のロボットセンサー、および前記環境内の重量センサーのうちの少なくとも一方を含む、請求項5に記載の方法。
- 前記正の訓練インスタンスを生成するステップが、
前記ビジョンデータに基づいて、または前記ロボットの1つまたは複数のロボットビジョン構成要素からのロボットビジョンデータに基づいて、前記正の訓練インスタンスの訓練インスタンス入力を生成するステップを含む、請求項5に記載の方法。 - 前記正の訓練インスタンスを生成するステップが、前記物体操作パラメータに基づいて、前記正の訓練インスタンスの訓練インスタンス出力を生成するステップを含む、請求項7に記載の方法。
- 前記正の訓練インスタンスに基づいて前記機械学習モデルを訓練するステップの後において、
前記機械学習モデルを使用して、追加の物体を取り込む追加のビジョンデータを処理するステップと、
前記処理に基づいて、前記追加の物体に関する1つまたは複数の予測された物体操作パラメータを生成するステップと、
前記1つまたは複数の予測された物体操作パラメータに従って、前記ロボットに前記追加の物体を操作させるステップと
をさらに含む、請求項8に記載の方法。 - 前記予測された物体操作パラメータの視覚的インジケーションを、前記リモートクライアントデバイスまたは追加のリモートクライアントデバイスに送信するステップと、
前記リモートクライアントデバイスまたは前記追加のリモートクライアントデバイスから、前記予測された物体操作パラメータの前記視覚的インジケーションの提示に応答して肯定的なユーザインターフェース入力が受け取られたというインジケーションを受信するステップと
をさらに含み、
前記1つまたは複数の予測された物体操作パラメータに従って前記ロボットに前記追加の物体を操作させるステップが、肯定的なユーザインターフェース入力が受け取られたという前記インジケーションを受信することに応答する、請求項9に記載の方法。 - 前記処理に基づいて、前記1つまたは複数の予測された物体操作パラメータの信頼性の測定値を生成するステップをさらに含み、
前記予測された物体操作パラメータの前記視覚的インジケーションを送信するステップが、前記信頼性の測定値が、信頼性の測定値の閾値を満たすことができないことに応答する、請求項10に記載の方法。 - 前記正の訓練インスタンスに基づいて前記機械学習モデルを訓練するステップの後におおいて、
前記機械学習モデルを使用して、追加の物体を取り込む追加のビジョンデータを処理するステップと、
前記処理に基づいて、前記追加の物体に関する1つまたは複数の予測された物体操作パラメータを生成するステップと、
前記予測された物体操作パラメータの視覚的インジケーションを、前記リモートクライアントデバイスまたは追加のリモートクライアントデバイスに送信するステップと、
前記予測された物体操作パラメータの視覚的インジケーションの提示に応答して受け取られたユーザインターフェース入力によって定義された代替的な物体操作パラメータのインジケーションを、前記リモートクライアントデバイスまたは前記追加のリモートクライアントデバイスから受信するステップと、
前記代替的な物体操作パラメータの受信に応答して、前記1つまたは複数の代替的な物体操作パラメータに従って、前記ロボットに前記追加の物体を操作させるステップと
をさらに含む、請求項8に記載の方法。 - 方法であって、
環境の特徴を取り込むビジョンデータを、前記環境内の1つまたは複数のビジョン構成要素から受信するステップであって、前記環境の特徴が、前記環境に位置する物体の物体特徴を含む、ステップと、
機械学習モデルを使用して前記ビジョンデータを処理することに基づいて、前記物体に関する予測された物体操作パラメータと、前記予測された物体操作パラメータに関する信頼性の測定値とを生成するステップと、
前記予測された物体操作パラメータに関する前記信頼性の測定値が、信頼性の測定値の閾値を満たすか否かを決定するステップと、
1つまたは複数のネットワークを介してリモートクライアントデバイスに送信するために、視覚的表現を生成するステップであって、
前記物体特徴に基づいて生成される前記物体の物体表現を前記視覚的表現に含めるステップと、
前記信頼性の測定値が、信頼性の測定値の下限閾値を満たすか否かに基づいて、前記予測された物体操作パラメータの視覚的インジケーションを前記視覚的表現に含めるか否かを決定するステップと
を含む、前記視覚的表現を生成するステップと、
前記視覚的表現を前記リモートクライアントデバイスに送信するステップと、
前記リモートクライアントデバイスにおける前記視覚的表現のレンダリングに応答して、前記リモートクライアントデバイスにおいて1つまたは複数のユーザインターフェース入力に基づいて生成されるデータを、前記1つまたは複数のネットワークを介して前記リモートクライアントデバイスから受信するステップと、
受信した前記データに依存して、ロボットに前記物体を操作させるステップと
を含む、方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/523,655 | 2019-07-26 | ||
US16/523,655 US11213953B2 (en) | 2019-07-26 | 2019-07-26 | Efficient robot control based on inputs from remote client devices |
PCT/US2020/043502 WO2021021630A1 (en) | 2019-07-26 | 2020-07-24 | Efficient robot control based on inputs from remote client devices |
JP2022503961A JP7338034B2 (ja) | 2019-07-26 | 2020-07-24 | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022503961A Division JP7338034B2 (ja) | 2019-07-26 | 2020-07-24 | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023164459A JP2023164459A (ja) | 2023-11-10 |
JP7512491B2 true JP7512491B2 (ja) | 2024-07-08 |
Family
ID=72047116
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022503961A Active JP7338034B2 (ja) | 2019-07-26 | 2020-07-24 | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 |
JP2023135523A Active JP7512491B2 (ja) | 2019-07-26 | 2023-08-23 | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022503961A Active JP7338034B2 (ja) | 2019-07-26 | 2020-07-24 | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11213953B2 (ja) |
EP (1) | EP3983857A1 (ja) |
JP (2) | JP7338034B2 (ja) |
CN (1) | CN114206558A (ja) |
WO (1) | WO2021021630A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11544594B2 (en) * | 2019-04-11 | 2023-01-03 | Sunghee Woo | Electronic device comprising user interface for providing user-participating-type AI training service, and server and method for providing user-participating-type AI training service using the electronic device |
US11213953B2 (en) | 2019-07-26 | 2022-01-04 | Google Llc | Efficient robot control based on inputs from remote client devices |
US11203116B2 (en) * | 2019-08-02 | 2021-12-21 | Teradyne, Inc. | System and method for predicting robotic tasks with deep learning |
KR20190098936A (ko) * | 2019-08-05 | 2019-08-23 | 엘지전자 주식회사 | 쿠킹 로봇 시스템 및 그 제어 방법 |
JP7339806B2 (ja) * | 2019-08-05 | 2023-09-06 | 川崎重工業株式会社 | 制御システム、ロボットシステム及び制御方法 |
JP2021091055A (ja) * | 2019-12-12 | 2021-06-17 | 株式会社キーエンス | 測定装置 |
US11587302B2 (en) * | 2019-12-17 | 2023-02-21 | X Development Llc | Shared dense network with robot task-specific heads |
US11530052B1 (en) | 2020-02-17 | 2022-12-20 | Amazon Technologies, Inc. | Systems and methods for automated ground handling of aerial vehicles |
US11597092B1 (en) * | 2020-03-26 | 2023-03-07 | Amazon Technologies, Ine. | End-of-arm tool with a load cell |
US11826908B2 (en) | 2020-04-27 | 2023-11-28 | Scalable Robotics Inc. | Process agnostic robot teaching using 3D scans |
US11534924B1 (en) | 2020-07-21 | 2022-12-27 | Amazon Technologies, Inc. | Systems and methods for generating models for automated handling of vehicles |
US11534915B1 (en) | 2020-08-05 | 2022-12-27 | Amazon Technologies, Inc. | Determining vehicle integrity based on observed behavior during predetermined manipulations |
MX2023010348A (es) * | 2021-03-04 | 2023-11-17 | Tutor Intelligence Inc | Sistema robotico. |
US11772272B2 (en) * | 2021-03-16 | 2023-10-03 | Google Llc | System(s) and method(s) of using imitation learning in training and refining robotic control policies |
US11478927B1 (en) * | 2021-04-01 | 2022-10-25 | Giant.Ai, Inc. | Hybrid computing architectures with specialized processors to encode/decode latent representations for controlling dynamic mechanical systems |
US20220324098A1 (en) * | 2021-04-12 | 2022-10-13 | Plus One Robotics, Inc. | Dynamic machine learning systems and methods for identifying pick objects based on incomplete data sets |
CA3230947A1 (en) | 2021-09-08 | 2023-03-16 | Patrick McKinley JARVIS | Wearable robot data collection system with human-machine operation interface |
CN113927596B (zh) * | 2021-10-07 | 2023-08-01 | 西北工业大学 | 一种基于宽度神经学习的时变输出约束机器人遥操作有限时间控制方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1991011885A1 (en) | 1990-01-29 | 1991-08-08 | Technistar Corporation | Automated assembly and packaging system |
JP2012121083A (ja) | 2010-12-07 | 2012-06-28 | Honda Motor Co Ltd | ワークの特定部位認識方法及びその装置 |
JP2012192466A (ja) | 2011-03-15 | 2012-10-11 | Omron Corp | 画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置 |
JP2012230041A (ja) | 2011-04-27 | 2012-11-22 | Seiko Epson Corp | 位置検出方法、位置検出装置、ロボットシステム |
JP2015214012A (ja) | 2014-02-28 | 2015-12-03 | ファナック株式会社 | ロボットを用いて物品を整列させる物品整列装置及び物品整列方法、並びに物品整列装置を備えた物品移送システム |
JP2017185578A (ja) | 2016-04-05 | 2017-10-12 | 株式会社リコー | 物体把持装置及び把持制御プログラム |
JP2018024045A (ja) | 2016-08-09 | 2018-02-15 | オムロン株式会社 | 情報処理システム、情報処理装置、ワークの位置特定方法、およびワークの位置特定プログラム |
JP2019016294A (ja) | 2017-07-10 | 2019-01-31 | 株式会社リコー | 情報処理装置、情報処理方法、情報処理プログラム、及びシステム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3187999B2 (ja) * | 1992-12-22 | 2001-07-16 | 三洋電機株式会社 | 産業用ロボット |
JP2005111607A (ja) | 2003-10-07 | 2005-04-28 | Fanuc Ltd | ロボット物流トラッキング装置 |
US20090306825A1 (en) * | 2008-04-21 | 2009-12-10 | Ying Li | Manipulation system and method |
JP5316563B2 (ja) * | 2011-02-15 | 2013-10-16 | オムロン株式会社 | 画像処理装置および画像処理システム |
US9092698B2 (en) * | 2012-06-21 | 2015-07-28 | Rethink Robotics, Inc. | Vision-guided robots and methods of training them |
US9486921B1 (en) * | 2015-03-26 | 2016-11-08 | Google Inc. | Methods and systems for distributing remote assistance to facilitate robotic object manipulation |
US9802317B1 (en) * | 2015-04-24 | 2017-10-31 | X Development Llc | Methods and systems for remote perception assistance to facilitate robotic object manipulation |
CN105563484B (zh) * | 2015-12-08 | 2018-04-10 | 深圳达闼科技控股有限公司 | 一种云机器人***、机器人和机器人云平台 |
CN111832702A (zh) * | 2016-03-03 | 2020-10-27 | 谷歌有限责任公司 | 用于机器人抓取的深度机器学习方法和装置 |
US10131051B1 (en) * | 2016-08-12 | 2018-11-20 | Amazon Technologies, Inc. | Anticipation-based robotic object grasping |
US11833684B2 (en) * | 2017-02-25 | 2023-12-05 | Diligent Robotics, Inc. | Systems, apparatus, and methods for robotic learning and execution of skills |
CA2977077C (en) * | 2017-06-16 | 2019-10-15 | Robotiq Inc. | Robotic arm camera system and method |
US12005566B2 (en) * | 2017-10-18 | 2024-06-11 | Congruens Group, Llc | On-demand robotic food assembly equipment, and related systems and methods |
EP3704626A1 (en) | 2017-11-02 | 2020-09-09 | Amp Robotics Corporation | Systems and methods for optical material characterization of waste materials using machine learning |
US10766137B1 (en) * | 2017-11-03 | 2020-09-08 | Amazon Technologies, Inc. | Artificial intelligence system for modeling and evaluating robotic success at task performance |
CN107891425B (zh) * | 2017-11-21 | 2020-05-12 | 合肥工业大学 | 智能双臂安全协作人机共融型机器人***的控制方法 |
US10843333B2 (en) * | 2018-03-05 | 2020-11-24 | Berkshire Grey, Inc. | Systems and methods for processing objects, including automated re-circulating processing stations |
US11584016B2 (en) * | 2018-04-24 | 2023-02-21 | Fanuc Corporation | Robot controller and system |
US10824142B2 (en) * | 2018-05-01 | 2020-11-03 | Dexterity, Inc. | Autonomous robot with on demand teleoperation |
US11213953B2 (en) | 2019-07-26 | 2022-01-04 | Google Llc | Efficient robot control based on inputs from remote client devices |
US11318499B2 (en) * | 2019-12-19 | 2022-05-03 | Nimble Robotics, Inc. | Robotic system having shuttle |
-
2019
- 2019-07-26 US US16/523,655 patent/US11213953B2/en active Active
-
2020
- 2020-07-24 JP JP2022503961A patent/JP7338034B2/ja active Active
- 2020-07-24 WO PCT/US2020/043502 patent/WO2021021630A1/en unknown
- 2020-07-24 EP EP20754540.1A patent/EP3983857A1/en active Pending
- 2020-07-24 CN CN202080053232.7A patent/CN114206558A/zh active Pending
-
2021
- 2021-11-24 US US17/535,393 patent/US11724398B2/en active Active
-
2023
- 2023-08-11 US US18/233,261 patent/US20230398690A1/en active Pending
- 2023-08-23 JP JP2023135523A patent/JP7512491B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1991011885A1 (en) | 1990-01-29 | 1991-08-08 | Technistar Corporation | Automated assembly and packaging system |
JP2012121083A (ja) | 2010-12-07 | 2012-06-28 | Honda Motor Co Ltd | ワークの特定部位認識方法及びその装置 |
JP2012192466A (ja) | 2011-03-15 | 2012-10-11 | Omron Corp | 画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置 |
JP2012230041A (ja) | 2011-04-27 | 2012-11-22 | Seiko Epson Corp | 位置検出方法、位置検出装置、ロボットシステム |
JP2015214012A (ja) | 2014-02-28 | 2015-12-03 | ファナック株式会社 | ロボットを用いて物品を整列させる物品整列装置及び物品整列方法、並びに物品整列装置を備えた物品移送システム |
JP2017185578A (ja) | 2016-04-05 | 2017-10-12 | 株式会社リコー | 物体把持装置及び把持制御プログラム |
JP2018024045A (ja) | 2016-08-09 | 2018-02-15 | オムロン株式会社 | 情報処理システム、情報処理装置、ワークの位置特定方法、およびワークの位置特定プログラム |
JP2019016294A (ja) | 2017-07-10 | 2019-01-31 | 株式会社リコー | 情報処理装置、情報処理方法、情報処理プログラム、及びシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2023164459A (ja) | 2023-11-10 |
CN114206558A (zh) | 2022-03-18 |
US11724398B2 (en) | 2023-08-15 |
EP3983857A1 (en) | 2022-04-20 |
US20220152833A1 (en) | 2022-05-19 |
JP2022544005A (ja) | 2022-10-17 |
JP7338034B2 (ja) | 2023-09-04 |
US20230398690A1 (en) | 2023-12-14 |
US20210023711A1 (en) | 2021-01-28 |
WO2021021630A1 (en) | 2021-02-04 |
US11213953B2 (en) | 2022-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7512491B2 (ja) | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 | |
US11198217B2 (en) | Determining and utilizing corrections to robot actions | |
EP3621773B1 (en) | Viewpoint invariant visual servoing of robot end effector using recurrent neural network | |
US20210390371A1 (en) | Update of local features model based on correction to robot action | |
US11919169B2 (en) | Optimization of motion paths of a robot using vision data | |
JP6586532B2 (ja) | ロボットの把持のための深層機械学習方法および装置 | |
US20220355483A1 (en) | Methods and Systems for Graphical User Interfaces to Control Remotely Located Robots | |
US11823048B1 (en) | Generating simulated training examples for training of machine learning model used for robot control | |
Gwozdz et al. | Enabling semi-autonomous manipulation on Irobot’s Packbot | |
JP2024508053A (ja) | 異なるドメイン内のタスク間の転送 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230921 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230921 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240527 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240626 |