JP7136554B2 - 把持装置、学習装置、プログラム、把持システム、及び学習方法 - Google Patents
把持装置、学習装置、プログラム、把持システム、及び学習方法 Download PDFInfo
- Publication number
- JP7136554B2 JP7136554B2 JP2017241555A JP2017241555A JP7136554B2 JP 7136554 B2 JP7136554 B2 JP 7136554B2 JP 2017241555 A JP2017241555 A JP 2017241555A JP 2017241555 A JP2017241555 A JP 2017241555A JP 7136554 B2 JP7136554 B2 JP 7136554B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- gripping
- edge
- unit
- flexible object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Description
この把持装置では、把持部により柔軟物の上面の端が変形させられる。1つに纏められた端と、そのような端ではない端とでは、変形の態様が異なるため、把持に適した部位の画像と把持に適さない部位の画像に十分な差が生じる。このため、この把持装置によれば、適切な把持位置を判別することが可能である。
このような構成によれば、柔軟物の上面の端を変形させるための制御を自律的に行うことができる。
このような構成によれば、容易に上面の端を変形させることができる。
この学習装置では、規則的な積層パターン形状から変形した状態の柔軟物についての画像を用いて学習が行われる。1つに纏められた端と、そのような端ではない端とでは、変形の態様が異なるため、学習に利用する上で十分な差がある第1の画像データと第2の画像データを用いた学習が可能となる。したがって、この学習装置によれば、適切な把持位置の学習を行うことができる。
このモデルは、規則的な積層パターン形状から変形した状態の柔軟物についての画像を用いた学習が行われている。1つに纏められた端と、そのような端ではない端とでは、変形の態様が異なるため、第1の画像データと第2の画像データには、学習に利用する上で十分な差がある。したがって、この学習済みモデルによれば、適切な把持位置を判別することが可能である。
この把持システムでは、把持部により柔軟物の上面の端が変形させられる。1つに纏められた端と、そのような端ではない端とでは、変形の態様が異なるため、把持に適した部位の画像と把持に適さない部位の画像に十分な差が生じる。このため、この把持システムによれば、適切な把持位置を判別することが可能である。
この判定方法では、把持部により柔軟物の上面の端が変形させられる。1つに纏められた端と、そのような端ではない端とでは、変形の態様が異なるため、把持に適した部位の画像と把持に適さない部位の画像に十分な差が生じる。このため、この判定方法によれば、適切な把持位置を判別することが可能である。
この学習方法では、規則的な積層パターン形状から変形した状態の柔軟物についての画像を用いて学習が行われる。1つに纏められた端と、そのような端ではない端とでは、変形の態様が異なるため、学習に利用する上で十分な差がある第1の画像データと第2の画像データを用いた学習が可能となる。したがって、この学習方法によれば、適切な把持位置の学習を行うことができる。
図3は、実施形態に係る把持装置1の概略的な構成を示すブロック図である。把持装置1は、図3に示した構成により、[1]柔軟物についての画像データに基づいて学習済みモデルを生成する学習処理と、[2]学習済みモデルを用いて、把持に適した部位についての判定を行う判定処理と、を実行する。なお、学習処理を行う装置として把持装置1を捉えた場合、把持装置1は学習装置とも称すことが可能である。
図5は、把持装置1による学習処理の流れを示すフローチャートである。
学習処理では、まず、ステップ10(S10)において、訓練データ取得部13が訓練データを取得する。ステップ10で取得される訓練データは、ラベル付けが行われた上述の第1の画像データ及び第2の画像データを含む。
次にステップ11(S11)において、学習演算部14が、ステップ10で取得された訓練データを用いて、把持に適した部位を判定するCNNの学習のための所定の演算処理を行う。
次に、ステップ12(S12)において、モデル記憶部15は、ステップ11の演算処理の完了によりパラメ-タの値が決定された学習済みモデルを記憶する。
把持の実行の際は、まず、ステップ20(S20)において、画像データ取得部16が、撮像装置10により物体が撮像された画像データを取得する。
次に、ステップ21(S21)において、接触位置決定部17が、把持対象物である柔軟物を変形させるための接触位置を決定する。本実施の形態では、接触位置決定部17は、具体的には、図7のフローチャートに示す処理により、接触位置を決定する。
まず、ステップ210(S210)において、接触位置決定部17は、把持対象物である柔軟物が置かれている平面を検出する。すなわち、接触位置決定部17は、画像データ取得部16により取得された画像データに対して、所定の画像解析処理を行って、平面を検出する。
次に、ステップ211(S211)において、接触位置決定部17は、ステップ210で検出された平面より上側に画像内において存在する塊を所定の画像解析処理を行って検出し、当該画像から切り出す。
次に、ステップ212(S212)において、接触位置決定部17は、ステップ211で切り出した塊の画像に対して所定のエッジ検出処理を行う。このエッジ検出処理により検出されたエッジは、把持対象物(積み上げられた柔軟物)の輪郭に相当する。
次に、ステップ213(S213)において、接触位置決定部17は、積み上げられた柔軟物の上面の端を、接触位置として決定する。これを実現するために、具体的には、接触位置決定部17は、ステップ212で検出されたエッジのうち最も高い位置(最も上側の位置)に存在するエッジの位置を接触位置として決定する。
ステップ22(S22)において、把持対象物の端を変形させるため、制御部12は、ステップ21で決定した接触位置をエンドエフェクタ113により横方向から押すようロボットアーム11を制御する(図8参照)。
次に、ステップ23(S23)において、画像データ取得部16が、撮像装置10により物体が撮像された画像データを取得する。なお、ステップ23で取得される画像データには、ステップ22による変形が生じている把持対象物が撮像されている。布製品などでは、エンドエフェクタ113を離した後も、押されたことによる変形が維持される。このため、ステップ23では、エンドエフェクタ113を柔軟物から離した状態で撮像された画像データが取得されてもよい。
ステップ24(S24)において、把持位置判定部18は、把持に適した位置についての判定処理を行う。すなわち、把持位置判定部18は、ステップ23で取得された画像データに写っている把持対象物の部位が把持に適した部位であるか否かを、学習済みモデルを用いて判定する。把持に適した位置が発見された場合(ステップ25(S25)でYes)、処理は、ステップ26へ移行する。把持に適した位置が発見されなかった場合(ステップ25でNo)、処理はステップ20に戻る。処理がステップ20に戻った場合、例えば、前回とは異なる方向から撮影された画像データについて、ステップ20以降の処理が繰り返されることとなる。これにより、他の端についても、同様に、把持に適した位置についての判定処理が行われる。
ステップ26(S26)において、把持対象物を把持するため、制御部12は、ステップ24で把持に適すると判定された位置をエンドエフェクタ113により横方向から掴むようロボットアーム11を制御する。
2 把持システム
3 サーバ
4 把持装置
10 撮像装置
11 ロボットアーム
12 制御部
13 訓練データ取得部
14 学習演算部
15 モデル記憶部
16 画像データ取得部
17 接触位置決定部
18 把持位置判定部
Claims (7)
- 物体を撮像した画像データを取得する画像データ取得部と、
物体を把持する把持部と、
前記把持部の動作を制御する制御部と、
前記画像データ取得部が取得した、折り畳まれ積み重ねられた状態の柔軟物が撮像された前記画像データを用いて、当該画像データに写っている前記柔軟物の部位が把持に適した部位であるか否かを判定する把持位置判定部と、
を有し、
前記制御部は、最上段にある前記柔軟物の上面の端を変形させるよう前記把持部を制御し、
前記把持位置判定部は、前記把持部の制御により前記上面の端が変形された前記柔軟物が撮像された前記画像データを用いて、把持に適した部位であるか否かを判定する
把持装置。 - 前記画像データ取得部が取得した、前記上面の端が変形される前の前記柔軟物が撮像された前記画像データを用いて、前記上面の端の変形のための、前記柔軟物における前記把持部との接触位置を決定する接触位置決定部をさらに有し、
前記上面の端を変形させるために、前記制御部は、前記接触位置決定部により決定された前記接触位置において、前記把持部が前記柔軟物を変位させるよう制御する
請求項1に記載の把持装置。 - 前記制御部は、前記把持部が前記柔軟物を押すことにより前記上面の端を変形させるよう前記把持部を制御する
請求項1又は2に記載の把持装置。 - 物体を撮像した画像データを含む訓練データを取得する訓練データ取得部と、
前記訓練データ取得部が取得した前記訓練データを用いて機械学習の演算を行う学習演算部と、
を有し、
前記画像データは、折り畳まれ積み重ねられた状態の柔軟物であって、当該柔軟物の上面の端が規則的な積層パターン形状から変形した状態の柔軟物が写っている第1の画像データ及び第2の画像データを含み、
前記第1の画像データは、前記上面の端が折り畳みにより1つに纏められた端である画像データであり、
前記第2の画像データは、前記上面の端が折り畳みにより1つに纏められていない端である画像データであり、
前記学習演算部は、前記訓練データを用いて、柔軟物における把持に適した部位を学習する演算を行う
学習装置。 - 物体を撮像した画像データに基づいて、当該物体の部位に対する把持の適否を定量化した値として出力するよう、コンピュータを機能させるために当該コンピュータに実行されるプログラムであって、前記プログラムは学習済みモデルを含み、
前記学習済みモデルを構成するニューラルネットワークの重み付け係数は、物体を撮像した画像データを含む訓練データを用いて学習されており、
前記訓練データに含まれる前記画像データは、折り畳まれ積み重ねられた状態の柔軟物であって、当該柔軟物の上面の端が規則的な積層パターン形状から変形した状態の柔軟物が写っている第1の画像データ及び第2の画像データを含み、
前記第1の画像データは、前記上面の端が折り畳みにより1つに纏められた端である画像データであり、
前記第2の画像データは、前記上面の端が折り畳みにより1つに纏められていない端である画像データであり、
前記学習済みモデルは、前記ニューラルネットワークの入力層に入力された、折り畳まれ積み重ねられた状態の柔軟物が写っている画像データに対し、前記重み付け係数に従った演算を前記コンピュータに実行させ、前記画像データに写っている前記柔軟物の部位が把持に適しているか否かを前記ニューラルネットワークの出力層から出力させる
プログラム。 - 周囲の物体を撮像する撮像装置と、
前記撮像装置による画像データを取得する画像データ取得部と、
物体を把持する把持部と、
前記把持部の動作を制御する制御部と、
前記画像データ取得部が取得した、折り畳まれ積み重ねられた状態の柔軟物が撮像された前記画像データを用いて、当該画像データに写っている前記柔軟物の部位が把持に適した部位であるか否かを判定する把持位置判定部と、
を有し、
前記制御部は、前記柔軟物の上面の端を変形させるよう前記把持部を制御し、
前記把持位置判定部は、前記把持部の制御により前記上面の端が変形された前記柔軟物が撮像された前記画像データを用いて、把持に適した部位であるか否かを判定する
把持システム。 - 物体を撮像した画像データを含む訓練データを取得し、
取得した前記訓練データを用いて、柔軟物における把持に適した部位を判定するための機械学習の演算を行い、
前記画像データは、折り畳まれ積み重ねられた状態の柔軟物であって、当該柔軟物の上面の端が規則的な積層パターン形状から変形した状態の柔軟物が写っている第1の画像データ及び第2の画像データを含み、
前記第1の画像データは、前記上面の端が折り畳みにより1つに纏められた端である画像データであり、
前記第2の画像データは、前記上面の端が折り畳みにより1つに纏められていない端である画像データである
学習方法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017241555A JP7136554B2 (ja) | 2017-12-18 | 2017-12-18 | 把持装置、学習装置、プログラム、把持システム、及び学習方法 |
EP18208069.7A EP3499463B1 (en) | 2017-12-18 | 2018-11-23 | Grasping apparatus, learned model and determination method |
EP21168900.5A EP3869464B1 (en) | 2017-12-18 | 2018-11-23 | Learning apparatus and learning method |
US16/214,556 US11383378B2 (en) | 2017-12-18 | 2018-12-10 | Grasping apparatus, learning apparatus, learned model, grasping system, determination method, and learning method |
KR1020180160688A KR102140637B1 (ko) | 2017-12-18 | 2018-12-13 | 파지 장치, 파지 시스템, 및 판정 방법 |
CN201811525879.6A CN110046538B (zh) | 2017-12-18 | 2018-12-13 | 抓握装置、抓握***、确定方法、学习装置、模型和方法 |
KR1020200030705A KR102140639B1 (ko) | 2017-12-18 | 2020-03-12 | 학습 장치, 학습 완료 모델이 저장된 비일시적인 컴퓨터 가독 매체, 및 학습 방법 |
JP2022039854A JP7201858B2 (ja) | 2017-12-18 | 2022-03-15 | 判定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017241555A JP7136554B2 (ja) | 2017-12-18 | 2017-12-18 | 把持装置、学習装置、プログラム、把持システム、及び学習方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022039854A Division JP7201858B2 (ja) | 2017-12-18 | 2022-03-15 | 判定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019107725A JP2019107725A (ja) | 2019-07-04 |
JP7136554B2 true JP7136554B2 (ja) | 2022-09-13 |
Family
ID=64604427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017241555A Active JP7136554B2 (ja) | 2017-12-18 | 2017-12-18 | 把持装置、学習装置、プログラム、把持システム、及び学習方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11383378B2 (ja) |
EP (2) | EP3499463B1 (ja) |
JP (1) | JP7136554B2 (ja) |
KR (2) | KR102140637B1 (ja) |
CN (1) | CN110046538B (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6680732B2 (ja) * | 2017-08-23 | 2020-04-15 | ファナック株式会社 | 物品積み付け装置及び機械学習装置 |
JP7136554B2 (ja) * | 2017-12-18 | 2022-09-13 | 国立大学法人信州大学 | 把持装置、学習装置、プログラム、把持システム、及び学習方法 |
US11584016B2 (en) * | 2018-04-24 | 2023-02-21 | Fanuc Corporation | Robot controller and system |
JP7047726B2 (ja) * | 2018-11-27 | 2022-04-05 | トヨタ自動車株式会社 | 把持ロボットおよび把持ロボットの制御プログラム |
JP2020110874A (ja) * | 2019-01-11 | 2020-07-27 | 倉敷紡績株式会社 | 柔軟物の積み重ね方法、衣服の折り畳みおよび積み重ね方法、ならびにロボットシステム |
CN110253581A (zh) * | 2019-06-25 | 2019-09-20 | 华北水利水电大学 | 一种基于视觉识别的辅助抓取方法 |
EP3993958B1 (de) * | 2019-07-03 | 2023-11-29 | sewts GmbH | Verfahren zur positionierung eines biegeschlaffen flächenwerkstücks sowie positionierungsvorrichtung |
JP7342676B2 (ja) | 2019-12-13 | 2023-09-12 | トヨタ自動車株式会社 | 遠隔操作システム及び遠隔操作方法 |
CN111145257B (zh) * | 2019-12-27 | 2024-01-05 | 深圳市越疆科技有限公司 | 物品抓取方法、***及物品抓取机器人 |
WO2021144886A1 (ja) * | 2020-01-15 | 2021-07-22 | オムロン株式会社 | 制御装置、学習装置、制御方法、及び制御プログラム |
US10759054B1 (en) * | 2020-02-26 | 2020-09-01 | Grey Orange Pte. Ltd. | Method and system for handling deformable objects |
JP7337285B2 (ja) * | 2020-10-19 | 2023-09-01 | 三菱電機株式会社 | ロボット制御装置およびロボット制御方法 |
CN112297013B (zh) * | 2020-11-11 | 2022-02-18 | 浙江大学 | 一种基于数字孪生和深度神经网络的机器人智能抓取方法 |
CN113459101B (zh) * | 2021-03-05 | 2022-08-09 | 牧今科技 | 用于执行抓持区域检测的方法和计算*** |
US11911919B2 (en) | 2021-03-05 | 2024-02-27 | Mujin, Inc. | Method and computing system for performing grip region detection |
US11752525B2 (en) | 2021-07-16 | 2023-09-12 | Mihir Kothari | System and method of laundry sorting |
CN115446835B (zh) * | 2022-09-05 | 2024-06-14 | 大连交通大学 | 一种基于深度学习的刚软仿人手自主抓取方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017185578A (ja) | 2016-04-05 | 2017-10-12 | 株式会社リコー | 物体把持装置及び把持制御プログラム |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4355795A (en) | 1980-03-04 | 1982-10-26 | Bobst Champlain, Inc. | Sheet handling device |
DE4124077C2 (de) * | 1991-07-19 | 1995-03-09 | Fraunhofer Ges Forschung | Einrichtung zur Aufnahme von biegeschlaffen flächigen Teilen |
JPH0780790A (ja) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | 三次元物体把持システム |
US20010056313A1 (en) * | 2000-05-08 | 2001-12-27 | Osborne William Joseph | Object locating and retrieving system utilizing labels |
JP3855050B2 (ja) * | 2002-04-26 | 2006-12-06 | 独立行政法人産業技術総合研究所 | 衣類状態推定方法及びプログラム |
WO2004000508A1 (ja) * | 2002-06-24 | 2003-12-31 | Matsushita Electric Industrial Co., Ltd. | 多関節駆動機構及びその製造方法、それを用いた把持ハンドとロボット |
US9725199B2 (en) * | 2008-03-03 | 2017-08-08 | H.W.J. Designs For Agribusiness, Inc. | Bag retrieval assembly and bag for pressed bales |
JP2009279700A (ja) | 2008-05-21 | 2009-12-03 | Purex:Kk | ワークの把持方法および装置 |
US8997670B2 (en) * | 2010-03-18 | 2015-04-07 | Wayne J. Book | Conveyance system that transports fabric |
WO2012073500A1 (ja) * | 2010-12-01 | 2012-06-07 | セブン ドリーマーズ ラボラトリーズ,インコーポレイテッド | 変形性薄物展開装置および変形性薄物展開方法 |
JP5952136B2 (ja) | 2012-08-29 | 2016-07-13 | 倉敷紡績株式会社 | 布片の縁部の自動検出方法とその装置、および、該装置を有する布片展開送り装置 |
JP6364836B2 (ja) * | 2014-03-14 | 2018-08-01 | セイコーエプソン株式会社 | ロボット、ロボットシステム、及び制御装置 |
KR20150118813A (ko) | 2014-04-15 | 2015-10-23 | 삼성전자주식회사 | 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치 |
US9427874B1 (en) * | 2014-08-25 | 2016-08-30 | Google Inc. | Methods and systems for providing landmarks to facilitate robot localization and visual odometry |
US9561587B2 (en) * | 2014-12-16 | 2017-02-07 | Amazon Technologies, Inc. | Robotic grasping of items in inventory system |
JP6522488B2 (ja) | 2015-07-31 | 2019-05-29 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
US9914213B2 (en) * | 2016-03-03 | 2018-03-13 | Google Llc | Deep machine learning methods and apparatus for robotic grasping |
US9962989B2 (en) * | 2016-04-01 | 2018-05-08 | Bastian Solutions, Llc | Robotic system for placing printed material into boxes |
US9981379B1 (en) * | 2016-05-12 | 2018-05-29 | X Development Llc | Detachable support member for robot gripper |
JP7136554B2 (ja) * | 2017-12-18 | 2022-09-13 | 国立大学法人信州大学 | 把持装置、学習装置、プログラム、把持システム、及び学習方法 |
US10981272B1 (en) * | 2017-12-18 | 2021-04-20 | X Development Llc | Robot grasp learning |
JP7325896B2 (ja) * | 2019-04-04 | 2023-08-15 | 花王株式会社 | シート移送方法 |
FR3096672B1 (fr) * | 2019-06-03 | 2021-04-30 | Jyga Process | installation et procédé de manipulation de flans plats |
US11738447B2 (en) * | 2019-07-29 | 2023-08-29 | Nimble Robotics, Inc. | Storage systems and methods for robotic picking |
US10759054B1 (en) * | 2020-02-26 | 2020-09-01 | Grey Orange Pte. Ltd. | Method and system for handling deformable objects |
-
2017
- 2017-12-18 JP JP2017241555A patent/JP7136554B2/ja active Active
-
2018
- 2018-11-23 EP EP18208069.7A patent/EP3499463B1/en active Active
- 2018-11-23 EP EP21168900.5A patent/EP3869464B1/en active Active
- 2018-12-10 US US16/214,556 patent/US11383378B2/en active Active
- 2018-12-13 CN CN201811525879.6A patent/CN110046538B/zh active Active
- 2018-12-13 KR KR1020180160688A patent/KR102140637B1/ko active IP Right Grant
-
2020
- 2020-03-12 KR KR1020200030705A patent/KR102140639B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017185578A (ja) | 2016-04-05 | 2017-10-12 | 株式会社リコー | 物体把持装置及び把持制御プログラム |
Non-Patent Citations (4)
Title |
---|
Hiroyuki Yuba and Kimitoshi Yamazaki,Unfolding an Item of Rectangular Clothing Using a Single Arm and an Assistant Instrument,The Proceedings of JSME annual Conference on Robotics and Mechatronics,2014年05月,http://ais.shinshu-u.ac.jp/~aislab/papers/2014_SII_yuba.pdf |
Jeremy Maitin-Shepard, Marco Cusumano-Towner, Jinna Lei and Pieter Abbeel,Cloth Grasp Point Detection based on Maltiple-View Geometric Cues with Application to Robotic Towel Folding,2010 IEEE International Conference on Robotics and Automation,2010年05月03日,https://people.eecs.berkeley.edu/~pabbeel/papers/Maitin-ShepardCusumano-TownerLeiAbbeel_ICRA2010.pdf |
佐野 知樹,出村 聡規,中島 渉,長濱 虎太郎,竹下 佳佑,山崎 公俊,第18回計測自動制御学会システムインテグレーション部門講演会講演論文集,単腕ロボットによる折り重ねられたタオルの分離と掴み上げ,2017年12月22日,http://ais.shinshu-u.ac.jp/~aislab/papers/201712_SI_sano.pdf |
守屋 佑亮,田中 大輔,山崎 公俊,竹下 佳佑,単腕マニピュレータによる折り畳まれた布製品の適切な掴み上げ,ロボティクス・メカトロニクス講演会2017講演論文集,2017年05月12日,http://ais.shinshu-u.ac.jp/~aislab/papers/201705_robomech_moriya.pdf |
Also Published As
Publication number | Publication date |
---|---|
KR20190073282A (ko) | 2019-06-26 |
KR20200032057A (ko) | 2020-03-25 |
JP2019107725A (ja) | 2019-07-04 |
EP3499463B1 (en) | 2021-11-17 |
EP3499463A3 (en) | 2019-09-04 |
CN110046538B (zh) | 2023-04-25 |
EP3869464A1 (en) | 2021-08-25 |
CN110046538A (zh) | 2019-07-23 |
US11383378B2 (en) | 2022-07-12 |
KR102140637B1 (ko) | 2020-08-04 |
EP3499463A2 (en) | 2019-06-19 |
KR102140639B1 (ko) | 2020-08-04 |
US20190184554A1 (en) | 2019-06-20 |
EP3869464B1 (en) | 2024-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7136554B2 (ja) | 把持装置、学習装置、プログラム、把持システム、及び学習方法 | |
JP6604832B2 (ja) | 機械学習支援装置 | |
Kumar et al. | Learning dexterous manipulation policies from experience and imitation | |
US9902059B2 (en) | Robot teaching apparatus, method, and robot system | |
JP2017177294A (ja) | ロボット制御装置、ロボット制御方法、ロボットシステムおよびコンピュータプログラム | |
Namiki et al. | Robotic origami folding with dynamic motion primitives | |
WO2011065035A1 (ja) | ロボットの教示データを作成する方法およびロボット教示システム | |
JPWO2018092254A1 (ja) | 把持力設定システム、把持力設定方法、及び把持力推定システム | |
JP2020508888A5 (ja) | ||
JP2015112654A (ja) | 制御装置、ロボット、教示データ生成方法及びロボットシステム | |
JP2016196077A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2024001106A5 (ja) | ||
Namiki et al. | Origami folding by multifingered hands with motion primitives | |
JP7186349B2 (ja) | エンドエフェクタの制御システムおよびエンドエフェクタの制御方法 | |
Berger et al. | Inferring guidance information in cooperative human-robot tasks | |
Huang et al. | Grasping novel objects with a dexterous robotic hand through neuroevolution | |
Lee et al. | Interaction force estimation using camera and electrical current without force/torque sensor | |
JP6838833B2 (ja) | 把持装置、把持方法、及びプログラム | |
JP7201858B2 (ja) | 判定方法 | |
WO2021029205A1 (ja) | 情報処理装置、情報処理方法、プログラム、およびロボット | |
KR20200133337A (ko) | 제어 장치, 제어 방법, 및 프로그램 | |
JP2008183629A (ja) | ロボットおよびロボットの制御装置と制御方法 | |
Guo et al. | Deformation control of a deformable object based on visual and tactile feedback | |
WO2023074209A1 (ja) | 把持力推定装置、把持力推定方法及び把持力推定プログラム | |
US9613180B1 (en) | Robotic control device and method for manipulating a hand-held tool |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210706 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220315 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220316 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220413 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7136554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |