JP7051751B2 - 学習装置、学習方法、学習モデル、検出装置及び把持システム - Google Patents
学習装置、学習方法、学習モデル、検出装置及び把持システム Download PDFInfo
- Publication number
- JP7051751B2 JP7051751B2 JP2019113637A JP2019113637A JP7051751B2 JP 7051751 B2 JP7051751 B2 JP 7051751B2 JP 2019113637 A JP2019113637 A JP 2019113637A JP 2019113637 A JP2019113637 A JP 2019113637A JP 7051751 B2 JP7051751 B2 JP 7051751B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- target object
- posture
- image
- gripping device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Description
前記検知手段により検知された前記教示ツールの情報を前記教示ツールの位置及び姿勢の情報へと変換し、前記物体の存在する位置情報と当該物体を把持している前記教示ツールの位置及び姿勢の情報とを紐付けたデータである教師データを生成する、教師データ生成手段と
複数の層を備えるニューラルネットワークモデルで表される学習モデルであって、前記検知手段を介してターゲット物体の存在する位置が入力されると、前記ターゲット物体を把持可能な把持手段の位置及び姿勢のデータを出力する学習モデルを、前記教師データを用いて学習する、学習部と、
を備える学習装置。
layer1 = chainer.functions.Convolution2d(4, 16, 3, stride=1, pad=1)(input)
としたものである。
layer1 = chainer.functions.relu(chainer.functions.BatchNormalization(layer1))としたものである。
layer2 = chainer.functions.Convolution2d(16, 32, 4, stride=2, pad=1)(layer1)
としたものである。ダウンサンプリングは、25×25×64の第6層まで、3×3サイズのカーネルによるストライド1の畳み込み(サイズ変更なし)と、4×4サイズのカーネルによるストライド2の畳み込み(ダウンサンプリング)とを交互に行うことにより実行される。さらに、上記と同様に、
layer2 = chainer.functions.relu(chainer.functions.BatchNormalization(layer2))として正規化及び活性化を行う。
layer7 = chainer.functions.Deconvolution2d(64, 64, 4, stride=2, pad=1)(layer6)と表される。そして、200×200×16のサイズである第11層まで、ダウンサンプリングと逆の操作を行うことにより、アップサンプリングが実行される。アップサンプリングの過程においても同様に正規化及び活性化が実行され、例えば、
layer7 = chainer.functions.relu(chainer.functions.BatchNormalization(layer7))と表される。
10:コンピュータ
102:教師データ生成部
104:学習部
106:推定部
14:ロボット
16:グリッパ
18:カメラ
2:教示ツール
Claims (17)
- 少なくとも1つのメモリと、
少なくとも1つのプロセッサと、を備える推定装置であって、
前記少なくとも1つのプロセッサは、
ターゲット物体に関する情報を取得することと、
前記ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力するニューラルネットワークモデルに、前記ターゲット物体に関する情報を入力し、前記把持装置が前記ターゲット物体を把持可能な位置及び姿勢に関する情報を推定することと、
を実行するよう構成され、
前記ターゲット物体に関する情報は、前記ターゲット物体の画像の情報を含み、
推定される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含み、
前記ニューラルネットワークモデルは、物体の画像の情報が入力されると、前記把持装置の位置及び姿勢に関する情報を出力するように学習されたモデルであって、前記ニューラルネットワークモデルの各層の出力は、前記物体の位置、姿勢及び面積以外の情報を含む、
推定装置。 - 前記ターゲット物体の画像の情報は、前記ターゲット物体全体の画像の情報を含む、
請求項1に記載の推定装置。 - 前記ターゲット物体の画像の情報は、前記ターゲット物体の距離画像を含む、
請求項1又は請求項2に記載の推定装置。 - 前記複数の軸周りの回転角度を表現可能な情報は、前記把持装置の3次元姿勢角の情報を含む、
請求項1乃至請求項3のいずれかに記載の推定装置。 - 前記複数の軸周りの回転角度を表現可能な情報は、前記把持装置の所定の基準姿勢に対するオイラー角、偏角及び方向余弦の少なくとも1つに関する情報を含む、
請求項1乃至請求項3のいずれかに記載の推定装置。 - 前記把持装置の位置及び姿勢に関する情報は、前記把持装置の角度情報を含む6次元以上の自由度を有する、
請求項1乃至請求項5のいずれか一項に記載の推定装置。 - 前記少なくとも1つのプロセッサは、前記把持装置の姿勢の複数の分類に関する情報を推定する、
請求項1乃至請求項6のいずれか一項に記載の推定装置。 - 前記複数の分類は、学習データに含まれる姿勢の情報をクラスタリングして得られたものである請求項7に記載の推定装置。
- 前記ターゲット物体を把持する前記把持装置と、
前記把持装置を支持するロボットと、
前記ロボットを制御するコントローラと、を備え、
前記コントローラは、請求項1乃至請求項8のいずれか一項に記載の推定装置の推定結果に基づいて、前記ロボットを制御する、
把持システム。 - 前記ターゲット物体の画像の情報を取得するカメラが、前記把持装置に設置されている、 請求項9に記載の把持システム。
- 少なくとも1つのメモリと、
少なくとも1つのプロセッサと、を備える学習装置であって、
前記少なくとも1のプロセッサは、
ニューラルネットワークモデルで表される学習モデルであって、ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力する前記学習モデルを生成すること、
を実行するよう構成され、
前記ターゲット物体に関する情報は、前記ターゲット物体の画像の情報を含み、
出力される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含み、
前記ニューラルネットワークモデルは、物体の画像の情報が入力されると、前記把持装置の位置及び姿勢に関する情報を出力するように学習されたモデルであって、前記ニューラルネットワークモデルの各層の出力は、前記物体の位置、姿勢及び面積以外の情報を含む、
モデル生成装置。 - 前記学習モデルは、前記把持装置の姿勢に関する情報として、前記把持装置の姿勢の複数の分類に関する情報を出力する、
請求項11に記載のモデル生成装置。 - 前記複数の分類は、学習データに含まれる姿勢の情報をクラスタリングして得られたものである請求項12に記載のモデル生成装置。
- 少なくとも1つのプロセッサにより、
ターゲット物体に関する情報を取得し、
前記ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力するニューラルネットワークモデルに、前記ターゲット物体に関する情報を入力し、前記把持装置が前記ターゲット物体を把持可能な位置及び姿勢に関する情報を推定する、
推定方法であって、
前記ターゲット物体に関する情報は、前記ターゲット物体の画像の情報を含み、
推定される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含み、
前記ニューラルネットワークモデルは、物体の画像の情報が入力されると、前記把持装置の位置及び姿勢に関する情報を出力するように学習されたモデルであって、前記ニューラルネットワークモデルの各層の出力は、前記物体の位置、姿勢及び面積以外の情報を含む、
推定方法。 - 少なくとも1つのプロセッサにより、
ニューラルネットワークで表される学習モデルであって、ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力する前記学習モデルを生成する、
モデル生成方法であって、
前記ターゲット物体に関する情報は、前記ターゲット物体の画像の情報を含み、
出力される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含み、
前記ニューラルネットワークモデルは、物体の画像の情報が入力されると、前記把持装置の位置及び姿勢に関する情報を出力するように学習されたモデルであって、前記ニューラルネットワークモデルの各層の出力は、前記物体の位置、姿勢及び面積以外の情報を含む、
モデル生成方法。 - 少なくとも一台のコンピュータを、
ターゲット物体に関する情報を取得する手段、
前記ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力するニューラルネットワークモデルに、前記ターゲット物体に関する情報を入力し、前記把持装置が前記ターゲット物体を把持可能な位置及び姿勢に関する情報を推定する手段、
として機能させるプログラムであって、
前記ターゲット物体に関する情報は、前記ターゲット物体の画像の情報を含み、
推定される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含み、
前記ニューラルネットワークモデルは、物体の画像の情報が入力されると、前記把持装置の位置及び姿勢に関する情報を出力するように学習されたモデルであって、前記ニューラルネットワークモデルの各層の出力は、前記物体の位置、姿勢及び面積以外の情報を含む、
プログラム。 - 少なくとも一台のコンピュータを、
ニューラルネットワークモデルで表される学習モデルであって、ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力する前記学習モデルを学習する手段、
として機能させるプログラムであって、
前記ターゲット物体に関する情報は、前記ターゲット物体の画像の情報を含み、
出力される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含み、
前記ニューラルネットワークモデルは、物体の画像の情報が入力されると、前記把持装置の位置及び姿勢に関する情報を出力するように学習されたモデルであって、前記ニューラルネットワークモデルの各層の出力は、前記物体の位置、姿勢及び面積以外の情報を含む、
プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019113637A JP7051751B2 (ja) | 2019-06-19 | 2019-06-19 | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
JP2020206993A JP7349423B2 (ja) | 2019-06-19 | 2020-12-14 | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019113637A JP7051751B2 (ja) | 2019-06-19 | 2019-06-19 | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017108550A Division JP6546618B2 (ja) | 2017-05-31 | 2017-05-31 | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020206993A Division JP7349423B2 (ja) | 2019-06-19 | 2020-12-14 | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019164836A JP2019164836A (ja) | 2019-09-26 |
JP7051751B2 true JP7051751B2 (ja) | 2022-04-11 |
Family
ID=68065684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019113637A Active JP7051751B2 (ja) | 2019-06-19 | 2019-06-19 | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7051751B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220404880A1 (en) * | 2019-11-26 | 2022-12-22 | Hewlett-Packard Development Company, L.P. | Holding Devices |
JP7283631B2 (ja) * | 2020-03-27 | 2023-05-30 | 日本電気株式会社 | 教師データ変換装置、教師データ変換方法、及び、プログラム |
KR102595537B1 (ko) * | 2022-11-15 | 2023-10-30 | 주식회사 에딘트 | 행동 모니터링을 위한 딥러닝 모델의 학습 방법, 프로그램 및 장치 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009083095A (ja) | 2007-09-29 | 2009-04-23 | Ihi Corp | ロボット装置の制御方法及びロボット装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06203166A (ja) * | 1993-01-06 | 1994-07-22 | Fujitsu Ltd | 多次元位置測定,制御装置,及び、学習方法 |
JPH0780790A (ja) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | 三次元物体把持システム |
JP2012135820A (ja) * | 2010-12-24 | 2012-07-19 | Ihi Corp | 自動ピッキング装置及び自動ピッキング方法 |
-
2019
- 2019-06-19 JP JP2019113637A patent/JP7051751B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009083095A (ja) | 2007-09-29 | 2009-04-23 | Ihi Corp | ロボット装置の制御方法及びロボット装置 |
Non-Patent Citations (3)
Title |
---|
二宮 宏史 Hiroshi NINOMIYA,深層学習を用いた多様体構築による3次元物体の姿勢推定に関する予備検討 Preliminary study on deep manifold embedding for 3D object pose estimation,電子情報通信学会技術研究報告 Vol.116 No.91 IEICE Technical Report,日本,一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers,2016年 6月 6日,第116巻,p.25-p.30 |
荒木 諒介,Graspabilityを導入したDCNNによる物体把持位置検出,第34回日本ロボット学会学術講演会予稿集DVD-ROM 2016年,日本,日本ロボット学会,2016年 9月 7日,p.102-p.105 |
長谷川 昂宏,Heterogeneous Learningによるオブジェクトネスと物体把持位置の検出,第22回 画像センシングシンポジウム SSII2016[USB]The 22nd Symposium on Sensing via Image Information,日本,画像センシング技術研究会,2016年 6月 8日,SO330 |
Also Published As
Publication number | Publication date |
---|---|
JP2019164836A (ja) | 2019-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6546618B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
JP6921151B2 (ja) | ロボットの把持のための深層機械学習方法および装置 | |
CN111055279B (zh) | 基于触觉与视觉结合的多模态物体抓取方法与*** | |
CN111695562B (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
WO2023056670A1 (zh) | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 | |
JP7051751B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
JP5743499B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
Wu et al. | Pixel-attentive policy gradient for multi-fingered grasping in cluttered scenes | |
US7664571B2 (en) | Controlling a robot using pose | |
CN109048918B (zh) | 一种轮椅机械臂机器人的视觉引导方法 | |
JP2018169660A (ja) | オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステム | |
CN114387513A (zh) | 机器人抓取方法、装置、电子设备及存储介质 | |
CN114851201A (zh) | 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法 | |
US11964400B2 (en) | Device and method for controlling a robot to pick up an object in various positions | |
KR20210092875A (ko) | 로봇과 카메라 간 좌표값 보정 장치 및 보정 방법 | |
JP7349423B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
KR102452315B1 (ko) | 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법 | |
CN114882113A (zh) | 基于同类物体形状对应性的五指机械灵巧手抓取迁移方法 | |
Liang et al. | Visual reconstruction and localization-based robust robotic 6-DoF grasping in the wild | |
JP2023148859A (ja) | 制御方法、制御システム及び保持制御プログラム | |
Rungta | Using Novel Visuo-Tactile Sensors to Recognize Contact in Robotic Manipulation | |
Zeller et al. | Vision-based robot motion planning using a topology representing neural network | |
KR20240096990A (ko) | 비고정 물체를 위치 이동시키는 로봇의 제어 장치 | |
JP2024001876A (ja) | 物体を操作するロボット、特に物体を受容するロボットを制御するための方法 | |
CN116894988A (zh) | 一种基于Transformer的抓取位姿检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190719 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190719 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200706 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201214 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201214 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20201222 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210105 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210226 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210302 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210817 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220204 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220304 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7051751 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |