JP6671694B1 - 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 - Google Patents
機械学習装置、機械学習システム、データ処理システム及び機械学習方法 Download PDFInfo
- Publication number
- JP6671694B1 JP6671694B1 JP2018225088A JP2018225088A JP6671694B1 JP 6671694 B1 JP6671694 B1 JP 6671694B1 JP 2018225088 A JP2018225088 A JP 2018225088A JP 2018225088 A JP2018225088 A JP 2018225088A JP 6671694 B1 JP6671694 B1 JP 6671694B1
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- learning
- robot hand
- data
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
図1は、本発明の第1の実施の形態に係る機械学習システムを示す概略図である。この機械学習システム1は、シミュレータ2と、機械学習装置3とを含む。なお、シミュレータ2と機械学習装置3とは別々のコンピュータ等に内蔵されていても良いし、異なるコンピュータ等に内蔵されていても良い。
シミュレータ2は、ユーザ等により予め指定された所定の条件の下でバラ積みピッキングを実施した場合の各種情報を得るための装置である。このシミュレータ2は、情報処理部21と、条件記憶部22と、二次元撮像画像データ取得部23と、3次元座標データ取得部24と、データセット生成部25と、送信部26とを含む。
次に、シミュレータ2により生成されたデータセットを用いて機械学習を行う機械学習装置3について、以下説明を行う。機械学習装置3は、図1に示すように、データセット取得部31と、データセット記憶部32と、学習部33と、学習済モデル記憶部34とを含む。
上述の機械学習装置3に関連して、本発明は、機械学習方法をも提供する。図4は、本発明の第1の実施の形態に係る機械学習方法を示すフローチャートである。この機械学習方法はコンピュータを用いることで実現されるものであるが、コンピュータとしてはパーソナルコンピュータやサーバ装置等、種々のものが適用可能である。
次に、本発明の第1の実施の形態に係るデータ処理システムについて説明を行う。このデータ処理システムは、上述した機械学習システム、機械学習装置あるいは機械学習方法により生成された学習済モデルを用いて、現実の作業領域におけるバラ積みピッキングを、人手を要することなく実現するためのシステムを構成している。当該データ処理システムは、具体的には、図5に記載されているようなロボットハンドR等を制御するためのロボットコントローラ100に適用される。
上述した第1の実施の形態においては、学習済モデルの出力層は3次元座標データを出力するものについて説明を行った。しかし、ロボットハンドRの形状(特にエンドエフェクタ54の形状)によっては、3次元座標データのみではワークWの把持に失敗する場合がある。すなわち、例えばロボットハンドRが図5に例示された垂直多関節ロボットのように自由度の高いロボットであって、且つエンドエフェクタ54の横方向あるいは上下方向の長さが(上リンクアーム52の横方向あるいは上下方向に比して)長尺な外形形状をしている場合等には、ロボットハンドRが学習済モデルが出力した3次元座標データへ移動する途中で、この長尺なエンドエフェクタ54の一部がワークWに接触してワークWの配置が変化し、結果、ワークWの把持が失敗するという状況が起こることが想定できる。
上記第1及び第2の実施の形態においては、シミュレータ2、2Aで生成されるデータセットとして、3次元座標データと2次元撮像画像データを1対1の関係で関連付けたもの、あるいは3次元座標データと角度データと2次元撮像画像データを1対1対1の関係で関連付けたものについて説示を行った。しかし、バラ積みピッキングは、ワークがトレー内に複数配されているのが前提であるため、トレー内のワークのうちのいくつかが把持可能な状態である場合や、単一のワークに対しても複数把持可能なポイントが存在する場合が生じ得る。したがって、一の2次元撮像画像データに関連付けられる3次元座標データは1つではなく複数存在する場合が多い。そこで、以下には、本発明の第3の実施の態様として、データセットが一の2次元撮像画像データと複数の3次元座標データ(あるいは複数の3次元座標データ及び角度データのセット)とにより生成される機械学習システム、機械学習装置、機械学習方法及びデータ処理システムについて、説明を行う。
2、2A、2B シミュレータ
3、3A、3B 機械学習装置
21 情報処理部
23 2次元撮像画像データ取得部
24 3次元座標データ取得部
25 データセット生成部
27 角度データ取得部
28 2次元撮像画像データ分割部
31 データセット取得部
32 データセット記憶部
33 学習部
34 学習済モデル記憶部
100、100B ロボットコントローラ(データ処理システム)
110 2次元撮像装置制御部(取得部)
120 ロボットハンド制御部
130 主記憶部
131 学習済モデル格納部
140 推論部
150 特定部
R ロボットハンド
W ワーク
ID 2次元撮像装置
TR トレー
RWA 現実の作業領域(現実世界における所定領域)
VWA 仮想の作業領域(シミュレータの所定領域)
Claims (14)
- シミュレータの所定領域内に配置された1又は複数のワークのうちいずれかを把持する前記シミュレータ上のロボットハンドが把持動作を経て把持を成功させるときの前記ロボットハンドの1又は複数の3次元座標データと、前記ロボットハンドが把持を成功させるときの前記把持動作の前に前記所定領域内に配置された前記1又は複数のワークを前記シミュレータ上の2次元撮像装置によって所定画角から撮像した2次元撮像画像データと、を備える学習用データセットを前記シミュレータから取得して複数組記憶するデータセット記憶部と;
前記学習用データセットを複数組入力することで、現実世界における所定領域内に配置された1又は複数のワークを2次元撮像装置によって前記所定画角と同じ画角から撮像した2次元撮像画像から、現実世界におけるロボットハンドの3次元座標を推論する学習モデルを学習する学習部と;
前記学習部によって学習された前記学習モデルを記憶する学習済モデル記憶部と;を備える、
機械学習装置。 - シミュレータと、機械学習装置とを備える機械学習システムであって:
前記シミュレータが、所定領域内に配置された1又は複数のワークのうちいずれかを把持する前記シミュレータ上のロボットハンドが把持動作を経て把持を成功させるときの前記ロボットハンドの1又は複数の3次元座標データと、前記ロボットハンドが把持を成功させるときの前記把持動作の前に前記所定領域内に配置された1又は複数のワークを前記シミュレータ上の2次元撮像装置によって所定画角から撮像した2次元撮像画像データとを備える学習用データセットを生成する機能を有し、
前記機械学習装置が、前記シミュレータから前記学習用データセットを複数組取得して記憶するデータセット記憶部と;前記学習用データセットを複数組入力することで、現実世界における所定領域内に配置された1又は複数のワークを2次元撮像装置によって前記所定画角と同じ画角から撮像した2次元撮像画像から、現実世界におけるロボットハンドの3次元座標を推論する学習モデルを学習する学習部と;前記学習部によって学習された前記学習モデルを記憶する学習済モデル記憶部と;を備える、
機械学習システム。 - 所定領域内に配置された複数のワークのうちいずれかを把持するロボットハンドが把持動作を経て把持を成功させるときの前記ロボットハンドの3次元座標データと、前記ロボットハンドが把持を成功させるときの前記把持動作の前に前記所定領域内に配置された複数のワークを2次元撮像装置によって所定画角から撮像した2次元撮像画像データと、を備える学習用データセットを複数組記憶するデータセット記憶部と;
前記学習用データセットを複数組入力することで、複数のワークを含む2次元撮像画像から、前記ロボットハンドの前記2次元撮像画像中の複数のワークのうちのいずれかを把持するための1又は複数の3次元座標を推論する学習モデルを学習する学習部と;
前記学習部によって学習された前記学習モデルを記憶する学習済モデル記憶部と;を備える、
機械学習装置。 - 所定領域内に配置された1又は複数のワークを2次元撮像装置によって所定画角から撮像した2次元撮像画像を取得する取得部と;
請求項1乃至請求項3のいずれか1項に記載の機械学習装置によって生成された学習済モデルに、前記取得部が取得した前記2次元撮像画像を入力することで、ロボットハンドの3次元座標を推論する推論部と;を備える、
データ処理システム。 - 前記推論部において、3次元座標が複数推論された場合に、前記複数の3次元座標のうちの所定の一の3次元座標を特定する特定部を更に備える、
請求項4に記載のデータ処理システム。 - コンピュータを用いた機械学習方法であって:
シミュレータの所定領域内に配置された1又は複数のワークのうちいずれかを把持する前記シミュレータ上のロボットハンドが把持動作を経て把持を成功させるときの前記ロボットハンドの1又は複数の3次元座標データと、前記ロボットハンドが把持を成功させるときの前記把持動作の前に前記所定領域内に配置された1又は複数のワークを前記シミュレータ上の2次元撮像装置によって所定画角から撮像した2次元撮像画像データとを備える学習用データセットを前記シミュレータから取得して複数組記憶するステップと;
前記学習用データセットを複数組入力することで、現実世界における所定領域内に配置された1又は複数のワークを2次元撮像装置によって前記所定画角と同じ画角から撮像した2次元撮像画像から、現実世界におけるロボットハンドの3次元座標を推論する学習モデルを学習するステップと;
学習された前記学習モデルを記憶するステップと;を備える、
機械学習方法。 - コンピュータを用いた機械学習方法であって:
所定領域内に配置された複数のワークのうちいずれかを把持するロボットハンドが把持動作を経て把持を成功させるときの前記ロボットハンドの3次元座標データと、前記ロボットハンドが把持を成功させるときの前記把持動作の前に前記所定領域内に配置された複数のワークを2次元撮像装置によって所定画角から撮像した2次元撮像画像データとを備える学習用データセットを複数組記憶するステップと;
前記学習用データセットを複数組入力することで、複数のワークを含む2次元撮像画像から、前記ロボットハンドの前記2次元撮像画像中の複数のワークのうちのいずれかを把持するための1又は複数の3次元座標を推論する学習モデルを学習するステップと;
学習された前記学習モデルを記憶するステップと;を備える、
機械学習方法。 - シミュレータの所定領域内に配置された1又は複数のワークのうちいずれかを把持する前記シミュレータ上のロボットハンドが把持動作を経て把持を成功させるときの前記ロボットハンドの1又は複数の3次元座標データ及び角度データと、前記ロボットハンドが把持を成功させるときの前記把持動作の前に前記所定領域内に配置された1又は複数のワークを前記シミュレータ上の2次元撮像装置によって所定画角から撮像した2次元撮像画像データと、を備える学習用データセットを前記シミュレータから取得して複数組記憶するデータセット記憶部と;
前記学習用データセットを複数組入力することで、現実世界における所定領域内に配置された1又は複数のワークを2次元撮像装置によって前記所定画角と同じ画角から撮像した2次元撮像画像から、現実世界におけるロボットハンドの3次元座標及び角度を推論する学習モデルを学習する学習部と;
前記学習部によって学習された前記学習モデルを記憶する学習済モデル記憶部と;を備える、
機械学習装置。 - シミュレータと、機械学習装置とを備える機械学習システムであって:
前記シミュレータが、所定領域内に配置された1又は複数のワークのうちいずれかを把持する前記シミュレータ上のロボットハンドが把持動作を経て把持を成功させるときの前記ロボットハンドの1又は複数の3次元座標データ及び角度データと、前記ロボットハンドが把持を成功させるときの前記把持動作の前に前記所定領域内に配置された1又は複数のワークを前記シミュレータ上の2次元撮像装置によって所定画角から撮像した2次元撮像画像データとを備える学習用データセットを生成する機能を有し、
前記機械学習装置が、前記シミュレータから前記学習用データセットを複数組取得して記憶するデータセット記憶部と;前記学習用データセットを複数組入力することで、現実世界における所定領域内に配置された1又は複数のワークを2次元撮像装置によって前記所定画角と同じ画角から撮像した2次元撮像画像から、現実世界におけるロボットハンドの3次元座標及び角度を推論する学習モデルを学習する学習部と;前記学習部によって学習された前記学習モデルを記憶する学習済モデル記憶部と;を備える、
機械学習システム。 - 所定領域内に配置された複数のワークのうちいずれかを把持するロボットハンドが把持動作を経て把持を成功させるときの前記ロボットハンドの3次元座標データ及び角度データと、前記ロボットハンドが把持を成功させるときの前記把持動作の前に前記所定領域内に配置された複数のワークを2次元撮像装置によって所定画角から撮像した2次元撮像画像データと、を備える学習用データセットを複数組記憶するデータセット記憶部と;
前記学習用データセットを複数組入力することで、複数のワークを含む2次元撮像画像から、前記ロボットハンドの前記2次元撮像画像中の複数のワークのうちのいずれかを把持するための1又は複数の3次元座標及び角度を推論する学習モデルを学習する学習部と;
前記学習部によって学習された前記学習モデルを記憶する学習済モデル記憶部と;を備える、
機械学習装置。 - 所定領域内に配置された1又は複数のワークを2次元撮像装置によって所定画角から撮像した2次元撮像画像データを取得する取得部と;
請求項8乃至請求項10のいずれか1項に記載の機械学習装置によって生成された学習済モデルに、前記取得部が取得した前記2次元撮像画像データを入力することで、ロボットハンドの3次元座標及び角度を推論する推論部と;を備える、
データ処理システム。 - 前記推論部において、3次元座標及び角度が複数推論された場合に、前記複数の3次元座標及び角度のうちの所定の一の3次元座標及び角度を特定する特定部を更に備える、
請求項11に記載のデータ処理システム。 - コンピュータを用いた機械学習方法であって:
シミュレータの所定領域内に配置された1又は複数のワークのうちいずれかを把持する前記シミュレータ上のロボットハンドが把持動作を経て把持を成功させるときの前記ロボットハンドの1又は複数の3次元座標データ及び角度と、前記ロボットハンドが把持を成功させるときの前記把持動作の前に前記所定領域内に配置された1又は複数のワークを前記シミュレータ上の2次元撮像装置によって所定画角から撮像した2次元撮像画像データと、を備える学習用データセットを前記シミュレータから取得して複数組記憶するステップと;
前記学習用データセットを複数組入力することで、現実世界における所定領域内に配置された1又は複数のワークを2次元撮像装置によって前記所定画角と同じ画角から撮像した2次元撮像画像から、現実世界におけるロボットハンドの3次元座標及び角度を推論する学習モデルを学習するステップと;
学習された前記学習モデルを記憶するステップと;を備える、
機械学習方法。 - コンピュータを用いた機械学習方法であって:
所定領域内に配置された複数のワークのうちいずれかを把持するロボットハンドが把持動作を経て把持を成功させるときの前記ロボットハンドの3次元座標データ及び角度と、前記ロボットハンドが把持を成功させるときの前記把持動作の前に前記所定領域内に配置された複数のワークを2次元撮像装置によって所定画角から撮像した2次元撮像画像データと、を備える学習用データセットを複数組記憶するステップと;
前記学習用データセットを複数組入力することで、複数のワークを含む2次元撮像画像から、前記ロボットハンドの前記2次元撮像画像中の複数のワークのうちのいずれかを把持するための1又は複数の3次元座標及び角度を推論する学習モデルを学習するステップと;
学習された前記学習モデルを記憶するステップと;を備える、
機械学習方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018225088A JP6671694B1 (ja) | 2018-11-30 | 2018-11-30 | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018225088A JP6671694B1 (ja) | 2018-11-30 | 2018-11-30 | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6671694B1 true JP6671694B1 (ja) | 2020-03-25 |
JP2020082322A JP2020082322A (ja) | 2020-06-04 |
Family
ID=70000905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018225088A Active JP6671694B1 (ja) | 2018-11-30 | 2018-11-30 | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6671694B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021200438A1 (ja) * | 2020-03-31 | 2021-10-07 | ミネベアミツミ株式会社 | 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置 |
JP7357225B2 (ja) | 2020-03-27 | 2023-10-06 | パナソニックIpマネジメント株式会社 | 推論実行方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022045772A (ja) * | 2020-09-09 | 2022-03-22 | オムロン株式会社 | ロボットシステム及びピッキング方法 |
JP2022045771A (ja) * | 2020-09-09 | 2022-03-22 | オムロン株式会社 | ロボットシステム及びピッキング方法 |
WO2022086157A1 (ko) * | 2020-10-20 | 2022-04-28 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
WO2022114042A1 (ja) | 2020-11-30 | 2022-06-02 | 住友重機械工業株式会社 | 情報処理装置及びピッキング装置 |
JP2022143969A (ja) * | 2021-03-18 | 2022-10-03 | 株式会社東芝 | データ生成装置、データ生成方法、制御装置、制御方法及びプログラム |
WO2023073780A1 (ja) * | 2021-10-25 | 2023-05-04 | ファナック株式会社 | 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6771744B2 (ja) * | 2017-01-25 | 2020-10-21 | 株式会社安川電機 | ハンドリングシステム及びコントローラ |
-
2018
- 2018-11-30 JP JP2018225088A patent/JP6671694B1/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7357225B2 (ja) | 2020-03-27 | 2023-10-06 | パナソニックIpマネジメント株式会社 | 推論実行方法 |
WO2021200438A1 (ja) * | 2020-03-31 | 2021-10-07 | ミネベアミツミ株式会社 | 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置 |
JP7423387B2 (ja) | 2020-03-31 | 2024-01-29 | ミネベアミツミ株式会社 | 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020082322A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6671694B1 (ja) | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 | |
US20230330848A1 (en) | Reinforcement and imitation learning for a task | |
CN110000785B (zh) | 农业场景无标定机器人运动视觉协同伺服控制方法与设备 | |
JP6873941B2 (ja) | ロボット作業システム、及びロボット作業システムの制御方法 | |
CN112297013B (zh) | 一种基于数字孪生和深度神经网络的机器人智能抓取方法 | |
EP3486041A2 (en) | Gripping system, learning device, and gripping method | |
JP2022544005A (ja) | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 | |
JP2018202550A (ja) | 機械学習装置、機械学習方法、および機械学習プログラム | |
CN110385694A (zh) | 机器人的动作示教装置、机器人***以及机器人控制装置 | |
US20210129319A1 (en) | Controller, control method, and computer program product | |
CN108748149B (zh) | 一种复杂环境下基于深度学习的无标定机械臂抓取方法 | |
Rahman | Cognitive cyber-physical system (C-CPS) for human-robot collaborative manufacturing | |
JP2020082315A (ja) | 画像生成装置、ロボット訓練システム、画像生成方法、及び画像生成プログラム | |
JP2021065955A (ja) | ロボット制御システム及びその制御方法及びプログラム | |
JP2022187984A (ja) | モジュール化ニューラルネットワークを用いた把持学習 | |
CN114932555A (zh) | 机械臂协同作业***及机械臂控制方法 | |
JP2022187983A (ja) | 高次元のロボット作業を学習するためのネットワークモジュール化 | |
CN116460843A (zh) | 一种基于元启发式算法的多机器人协作抓取方法及*** | |
Zakaria et al. | Robotic control of the deformation of soft linear objects using deep reinforcement learning | |
JP7008136B2 (ja) | 機械学習装置及びこれを備えたロボットシステム | |
CN114131603A (zh) | 基于感知增强和场景迁移的深度强化学习机器人抓取方法 | |
Jiang et al. | Mastering the complex assembly task with a dual-arm robot: A novel reinforcement learning method | |
Kumra et al. | Learning robotic manipulation tasks via task progress based Gaussian reward and loss adjusted exploration | |
CN113436293B (zh) | 一种基于条件生成式对抗网络的智能抓取图像生成方法 | |
CN112171664A (zh) | 基于视觉识别的生产线机器人轨迹补偿方法、装置和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190530 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190626 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190819 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6671694 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |