JP2018118343A - ハンドリングシステム及びコントローラ - Google Patents
ハンドリングシステム及びコントローラ Download PDFInfo
- Publication number
- JP2018118343A JP2018118343A JP2017011017A JP2017011017A JP2018118343A JP 2018118343 A JP2018118343 A JP 2018118343A JP 2017011017 A JP2017011017 A JP 2017011017A JP 2017011017 A JP2017011017 A JP 2017011017A JP 2018118343 A JP2018118343 A JP 2018118343A
- Authority
- JP
- Japan
- Prior art keywords
- handling
- end effector
- machine learning
- learning process
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
図1は、本実施形態のハンドリングシステムの概略的なシステムブロック構成の一例を表している。このハンドリングシステムは、コンテナ7内に乱雑に配置された複数種類で多数個の工業部品を対象物とし、これらを種類別に分類して複数の目標容器に取り分けるようハンドリングして移送するシステムである。図1においてハンドリングシステム1は、カメラ2と、ロボットコントローラ3と、サーボアンプ4と、ハンドリングロボット5と、エンドエフェクタ交換部6とを有している。なお、本実施形態の例では、工業部品10をハンドリングの対象物とした場合を示しているが、生産ラインで取り扱われるものであれば、工業部品10の代わりに食品や化粧品、文房具などであってもよい。
例えば規定の形状と大きさにある対象物(本実施形態の例の工業部品10)が規定の位置と姿勢で配置されている場合には、接触するハンドリング位置や使用するエンドエフェクタ8についてユーザが人為的に設定、選択することでも機械による適切なハンドリング動作は容易に行える。
図3〜図6には、多様な配置姿勢にある多様な形状の工業部品10の外観形状を示す形状情報の例が示されている。これらの形状情報は、ハンドリングロボット5の作業空間中に設定された作業座標(図中のXYZ座標)を基準として一律に同じ方向からの定点撮影により取得されている(なお、図示の理解が容易なように図1中に示すカメラ2の撮像方向とは相違している)。つまり、外観部分画像であるこの形状情報には、1つの工業部品10の個体についてその配置姿勢と当該配置姿勢に対応する当該工業部品10の外観形状の2つの情報が含まれている。また、上記コンテナ7中に乱雑に配置(又はバラ積み)された状態の多数の工業部品10は、図示する以外にも多様な配置姿勢で形状情報が取得される。
ハンドリング設定部12は、上述したように、ニューラルネットワークを用いた深層学習の機械学習によってハンドリング位置の推定とエンドエフェクタ8の選択を行う。そして本実施形態の例では、まず先にハンドリング位置推定部21が形状情報に基づいて先にハンドリング位置の推定し、次にエンドエフェクタ選択部22がハンドリング位置情報に基づいてエンドエフェクタ8を選択する。以上から、ハンドリング設定部12は、例えば図7のニューラルネットワークモデル概略図で示すようなハンドリング位置推定部21と、図8のニューラルネットワークモデル概略図で示すようなエンドエフェクタ選択部22とを組み合わせることで構成できる。
上記ハンドリング位置推定部21及びエンドエフェクタ選択部22のそれぞれのニューラルネットワークに対する機械学習プロセスの具体的な手順について、以下に説明する。図9は、ロボットコントローラ3のCPU901(後述の図15参照)が、本実施形態の例におけるデータ学習により機械学習プロセスを実行する場合の処理手順のフローチャートを示している。このフローに示すデータ学習処理は、例えば図示しない操作部から機械学習プロセスを実行するよう指令入力されることで開始する。
以上説明したように、本実施形態のハンドリングシステム1は、機械学習プロセスでの学習内容に基づき、工業部品10の個体の形状情報に対応して、ハンドリング位置を推定するハンドリング位置推定部21と、ハンドリング動作させるエンドエフェクタ8の選択を行うエンドエフェクタ選択部22とを備えたハンドリング設定部12を有している。そして機械学習プロセスにおいて、形状と配置姿勢が多様に異なる工業部品10の個体の形状情報に対し、それぞれ多様なハンドリング位置とエンドエフェクタ8の組み合わせで繰り返しハンドリング動作を試行した結果を学習する。この機械学習プロセスは、機械自身によって自動的に行うことができ、その試行回数(ハンドリング成否データ)が多いほどハンドリング動作の精度や確度が向上する。これにより人為的な設定作業によらず、ハンドリング設定部12は工業部品10の個体の形状と姿勢の組み合わせを表す形状情報に対応して、その工業部品10に対するハンドリング動作に最適なハンドリング位置の推定とエンドエフェクタ8の選択が可能となる。この結果、機械によるハンドリング性能を向上できる。
なお、以上説明した実施形態は、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
上記実施形態では、形状情報に対応する適切なハンドリング位置とエンドエフェクタ8の機械学習プロセスをデータ学習により行っていたが、これに限られない。他にも、図10に例示するような強化学習処理の機械学習プロセスにより、ハンドリング位置推定部21及びエンドエフェクタ選択部22のそれぞれのニューラルネットワークの学習を行ってもよい。なお、図示する本変形例の強化学習処理では、いわゆるQ学習の手法に基づいて行う。
上記実施形態では、ハンドリング設定部12において、ハンドリング位置推定部21が形状情報に対応したハンドリング位置情報を推定してから、エンドエフェクタ選択部22がそのハンドリング位置情報に基づいてエンドエフェクタ8を選択していたが、これに限られない。他にも、図11に示すようにロボットコントローラ3A内のハンドリング設定部12Aにおいて、エンドエフェクタ選択部22Aが形状情報に対応したエンドエフェクタ8を選択してから、ハンドリング位置推定部21Aがそのエンドエフェクタ選択情報と形状情報に対応したハンドリング位置情報を推定してもよい。
図13に示す例では、それぞれの撮像領域が重複する2台のカメラ41,42で構成されたいわゆる3次元カメラ43を用いて1つの食品F(図示する例では鳥唐揚げ)をそれぞれ異なる撮像方向から撮像している。これにより、図14の左側に示すように、1つの食品Fに対して相互に視差を有する2つの画像データ(2つの形状情報;それぞれ2次元ピクセル列)を取得することができる。
また特に図示しないが、対象物の画像データを取得する光学的センシング手段としてレーザースキャナ等をカメラ2(および3次元センサ8)の代わりに用いてもよい。この場合には、例えばレーザースキャナから投光された走査線で対象物の表面上における各点との距離を計測し、これらの距離データの集合で画像データを取得する。また、画像認識部11は、外観部分画像の画像データではなく、例えば3D立体モデルを形状情報として取得してもよい。
次に、図15を参照しつつ、上記で説明したCPU901が実行するプログラムによりソフトウェア的に実装された画像認識部11、ハンドリング設定部12(ハンドリング位置推定部21、エンドエフェクタ選択部22)、作業計画部13、逆キネマティクス演算部14等による処理を実現するロボットコントローラ3のハードウェア構成例について説明する。
2 カメラ(形状取得部)
3,3A ロボットコントローラ(コントローラ)
4 サーボアンプ
5 ハンドリングロボット
6 エンドエフェクタ交換部
8 エンドエフェクタ
8A 多指ハンド
8B グリッパ
8C 吸着ノズル
10 工業部品(対象物)
11 画像認識部(形状取得部)
12,12A ハンドリング設定部
13 作業計画部(ハンドリング制御部)
14 逆キネマティクス演算部(ハンドリング制御部)
21,21A ハンドリング位置推定部
22,22A エンドエフェクタ選択部
Claims (11)
- 対象物の形状情報を取得する形状取得部と、
前記対象物に直接接触してハンドリング動作を行う複数種類のエンドエフェクタと、
機械学習プロセスでの学習内容に基づき、前記形状情報に対応して、前記対象物側の接触位置であるハンドリング位置の推定と、前記対象物に対してハンドリング動作させるエンドエフェクタの選択を行うハンドリング設定部と、
を有することを特徴とするハンドリングシステム。 - 前記エンドエフェクタを装着して当該エンドエフェクタと前記対象物の移送動作を行うハンドリングロボットと、
推定されたハンドリング位置に選択されたエンドエフェクタを接触させるよう前記ハンドリングロボットのハンドリング動作を制御するハンドリング制御部と、
を有することを特徴とする請求項1記載のハンドリングシステム。 - 前記ハンドリング設定部は、
ハンドリング位置を推定してから、当該ハンドリング位置に対応するエンドエフェクタを選択することを特徴とする請求項1又は2記載のハンドリングシステム。 - 前記ハンドリング設定部は、
エンドエフェクタを選択してから、当該エンドエフェクタに対応するハンドリング位置を推定することを特徴とする請求項1又は2記載のハンドリングシステム。 - 前記ハンドリング設定部は、
ハンドリング位置の推定と、エンドエフェクタの選択を並行して行うことを特徴とする請求項1又は2記載のハンドリングシステム。 - 前記機械学習プロセスは、ハンドリング動作を繰り返した際のそれぞれのハンドリング結果に基づく強化学習により実行されることを特徴とする請求項1乃至5のいずれか1項に記載のハンドリングシステム。
- 前記機械学習プロセスは、ハンドリング動作を繰り返した際に得られたハンドリング成否データに基づくデータ学習により実行されることを特徴とする請求項1乃至6のいずれか1項に記載のハンドリングシステム。
- 前記機械学習プロセスは、所定の形状の対象物に対して実行されることを特徴とする請求項1乃至7のいずれか1項に記載のハンドリングシステム。
- 前記機械学習プロセスは、多様な形状の対象物に対して実行されていることを特徴とする請求項1乃至7のいずれか1項に記載のハンドリングシステム。
- 前記エンドエフェクタの種類は、多指ハンド、グリッパ、及び吸着ノズルのうち少なくとも1つを含むことを特徴とする請求項1乃至9のいずれか1項に記載のハンドリングシステム。
- 機械学習プロセスでの学習内容に基づき、対象物の形状に対応して、前記対象物側の接触位置であるハンドリング位置の推定と、前記対象物に対してハンドリング動作させるエンドエフェクタの選択を行うハンドリング設定部、
を有することを特徴とするコントローラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017011017A JP6771744B2 (ja) | 2017-01-25 | 2017-01-25 | ハンドリングシステム及びコントローラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017011017A JP6771744B2 (ja) | 2017-01-25 | 2017-01-25 | ハンドリングシステム及びコントローラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018118343A true JP2018118343A (ja) | 2018-08-02 |
JP6771744B2 JP6771744B2 (ja) | 2020-10-21 |
Family
ID=63044214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017011017A Active JP6771744B2 (ja) | 2017-01-25 | 2017-01-25 | ハンドリングシステム及びコントローラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6771744B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020040193A (ja) * | 2018-09-14 | 2020-03-19 | 株式会社東芝 | 情報処理装置及びピッキングシステム |
WO2020075423A1 (ja) * | 2018-10-10 | 2020-04-16 | ソニー株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
WO2020095805A1 (ja) * | 2018-11-09 | 2020-05-14 | オムロン株式会社 | ロボット制御装置、ロボット制御方法、及びロボット制御プログラム |
CN111216122A (zh) * | 2018-11-27 | 2020-06-02 | 丰田自动车株式会社 | 把持机器人及把持机器人的控制程序 |
JP2020082322A (ja) * | 2018-11-30 | 2020-06-04 | 株式会社クロスコンパス | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 |
WO2020122632A1 (ko) * | 2018-12-14 | 2020-06-18 | 삼성전자 주식회사 | 로봇 장치 및 로봇의 작업 스킬을 학습하는 방법 |
JP2020093366A (ja) * | 2018-12-14 | 2020-06-18 | トヨタ自動車株式会社 | ロボット |
KR20210075865A (ko) * | 2019-12-13 | 2021-06-23 | 도요타지도샤가부시키가이샤 | 원격 조작 시스템 및 원격 조작 방법 |
JP2021146452A (ja) * | 2020-03-19 | 2021-09-27 | 株式会社東芝 | ハンドリング装置、制御装置、および制御プログラム |
WO2022091269A1 (ja) * | 2020-10-28 | 2022-05-05 | ヤマハ発動機株式会社 | ロボットハンドのワーク持ち方探索装置および該方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4094906A1 (de) * | 2021-05-26 | 2022-11-30 | AyTec Automation GmbH | Greifanordnung |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1015865A (ja) * | 1996-07-06 | 1998-01-20 | Ricoh Co Ltd | 組立部品供給装置 |
JP2007216381A (ja) * | 2004-07-13 | 2007-08-30 | Matsushita Electric Ind Co Ltd | ロボット |
JP2007245326A (ja) * | 2006-02-17 | 2007-09-27 | Toyota Motor Corp | ロボットとロボットの制御方法 |
JP2016093879A (ja) * | 2014-11-17 | 2016-05-26 | 富士通株式会社 | 把持計画決定プログラム、把持計画決定方法および設計支援装置 |
JP2017030135A (ja) * | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
-
2017
- 2017-01-25 JP JP2017011017A patent/JP6771744B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1015865A (ja) * | 1996-07-06 | 1998-01-20 | Ricoh Co Ltd | 組立部品供給装置 |
JP2007216381A (ja) * | 2004-07-13 | 2007-08-30 | Matsushita Electric Ind Co Ltd | ロボット |
JP2007245326A (ja) * | 2006-02-17 | 2007-09-27 | Toyota Motor Corp | ロボットとロボットの制御方法 |
JP2016093879A (ja) * | 2014-11-17 | 2016-05-26 | 富士通株式会社 | 把持計画決定プログラム、把持計画決定方法および設計支援装置 |
JP2017030135A (ja) * | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020040193A (ja) * | 2018-09-14 | 2020-03-19 | 株式会社東芝 | 情報処理装置及びピッキングシステム |
JP7163116B2 (ja) | 2018-09-14 | 2022-10-31 | 株式会社東芝 | 情報処理装置及びピッキングシステム |
WO2020075423A1 (ja) * | 2018-10-10 | 2020-04-16 | ソニー株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
WO2020095805A1 (ja) * | 2018-11-09 | 2020-05-14 | オムロン株式会社 | ロボット制御装置、ロボット制御方法、及びロボット制御プログラム |
JP2020075337A (ja) * | 2018-11-09 | 2020-05-21 | オムロン株式会社 | ロボット制御装置、ロボット制御方法、及びロボット制御プログラム |
JP7205752B2 (ja) | 2018-11-09 | 2023-01-17 | オムロン株式会社 | ロボット制御装置、ロボット制御方法、及びロボット制御プログラム |
JP7047726B2 (ja) | 2018-11-27 | 2022-04-05 | トヨタ自動車株式会社 | 把持ロボットおよび把持ロボットの制御プログラム |
CN111216122A (zh) * | 2018-11-27 | 2020-06-02 | 丰田自动车株式会社 | 把持机器人及把持机器人的控制程序 |
JP2020082282A (ja) * | 2018-11-27 | 2020-06-04 | トヨタ自動車株式会社 | 把持ロボットおよび把持ロボットの制御プログラム |
CN111216122B (zh) * | 2018-11-27 | 2022-10-25 | 丰田自动车株式会社 | 把持机器人及把持机器人的控制程序 |
JP2020082322A (ja) * | 2018-11-30 | 2020-06-04 | 株式会社クロスコンパス | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 |
JP7044047B2 (ja) | 2018-12-14 | 2022-03-30 | トヨタ自動車株式会社 | ロボット |
JP2020093366A (ja) * | 2018-12-14 | 2020-06-18 | トヨタ自動車株式会社 | ロボット |
WO2020122632A1 (ko) * | 2018-12-14 | 2020-06-18 | 삼성전자 주식회사 | 로봇 장치 및 로봇의 작업 스킬을 학습하는 방법 |
US11911912B2 (en) | 2018-12-14 | 2024-02-27 | Samsung Electronics Co., Ltd. | Robot control apparatus and method for learning task skill of the robot |
KR20210075865A (ko) * | 2019-12-13 | 2021-06-23 | 도요타지도샤가부시키가이샤 | 원격 조작 시스템 및 원격 조작 방법 |
KR102573687B1 (ko) * | 2019-12-13 | 2023-09-04 | 도요타지도샤가부시키가이샤 | 원격 조작 시스템 및 원격 조작 방법 |
US11904481B2 (en) | 2019-12-13 | 2024-02-20 | Toyota Jidosha Kabushiki Kaisha | Remote control system and remote control method |
JP2021146452A (ja) * | 2020-03-19 | 2021-09-27 | 株式会社東芝 | ハンドリング装置、制御装置、および制御プログラム |
WO2022091269A1 (ja) * | 2020-10-28 | 2022-05-05 | ヤマハ発動機株式会社 | ロボットハンドのワーク持ち方探索装置および該方法 |
JP7420966B2 (ja) | 2020-10-28 | 2024-01-23 | ヤマハ発動機株式会社 | ロボットハンドのワーク持ち方探索装置および該方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6771744B2 (ja) | 2020-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6771744B2 (ja) | ハンドリングシステム及びコントローラ | |
JP6983524B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US10870204B2 (en) | Robotic system control method and controller | |
EP3284563B1 (en) | Picking system | |
JP5685027B2 (ja) | 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム | |
JP6931457B2 (ja) | モーション生成方法、モーション生成装置、システム及びコンピュータプログラム | |
WO2018221614A1 (ja) | 学習装置、学習方法、学習モデル、推定装置及び把持システム | |
WO2019212860A2 (en) | Positioning a robot sensor for object classification | |
JP7191569B2 (ja) | 把持装置 | |
JP2019084601A (ja) | 情報処理装置、把持システムおよび情報処理方法 | |
JP6697204B1 (ja) | ロボットシステムの制御方法、非一過性のコンピュータ読取可能な記録媒体及びロボットシステムの制御装置 | |
CN110909644A (zh) | 基于强化学习的机械臂末端执行器抓取姿态调整方法及*** | |
JP7044047B2 (ja) | ロボット | |
JP2015182212A (ja) | ロボットシステム、ロボット、制御装置、及び制御方法 | |
JP7051751B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
JP2009226552A (ja) | 冗長ロボットの教示方法 | |
CN114494426A (zh) | 用于控制机器人来在不同的方位拿起对象的装置和方法 | |
JP4715296B2 (ja) | ロボットハンドの持ち替え把持制御方法。 | |
US11981518B2 (en) | Robotic tools and methods for operating the same | |
CN111470244B (zh) | 机器人***的控制方法以及控制装置 | |
Macias et al. | Vision guided robotic block stacking | |
THILAKANAYAKE et al. | Development of a stereo vision-based pick and place system for robotic manipulators | |
JP2021061014A (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
US20230098284A1 (en) | Method for generating training data for supervised learning for training a neural network | |
KR20230175122A (ko) | 대상물의 조작, 특히 픽업을 위한 로봇 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190613 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200227 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200501 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200624 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200913 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6771744 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |