JP7045139B2 - 機械学習装置、機械学習方法、および機械学習プログラム - Google Patents
機械学習装置、機械学習方法、および機械学習プログラム Download PDFInfo
- Publication number
- JP7045139B2 JP7045139B2 JP2017110872A JP2017110872A JP7045139B2 JP 7045139 B2 JP7045139 B2 JP 7045139B2 JP 2017110872 A JP2017110872 A JP 2017110872A JP 2017110872 A JP2017110872 A JP 2017110872A JP 7045139 B2 JP7045139 B2 JP 7045139B2
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- point position
- article
- image
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
Description
図1は、ピッキングシステムのシステム構成例を示す説明図である。ピッキングシステム100は、ロボットアーム101と、制御装置102と、機械学習装置103と、を含む。ロボットアーム101は制御装置102に接続され、ロボットアーム101を制御する。制御装置102と機械学習装置103は、LAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどのネットワーク104により通信可能に接続される。
図2は、機械学習装置103のハードウェア構成例を示すブロック図である。機械学習装置103は、プロセッサ201と、記憶デバイス202と、入力デバイス203と、出力デバイス204と、通信インターフェース(通信IF205)と、を有する。プロセッサ201、記憶デバイス202、入力デバイス203、出力デバイス204、および通信IF205は、バス206により接続される。プロセッサ201は、機械学習装置103を制御する。記憶デバイス202は、プロセッサ201の作業エリアとなる。また、記憶デバイス202は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス202としては、たとえば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリがある。入力デバイス203は、データを入力する。入力デバイス203としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス204は、データを出力する。出力デバイス204としては、たとえば、ディスプレイ、プリンタがある。通信IF205は、ネットワーク104と接続し、データを送受信する。
図3は、機械学習装置103の機能的構成例を示すブロック図である。機械学習装置103は、ラベル付き学習DB301と、学習モデル302と、生成部303と、算出部306と、更新部307と、取得部308と、検出部309と、選択部310と、立案部311と、通信部312と、登録部313と、を有する。ラベル付き学習DB301および学習モデル302は、具体的には、たとえば、図2に示した記憶デバイス202に記憶される情報である。算出部306、更新部307、取得部308、検出部309、選択部310、立案部311、および、登録部313は、具体的には、たとえば、図2に示した記憶デバイス202に記憶されたプログラムをプロセッサに実行させることにより実現される機能である。通信部312は、図2に示した通信IFにより実現される機能である。
図5は、畳み込みニューラルネットワークを用いた学習例を示す説明図である。図6は、畳み込みニューラルネットワークのネットワーク構造例を示す説明図である。畳み込みニューラルネットワークCNNの入力層は、第1画像500が入力される階層である。第1中間層501は、複数の畳み込み層CV1~CV21により構成される。第2中間層502は、畳み込み層CV22により構成される。第3中間層503は、畳み込み層CV23~CV25により構成され、軌道計画容易性404の予測値r1、把持点位置403の予測位置(予測把持点位置)r2、把持点位置可能性の予測値r3および非把持点位置可能性の予測値r4を算出する。第1中間層501~第3中間層503は、算出部306に対応する。
図7は、畳み込みニューラルネットワークCNNを用いた推定例を示す説明図である。図7では、第2画像(テスト画像)700が入力層500を介して第1中間層501に与えられ、第1中間層501~第3中間層503は、学習モデル302として更新されたパラメータを用いて、軌道計画容易性404の推定値R1、把持点位置403の推定位置(推定把持点位置)R2、把持点位置可能性の推定値R3、および非把持点位置可能性の推定値R4を算出する。
図8は、機械学習装置103による学習/推定処理手順例を示すフローチャートである。機械学習装置103は、学習データ生成処理(ステップS801)を実行し、畳み込みニューラルネットワークCNNを用いて学習モデル生成処理を実行する(ステップS802)。そして、機械学習装置103は、更新部307により、学習モデル302で第1パラメータ~第3パラメータを更新する(ステップS803)。
301 ラベル付き学習DB
100 ピッキングシステム
101 ロボットアーム
102 制御装置
103 機械学習装置
302 学習モデル
303 生成部
306 算出部
307 更新部
308 取得部
309 検出部
310 選択部
311 立案部
312 通信部
313 登録部
Claims (9)
- プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する機械学習装置であって、
前記記憶デバイスは、物品群が収容されている箱の開口から前記物品群および前記箱が認識された認識画像について、前記物品群の各物品をロボットアームが把持する前記物品の把持点の位置を示す把持点位置と、前記ロボットアームの前記把持点までの軌道を計画する軌道計画の容易さを定量化した値である軌道計画容易性と、を関連付けた学習データを記憶しており、
前記プロセッサは、
前記箱の開口からの前記物品群および前記箱に関する第1画像を取得する第1取得処理と、
前記第1取得処理によって取得された第1画像の画像特徴量に基づいて、パラメータを用いて、前記物品群の前記把持点位置の予測位置および前記軌道計画容易性の予測値を算出する第1算出処理と、
前記記憶デバイスに記憶された前記学習データである前記把持点位置および前記軌道計画容易性と、前記第1算出処理によって算出された算出結果と、に基づいて、前記パラメータを更新する更新処理と、
を実行することを特徴とする機械学習装置。 - 請求項1に記載の機械学習装置であって、
前記プロセッサは、
前記物品群が収容されている箱において前記箱の開口から前記物品および前記箱が撮影された第2画像を取得する第2取得処理と、
前記更新処理による更新後のパラメータを用いて、前記第2取得処理によって取得された前記第2画像に基づいて、前記軌道計画容易性の推定値を算出する第2算出処理と、
前記第2画像に基づく、前記把持点位置の推定位置を検出する検出処理と、
を実行することを特徴とする機械学習装置。 - 請求項1に記載の機械学習装置であって、
前記プロセッサは、
前記物品群が収容されている箱において前記箱の開口から前記物品および前記箱が認識された第2画像を取得する第2取得処理と、
前記更新処理による更新後のパラメータを用いて、前記第2取得処理によって取得された前記第2画像の画像特徴量に基づいて、前記軌道計画容易性の推定値を算出する第2算出処理と、
を実行することを特徴とする機械学習装置。 - 請求項2または3に記載の機械学習装置であって、
前記プロセッサは、
前記第2算出処理によって算出された前記軌道計画容易性の推定値に基づいて、前記把持点位置の推定位置を選択する選択処理を実行することを特徴とする機械学習装置。 - 請求項4に記載の機械学習装置であって、
前記プロセッサは、
前記選択処理によって選択された把持点位置の推定位置における前記ロボットアームの姿勢に関する情報を生成し、前記ロボットアームが前記選択された把持点位置の推定位置で前記姿勢となるように、前記選択された把持点位置の推定位置への軌道を示す軌道計画を立案する立案処理と、
前記立案処理によって立案された軌道計画を、前記ロボットアームを制御する制御装置に送信する送信処理と、
を実行することを特徴とする機械学習装置。 - 請求項5に記載の機械学習装置であって、
前記プロセッサは、
前記送信処理によって前記軌道計画が送信された結果、前記選択された把持点位置の推定位置に配置されている物品が前記ロボットアームにより把持された場合、前記軌道計画容易性の推定値と前記把持点位置の推定位置とを関連付けて、前記学習データとして前記記憶デバイスに登録する登録処理を実行することを特徴とする機械学習装置。 - 請求項1に記載の機械学習装置であって、
前記プロセッサは、
前記認識画像について、前記把持点位置を生成するとともに、前記生成された把持点位置での前記物品の把持を試行して前記軌道計画容易性を算出することにより、前記把持点位置と前記軌道計画容易性とを関連付けた学習データを前記記憶デバイスに格納する生成処理を実行することを特徴とする機械学習装置。 - プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する機械学習装置による機械学習方法であって、
前記記憶デバイスは、物品群が収容されている箱の開口から前記物品群および前記箱が認識された認識画像について、前記物品群の各物品をロボットアームが把持する前記物品の把持点の位置を示す把持点位置と、前記ロボットアームの前記把持点までの軌道を計画する軌道計画の容易さを定量化した値である軌道計画容易性と、を関連付けた学習データを記憶しており、
前記機械学習方法は、
前記プロセッサが、
前記箱の開口からの前記物品群および前記箱に関する第1画像を取得する取得処理と、
前記取得処理によって取得された第1画像の画像特徴量に基づいて、パラメータを用いて、前記物品群の前記把持点位置の予測位置および前記軌道計画容易性の予測値を算出する算出処理と、
前記記憶デバイスに記憶された前記学習データである前記把持点位置および前記軌道計画容易性と、前記算出処理によって算出された算出結果と、に基づいて、前記パラメータを更新する更新処理と、
を実行することを特徴とする機械学習方法。 - 機械学習をプロセッサに実行させる機械学習プログラムであって、
前記プロセッサは、記憶デバイスにアクセス可能であり、
前記記憶デバイスは、物品群が収容されている箱の開口から前記物品群および前記箱が認識された認識画像について、前記物品群の各物品をロボットアームが把持する前記物品の把持点の位置を示す把持点位置と、前記ロボットアームの前記把持点までの軌道を計画する軌道計画の容易さを定量化した値である軌道計画容易性と、を関連付けた学習データを記憶しており、
前記プロセッサに、
前記箱の開口からの前記物品群および前記箱に関する第1画像を取得する取得処理と、
前記取得処理によって取得された第1画像の画像特徴量に基づいて、パラメータを用いて、前記物品群の前記把持点位置の予測位置および前記軌道計画容易性の予測値を算出する算出処理と、
前記記憶デバイスに記憶された前記学習データである前記把持点位置および前記軌道計画容易性と、前記算出処理によって算出された算出結果と、に基づいて、前記パラメータを更新する更新処理と、
を実行させることを特徴とする機械学習プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017110872A JP7045139B2 (ja) | 2017-06-05 | 2017-06-05 | 機械学習装置、機械学習方法、および機械学習プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017110872A JP7045139B2 (ja) | 2017-06-05 | 2017-06-05 | 機械学習装置、機械学習方法、および機械学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018202550A JP2018202550A (ja) | 2018-12-27 |
JP7045139B2 true JP7045139B2 (ja) | 2022-03-31 |
Family
ID=64954752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017110872A Active JP7045139B2 (ja) | 2017-06-05 | 2017-06-05 | 機械学習装置、機械学習方法、および機械学習プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7045139B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10456915B1 (en) | 2019-01-25 | 2019-10-29 | Mujin, Inc. | Robotic system with enhanced scanning mechanism |
US10870204B2 (en) | 2019-01-25 | 2020-12-22 | Mujin, Inc. | Robotic system control method and controller |
JP6697204B1 (ja) | 2019-01-25 | 2020-05-20 | 株式会社Mujin | ロボットシステムの制御方法、非一過性のコンピュータ読取可能な記録媒体及びロボットシステムの制御装置 |
JP7179672B2 (ja) * | 2019-04-24 | 2022-11-29 | 株式会社日立製作所 | 計算機システム及び機械学習方法 |
JP7377627B2 (ja) * | 2019-06-04 | 2023-11-10 | グローリー株式会社 | 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム |
WO2021019702A1 (ja) * | 2019-07-30 | 2021-02-04 | トーヨーカネツ株式会社 | 自動化倉庫最適化システム |
JP7021158B2 (ja) | 2019-09-04 | 2022-02-16 | 株式会社東芝 | ロボットシステムおよび駆動方法 |
JP7021160B2 (ja) | 2019-09-18 | 2022-02-16 | 株式会社東芝 | ハンドリング装置、ハンドリング方法及びプログラム |
TWI790408B (zh) * | 2019-11-19 | 2023-01-21 | 財團法人工業技術研究院 | 抓取裝置及抓取方法 |
JP7375587B2 (ja) * | 2020-02-05 | 2023-11-08 | 株式会社デンソー | 軌道生成装置、多リンクシステム、及び軌道生成方法 |
CN115243842A (zh) * | 2020-03-05 | 2022-10-25 | 发那科株式会社 | 机器学习装置 |
US11130237B1 (en) | 2020-03-05 | 2021-09-28 | Mujin, Inc. | Method and computing system for performing container detection and object detection |
JP6796901B1 (ja) * | 2020-03-05 | 2020-12-09 | 株式会社Mujin | 容器検出および物体検出を行うための方法ならびに計算システム |
CN112215132A (zh) * | 2020-10-10 | 2021-01-12 | 北京如影智能科技有限公司 | 用于自适应智慧厨房***的生成物品信息的方法及装置 |
EP4252975A1 (en) * | 2020-11-30 | 2023-10-04 | Sumitomo Heavy Industries, LTD. | Information processing device, and picking device |
WO2024134794A1 (ja) * | 2022-12-21 | 2024-06-27 | 日本電気株式会社 | 処理装置、ロボットシステム、処理方法、および記録媒体 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013052490A (ja) | 2011-09-06 | 2013-03-21 | Mitsubishi Electric Corp | ワーク取り出し装置 |
JP2017030135A (ja) | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
-
2017
- 2017-06-05 JP JP2017110872A patent/JP7045139B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013052490A (ja) | 2011-09-06 | 2013-03-21 | Mitsubishi Electric Corp | ワーク取り出し装置 |
JP2017030135A (ja) | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
JP2017064910A (ja) | 2015-07-31 | 2017-04-06 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2018202550A (ja) | 2018-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7045139B2 (ja) | 機械学習装置、機械学習方法、および機械学習プログラム | |
JP7491971B2 (ja) | 物体把持方法、物体把持プログラム、物体把持装置、学習方法、学習プログラムおよび学習装置 | |
JP6810087B2 (ja) | 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法 | |
JP6873941B2 (ja) | ロボット作業システム、及びロボット作業システムの制御方法 | |
US11559885B2 (en) | Method and system for grasping an object | |
US11717959B2 (en) | Machine learning methods and apparatus for semantic robotic grasping | |
Bodenhagen et al. | An adaptable robot vision system performing manipulation actions with flexible objects | |
Kiatos et al. | Robust object grasping in clutter via singulation | |
CN109807882A (zh) | 把持***、学习装置和把持方法 | |
CN113826051A (zh) | 生成实体***零件之间的交互的数字孪生 | |
JP6671694B1 (ja) | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 | |
CN112757284B (zh) | 机器人控制装置、方法和存储介质 | |
JP6811465B2 (ja) | 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム | |
Eppner et al. | Visual detection of opportunities to exploit contact in grasping using contextual multi-armed bandits | |
CN114529010A (zh) | 一种机器人自主学习方法、装置、设备及存储介质 | |
Hyttinen et al. | Estimating tactile data for adaptive grasping of novel objects | |
JP7025989B2 (ja) | 学習装置、学習方法及び学習プログラム | |
CN113561172B (zh) | 一种基于双目视觉采集的灵巧手控制方法及装置 | |
US20240013542A1 (en) | Information processing system, information processing device, information processing method, and recording medium | |
US20210326754A1 (en) | Storage medium, learning method, and information processing apparatus | |
TWI844033B (zh) | 電腦系統、尺寸計測方法、及記憶媒體 | |
US20220297298A1 (en) | Data generation device, data generation method, control device, control method, and computer program product | |
CN117644511A (zh) | 基于隐式神经表示的机器人抓取方法、***、设备及介质 | |
EP3542971A2 (en) | Generating learned knowledge from an executable domain model | |
WO2023181628A1 (en) | Systems and methods for flexible robotic manipulation by fast online load estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170808 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7045139 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |