JP7100426B2 - ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 - Google Patents
ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 Download PDFInfo
- Publication number
- JP7100426B2 JP7100426B2 JP2017010506A JP2017010506A JP7100426B2 JP 7100426 B2 JP7100426 B2 JP 7100426B2 JP 2017010506 A JP2017010506 A JP 2017010506A JP 2017010506 A JP2017010506 A JP 2017010506A JP 7100426 B2 JP7100426 B2 JP 7100426B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- work
- machine learning
- robot
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39297—First learn inverse model, then fine tune with ffw error learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Description
・ロボットは、環境の状態を観測し、行動を決定する。
・環境は、何らかの規則に従って変化し、さらに、自分の行動が、環境に変化を与えることもある。
・行動するたびに、報酬信号が帰ってくる。
・最大化したいのは、将来にわたっての(割引)報酬の合計である。
・行動が引き起こす結果を全く知らない、または、不完全にしか知らない状態から学習はスタートする。すなわち、ロボットは、実際に行動して初めて、その結果をデータとして得ることができる。つまり、試行錯誤しながら最適な行動を探索する必要がある。
・人間の動作を真似るように、事前学習(前述の教師あり学習や、逆強化学習といった手法)した状態を初期状態として、良いスタート地点から学習をスタートさせることもできる。
11 箱
12 ワーク
13 ハンド部
14 ロボット
15 三次元計測器
16 制御装置
17 力センサ
18 支持部
19 座標計算部
20,30 機械学習装置
21,31 状態量観測部
22,32 学習部
23 報酬計算部
24 価値関数更新部
25,35 意思決定部
26,36 動作結果取得部
33 誤差計算部
34 学習モデル更新部
40 結果(ラベル)付きデータ記録部
50 前処理部
Claims (18)
- 計測器により取得された、バラ積みされた状態を含む乱雑に置かれた複数のワークの三次元マップおよび前記三次元マップを前処理した三次元マップの少なくともいずれか1つを取得する観測部と、
ハンド部による前記ワークの取り出し動作の価値を定める価値関数に前記複数のワークに関する前記観測部で取得された前記三次元マップを入力することにより、前記ハンド部による前記ワークの取り出し動作を実行するための状態変数を取得する学習部と、
前記取り出し動作の結果を取得する動作結果取得部と、を備え、
前記学習部は、
前記取り出し動作の結果に基づいて、報酬を計算する報酬計算部と、
前記報酬に基づいて、前記価値関数を更新する価値関数更新部と、を備え、
前記価値関数がニューラルネットワークを用いて表現されており、前記ニューラルネットワークが強化学習により学習される機械学習装置。 - 計測器により取得された、バラ積みされた状態を含む乱雑に置かれた複数のワークの三次元マップおよび前記三次元マップを前処理した三次元マップの少なくともいずれか1つを取得する観測部と、
前記複数のワークに関する前記観測部で取得された前記三次元マップを学習モデルに入力することにより、ハンド部による前記ワークの取り出し動作を実行するための状態変数を取得する学習部と、
前記取り出し動作の結果を取得する動作結果取得部と、を備え、
前記学習部は、
前記学習モデルの出力と前記取り出し動作の結果に基づいて、誤差を計算する誤差計算部と、
前記誤差に基づいて、前記学習モデルを更新する学習モデル更新部と、を備え、
前記学習モデルがニューラルネットワークである機械学習装置。 - 前記状態変数は、前記ハンド部の位置、姿勢および取り出し方向を設定するための値である、
請求項1または2に記載の機械学習装置。 - 前記観測部が、前記ハンド部によって前記ワークを取り出す前記ロボットの取り出し動作に関する状態量を取得する、
請求項1乃至3のいずれか1項に記載の機械学習装置。 - 前記観測部は、前記複数のワークの三次元マップおよび前記複数のワークの姿勢データを受け取る、
請求項1乃至4のいずれか1項に記載の機械学習装置。 - 前記計測器は、カメラである、
請求項1乃至5のいずれか1項に記載の機械学習装置。 - 前記複数のワークの三次元マップは、前記複数のワークの表面の位置の情報である、
請求項1乃至6のいずれか1項に記載の機械学習装置。 - さらに、
前記学習部により得られた前記状態変数に基づいて、前記ワークの取り出し動作を前記ロボットに指令する指令データを決定する意思決定部を備える、
請求項1乃至7のいずれか1項に記載の機械学習装置。 - さらに、
前記学習部により得られた前記状態変数に基づいて、前記計測器の計測パラメータを決定する意思決定部を備える、
請求項1乃至7のいずれか1項に記載の機械学習装置。 - 請求項8に記載の機械学習装置を備えたロボットシステムであって、
前記計測器と、
前記ハンド部を備えるロボットと、
前記指令データに基づいて、前記ロボットを制御する制御装置と、
を備えるロボットシステム。 - 請求項9に記載の機械学習装置を備えたロボットシステムであって、
前記計測器と、
前記ハンド部を備えるロボットと、
前記計測パラメータに基づいて、前記計測器を制御する制御装置と、
を備えるロボットシステム。 - 前記機械学習装置がクラウドサーバ上に存在する、
請求項10または11に記載のロボットシステム。 - 前記ロボットシステムは、複数の前記ロボットを備え、
前記機械学習装置は、前記ロボット毎にそれぞれ設けられ、
複数の前記ロボットに設けられた複数の前記機械学習装置は、通信媒体を介して相互にデータを共有または交換する、
請求項10または11に記載のロボットシステム。 - 計測器により取得された、バラ積みされた状態を含む乱雑に置かれた複数のワークの三次元マップおよび前記三次元マップを前処理した三次元マップの少なくともいずれか1つを取得するステップと、
ハンド部による前記ワークの取り出し動作の価値を定める価値関数に前記複数のワークに関する前記ステップで取得された前記三次元マップを入力することにより、前記ハンド部による前記ワークの取り出し動作を実行するための状態変数を取得するステップと、
前記取り出し動作の結果を取得するステップと、
前記取り出し動作の結果に基づいて、報酬を計算するステップと、
前記報酬に基づいて、前記価値関数を更新するステップと、を備え、
前記価値関数がニューラルネットワークを用いて表現されており、前記ニューラルネットワークが強化学習により学習される機械学習方法。 - 計測器により取得された、バラ積みされた状態を含む乱雑に置かれた複数のワークの三次元マップおよび前記三次元マップを前処理した三次元マップの少なくともいずれか1つを取得するステップと、
前記複数のワークに関する前記ステップで取得された前記三次元マップを学習モデルに入力することにより、ハンド部による前記ワークの取り出し動作を実行するための状態変数を取得するステップと、
前記取り出し動作の結果を取得するステップと、
前記学習モデルの出力と前記取り出し動作の結果に基づいて、誤差を計算するステップと、
前記誤差に基づいて、前記学習モデルを更新するステップと、を備え、
前記学習モデルがニューラルネットワークである機械学習方法。 - 前記状態変数は、前記ハンド部の位置、姿勢および取り出し方向を設定するための値である、
請求項14または15に記載の機械学習方法。 - 前記複数のワークの三次元マップは、前記複数のワークの表面の位置の情報である、
請求項14乃至16のいずれか1項に記載の機械学習方法。 - 請求項14乃至17のいずれか1項に記載の機械学習方法を用いた前記ニューラルネットワークの生成方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015152067 | 2015-07-31 | ||
JP2015152067 | 2015-07-31 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015233857A Division JP6522488B2 (ja) | 2015-07-31 | 2015-11-30 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020120352A Division JP2020168719A (ja) | 2015-07-31 | 2020-07-14 | ロボットシステムおよびロボットの制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017064910A JP2017064910A (ja) | 2017-04-06 |
JP2017064910A5 JP2017064910A5 (ja) | 2019-07-04 |
JP7100426B2 true JP7100426B2 (ja) | 2022-07-13 |
Family
ID=57985283
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015233857A Active JP6522488B2 (ja) | 2015-07-31 | 2015-11-30 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
JP2017010506A Active JP7100426B2 (ja) | 2015-07-31 | 2017-01-24 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
JP2020120352A Pending JP2020168719A (ja) | 2015-07-31 | 2020-07-14 | ロボットシステムおよびロボットの制御方法 |
JP2022128174A Active JP7491971B2 (ja) | 2015-07-31 | 2022-08-10 | 物体把持方法、物体把持プログラム、物体把持装置、学習方法、学習プログラムおよび学習装置 |
JP2024038408A Pending JP2024069414A (ja) | 2015-07-31 | 2024-03-12 | 物体把持方法、物体把持プログラム、物体把持装置、学習方法、学習プログラムおよび学習装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015233857A Active JP6522488B2 (ja) | 2015-07-31 | 2015-11-30 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020120352A Pending JP2020168719A (ja) | 2015-07-31 | 2020-07-14 | ロボットシステムおよびロボットの制御方法 |
JP2022128174A Active JP7491971B2 (ja) | 2015-07-31 | 2022-08-10 | 物体把持方法、物体把持プログラム、物体把持装置、学習方法、学習プログラムおよび学習装置 |
JP2024038408A Pending JP2024069414A (ja) | 2015-07-31 | 2024-03-12 | 物体把持方法、物体把持プログラム、物体把持装置、学習方法、学習プログラムおよび学習装置 |
Country Status (3)
Country | Link |
---|---|
JP (5) | JP6522488B2 (ja) |
CN (2) | CN113199483A (ja) |
DE (1) | DE102016015873B3 (ja) |
Families Citing this family (111)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6522488B2 (ja) * | 2015-07-31 | 2019-05-29 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
JP6771744B2 (ja) * | 2017-01-25 | 2020-10-21 | 株式会社安川電機 | ハンドリングシステム及びコントローラ |
JP6453922B2 (ja) * | 2017-02-06 | 2019-01-16 | ファナック株式会社 | ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法 |
US11222417B2 (en) | 2017-03-06 | 2022-01-11 | Fuji Corporation | Data structure for creating image-processing data and method for creating image-processing data |
JP6438512B2 (ja) * | 2017-03-13 | 2018-12-12 | ファナック株式会社 | 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法 |
JP6542824B2 (ja) * | 2017-03-13 | 2019-07-10 | ファナック株式会社 | 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法 |
JP6902369B2 (ja) * | 2017-03-15 | 2021-07-14 | 株式会社オカムラ | 提示装置、提示方法およびプログラム、ならびに作業システム |
JP6869060B2 (ja) * | 2017-03-15 | 2021-05-12 | 株式会社オカムラ | マニピュレータの制御装置、制御方法およびプログラム、ならびに作業システム |
JP6983524B2 (ja) * | 2017-03-24 | 2021-12-17 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP6557272B2 (ja) * | 2017-03-29 | 2019-08-07 | ファナック株式会社 | 状態判定装置 |
JP6680714B2 (ja) * | 2017-03-30 | 2020-04-15 | ファナック株式会社 | ワイヤ放電加工機の制御装置及び機械学習装置 |
JP6490132B2 (ja) * | 2017-03-31 | 2019-03-27 | ファナック株式会社 | ロボットの制御装置、機械学習装置及び機械学習方法 |
JP6526100B2 (ja) * | 2017-04-28 | 2019-06-05 | ファナック株式会社 | 物品取出システム |
JP6487495B2 (ja) * | 2017-05-19 | 2019-03-20 | ファナック株式会社 | ワーク取出しシステム |
JP7045139B2 (ja) * | 2017-06-05 | 2022-03-31 | 株式会社日立製作所 | 機械学習装置、機械学習方法、および機械学習プログラム |
JP6542839B2 (ja) * | 2017-06-07 | 2019-07-10 | ファナック株式会社 | 制御装置及び機械学習装置 |
JP6886869B2 (ja) * | 2017-06-09 | 2021-06-16 | 川崎重工業株式会社 | 動作予測システム及び動作予測方法 |
CN107336234A (zh) * | 2017-06-13 | 2017-11-10 | 赛赫智能设备(上海)股份有限公司 | 一种反馈式自学习工业机器人及工作方法 |
CN110691676B (zh) | 2017-06-19 | 2023-02-03 | 谷歌有限责任公司 | 使用神经网络和几何感知对象表示的机器人抓取预测 |
CN107329445B (zh) * | 2017-06-28 | 2020-09-08 | 重庆柚瓣家科技有限公司 | 机器人行为准则智能监管的方法 |
CN107255969B (zh) * | 2017-06-28 | 2019-10-18 | 重庆柚瓣家科技有限公司 | 养老机器人用监管*** |
CN107252785B (zh) * | 2017-06-29 | 2019-05-10 | 顺丰速运有限公司 | 一种应用于快递件机器人供件的快件抓取方法 |
JP6564426B2 (ja) * | 2017-07-07 | 2019-08-21 | ファナック株式会社 | 部品供給装置及び機械学習装置 |
JP7116901B2 (ja) * | 2017-08-01 | 2022-08-12 | オムロン株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
DE102017213658A1 (de) * | 2017-08-07 | 2019-02-07 | Robert Bosch Gmbh | Handhabungsanordnung mit einer Handhabungseinrichtung zur Durchführung mindestens eines Arbeitsschritts sowie Verfahren und Computerprogramm |
JP6680730B2 (ja) * | 2017-08-08 | 2020-04-15 | ファナック株式会社 | 制御装置及び学習装置 |
JP6680732B2 (ja) * | 2017-08-23 | 2020-04-15 | ファナック株式会社 | 物品積み付け装置及び機械学習装置 |
JP6795472B2 (ja) * | 2017-08-28 | 2020-12-02 | ファナック株式会社 | 機械学習装置、機械学習システム及び機械学習方法 |
JP2020532440A (ja) * | 2017-09-01 | 2020-11-12 | カリフォルニア大学The Regents of the University of California | オブジェクトをロバストに把持し、ターゲティングするためのロボットシステムおよび方法 |
JP6608890B2 (ja) | 2017-09-12 | 2019-11-20 | ファナック株式会社 | 機械学習装置、ロボットシステム及び機械学習方法 |
EP3456485B1 (de) * | 2017-09-15 | 2021-02-17 | Siemens Aktiengesellschaft | Optimieren eines automatisierten vorganges zum auswählen und greifen eines objektes durch einen roboter |
JP6895563B2 (ja) * | 2017-09-25 | 2021-06-30 | ファナック株式会社 | ロボットシステム、モデル生成方法、及びモデル生成プログラム |
JP6695843B2 (ja) * | 2017-09-25 | 2020-05-20 | ファナック株式会社 | 装置、及びロボットシステム |
JP6579498B2 (ja) * | 2017-10-20 | 2019-09-25 | 株式会社安川電機 | 自動化装置及び位置検出装置 |
JP2019084601A (ja) | 2017-11-02 | 2019-06-06 | キヤノン株式会社 | 情報処理装置、把持システムおよび情報処理方法 |
JP6815309B2 (ja) * | 2017-11-16 | 2021-01-20 | 株式会社東芝 | 作動システムおよびプログラム |
JP6676030B2 (ja) | 2017-11-20 | 2020-04-08 | 株式会社安川電機 | 把持システム、学習装置、把持方法、及び、モデルの製造方法 |
JP6680750B2 (ja) * | 2017-11-22 | 2020-04-15 | ファナック株式会社 | 制御装置及び機械学習装置 |
US10828778B2 (en) * | 2017-11-30 | 2020-11-10 | Abb Schweiz Ag | Method for operating a robot |
CN108340367A (zh) * | 2017-12-13 | 2018-07-31 | 深圳市鸿益达供应链科技有限公司 | 用于机械臂抓取的机器学习方法 |
JP7136554B2 (ja) * | 2017-12-18 | 2022-09-13 | 国立大学法人信州大学 | 把持装置、学習装置、プログラム、把持システム、及び学習方法 |
KR102565444B1 (ko) | 2017-12-21 | 2023-08-08 | 삼성전자주식회사 | 객체를 식별하기 위한 장치 및 방법 |
JP6587195B2 (ja) * | 2018-01-16 | 2019-10-09 | 株式会社Preferred Networks | 触覚情報推定装置、触覚情報推定方法、プログラム及び非一時的コンピュータ可読媒体 |
JP6458912B1 (ja) * | 2018-01-24 | 2019-01-30 | 三菱電機株式会社 | 位置制御装置及び位置制御方法 |
JP6892400B2 (ja) * | 2018-01-30 | 2021-06-23 | ファナック株式会社 | レーザ装置の故障発生メカニズムを学習する機械学習装置 |
JP6703020B2 (ja) * | 2018-02-09 | 2020-06-03 | ファナック株式会社 | 制御装置及び機械学習装置 |
JP6874712B2 (ja) * | 2018-02-19 | 2021-05-19 | オムロン株式会社 | シミュレーション装置、シミュレーション方法及びシミュレーションプログラム |
JP7005388B2 (ja) * | 2018-03-01 | 2022-01-21 | 株式会社東芝 | 情報処理装置及び仕分システム |
JP6873941B2 (ja) | 2018-03-02 | 2021-05-19 | 株式会社日立製作所 | ロボット作業システム、及びロボット作業システムの制御方法 |
JP7167990B2 (ja) * | 2018-03-05 | 2022-11-09 | オムロン株式会社 | ロボットを制御する方法、装置、システム及びプログラム、並びに記憶媒体 |
JP6879238B2 (ja) | 2018-03-13 | 2021-06-02 | オムロン株式会社 | ワークピッキング装置及びワークピッキング方法 |
JP6911798B2 (ja) * | 2018-03-15 | 2021-07-28 | オムロン株式会社 | ロボットの動作制御装置 |
JP6687657B2 (ja) * | 2018-03-20 | 2020-04-28 | ファナック株式会社 | センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法 |
JP2019162712A (ja) * | 2018-03-20 | 2019-09-26 | ファナック株式会社 | 制御装置、機械学習装置及びシステム |
KR102043898B1 (ko) * | 2018-03-27 | 2019-11-12 | 한국철도기술연구원 | 물류 센터의 피킹 자동화 시스템 및 이를 이용한 피킹 자동화 방법 |
JP6810087B2 (ja) * | 2018-03-29 | 2021-01-06 | ファナック株式会社 | 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法 |
US11260534B2 (en) * | 2018-04-04 | 2022-03-01 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
US11579000B2 (en) | 2018-04-05 | 2023-02-14 | Fanuc Corporation | Measurement operation parameter adjustment apparatus, machine learning device, and system |
JP6829271B2 (ja) * | 2018-04-05 | 2021-02-10 | ファナック株式会社 | 測定動作パラメータ調整装置、機械学習装置及びシステム |
CN108527371A (zh) * | 2018-04-17 | 2018-09-14 | 重庆邮电大学 | 一种基于bp神经网络的灵巧手规划方法 |
EP3785866B1 (en) | 2018-04-26 | 2023-12-20 | Panasonic Holdings Corporation | Actuator device, method for removing target object using actuator device, and target object removal system |
JP7154815B2 (ja) | 2018-04-27 | 2022-10-18 | キヤノン株式会社 | 情報処理装置、制御方法、ロボットシステム、コンピュータプログラム、及び記憶媒体 |
JP7039389B2 (ja) * | 2018-05-25 | 2022-03-22 | 川崎重工業株式会社 | ロボットシステム及びロボット制御方法 |
US11858140B2 (en) | 2018-05-25 | 2024-01-02 | Kawasaki Jukogyo Kabushiki Kaisha | Robot system and supplemental learning method |
KR102094360B1 (ko) * | 2018-06-11 | 2020-03-30 | 동국대학교 산학협력단 | 영상 기반 힘 예측 시스템 및 그 방법 |
WO2019239562A1 (ja) * | 2018-06-14 | 2019-12-19 | ヤマハ発動機株式会社 | 機械学習装置及びこれを備えたロボットシステム |
JP7102241B2 (ja) * | 2018-06-14 | 2022-07-19 | ヤマハ発動機株式会社 | 機械学習装置及びこれを備えたロボットシステム |
WO2019239563A1 (ja) * | 2018-06-14 | 2019-12-19 | ヤマハ発動機株式会社 | ロボットシステム |
JP6784722B2 (ja) * | 2018-06-28 | 2020-11-11 | ファナック株式会社 | 出力装置、制御装置、及び評価関数値の出力方法 |
JP2020001127A (ja) * | 2018-06-28 | 2020-01-09 | 勇貴 高橋 | ピッキングシステム,ピッキング処理装置及びプログラム |
WO2020009139A1 (ja) * | 2018-07-04 | 2020-01-09 | 株式会社Preferred Networks | 学習方法、学習装置、学習システム及びプログラム |
JP6740288B2 (ja) * | 2018-07-13 | 2020-08-12 | ファナック株式会社 | 物体検査装置、物体検査システム、及び検査位置を調整する方法 |
JP7133017B2 (ja) * | 2018-07-24 | 2022-09-07 | 株式会社Fuji | エンドエフェクタの選択方法および選択システム |
JP7191569B2 (ja) * | 2018-07-26 | 2022-12-19 | Ntn株式会社 | 把持装置 |
CN112512942B (zh) * | 2018-08-03 | 2022-05-17 | 株式会社富士 | 参数的学习方法及作业*** |
JP7034035B2 (ja) * | 2018-08-23 | 2022-03-11 | 株式会社日立製作所 | 自律学習型ロボット装置及び自律学習型ロボット装置の動作生成方法 |
CN109434844B (zh) * | 2018-09-17 | 2022-06-28 | 鲁班嫡系机器人(深圳)有限公司 | 食材处理机器人控制方法、装置、***、存储介质及设备 |
JP6895128B2 (ja) * | 2018-11-09 | 2021-06-30 | オムロン株式会社 | ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム |
JP7159525B2 (ja) * | 2018-11-29 | 2022-10-25 | 京セラドキュメントソリューションズ株式会社 | ロボット制御装置、学習装置、及びロボット制御システム |
CN109731793A (zh) * | 2018-12-17 | 2019-05-10 | 上海航天电子有限公司 | 一种小批量片式散料器件智能分拣设备 |
JP7336463B2 (ja) | 2018-12-27 | 2023-08-31 | 川崎重工業株式会社 | ロボット制御装置、ロボットシステム及びロボット制御方法 |
JP7128736B2 (ja) | 2018-12-27 | 2022-08-31 | 川崎重工業株式会社 | ロボット制御装置、ロボットシステム及びロボット制御方法 |
CN109784400A (zh) * | 2019-01-12 | 2019-05-21 | 鲁班嫡系机器人(深圳)有限公司 | 智能体行为训练方法、装置、***、存储介质及设备 |
JP7000359B2 (ja) * | 2019-01-16 | 2022-01-19 | ファナック株式会社 | 判定装置 |
JP6632095B1 (ja) * | 2019-01-16 | 2020-01-15 | 株式会社エクサウィザーズ | 学習済モデル生成装置、ロボット制御装置、及び、プログラム |
JP7252787B2 (ja) | 2019-02-28 | 2023-04-05 | 川崎重工業株式会社 | 機械学習モデル運用管理システム及び機械学習モデル運用管理方法 |
JP7336856B2 (ja) * | 2019-03-01 | 2023-09-01 | 株式会社Preferred Networks | 情報処理装置、方法及びプログラム |
WO2020194392A1 (ja) * | 2019-03-22 | 2020-10-01 | connectome.design株式会社 | 自律型ロボット用教師データ生成コンピュータ、方法及びプログラム |
JP7302226B2 (ja) * | 2019-03-27 | 2023-07-04 | 株式会社ジェイテクト | 研削盤の支援装置及び支援方法 |
JP7349423B2 (ja) * | 2019-06-19 | 2023-09-22 | 株式会社Preferred Networks | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
JP7504566B2 (ja) * | 2019-07-12 | 2024-06-24 | キヤノン株式会社 | 情報処理方法、ロボットシステム、物品の製造方法、プログラム、記録媒体、および情報処理装置 |
JP7415356B2 (ja) * | 2019-07-29 | 2024-01-17 | セイコーエプソン株式会社 | プログラム移送システムおよびロボットシステム |
CN110456644B (zh) * | 2019-08-13 | 2022-12-06 | 北京地平线机器人技术研发有限公司 | 确定自动化设备的执行动作信息的方法、装置及电子设备 |
EP3998140A4 (en) | 2019-08-28 | 2022-09-28 | Daily Color Inc. | ROBOT CONTROL DEVICE |
JP7021158B2 (ja) | 2019-09-04 | 2022-02-16 | 株式会社東芝 | ロボットシステムおよび駆動方法 |
JP7458741B2 (ja) * | 2019-10-21 | 2024-04-01 | キヤノン株式会社 | ロボット制御装置及びその制御方法及びプログラム |
JP6924448B2 (ja) * | 2019-12-02 | 2021-08-25 | Arithmer株式会社 | ピッキングシステム、ピッキング方法、及びプログラム |
US20230064484A1 (en) * | 2020-01-16 | 2023-03-02 | Omron Corporation | Control apparatus, control method, and computer-readable storage medium storing a control program |
JP7463777B2 (ja) | 2020-03-13 | 2024-04-09 | オムロン株式会社 | 制御装置、学習装置、ロボットシステム、および方法 |
JP2023528728A (ja) | 2020-04-03 | 2023-07-06 | バイマー グループ エーエス | ピックアンドプレースロボットシステム |
CN115087522A (zh) | 2020-04-28 | 2022-09-20 | 雅马哈发动机株式会社 | 机器学习方法及机器人*** |
JP2023145809A (ja) * | 2020-07-10 | 2023-10-12 | 株式会社Preferred Networks | 強化学習装置、強化学習システム、物体操作装置、モデル生成方法及び強化学習プログラム |
CN112476424A (zh) * | 2020-11-13 | 2021-03-12 | 腾讯科技(深圳)有限公司 | 机器人控制方法、装置、设备及计算机存储介质 |
CN116547706A (zh) | 2020-12-08 | 2023-08-04 | 索尼集团公司 | 学习装置、学习***和学习方法 |
DE102021104001B3 (de) | 2021-02-19 | 2022-04-28 | Gerhard Schubert Gesellschaft mit beschränkter Haftung | Verfahren zum automatischen Ergreifen, insbesondere Umsetzen, von Gegenständen |
KR102346900B1 (ko) * | 2021-08-05 | 2022-01-04 | 주식회사 애자일소다 | 픽 앤 플레이스 시스템을 위한 심층 강화학습 장치 및 방법 |
DE102021209646B4 (de) | 2021-09-02 | 2024-05-02 | Robert Bosch Gesellschaft mit beschränkter Haftung | Robotervorrichtung, Verfahren zum computerimplementierten Trainieren eines Roboter-Steuerungsmodells und Verfahren zum Steuern einer Robotervorrichtung |
JPWO2023042306A1 (ja) * | 2021-09-15 | 2023-03-23 | ||
EP4311632A1 (de) * | 2022-07-27 | 2024-01-31 | Siemens Aktiengesellschaft | Verfahren zum greifen eines objekts, computerprogramm und elektronisch lesbarer datenträger |
CN115816466B (zh) * | 2023-02-02 | 2023-06-16 | 中国科学技术大学 | 一种提升视觉观测机器人控制稳定性的方法 |
CN117697769B (zh) * | 2024-02-06 | 2024-04-30 | 成都威世通智能科技有限公司 | 一种基于深度学习的机器人控制***和方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001019165A (ja) | 1999-07-02 | 2001-01-23 | Murata Mach Ltd | ワークピッキング装置 |
JP2010086405A (ja) | 2008-10-01 | 2010-04-15 | Fuji Heavy Ind Ltd | 制御パラメータの適合化システム |
JP2010134907A (ja) | 2008-11-04 | 2010-06-17 | Honda Motor Co Ltd | 強化学習システム |
JP2012208789A (ja) | 2011-03-30 | 2012-10-25 | Advanced Telecommunication Research Institute International | 強化学習装置、制御装置、および強化学習方法 |
JP2013010155A (ja) | 2011-06-28 | 2013-01-17 | Canon Inc | 対象物把持装置、対象物把持装置の制御方法、およびプログラム |
JP2013052490A (ja) | 2011-09-06 | 2013-03-21 | Mitsubishi Electric Corp | ワーク取り出し装置 |
JP2014199584A (ja) | 2013-03-29 | 2014-10-23 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2014206795A (ja) | 2013-04-11 | 2014-10-30 | 日本電信電話株式会社 | 線形モデルに基づく強化学習方法とその装置とプログラム |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0588721A (ja) * | 1991-09-30 | 1993-04-09 | Fujitsu Ltd | 関節型ロボツトの制御装置 |
JPH06106490A (ja) * | 1992-09-29 | 1994-04-19 | Fujitsu Ltd | 制御装置 |
JPH06203166A (ja) * | 1993-01-06 | 1994-07-22 | Fujitsu Ltd | 多次元位置測定,制御装置,及び、学習方法 |
JP3211186B2 (ja) * | 1997-12-15 | 2001-09-25 | オムロン株式会社 | ロボット、ロボットシステム、ロボットの学習方法、ロボットシステムの学習方法および記録媒体 |
JPH11272845A (ja) * | 1998-03-23 | 1999-10-08 | Denso Corp | 画像認識装置 |
JP3859371B2 (ja) * | 1998-09-25 | 2006-12-20 | 松下電工株式会社 | ピッキング装置 |
CN1283428C (zh) * | 2000-03-31 | 2006-11-08 | 索尼公司 | 机器人设备、控制机器人设备动作的方法 |
US6925357B2 (en) * | 2002-07-25 | 2005-08-02 | Intouch Health, Inc. | Medical tele-robotic system |
JP3834307B2 (ja) * | 2003-09-29 | 2006-10-18 | ファナック株式会社 | ロボットシステム |
JP4630553B2 (ja) * | 2004-01-15 | 2011-02-09 | ソニー株式会社 | 動的制御装置および動的制御装置を用いた2足歩行移動体 |
JP2005238422A (ja) * | 2004-02-27 | 2005-09-08 | Sony Corp | ロボット装置、並びにその状態遷移モデル構築方法及び行動制御方法 |
JP4746349B2 (ja) * | 2005-05-18 | 2011-08-10 | 日本電信電話株式会社 | ロボット行動選択装置及びロボット行動選択方法 |
JP4153528B2 (ja) * | 2006-03-10 | 2008-09-24 | ファナック株式会社 | ロボットシミュレーションのための装置、プログラム、記録媒体及び方法 |
JP2007280054A (ja) * | 2006-04-06 | 2007-10-25 | Sony Corp | 学習装置および学習方法、並びにプログラム |
JP4199264B2 (ja) * | 2006-05-29 | 2008-12-17 | ファナック株式会社 | ワーク取り出し装置及び方法 |
JP4238256B2 (ja) * | 2006-06-06 | 2009-03-18 | ファナック株式会社 | ロボットシミュレーション装置 |
US7957583B2 (en) * | 2007-08-02 | 2011-06-07 | Roboticvisiontech Llc | System and method of three-dimensional pose estimation |
JP2009262279A (ja) * | 2008-04-25 | 2009-11-12 | Nec Corp | ロボット、ロボットプログラム共有システム、ロボットプログラム共有方法およびプログラム |
EP2249292A1 (en) * | 2009-04-03 | 2010-11-10 | Siemens Aktiengesellschaft | Decision making mechanism, method, module, and robot configured to decide on at least one prospective action of the robot |
CN101726251A (zh) * | 2009-11-13 | 2010-06-09 | 江苏大学 | 基于支持向量机的苹果采摘机器人果实自动识别方法 |
CN101782976B (zh) * | 2010-01-15 | 2013-04-10 | 南京邮电大学 | 一种云计算环境下机器学习自动选择方法 |
FI20105732A0 (fi) * | 2010-06-24 | 2010-06-24 | Zenrobotics Oy | Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä |
JP5743499B2 (ja) | 2010-11-10 | 2015-07-01 | キヤノン株式会社 | 画像生成装置、画像生成方法、およびプログラム |
JP5767464B2 (ja) * | 2010-12-15 | 2015-08-19 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP5642738B2 (ja) * | 2012-07-26 | 2014-12-17 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置及び方法 |
JP5670397B2 (ja) * | 2012-08-29 | 2015-02-18 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置及び方法 |
JP2014081863A (ja) * | 2012-10-18 | 2014-05-08 | Sony Corp | 情報処理装置、情報処理方法、及び、プログラム |
JP6106490B2 (ja) | 2013-03-28 | 2017-03-29 | シャープ株式会社 | 自走式電子機器および自走式電子機器の走行領域指定システム |
JP5929854B2 (ja) * | 2013-07-31 | 2016-06-08 | 株式会社安川電機 | ロボットシステムおよび被加工物の製造方法 |
CN103753557B (zh) * | 2014-02-14 | 2015-06-17 | 上海创绘机器人科技有限公司 | 移动式倒立摆***的自平衡控制方法及自平衡车智能控制*** |
CN104793620B (zh) * | 2015-04-17 | 2019-06-18 | 中国矿业大学 | 基于视觉特征捆绑和强化学习理论的避障机器人 |
JP6522488B2 (ja) * | 2015-07-31 | 2019-05-29 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
-
2015
- 2015-11-30 JP JP2015233857A patent/JP6522488B2/ja active Active
-
2016
- 2016-07-26 DE DE102016015873.5A patent/DE102016015873B3/de active Active
- 2016-07-29 CN CN202110544521.3A patent/CN113199483A/zh active Pending
- 2016-07-29 CN CN201610617361.XA patent/CN106393102B/zh active Active
-
2017
- 2017-01-24 JP JP2017010506A patent/JP7100426B2/ja active Active
-
2020
- 2020-07-14 JP JP2020120352A patent/JP2020168719A/ja active Pending
-
2022
- 2022-08-10 JP JP2022128174A patent/JP7491971B2/ja active Active
-
2024
- 2024-03-12 JP JP2024038408A patent/JP2024069414A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001019165A (ja) | 1999-07-02 | 2001-01-23 | Murata Mach Ltd | ワークピッキング装置 |
JP2010086405A (ja) | 2008-10-01 | 2010-04-15 | Fuji Heavy Ind Ltd | 制御パラメータの適合化システム |
JP2010134907A (ja) | 2008-11-04 | 2010-06-17 | Honda Motor Co Ltd | 強化学習システム |
JP2012208789A (ja) | 2011-03-30 | 2012-10-25 | Advanced Telecommunication Research Institute International | 強化学習装置、制御装置、および強化学習方法 |
JP2013010155A (ja) | 2011-06-28 | 2013-01-17 | Canon Inc | 対象物把持装置、対象物把持装置の制御方法、およびプログラム |
JP2013052490A (ja) | 2011-09-06 | 2013-03-21 | Mitsubishi Electric Corp | ワーク取り出し装置 |
JP2014199584A (ja) | 2013-03-29 | 2014-10-23 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2014206795A (ja) | 2013-04-11 | 2014-10-30 | 日本電信電話株式会社 | 線形モデルに基づく強化学習方法とその装置とプログラム |
Non-Patent Citations (5)
Title |
---|
MNIH, Volodymyr et al.、"Human-level control through deep reinforcement learning"、Nature、英国、Springer Nature Limited、2015年2月25日、第518巻、第529-533ページ |
MNIH, Volodymyr et al.、"Playing Atari with Deep Reinforcement Learning"、[online]、2013年12月19日、Cornell University、[2021年4月7日検索]、インターネット<URL:https://arxiv.org/pdf/1312.5602> |
O.B.Kroemer, R.Detry, J.Piater, J.Peters,Combining active learning and reactive control for robot grasping,Robotics and Autonomous Systems,2010年6月12日,Vol.58,p.1105-1116 |
Sarah Yang、"New ’deep learning’ technique enables robot mastery of skills via trial and error"、[online]、2015年5月21日、University of California Berkeley、Berkeley News、[2021年4月7日検索]、インターネット<URL:https://news.berkeley.edu/2015/05/21/deep-learning-robot-masters-skills-via-trial-and-error/> |
杉尾 昇、木内 陽介、白井 文夫,強化学習によるロボットハンドの把握制御,電気学会論文誌C(電子・情報・システム部門誌),日本,一般社団法人電気学会,2001年,Vol.121/No.4,第710ページ-第717ページ |
Also Published As
Publication number | Publication date |
---|---|
JP2022145915A (ja) | 2022-10-04 |
DE102016015873B3 (de) | 2020-10-29 |
JP6522488B2 (ja) | 2019-05-29 |
JP2017030135A (ja) | 2017-02-09 |
JP2017064910A (ja) | 2017-04-06 |
CN106393102B (zh) | 2021-06-01 |
CN113199483A (zh) | 2021-08-03 |
CN106393102A (zh) | 2017-02-15 |
JP2024069414A (ja) | 2024-05-21 |
JP7491971B2 (ja) | 2024-05-28 |
JP2020168719A (ja) | 2020-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7100426B2 (ja) | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 | |
US11780095B2 (en) | Machine learning device, robot system, and machine learning method for learning object picking operation | |
JP6810087B2 (ja) | 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法 | |
JP6514171B2 (ja) | 最適な物品把持経路を学習する機械学習装置、及び機械学習方法 | |
CN108393908B (zh) | 改善工件取出动作的工件取出装置以及工件取出方法 | |
JP6240689B2 (ja) | 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法 | |
US10486306B2 (en) | Control device for controlling robot by learning action of person, robot system, and production system | |
US11945114B2 (en) | Method and system for grasping an object | |
US20180079076A1 (en) | Machine learning device, robot system, and machine learning method for learning operation program of robot | |
US20170157767A1 (en) | Machine learning device, laminated core manufacturing apparatus, laminated core manufacturing system, and machine learning method for learning operation for stacking core sheets | |
JP2018202550A (ja) | 機械学習装置、機械学習方法、および機械学習プログラム | |
Huang et al. | Grasping novel objects with a dexterous robotic hand through neuroevolution | |
JP6490132B2 (ja) | ロボットの制御装置、機械学習装置及び機械学習方法 | |
US11203116B2 (en) | System and method for predicting robotic tasks with deep learning | |
Breyer et al. | Closed-loop next-best-view planning for target-driven grasping | |
CN114454194A (zh) | 一种服务机器人、机器人手爪控制方法、***及存储介质 | |
CN117377558A (zh) | 自动拾取和放置*** | |
Belke et al. | Optimization of Industrial Robot Grasping Processes with Q-Learning | |
TW202226071A (zh) | 機械學習裝置、及機械學習方法 | |
CN116460839A (zh) | 用于控制机器人的设备和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190530 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200213 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200714 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200714 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200727 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200728 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200911 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200915 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201201 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210105 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210413 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210617 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220215 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220510 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220607 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7100426 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |