JP6603257B2 - 行動情報学習装置、管理装置、ロボット制御システム及び行動情報学習方法 - Google Patents
行動情報学習装置、管理装置、ロボット制御システム及び行動情報学習方法 Download PDFInfo
- Publication number
- JP6603257B2 JP6603257B2 JP2017069866A JP2017069866A JP6603257B2 JP 6603257 B2 JP6603257 B2 JP 6603257B2 JP 2017069866 A JP2017069866 A JP 2017069866A JP 2017069866 A JP2017069866 A JP 2017069866A JP 6603257 B2 JP6603257 B2 JP 6603257B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- robot
- value
- behavior information
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/33—Director till display
- G05B2219/33056—Reinforcement learning, agent acts, receives reward, emotion, action selective
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40202—Human robot coexistence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/02—Arm motion controller
- Y10S901/03—Teaching system
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Description
このように、ロボットと作業者との間で協調作業を行う場合、ロボットは、プログラミングによって定められた位置やタイミング等で作業を行っていた。しかし、このような場合に、受け渡し位置やタイミングによっては、作業者にとって受け取り難い場合や、次の作業を始め難い場合がある。
ここで、ロボットにさせる作業を最適化するための装置が開示されている(例えば、特許文献1参照)。
まず、本発明の実施形態の概略を説明する。本実施形態において、図1に示すように、ロボット100と、作業者Pとは、作業空間内にて共同で作業をする。そして、ロボット100は、ワーク7(図3参照)を作業者Pに運搬し、作業者Pは、ロボット100からワーク7を受け取って作業をする。そして、ロボット制御システム1000では、ロボット100がワーク7を運搬してから、作業者Pがワーク7を受け取るまでの時間が最短になるように、ロボット100の行動情報を学習する。
ここで、ロボット制御装置200とロボット100とは、1対1の組とされて、通信可能に接続されている。なお、ロボット制御装置200とロボット100とは、接続インタフェースを介して直接接続されても、また、LAN(Local Area Network)等のネットワークを介して接続されてもよい。
モータ部110は、ロボット100のハンド部13(後述する)等の駆動軸を駆動させるサーボモータである。
開放ボタン120は、ハンド部13に把持したワーク7を取り外す処理を行うためのボタンである。開放ボタン120は、作業者Pにより操作される。開放ボタン120を操作したことによる押下情報は、ロボット制御装置200に送られる。
図3は、本発明の実施形態におけるロボット100の動作を説明するための図である。
ロボット100は、例えば、6軸多関節型のロボットである。ロボット100の各関節部の駆動軸及びハンド部13の駆動軸は、モータ部110によって駆動するが、ロボット制御装置200によって制御される。
ロボット100は、例えば、ワーク置き場に載置されたワーク7を取得し、作業台上の受渡領域8の所定位置にワーク7を運搬する。このロボット100がワーク7を取得してから受渡領域8の所定位置までワーク7を運搬するまでの時間を、移動時間T1とする。
かかるパラメータの設定値は、行動情報学習装置300から出力される行動情報や、最適化行動情報に基づいて調整される。
教師あり学習が、完全な正解を示すのに対して、強化学習における報酬は、環境の一部の変化に基づく断片的な値であることが多い。
このため、エージェントは、将来にわたっての報酬の合計を最大にするように行動を選択するように学習する。
Q学習では、或る状態sのとき、取り得る行動aのなかから、価値Q(s,a)の最も高い行動aを最適な行動として選択することを目的とする。
「Human−level control through deep reinforcement learning」、Volodymyr Mnih1著[online]、[平成29年3月17日検索]、インターネット〈URL:http://files.davidqiu.com/research/nature14236.pdf〉
なお、上記の報酬の値の算出方法は、一例であって、これに限定されない。例えば、状態s´と状態sにおける受渡時間Tの偏差、移動時間T1の偏差、及び開放時間T2の偏差と、報酬の値を対応付ける報酬対応テーブルを予め任意に作成しておき、報酬対応テーブルに基づいて、報酬の値を算出するようにしてもよい。また、受渡時間Tの偏差、移動時間T1の偏差、及び開放時間T2の偏差を入力とする報酬関数を予め任意に作成しておき、報酬関数に基づいて、報酬の値を算出するようにしてもよい。
オンライン学習とは、或る行動aを現在の状態sに適用することにより、状態sが新たな状態s´に遷移する都度、即座に価値関数Qの更新を行うという学習方法である。また、バッチ学習とは、或る行動aを現在の状態sに適用することにより、状態sが新たな状態s´に遷移することを繰り返すことにより、学習用のデータを収集し、収集したすべての学習用データを用いて、価値関数Qの更新を行うという学習方法である。更に、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度学習用データが溜まるたびに価値関数Qの更新を行うという学習方法である。
更に、行動情報生成部333は、現在の推定される行動aの価値の中で、最も価値Q(s,a)の高い行動a´を選択するグリーディ法や、ある小さな確率εでランダムに行動a´を選択し、それ以外では最も価値Q(s,a)の高い行動a´を選択するεグリーディ法といった公知の方法により、行動a´を選択する方策を取るようにしてもよい。
最適化行動情報出力部350は、価値関数記憶部340が記憶している価値関数Qを取得する。この価値関数Qは、上述したように、価値関数更新部332がQ学習を行うことにより更新したものである。そして、最適化行動情報出力部350は、価値関数Qに基づいて、最適化行動情報を生成し、生成した最適化行動情報をロボット制御装置200に対して出力する。この最適化行動情報には、行動情報出力部320がQ学習の過程において出力する行動情報と同様に、修正後のロボット制御プログラム及び当該修正後のロボット制御プログラム実行時における修正後のパラメータが含まれる。
これらの機能ブロックを実現するために、ロボット制御装置200及び行動情報学習装置300は、CPU(Central Processing Unit)等の演算処理装置を備える。また、ロボット制御装置200及び行動情報学習装置300は、アプリケーションソフトウェアやOS(Operating System)等の各種の制御用プログラムを格納したHDD(Hard Disk Drive)等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのRAM(Random Access Memory)といった主記憶装置も備える。
S17において、報酬算出部331は、報酬を第2の値とする。ここで、第2の値は正の値とする。また、第2の値は、第1の値より小さいものとする。その後、学習部330は、処理をS19に移す。
S18において、報酬算出部331は、報酬を第3の値とする。ここで、第3の値は負の値とする。
なお、第1の値、第2の値及び第3の値については、前回と比較した時間の差の大きさによって、更に重みづけを行うようにしてもよい。
以上、行動情報学習装置300の動作について説明したが、例えば、S14からS18にかけての報酬の値を算出する処理は、一例であって、これに限定されない。例えば、上述したように、状態s´と状態sにおける受渡時間Tの偏差、移動時間T1の偏差、及び開放時間T2の偏差と、を予め設定された報酬対応テーブル又は報酬関数に入力して、報酬の値を算出するようにしてもよい。
まず、S21において、行動情報学習装置300の最適化行動情報出力部350は、価値関数記憶部340が記憶している価値関数Qを取得する。この価値関数Qは、上述したように価値関数更新部332がQ学習を行うことにより更新したものである。
そして、ロボット100と作業者Pの相対的な作業環境が同じ条件(例えば、ロボット100の位置、受渡領域8、ロボット100のハンド部13の移動可能領域等が相対的に同じであること)を満たす場合、複数の行動情報学習装置300−1〜300−mに対してネットワーク500を介して管理装置600を接続することで、管理装置600は、各行動情報学習装置300の価値関数Qを集約することができる。そうすることで、価値関数Qは、すべての行動情報学習装置300との間で共有される。価値関数Qを複数の行動情報学習装置300で共有するようにすれば、各行動情報学習装置300にて分散して強化学習を行うことが可能となるので、強化学習の効率を向上させることが可能となる。
なお、管理装置600は、各行動情報学習装置300から学習用のデータを収集し、価値関数Qを更新するようにしてもよい。
また、管理装置600が、最適化行動情報を、各ロボット制御装置200に対して出力するようにしてもよい。
8 受渡領域
13 ハンド部
100 ロボット
110 モータ部
120 開放ボタン
200 ロボット制御装置
210 モータ制御部
220 パラメータ設定部
300 行動情報学習装置
310 状態情報取得部
320 行動情報出力部
330 学習部
331 報酬算出部
332 価値関数更新部
333 行動情報生成部
340 価値関数記憶部
350 最適化行動情報出力部
400,500 ネットワーク
1000 ロボット制御システム
P 作業者
T 受渡時間
T1 移動時間
T2 開放時間
Claims (7)
- ロボットがワーク置き場から取得したワークを、作業者に対してワークを受け渡す領域であるワーク受渡領域内で受け渡す場合に、前記ロボットの状態情報を取得する状態情報取得手段と、
前記状態情報の調整情報である行動情報を出力する行動情報出力手段と、
ワークの受け渡しにかかる受渡時間を判定情報とし、前記判定情報に基づいて強化学習における報酬の値を算出する報酬算出手段と、
前記報酬算出手段により算出された前記報酬の値と、前記状態情報と、前記行動情報とに基づいて前記強化学習を行うことにより価値関数を更新する価値関数更新手段と、
を備え、
前記報酬算出手段は、前記状態情報に係る前記受渡時間を前回の受渡時間とし、前記行動情報に基づいて前記状態情報を修正した修正後の状態情報に係る前記受渡時間を今回の受渡時間とした場合に、
前記判定情報である前記今回の受渡時間が前記前回の受渡時間よりも短い場合に、前記報酬の値を正の値とし、
前記判定情報である前記今回の受渡時間が前記前回の受渡時間よりも長い場合に、前記報酬の値を負の値とする行動情報学習装置。 - 請求項1に記載の行動情報学習装置において、
前記状態情報は、前記ロボットの姿勢及び前記ワーク受渡領域内の受渡位置に関する情報を含み、
前記調整情報は、前記状態情報についての調整を行うための情報を含む行動情報学習装置。 - 請求項2に記載の行動情報学習装置において、
前記状態情報は、更にワークを取得した位置から前記ワーク受渡領域内への前記ロボットの移動経路を含む行動情報学習装置。 - 請求項1から請求項3までのいずれかに記載の行動情報学習装置において、
前記受渡時間は、ワークを取得してから前記ワーク受渡領域内の位置に移動するまでの移動時間と、ワークを前記ワーク受渡領域内の位置に移動後、前記ワークを作業者が受け取るまでの開放時間とからなり、
前記受渡時間が短くなった場合であって、前記開放時間が短くなった場合には、前記開放時間が短くならなかった場合より前記報酬の値をより大きな値にする行動情報学習装置。 - 請求項1から請求項4までのいずれかに記載の行動情報学習装置を含む複数の行動情報学習装置に対して通信可能に接続された管理装置であって、
前記複数の行動情報学習装置との間で前記価値関数を共有し、
前記共有した価値関数を更新する管理装置。 - 請求項1から請求項4までのいずれかに記載の行動情報学習装置と、
前記行動情報学習装置に対して通信ネットワークを介して接続され、前記ロボットを制御するロボット制御装置と、
を備えたロボット制御システムであって、
前記行動情報学習装置は、
前記価値関数更新手段により更新された前記価値関数に基づいて、前記ロボットによる前記受渡時間を最短にするための行動情報である最適化行動情報を生成する行動情報生成手段と、
前記行動情報生成手段により生成された前記最適化行動情報を、前記ロボット制御装置に対して出力する行動情報出力手段と、
を備えるロボット制御システム。 - 状態情報取得手段が、ロボットがワーク置き場から取得したワークを、作業者に対してワークを受け渡す領域であるワーク受渡領域内で受け渡す場合に、前記ロボットの状態情報を取得するステップと、
行動情報出力手段が、前記状態情報の調整情報である行動情報を出力するステップと、
報酬算出手段が、ワークの受け渡しにかかる受渡時間を判定情報とし、前記判定情報に基づいて強化学習における報酬の値を算出するステップと、
価値関数更新手段が、算出された前記報酬の値と、前記状態情報と、前記行動情報とに基づいて前記強化学習を行うことにより価値関数を更新するステップと、
を含み、
前記報酬算出手段は、前記状態情報に係る前記受渡時間を前回の受渡時間とし、前記行動情報に基づいて前記状態情報を修正した修正後の状態情報に係る前記受渡時間を今回の受渡時間とした場合に、
前記判定情報である前記今回の受渡時間が前記前回の受渡時間よりも短い場合に、前記報酬の値を正の値とし、
前記判定情報である前記今回の受渡時間が前記前回の受渡時間よりも長い場合に、前記報酬の値を負の値とするステップを含む行動情報学習方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017069866A JP6603257B2 (ja) | 2017-03-31 | 2017-03-31 | 行動情報学習装置、管理装置、ロボット制御システム及び行動情報学習方法 |
US15/935,456 US10730182B2 (en) | 2017-03-31 | 2018-03-26 | Action information learning device, robot control system and action information learning method |
CN201810258132.2A CN108693851B (zh) | 2017-03-31 | 2018-03-27 | 行为信息学习装置、机器人控制***及行为信息学习方法 |
DE102018204740.5A DE102018204740B4 (de) | 2017-03-31 | 2018-03-28 | Aktionsinformationslernvorrichtung, Robotersteuersystem und Aktionsinformationslernverfahren |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017069866A JP6603257B2 (ja) | 2017-03-31 | 2017-03-31 | 行動情報学習装置、管理装置、ロボット制御システム及び行動情報学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018171663A JP2018171663A (ja) | 2018-11-08 |
JP6603257B2 true JP6603257B2 (ja) | 2019-11-06 |
Family
ID=63525617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017069866A Active JP6603257B2 (ja) | 2017-03-31 | 2017-03-31 | 行動情報学習装置、管理装置、ロボット制御システム及び行動情報学習方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10730182B2 (ja) |
JP (1) | JP6603257B2 (ja) |
CN (1) | CN108693851B (ja) |
DE (1) | DE102018204740B4 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220065226A (ko) * | 2020-11-13 | 2022-05-20 | 주식회사 플라잎 | 로봇의 엔드 이펙터의 최적 경로를 도출하는 장치 및 방법 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6616170B2 (ja) * | 2015-12-07 | 2019-12-04 | ファナック株式会社 | コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法 |
JP6517762B2 (ja) * | 2016-08-23 | 2019-05-22 | ファナック株式会社 | 人とロボットが協働して作業を行うロボットの動作を学習するロボットシステム |
US10695911B2 (en) * | 2018-01-12 | 2020-06-30 | Futurewei Technologies, Inc. | Robot navigation and object tracking |
US12026610B2 (en) * | 2018-09-25 | 2024-07-02 | International Business Machines Corporation | Reinforcement learning by sharing individual data within dynamic groups |
WO2020105157A1 (ja) * | 2018-11-21 | 2020-05-28 | 株式会社日立製作所 | 作業最適化システムおよび作業最適化装置 |
DE112018008159B4 (de) | 2018-12-26 | 2022-10-20 | Mitsubishi Electric Corporation | Robotersteuervorrichtung, Robotersteuerung-Lernvorrichtung und Robotersteuerverfahren |
WO2020149414A1 (ja) * | 2019-01-18 | 2020-07-23 | 株式会社安川電機 | ロボット制御システム及びロボット制御方法 |
CN110238839B (zh) * | 2019-04-11 | 2020-10-20 | 清华大学 | 一种利用环境预测优化非模型机器人多轴孔装配控制方法 |
DE102019205651B3 (de) * | 2019-04-18 | 2020-08-20 | Kuka Deutschland Gmbh | Verfahren und System zum Ausführen von Roboterapplikationen |
US11345030B2 (en) * | 2019-05-28 | 2022-05-31 | Intel Corporation | Methods and apparatus for complex assembly via autonomous robots using reinforcement learning action primitives |
JP7235596B2 (ja) | 2019-05-31 | 2023-03-08 | ファナック株式会社 | 協働ロボットシステム |
JP7415356B2 (ja) | 2019-07-29 | 2024-01-17 | セイコーエプソン株式会社 | プログラム移送システムおよびロボットシステム |
CN112766530B (zh) * | 2019-11-06 | 2024-07-02 | 三菱电机自动化(中国)有限公司 | 生产准备及生产启动作业辅助装置、***及方法 |
US11417328B1 (en) * | 2019-12-09 | 2022-08-16 | Amazon Technologies, Inc. | Autonomously motile device with speech commands |
DE102020103852B4 (de) | 2020-02-14 | 2022-06-15 | Franka Emika Gmbh | Erzeugen und Optimieren eines Steuerprogramms für einen Robotermanipulator |
JP7380874B2 (ja) * | 2020-06-01 | 2023-11-15 | 日本電気株式会社 | プランナー装置、プランニング方法、プランニングプログラム記録媒体、学習装置、学習方法および学習プログラム記録媒体 |
CN112476424A (zh) | 2020-11-13 | 2021-03-12 | 腾讯科技(深圳)有限公司 | 机器人控制方法、装置、设备及计算机存储介质 |
CN112405543B (zh) * | 2020-11-23 | 2022-05-06 | 长沙理工大学 | 一种基于深度强化学习的机械臂密集物体温度优先抓取方法 |
DE102021110984A1 (de) | 2020-12-29 | 2022-06-30 | B-Horizon GmbH | Verfahren zum automatischen Anpassen des Verhaltens eines mobilen Benutzerendgeräts |
CN114851184B (zh) * | 2021-01-20 | 2023-05-09 | 广东技术师范大学 | 一种面向工业机器人的强化学习奖励值计算方法 |
JPWO2022249457A1 (ja) * | 2021-05-28 | 2022-12-01 | ||
CN113459109B (zh) * | 2021-09-03 | 2021-11-26 | 季华实验室 | 机械臂路径规划方法、装置、电子设备及存储介质 |
KR102568297B1 (ko) * | 2021-11-09 | 2023-08-21 | 씨제이대한통운(주) | 선박 도착예정시간을 연산하는 방법 및 이를 위한 연산장치 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6031202B2 (ja) | 1976-04-26 | 1985-07-20 | 三井東圧化学株式会社 | 硬化性樹脂組成物 |
JPH09319420A (ja) | 1996-05-31 | 1997-12-12 | Ricoh Co Ltd | 組立ロボット |
JP2003084804A (ja) | 2001-09-10 | 2003-03-19 | Yaskawa Electric Corp | 最適指令作成装置 |
JP5137537B2 (ja) | 2007-11-28 | 2013-02-06 | 三菱電機株式会社 | ロボットの作業動作最適化装置 |
JP4899165B2 (ja) * | 2007-12-10 | 2012-03-21 | 本田技研工業株式会社 | 脚式移動ロボットの制御装置 |
CN102402712B (zh) | 2011-08-31 | 2014-03-05 | 山东大学 | 基于神经网络的机器人强化学习初始化方法 |
US8374421B1 (en) | 2011-10-18 | 2013-02-12 | Google Inc. | Methods and systems for extracting still frames from a compressed video |
CN102819264B (zh) | 2012-07-30 | 2015-01-21 | 山东大学 | 移动机器人路径规划q学习初始化方法 |
JP5616478B1 (ja) * | 2013-04-18 | 2014-10-29 | ファナック株式会社 | ワークを搬送するロボットを備えるロボットシステム |
JP5877857B2 (ja) * | 2014-03-10 | 2016-03-08 | ファナック株式会社 | ワークの取出工程をシミュレーションするロボットシミュレーション装置 |
CA2882968C (en) * | 2015-02-23 | 2023-04-25 | Sulfur Heron Cognitive Systems Inc. | Facilitating generation of autonomous control information |
JP6240689B2 (ja) | 2015-07-31 | 2017-11-29 | ファナック株式会社 | 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法 |
JP5997330B1 (ja) | 2015-07-31 | 2016-09-28 | ファナック株式会社 | 主軸交換の要否を判定できる機械学習装置、主軸交換判定装置、制御装置、工作機械及び生産システム、並びに機械学習方法 |
DE102016009030B4 (de) * | 2015-07-31 | 2019-05-09 | Fanuc Corporation | Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs |
JP6031202B1 (ja) | 2016-01-29 | 2016-11-24 | ファナック株式会社 | 製造機械の異常の原因を発見するセル制御装置 |
CN106094813B (zh) | 2016-05-26 | 2019-01-18 | 华南理工大学 | 基于模型相关强化学习的仿人机器人步态控制方法 |
US20190184564A1 (en) * | 2016-08-30 | 2019-06-20 | Honda Motor Co., Ltd. | Robot control apparatus and robot control method |
JP6453922B2 (ja) * | 2017-02-06 | 2019-01-16 | ファナック株式会社 | ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法 |
US11440184B2 (en) * | 2017-02-09 | 2022-09-13 | Mitsubishi Electric Corporation | Position control device and position control method |
-
2017
- 2017-03-31 JP JP2017069866A patent/JP6603257B2/ja active Active
-
2018
- 2018-03-26 US US15/935,456 patent/US10730182B2/en active Active
- 2018-03-27 CN CN201810258132.2A patent/CN108693851B/zh active Active
- 2018-03-28 DE DE102018204740.5A patent/DE102018204740B4/de active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220065226A (ko) * | 2020-11-13 | 2022-05-20 | 주식회사 플라잎 | 로봇의 엔드 이펙터의 최적 경로를 도출하는 장치 및 방법 |
KR102432281B1 (ko) * | 2020-11-13 | 2022-08-16 | 주식회사 플라잎 | 로봇의 엔드 이펙터의 최적 경로를 도출하는 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
US10730182B2 (en) | 2020-08-04 |
DE102018204740B4 (de) | 2023-11-02 |
CN108693851A (zh) | 2018-10-23 |
JP2018171663A (ja) | 2018-11-08 |
DE102018204740A1 (de) | 2018-10-04 |
CN108693851B (zh) | 2020-05-26 |
US20180281180A1 (en) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6603257B2 (ja) | 行動情報学習装置、管理装置、ロボット制御システム及び行動情報学習方法 | |
JP6490127B2 (ja) | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 | |
US10747193B2 (en) | Machine learning apparatus, servo control apparatus, servo control system, and machine learning method | |
US10331104B2 (en) | Machine tool, simulation apparatus, and machine learning device | |
JP6063013B1 (ja) | びびり或いは工具摩耗/破損の発生を抑制する加工条件調整機能を有する数値制御装置 | |
JP6849643B2 (ja) | 出力装置、制御装置、及び評価関数と機械学習結果の出力方法 | |
JP6514257B2 (ja) | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 | |
JP6474449B2 (ja) | 調整装置及び調整方法 | |
JP6748135B2 (ja) | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 | |
JP6784722B2 (ja) | 出力装置、制御装置、及び評価関数値の出力方法 | |
JP2017030067A (ja) | 加工時間測定機能とオンマシン測定機能を有する制御装置付き加工装置 | |
JP2019021024A (ja) | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 | |
JP6453921B2 (ja) | 学習モデル構築装置、及び制御情報最適化装置 | |
JP2017102613A (ja) | 機械の送り軸の送りの滑らかさを最適化する機械学習装置および方法ならびに該機械学習装置を備えたモータ制御装置 | |
US11126149B2 (en) | Control parameter adjusting device and adjusting method using machine learning | |
JP6841852B2 (ja) | 制御装置及び制御方法 | |
US20210107144A1 (en) | Learning method, learning apparatus, and learning system | |
CN112638596B (zh) | 自主学习型机器人装置以及自主学习型机器人装置的动作生成方法 | |
JP2021039648A (ja) | 機械学習装置、サーボ制御装置、サーボ制御システム及び機械学習方法 | |
WO2021186500A1 (ja) | 学習装置、学習方法、及び、記録媒体 | |
JP6740263B2 (ja) | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 | |
JP6659260B2 (ja) | Plcプログラムの最適化機能を備えた制御装置及び機械学習器 | |
WO2021187268A1 (ja) | 機械学習装置、数値制御システム、設定装置、数値制御装置、及び機械学習方法 | |
US20220134545A1 (en) | Information processing device, information processing method, and computer program product | |
WO2020105157A1 (ja) | 作業最適化システムおよび作業最適化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180515 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180731 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191010 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6603257 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |