JP6680730B2 - 制御装置及び学習装置 - Google Patents
制御装置及び学習装置 Download PDFInfo
- Publication number
- JP6680730B2 JP6680730B2 JP2017153684A JP2017153684A JP6680730B2 JP 6680730 B2 JP6680730 B2 JP 6680730B2 JP 2017153684 A JP2017153684 A JP 2017153684A JP 2017153684 A JP2017153684 A JP 2017153684A JP 6680730 B2 JP6680730 B2 JP 6680730B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- state
- learning
- person
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/085—Force or torque sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40198—Contact with human allowed if under pain tolerance limit
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Feedback Control In General (AREA)
Description
本発明の一実施の形態にかかる制御装置は、前記判定データは、ロボットと人との衝突の有無、ロボットと人との相対距離、衝突時の力の大きさ、スループットのうち少なくともいずれか1つを含むことを特徴とする。
本発明の一実施の形態にかかる制御装置は、前記学習部は、前記ロボットと前記人との干渉の状態に関連する報酬を求める報酬計算部と、前記報酬を用いて、前記ロボットの状態及び前記ロボットの周辺領域に存在する前記人の状態に対する前記ロボットへの指令の価値を表す関数を更新する価値関数更新部とを備えることを特徴とする。
本発明の一実施の形態にかかる制御装置は、前記学習部は、前記状態変数と前記判定データとを多層構造で演算することを特徴とする。
本発明の一実施の形態にかかる制御装置は、前記学習部による学習結果に基づいて、前記ロボットへの指令を示す指令値を出力する意思決定部を更に備えることを特徴とする。
本発明の一実施の形態にかかる制御装置は、前記学習部は、複数のロボットから得られた前記状態変数及び前記判定データを用いて、前記ロボットへの指令を学習することを特徴とする。
本発明の一実施の形態にかかる制御装置は、前記機械学習装置は、クラウドサーバに存在することを特徴とする。
本発明の一実施の形態にかかる学習装置は、ロボットへの指令を学習する学習装置であって、少なくとも前記ロボットのマニピュレータの姿勢及び移動速度を含む前記ロボットの状態及び少なくとも前記人の侵入方向及び動線を含む前記ロボットの周辺領域に存在する人の状態を、環境の現在状態を表す状態変数として観測する状態観測部と、前記ロボットと前記人との干渉の状態を示す判定データを取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記ロボットの状態及び前記ロボットの周辺領域に存在する人の状態と、前記ロボットへの指令とを関連付けて学習する学習部と、を備えることを特徴とする。
以下、本発明の実施の形態を図面を用いて説明する。本発明の実施の形態にかかる制御装置1は、作業を行っているロボットに人が接近した場合におけるロボットへの指令を最適化することを特徴とする。ロボットへの指令には、例えば速度の選択に関するもの(速度継続、減速、停止)及び軌道の選択に関するもの(目的地までの軌道、右回り又は左回りの別)が含まれる。本実施の形態の制御装置1は、ロボットへの指令を最適化する手段として機械学習を利用する。
なお、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることも可能である。
図6は、実施の形態2による制御装置2を示す。制御装置2は、機械学習装置120と、状態観測部106が観測する状態変数Sであるロボットの状態及びロボットの周辺領域に存在する人の状態を、状態データS0として取得する状態データ取得部3とを備える。状態データ取得部3は、制御装置2から状態データS0を取得することができる。
図7は、ロボット160を備えた一実施形態によるシステム170を示す。システム170は、同種の構成を有する複数のロボット160、160’と、それらロボット160、160’を互いに接続する有線/無線のネットワーク172とを備え、複数のロボット160のうち少なくとも1つが、上記した制御装置2を備えるロボット160として構成される。またシステム170は、制御装置2を備えないロボット160’を含むことができる。ロボット160、160’は、同じ目的の作業に必要とされる機構及び作業領域など周辺環境を有する。
3 状態データ取得部
100 機械学習装置
106 状態観測部
108 判定データ取得部
110 学習部
112 報酬計算部
114 価値関数更新部
120 機械学習装置
122 意思決定部
160,160’ ロボット
170,170’ システム
172 ネットワーク
Claims (8)
- ロボットへの指令を出力する制御装置であって、
前記ロボットへの指令を学習する機械学習装置を備え、
前記機械学習装置は、
少なくとも前記ロボットのマニピュレータの姿勢及び移動速度を含む前記ロボットの状態及び少なくとも前記人の侵入方向及び動線を含む前記ロボットの周辺領域に存在する人の状態を、環境の現在状態を表す状態変数として観測する状態観測部と、
前記ロボットと前記人との干渉の状態を示す判定データを取得する判定データ取得部と、
前記状態変数と前記判定データとを用いて、前記ロボットの状態及び前記ロボットの周辺領域に存在する人の状態と、前記ロボットへの指令とを関連付けて学習する学習部と、を備えることを特徴とする
制御装置。 - 前記判定データは、ロボットと人との衝突の有無、ロボットと人との相対距離、衝突時の力の大きさ、スループットのうち少なくともいずれか1つを含むことを特徴とする
請求項1に記載の制御装置。 - 前記学習部は、
前記ロボットと前記人との干渉の状態に関連する報酬を求める報酬計算部と、
前記報酬を用いて、前記ロボットの状態及び前記ロボットの周辺領域に存在する前記人の状態に対する前記ロボットへの指令の価値を表す関数を更新する価値関数更新部とを備えることを特徴とする
請求項1記載の制御装置。 - 前記学習部は、前記状態変数と前記判定データとを多層構造で演算することを特徴とする
請求項1記載の制御装置。 - 前記学習部による学習結果に基づいて、前記ロボットへの指令を示す指令値を出力する意思決定部を更に備えることを特徴とする
請求項1記載の制御装置。 - 前記学習部は、複数のロボットから得られた前記状態変数及び前記判定データを用いて、前記ロボットへの指令を学習することを特徴とする
請求項1記載の制御装置。 - 前記機械学習装置は、クラウドサーバに存在することを特徴とする
請求項1記載の制御装置。 - ロボットへの指令を学習する学習装置であって、
少なくとも前記ロボットのマニピュレータの姿勢及び移動速度を含む前記ロボットの状態及び少なくとも前記人の侵入方向及び動線を含む前記ロボットの周辺領域に存在する人の状態を、環境の現在状態を表す状態変数として観測する状態観測部と、
前記ロボットと前記人との干渉の状態を示す判定データを取得する判定データ取得部と、
前記状態変数と前記判定データとを用いて、前記ロボットの状態及び前記ロボットの周辺領域に存在する人の状態と、前記ロボットへの指令とを関連付けて学習する学習部と、を備えることを特徴とする
学習装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017153684A JP6680730B2 (ja) | 2017-08-08 | 2017-08-08 | 制御装置及び学習装置 |
US16/055,650 US10953538B2 (en) | 2017-08-08 | 2018-08-06 | Control device and learning device |
DE102018006248.2A DE102018006248A1 (de) | 2017-08-08 | 2018-08-07 | Steuervorrichtung und Lernvorrichtung |
CN201810896937.XA CN109382825B (zh) | 2017-08-08 | 2018-08-08 | 控制装置以及学习装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017153684A JP6680730B2 (ja) | 2017-08-08 | 2017-08-08 | 制御装置及び学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019030941A JP2019030941A (ja) | 2019-02-28 |
JP6680730B2 true JP6680730B2 (ja) | 2020-04-15 |
Family
ID=65084513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017153684A Active JP6680730B2 (ja) | 2017-08-08 | 2017-08-08 | 制御装置及び学習装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10953538B2 (ja) |
JP (1) | JP6680730B2 (ja) |
CN (1) | CN109382825B (ja) |
DE (1) | DE102018006248A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11510136B2 (en) * | 2018-01-12 | 2022-11-22 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and apparatus for roaming between wireless communications networks |
DE102019001760A1 (de) * | 2018-03-19 | 2019-09-19 | Fanuc Corporation | Informationsverarbeitungsgerät, maschinelle lernvorrichtungund system |
WO2019241798A1 (en) * | 2018-06-15 | 2019-12-19 | Google Llc | Self-supervised robotic object interaction |
JP6647640B1 (ja) * | 2019-04-15 | 2020-02-14 | 日本金銭機械株式会社 | 表示制御システム、表示制御方法、および、プログラム |
JP7207207B2 (ja) * | 2019-07-09 | 2023-01-18 | トヨタ自動車株式会社 | 演算装置、機械学習方法及び制御プログラム |
US11676064B2 (en) * | 2019-08-16 | 2023-06-13 | Mitsubishi Electric Research Laboratories, Inc. | Constraint adaptor for reinforcement learning control |
JP7295421B2 (ja) * | 2019-08-22 | 2023-06-21 | オムロン株式会社 | 制御装置及び制御方法 |
JP7334784B2 (ja) * | 2019-08-22 | 2023-08-29 | 日本電気株式会社 | ロボット制御システム、ロボット制御方法、及び、プログラム |
DE102020200165B4 (de) * | 2020-01-09 | 2022-05-19 | Robert Bosch Gesellschaft mit beschränkter Haftung | Robotersteuereinrichtung und Verfahren zum Steuern eines Roboters |
KR102386009B1 (ko) * | 2020-07-30 | 2022-04-13 | 네이버랩스 주식회사 | 로봇 작업의 학습 방법 및 로봇 시스템 |
DE112021007561T5 (de) * | 2021-09-08 | 2024-05-02 | Mitsubishi Electric Corporation | Robotersteuerung, Lernvorrichtung und Inferenzvorrichtung |
CN117957500A (zh) * | 2021-09-23 | 2024-04-30 | 西门子(中国)有限公司 | 一种多个机器人协同工作的控制方法、***及机器人 |
CN115412105B (zh) * | 2022-05-06 | 2024-03-12 | 南京邮电大学 | 基于usrp rio的强化学习通信干扰方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05119823A (ja) * | 1991-10-24 | 1993-05-18 | Hitachi Ltd | ロボツトの軌道計画方法及び制御装置 |
DE10152543A1 (de) * | 2001-10-24 | 2003-05-08 | Sick Ag | Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine |
JP4269055B2 (ja) * | 2004-03-31 | 2009-05-27 | 国立大学法人広島大学 | 障害物回避装置および移動体 |
JP4852753B2 (ja) * | 2006-05-24 | 2012-01-11 | 国立大学法人鳥取大学 | 学習機能をもつ自律移動ロボット |
US20120185115A1 (en) * | 2007-10-05 | 2012-07-19 | Jason Dean | Laserbot: programmable robotic apparatus with laser |
JP2010120139A (ja) * | 2008-11-21 | 2010-06-03 | New Industry Research Organization | 産業用ロボットの安全制御装置 |
JP4938118B2 (ja) | 2010-08-17 | 2012-05-23 | ファナック株式会社 | 人間協調ロボットシステム |
US8996174B2 (en) * | 2012-06-21 | 2015-03-31 | Rethink Robotics, Inc. | User interfaces for robot training |
CN102819264B (zh) | 2012-07-30 | 2015-01-21 | 山东大学 | 移动机器人路径规划q学习初始化方法 |
US20150202770A1 (en) * | 2014-01-17 | 2015-07-23 | Anthony Patron | Sidewalk messaging of an autonomous robot |
US20150294496A1 (en) * | 2014-04-14 | 2015-10-15 | GM Global Technology Operations LLC | Probabilistic person-tracking using multi-view fusion |
US9251598B2 (en) * | 2014-04-10 | 2016-02-02 | GM Global Technology Operations LLC | Vision-based multi-camera factory monitoring with dynamic integrity scoring |
US20150339589A1 (en) * | 2014-05-21 | 2015-11-26 | Brain Corporation | Apparatus and methods for training robots utilizing gaze-based saliency maps |
JP6494331B2 (ja) * | 2015-03-03 | 2019-04-03 | キヤノン株式会社 | ロボット制御装置およびロボット制御方法 |
US9840003B2 (en) * | 2015-06-24 | 2017-12-12 | Brain Corporation | Apparatus and methods for safe navigation of robotic devices |
DE102016008987B4 (de) | 2015-07-31 | 2021-09-16 | Fanuc Corporation | Maschinenlernverfahren und Maschinenlernvorrichtung zum Lernen von Fehlerbedingungen, und Fehlervorhersagevorrichtung und Fehlervorhersagesystem, das die Maschinenlernvorrichtung einschließt |
JP6240689B2 (ja) | 2015-07-31 | 2017-11-29 | ファナック株式会社 | 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法 |
JP6148316B2 (ja) | 2015-07-31 | 2017-06-14 | ファナック株式会社 | 故障条件を学習する機械学習方法及び機械学習装置、並びに該機械学習装置を備えた故障予知装置及び故障予知システム |
JP6522488B2 (ja) * | 2015-07-31 | 2019-05-29 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
JP6063016B1 (ja) | 2015-09-29 | 2017-01-18 | ファナック株式会社 | 電動機に対する動作指令を学習する機械学習方法および機械学習装置並びに該機械学習装置を備えた工作機械 |
US10265859B2 (en) * | 2016-02-09 | 2019-04-23 | Cobalt Robotics Inc. | Mobile robot with removable fabric panels |
JP2017177297A (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 制御装置及び制御方法 |
US9827678B1 (en) * | 2016-05-16 | 2017-11-28 | X Development Llc | Kinematic design for robotic arm |
-
2017
- 2017-08-08 JP JP2017153684A patent/JP6680730B2/ja active Active
-
2018
- 2018-08-06 US US16/055,650 patent/US10953538B2/en active Active
- 2018-08-07 DE DE102018006248.2A patent/DE102018006248A1/de active Pending
- 2018-08-08 CN CN201810896937.XA patent/CN109382825B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109382825B (zh) | 2021-03-02 |
US20190047143A1 (en) | 2019-02-14 |
DE102018006248A1 (de) | 2019-02-14 |
JP2019030941A (ja) | 2019-02-28 |
US10953538B2 (en) | 2021-03-23 |
CN109382825A (zh) | 2019-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6680730B2 (ja) | 制御装置及び学習装置 | |
JP6517762B2 (ja) | 人とロボットが協働して作業を行うロボットの動作を学習するロボットシステム | |
JP6240689B2 (ja) | 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法 | |
US10692018B2 (en) | Machine learning device and machine learning method for learning optimal object grasp route | |
JP6652549B2 (ja) | 切粉除去装置及び情報処理装置 | |
US11253999B2 (en) | Machine learning device, robot control device and robot vision system using machine learning device, and machine learning method | |
US11511420B2 (en) | Machine learning device, robot system, and machine learning method for learning operation program of robot | |
JP6542839B2 (ja) | 制御装置及び機械学習装置 | |
US10796226B2 (en) | Laser processing apparatus and machine learning device | |
JP6619192B2 (ja) | 移動軸異常負荷警告機能を有するワイヤ放電加工機 | |
JP6564426B2 (ja) | 部品供給装置及び機械学習装置 | |
JP6542833B2 (ja) | 制御装置及び機械学習装置 | |
US10908572B2 (en) | Programmable controller and machine learning device | |
JP2019185125A (ja) | 制御装置及び機械学習装置 | |
JP2019020959A (ja) | 制御装置及び学習装置 | |
US20200250490A1 (en) | Machine learning device, robot system, and machine learning method | |
Park et al. | Hi robot: Human intention-aware robot planning for safe and efficient navigation in crowds | |
JP6490132B2 (ja) | ロボットの制御装置、機械学習装置及び機械学習方法 | |
JP2019136818A (ja) | 制御装置及び機械学習装置 | |
TW202132071A (zh) | 機器人控制裝置、機器人控制方法以及學習模型產生裝置 | |
CN111984000A (zh) | 用于自动影响执行器的方法和设备 | |
WO2023037443A1 (ja) | ロボット制御装置、学習装置および推論装置 | |
JP2020131362A (ja) | 機械学習器、ロボットシステム、及び機械学習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181024 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6680730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |