JP2018043338A - ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法 - Google Patents
ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法 Download PDFInfo
- Publication number
- JP2018043338A JP2018043338A JP2016182233A JP2016182233A JP2018043338A JP 2018043338 A JP2018043338 A JP 2018043338A JP 2016182233 A JP2016182233 A JP 2016182233A JP 2016182233 A JP2016182233 A JP 2016182233A JP 2018043338 A JP2018043338 A JP 2018043338A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- machine learning
- arm
- reward
- learning device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/029—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks and expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32334—Use of reinforcement learning, agent acts, receives reward
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/33—Director till display
- G05B2219/33321—Observation learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45104—Lasrobot, welding robot
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45135—Welding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Robotics (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
Description
・ロボットシステム(すなわち、ロボット1およびロボット制御装置(例えば、機械学習装置2を含む))は、環境の状態を観測し、行動を決定する。
・環境は、何らかの規則に従って変化し、さらに、自分の行動が、環境に変化を与えることもある。
・行動するたびに、報酬信号が帰ってくる。
・最大化したいのは、将来にわたっての(割引)報酬の合計である。
・行動が引き起こす結果を全く知らない、または、不完全にしか知らない状態から学習はスタートする。すなわち、ロボット制御装置は、実際に行動して初めて、その結果をデータとして得ることができる。つまり、試行錯誤しながら最適な行動を探索する必要がある。
・人間の動作を真似るように、事前学習(前述の教師あり学習や、逆強化学習といった手法)した状態を初期状態として、良いスタート地点から学習をスタートさせることもできる。
2 機械学習装置
21 状態観測部
22 判定データ取得部
23 学習部
231 報酬計算部
232 価値関数更新部
24 意思決定部
Claims (15)
- ロボットの動作プログラムを学習する機械学習装置であって、
前記ロボットのアームの揺れ、および、前記ロボットのアームの動作軌跡の長さの少なくとも一方を、状態変数として観測する状態観測部と、
前記ロボットが処理を行うサイクルタイムを、判定データとして受け取る判定データ取得部と、
前記状態観測部の出力および前記判定データ取得部の出力に基づいて、前記ロボットの動作プログラムを学習する学習部と、を備える、
ことを特徴とする機械学習装置。 - 前記アームの揺れ、および、前記アームの動作軌跡の長さのデータは、カメラにより撮影された画像、または、ロボット制御装置からのデータに基づいて観測され、
前記サイクルタイムは、前記ロボット制御装置からのデータ、或いは、前記カメラにより撮影された画像を解析して取得される、
ことを特徴とする請求項1に記載の機械学習装置。 - 前記状態観測部は、さらに、
前記アームの位置,速度および加速度の少なくとも1つを、状態変数として観測する、
ことを特徴とする請求項1または請求項2に記載の機械学習装置。 - さらに、
前記学習部が学習した前記ロボットの動作プログラムに基づいて、前記ロボットの動作を決定する意思決定部を備える、
ことを特徴とする請求項1乃至請求項3のいずれか1項に記載の機械学習装置。 - 前記学習部は、
前記状態観測部の出力および前記判定データ取得部の出力に基づいて、報酬を計算する報酬計算部と、
前記状態観測部の出力,前記判定データ取得部の出力および前記報酬計算部の出力に基づいて、前記ロボットの動作プログラムの価値を定める価値関数を更新する価値関数更新部と、を備える、
ことを特徴とする請求項1乃至請求項4のいずれか1項に記載の機械学習装置。 - 前記報酬計算部は、
前記サイクルタイムが長いときにマイナスの報酬を設定し、前記サイクルタイムが短いときにプラスの報酬を設定する、
ことを特徴とする請求項5に記載の機械学習装置。 - 前記報酬計算部は、
前記アームの揺れが大きいときにマイナスの報酬を設定し、前記アームの揺れが小さいときにプラスの報酬を設定し、
前記アームの動作軌跡が長いときにマイナスの報酬を設定し、前記アームの動作軌跡が短いときにプラスの報酬を設定する、
ことを特徴とする請求項5または請求項6に記載の機械学習装置。 - 前記機械学習装置は、ニューラルネットワークを備える、
ことを特徴とする請求項1乃至請求項7のいずれか1項に記載の機械学習装置。 - 前記機械学習装置は、それぞれの前記ロボットに対して設けられ、少なくとも1つの他の機械学習装置と接続可能であり、少なくとも1つの前記他の機械学習装置との間で機械学習の結果を相互に交換または共有する、
ことを特徴とする請求項1乃至請求項8のいずれか1項に記載の機械学習装置。 - 前記機械学習装置は、クラウドサーバまたはフォグサーバ上に存在する、
ことを特徴とする請求項1乃至請求項8のいずれか1項に記載の機械学習装置。 - ロボット制御装置と、前記ロボット制御装置により制御される前記ロボットと、請求項1乃至請求項9のいずれか1項に記載の機械学習装置と、を備える、
ことを特徴とするロボットシステム。 - さらに、
前記アームの揺れ、および、前記アームの動作軌跡の長さのデータを観測可能なカメラを備え、
前記カメラは、
前記ロボットの前記アームに取り付けられた第1カメラ、
前記ロボットの周辺に配置された周辺ロボットのアームに取り付けられた第2カメラ、および、
前記ロボットの周辺に設けられた第3カメラの少なくとも1つを含む、
ことを特徴とする請求項11に記載のロボットシステム。 - 前記ロボットは、スポット溶接ロボットである、
ことを特徴とする請求項11または請求項12に記載のロボットシステム。 - ロボットの動作プログラムを学習する機械学習方法であって、
前記ロボットのアームの揺れ、および、前記ロボットのアームの動作軌跡の長さの少なくとも一方を、状態変数として観測し、
前記ロボットが処理を行うサイクルタイムを、判定データとして受け取り、
前記状態変数および前記判定データに基づいて、前記ロボットの動作プログラムを学習する、
ことを特徴とする機械学習方法。 - 前記ロボットの動作プログラムの学習は、
前記状態変数および前記判定データに基づいて報酬を計算し、
前記状態変数,前記判定データおよび前記報酬に基づいて、前記ロボットの動作プログラムの価値を定める価値関数を更新する、
ことを特徴とする請求項14に記載の機械学習方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016182233A JP6514166B2 (ja) | 2016-09-16 | 2016-09-16 | ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法 |
DE102017008475.0A DE102017008475B4 (de) | 2016-09-16 | 2017-09-08 | Maschinenlernvorrichtung, robotersystem und maschinenlernverfahren zum erlernen eines roboter-betriebsprogramms |
US15/702,495 US11511420B2 (en) | 2016-09-16 | 2017-09-12 | Machine learning device, robot system, and machine learning method for learning operation program of robot |
CN201710822873.4A CN107825422A (zh) | 2016-09-16 | 2017-09-13 | 机械学习装置、机器人***以及机械学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016182233A JP6514166B2 (ja) | 2016-09-16 | 2016-09-16 | ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018043338A true JP2018043338A (ja) | 2018-03-22 |
JP6514166B2 JP6514166B2 (ja) | 2019-05-15 |
Family
ID=61302564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016182233A Active JP6514166B2 (ja) | 2016-09-16 | 2016-09-16 | ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11511420B2 (ja) |
JP (1) | JP6514166B2 (ja) |
CN (1) | CN107825422A (ja) |
DE (1) | DE102017008475B4 (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019171540A (ja) * | 2018-03-29 | 2019-10-10 | ファナック株式会社 | 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法 |
CN110328674A (zh) * | 2019-07-19 | 2019-10-15 | 东莞理工学院 | 一种激光切割机器人 |
WO2019216427A1 (ja) * | 2018-05-11 | 2019-11-14 | 株式会社 Preferred Networks | リスク指標評価装置、リスク指標評価方法及びプログラム |
JP6644191B1 (ja) * | 2018-12-26 | 2020-02-12 | 三菱電機株式会社 | ロボット制御装置、ロボット制御学習装置、及びロボット制御方法 |
WO2020075423A1 (ja) * | 2018-10-10 | 2020-04-16 | ソニー株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
JP2020078852A (ja) * | 2018-11-14 | 2020-05-28 | 旭鉄工株式会社 | 学習システム、及びロボット位置調整システム |
JP2020082314A (ja) * | 2018-11-29 | 2020-06-04 | 京セラドキュメントソリューションズ株式会社 | 学習装置、ロボット制御装置、及びロボット制御システム |
WO2020122632A1 (ko) * | 2018-12-14 | 2020-06-18 | 삼성전자 주식회사 | 로봇 장치 및 로봇의 작업 스킬을 학습하는 방법 |
WO2020153297A1 (ja) * | 2019-01-25 | 2020-07-30 | 株式会社ソニー・インタラクティブエンタテインメント | ロボット制御システム |
JP2020196077A (ja) * | 2019-05-31 | 2020-12-10 | ファナック株式会社 | ケーブルの状態を学習する機械学習装置、ロボットシステム、及び機械学習方法 |
JP2021022187A (ja) * | 2019-07-29 | 2021-02-18 | セイコーエプソン株式会社 | プログラム移送システムおよびロボットシステム |
JP2021065955A (ja) * | 2019-10-21 | 2021-04-30 | キヤノン株式会社 | ロボット制御システム及びその制御方法及びプログラム |
JP2021084159A (ja) * | 2019-11-27 | 2021-06-03 | 株式会社日立製作所 | 制御装置、制御方法、及びロボットシステム |
JP2022013477A (ja) * | 2020-07-01 | 2022-01-18 | 清一 安川 | 次世代人工知能とロボット(パラレルリンク(ロボティック・ポッド)など)を組み合わせた次世代ロボット |
DE112020006315T5 (de) | 2020-02-27 | 2022-10-20 | Mitsubishi Electric Corporation | Robotersteuervorrichtung, robotersteuerverfahren und vorrichtung zur erzeugung von lernmodellen |
WO2023106576A1 (ko) * | 2021-12-10 | 2023-06-15 | 김판수 | 행동 모사 플랫폼 서비스 제공 시스템 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10207408B1 (en) * | 2015-12-07 | 2019-02-19 | AI Incorporated | Method to minimize collisions of mobile robotic devices |
US11077555B1 (en) | 2015-12-07 | 2021-08-03 | AI Incorporated | Method to minimize collisions of mobile robotic device |
JP6616170B2 (ja) * | 2015-12-07 | 2019-12-04 | ファナック株式会社 | コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法 |
EP3523760B1 (en) * | 2016-11-04 | 2024-01-24 | DeepMind Technologies Limited | Reinforcement learning systems |
JP6457473B2 (ja) * | 2016-12-16 | 2019-01-23 | ファナック株式会社 | ロボットおよびレーザスキャナの動作を学習する機械学習装置,ロボットシステムおよび機械学習方法 |
JP6484265B2 (ja) * | 2017-02-15 | 2019-03-13 | ファナック株式会社 | 学習制御機能を備えたロボットシステム及び学習制御方法 |
JP6549644B2 (ja) * | 2017-06-27 | 2019-07-24 | ファナック株式会社 | 機械学習装置、ロボット制御システム及び機械学習方法 |
US11612306B2 (en) * | 2017-11-01 | 2023-03-28 | Sony Corporation | Surgical arm system and surgical arm control system |
JP6857332B2 (ja) * | 2018-03-13 | 2021-04-14 | オムロン株式会社 | 演算装置、演算方法、及びそのプログラム |
JP6781183B2 (ja) * | 2018-03-26 | 2020-11-04 | ファナック株式会社 | 制御装置及び機械学習装置 |
CN110340884A (zh) * | 2018-04-05 | 2019-10-18 | 发那科株式会社 | 测定动作参数调整装置、机器学习装置以及*** |
CN108830453B (zh) * | 2018-05-07 | 2021-10-08 | 中国科学院力学研究所 | 一种远程操作效果的评估方法及*** |
CN108927806A (zh) * | 2018-08-13 | 2018-12-04 | 哈尔滨工业大学(深圳) | 一种应用于大批量重复性加工的工业机器人学习方法 |
JP7117237B2 (ja) * | 2018-12-27 | 2022-08-12 | 川崎重工業株式会社 | ロボット制御装置、ロボットシステム及びロボット制御方法 |
CN109773787A (zh) * | 2018-12-29 | 2019-05-21 | 南京埃斯顿机器人工程有限公司 | 机械设备的控制学习方法及其具备学习功能的服务器*** |
JP7092307B2 (ja) * | 2019-02-01 | 2022-06-28 | 三菱電機株式会社 | 作業判別装置および作業判別方法 |
JP7339776B2 (ja) * | 2019-05-28 | 2023-09-06 | 川崎重工業株式会社 | 制御システム、機械装置システム及び制御方法 |
JP7207207B2 (ja) * | 2019-07-09 | 2023-01-18 | トヨタ自動車株式会社 | 演算装置、機械学習方法及び制御プログラム |
JP7221183B2 (ja) * | 2019-09-20 | 2023-02-13 | 株式会社日立製作所 | 機械学習方法、フォークリフト制御方法、及び機械学習装置 |
DE102020200165B4 (de) * | 2020-01-09 | 2022-05-19 | Robert Bosch Gesellschaft mit beschränkter Haftung | Robotersteuereinrichtung und Verfahren zum Steuern eines Roboters |
DE102020127708A1 (de) | 2020-10-21 | 2022-04-21 | Ebm-Papst Mulfingen Gmbh & Co. Kg | Wicklungsoptimierung |
CN113012432B (zh) * | 2021-03-15 | 2022-07-08 | 武强 | 云计算与雾计算协同强化学习的交通红绿灯控制*** |
TWI795282B (zh) * | 2022-04-29 | 2023-03-01 | 陳健如 | 機器人焊接方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003094364A (ja) * | 2001-09-21 | 2003-04-03 | Honda Motor Co Ltd | 作業ロボットの動作経路データ作成方法および装置 |
JP2012240142A (ja) * | 2011-05-17 | 2012-12-10 | Fanuc Ltd | 学習制御機能を備えたスポット溶接ロボット |
JP2013106202A (ja) * | 2011-11-14 | 2013-05-30 | Fujitsu Ltd | パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法 |
JP2014228972A (ja) * | 2013-05-20 | 2014-12-08 | 日本電信電話株式会社 | 情報処理装置、情報処理システム、情報処理方法、および学習プログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7403904B2 (en) * | 2002-07-19 | 2008-07-22 | International Business Machines Corporation | System and method for sequential decision making for customer relationship management |
JP2005115654A (ja) * | 2003-10-08 | 2005-04-28 | Sony Corp | 情報処理装置および方法、プログラム格納媒体、並びにプログラム |
JP4087841B2 (ja) | 2004-12-21 | 2008-05-21 | ファナック株式会社 | ロボット制御装置 |
CN101840586B (zh) * | 2010-04-02 | 2012-04-11 | 中国科学院计算技术研究所 | 虚拟人运动规划的方法及其*** |
EP2585975B1 (en) * | 2010-06-28 | 2018-03-21 | Precitec GmbH & Co. KG | A method for classifying a multitude of images recorded by a camera observing a processing area and laser material processing head using the same |
CN101954638B (zh) * | 2010-10-18 | 2012-01-04 | 湖南大学 | 高压输电线路除冰机器人自主抓线控制方法 |
US8886359B2 (en) * | 2011-05-17 | 2014-11-11 | Fanuc Corporation | Robot and spot welding robot with learning control function |
US8374421B1 (en) | 2011-10-18 | 2013-02-12 | Google Inc. | Methods and systems for extracting still frames from a compressed video |
US8843236B2 (en) | 2012-03-15 | 2014-09-23 | GM Global Technology Operations LLC | Method and system for training a robot using human-assisted task demonstration |
US8996167B2 (en) | 2012-06-21 | 2015-03-31 | Rethink Robotics, Inc. | User interfaces for robot training |
US9367798B2 (en) | 2012-09-20 | 2016-06-14 | Brain Corporation | Spiking neuron network adaptive control apparatus and methods |
US8996177B2 (en) | 2013-03-15 | 2015-03-31 | Brain Corporation | Robotic training apparatus and methods |
JP5969676B1 (ja) | 2015-09-30 | 2016-08-17 | ファナック株式会社 | 工作機械の工具補正の頻度を最適化する機械学習装置及び機械学習方法、並びに該機械学習装置を備えた工作機械 |
-
2016
- 2016-09-16 JP JP2016182233A patent/JP6514166B2/ja active Active
-
2017
- 2017-09-08 DE DE102017008475.0A patent/DE102017008475B4/de active Active
- 2017-09-12 US US15/702,495 patent/US11511420B2/en active Active
- 2017-09-13 CN CN201710822873.4A patent/CN107825422A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003094364A (ja) * | 2001-09-21 | 2003-04-03 | Honda Motor Co Ltd | 作業ロボットの動作経路データ作成方法および装置 |
JP2012240142A (ja) * | 2011-05-17 | 2012-12-10 | Fanuc Ltd | 学習制御機能を備えたスポット溶接ロボット |
JP2013106202A (ja) * | 2011-11-14 | 2013-05-30 | Fujitsu Ltd | パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法 |
JP2014228972A (ja) * | 2013-05-20 | 2014-12-08 | 日本電信電話株式会社 | 情報処理装置、情報処理システム、情報処理方法、および学習プログラム |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11253999B2 (en) | 2018-03-29 | 2022-02-22 | Fanuc Corporation | Machine learning device, robot control device and robot vision system using machine learning device, and machine learning method |
JP2019171540A (ja) * | 2018-03-29 | 2019-10-10 | ファナック株式会社 | 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法 |
WO2019216427A1 (ja) * | 2018-05-11 | 2019-11-14 | 株式会社 Preferred Networks | リスク指標評価装置、リスク指標評価方法及びプログラム |
WO2020075423A1 (ja) * | 2018-10-10 | 2020-04-16 | ソニー株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
JP7207704B2 (ja) | 2018-11-14 | 2023-01-18 | 旭鉄工株式会社 | 学習システム、及びロボット位置調整システム |
JP2020078852A (ja) * | 2018-11-14 | 2020-05-28 | 旭鉄工株式会社 | 学習システム、及びロボット位置調整システム |
JP7247552B2 (ja) | 2018-11-29 | 2023-03-29 | 京セラドキュメントソリューションズ株式会社 | 学習装置、ロボット制御装置、及びロボット制御システム |
JP2020082314A (ja) * | 2018-11-29 | 2020-06-04 | 京セラドキュメントソリューションズ株式会社 | 学習装置、ロボット制御装置、及びロボット制御システム |
KR20200080372A (ko) * | 2018-12-14 | 2020-07-07 | 삼성전자주식회사 | 로봇 장치 및 로봇의 작업 기술을 학습하는 방법 |
KR102619004B1 (ko) | 2018-12-14 | 2023-12-29 | 삼성전자 주식회사 | 로봇 장치 및 로봇의 작업 기술을 학습하는 방법 |
WO2020122632A1 (ko) * | 2018-12-14 | 2020-06-18 | 삼성전자 주식회사 | 로봇 장치 및 로봇의 작업 스킬을 학습하는 방법 |
US11911912B2 (en) | 2018-12-14 | 2024-02-27 | Samsung Electronics Co., Ltd. | Robot control apparatus and method for learning task skill of the robot |
JP6644191B1 (ja) * | 2018-12-26 | 2020-02-12 | 三菱電機株式会社 | ロボット制御装置、ロボット制御学習装置、及びロボット制御方法 |
WO2020153297A1 (ja) * | 2019-01-25 | 2020-07-30 | 株式会社ソニー・インタラクティブエンタテインメント | ロボット制御システム |
JP2020116710A (ja) * | 2019-01-25 | 2020-08-06 | 株式会社ソニー・インタラクティブエンタテインメント | ロボット制御システム |
JP7417356B2 (ja) | 2019-01-25 | 2024-01-18 | 株式会社ソニー・インタラクティブエンタテインメント | ロボット制御システム |
JP7260402B2 (ja) | 2019-05-31 | 2023-04-18 | ファナック株式会社 | ケーブルの状態を学習する機械学習装置、ロボットシステム、及び機械学習方法 |
JP2020196077A (ja) * | 2019-05-31 | 2020-12-10 | ファナック株式会社 | ケーブルの状態を学習する機械学習装置、ロボットシステム、及び機械学習方法 |
CN110328674A (zh) * | 2019-07-19 | 2019-10-15 | 东莞理工学院 | 一种激光切割机器人 |
JP2021022187A (ja) * | 2019-07-29 | 2021-02-18 | セイコーエプソン株式会社 | プログラム移送システムおよびロボットシステム |
JP7415356B2 (ja) | 2019-07-29 | 2024-01-17 | セイコーエプソン株式会社 | プログラム移送システムおよびロボットシステム |
JP2021065955A (ja) * | 2019-10-21 | 2021-04-30 | キヤノン株式会社 | ロボット制御システム及びその制御方法及びプログラム |
JP7458741B2 (ja) | 2019-10-21 | 2024-04-01 | キヤノン株式会社 | ロボット制御装置及びその制御方法及びプログラム |
WO2021106307A1 (ja) * | 2019-11-27 | 2021-06-03 | 株式会社日立製作所 | 制御装置、制御方法、及びロボットシステム |
JP2021084159A (ja) * | 2019-11-27 | 2021-06-03 | 株式会社日立製作所 | 制御装置、制御方法、及びロボットシステム |
JP7263217B2 (ja) | 2019-11-27 | 2023-04-24 | 株式会社日立製作所 | 制御装置、制御方法、及びロボットシステム |
DE112020006315T5 (de) | 2020-02-27 | 2022-10-20 | Mitsubishi Electric Corporation | Robotersteuervorrichtung, robotersteuerverfahren und vorrichtung zur erzeugung von lernmodellen |
JP2022013477A (ja) * | 2020-07-01 | 2022-01-18 | 清一 安川 | 次世代人工知能とロボット(パラレルリンク(ロボティック・ポッド)など)を組み合わせた次世代ロボット |
WO2023106576A1 (ko) * | 2021-12-10 | 2023-06-15 | 김판수 | 행동 모사 플랫폼 서비스 제공 시스템 |
Also Published As
Publication number | Publication date |
---|---|
US20180079076A1 (en) | 2018-03-22 |
US11511420B2 (en) | 2022-11-29 |
DE102017008475A1 (de) | 2018-03-22 |
CN107825422A (zh) | 2018-03-23 |
DE102017008475B4 (de) | 2021-08-12 |
JP6514166B2 (ja) | 2019-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6514166B2 (ja) | ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法 | |
JP6438450B2 (ja) | レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法 | |
JP6240689B2 (ja) | 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法 | |
JP6517762B2 (ja) | 人とロボットが協働して作業を行うロボットの動作を学習するロボットシステム | |
JP6810087B2 (ja) | 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法 | |
JP7342491B2 (ja) | 推論装置、推論方法、及び推論プログラム | |
US10706331B2 (en) | Task execution system, task execution method, training apparatus, and training method | |
US10500721B2 (en) | Machine learning device, laminated core manufacturing apparatus, laminated core manufacturing system, and machine learning method for learning operation for stacking core sheets | |
US20180089589A1 (en) | Machine learning device and machine learning method for learning optimal object grasp route | |
CN106873585A (zh) | 一种导航寻路方法、机器人及*** | |
US10796226B2 (en) | Laser processing apparatus and machine learning device | |
Passalis et al. | Continuous drone control using deep reinforcement learning for frontal view person shooting | |
JP2019030941A (ja) | 制御装置及び学習装置 | |
EP3671555A1 (en) | Object shape regression using wasserstein distance | |
Maravall et al. | Vision-based anticipatory controller for the autonomous navigation of an UAV using artificial neural networks | |
Hafez et al. | Deep intrinsically motivated continuous actor-critic for efficient robotic visuomotor skill learning | |
CN110111359A (zh) | 多目标对象跟踪方法、执行该方法的设备和计算机程序 | |
Ravichandar et al. | Human intention inference and motion modeling using approximate em with online learning | |
JP2020121381A (ja) | 機械学習器、ロボットシステム、及び機械学習方法 | |
Hafez et al. | Improving robot dual-system motor learning with intrinsically motivated meta-control and latent-space experience imagination | |
Hafez et al. | Efficient intrinsically motivated robotic grasping with learning-adaptive imagination in latent space | |
Rottmann et al. | Adaptive autonomous control using online value iteration with gaussian processes | |
Lee et al. | Early failure detection of deep end-to-end control policy by reinforcement learning | |
Trombetta et al. | Variable structure human intention estimator with mobility and vision constraints as model selection criteria | |
Weilong et al. | A bionic simultaneous location and mapping with closed-loop correction based on dynamic recognition threshold |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6514166 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |