JP2019021024A - 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 - Google Patents
機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 Download PDFInfo
- Publication number
- JP2019021024A JP2019021024A JP2017138949A JP2017138949A JP2019021024A JP 2019021024 A JP2019021024 A JP 2019021024A JP 2017138949 A JP2017138949 A JP 2017138949A JP 2017138949 A JP2017138949 A JP 2017138949A JP 2019021024 A JP2019021024 A JP 2019021024A
- Authority
- JP
- Japan
- Prior art keywords
- servo motor
- motor control
- value
- machine learning
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
- H02P29/00—Arrangements for regulating or controlling electric motors, appropriate for both AC and DC motors
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
- H02P6/00—Arrangements for controlling synchronous motors or other dynamo-electric motors using electronic commutation dependent on the rotor position; Electronic commutators therefor
- H02P6/08—Arrangements for controlling the speed or torque of a single motor
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B1/00—Comparing elements, i.e. elements for effecting comparison directly or indirectly between a desired value and existing or anticipated values
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
- H02P21/00—Arrangements or methods for the control of electric machines by vector control, e.g. by control of field orientation
- H02P21/06—Rotor flux based control involving the use of rotor position or rotor speed sensors
- H02P21/08—Indirect field-oriented control; Rotor flux feed-forward control
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
- H02P23/00—Arrangements or methods for the control of AC motors characterised by a control method other than vector control
- H02P23/0004—Control strategies in general, e.g. linear type, e.g. P, PI, PID, using robust control
- H02P23/0031—Control strategies in general, e.g. linear type, e.g. P, PI, PID, using robust control implementing a off line learning phase to determine and store useful data for on-line control
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
- H02P23/00—Arrangements or methods for the control of AC motors characterised by a control method other than vector control
- H02P23/0077—Characterised by the use of a particular software algorithm
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
- H02P23/00—Arrangements or methods for the control of AC motors characterised by a control method other than vector control
- H02P23/24—Controlling the direction, e.g. clockwise or counterclockwise
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
- H02P6/00—Arrangements for controlling synchronous motors or other dynamo-electric motors using electronic commutation dependent on the rotor position; Electronic commutators therefor
- H02P6/14—Electronic commutators
- H02P6/16—Circuit arrangements for detecting position
- H02P6/17—Circuit arrangements for detecting position and for generating speed information
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
- Numerical Control (AREA)
- Control Of Position Or Direction (AREA)
- Control Of Electric Motors In General (AREA)
Abstract
Description
本発明は、非線形摩擦の補償を行い、サーボモータの反転動作時のサーボ系の応答性を改善する、機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法を提供することを目的とする。
所定のプログラムを前記サーボモータ制御装置に実行させることにより、少なくとも位置偏差を含むサーボ状態と、前記非線形摩擦補償手段の補正係数の組み合わせと、を含む状態情報を、前記サーボモータ制御装置から取得する状態情報取得手段(例えば、後述の状態情報取得部201)と、
前記状態情報に含まれる前記補正係数の組み合わせの調整情報を含む行動情報を前記サーボモータ制御装置に出力する行動情報出力手段(例えば、後述の行動情報出力部203)と、
前記状態情報に含まれる前記位置偏差に基づく、強化学習における報酬の値を出力する報酬出力手段(例えば、後述の報酬出力部2021)と、
前記報酬出力手段により出力される報酬の値と、前記状態情報と、前記行動情報とに基づいて行動価値関数を更新する価値関数更新手段(例えば、後述の価値関数更新部2022)と、
を備える機械学習装置である。
所定のプログラムを前記サーボモータ制御装置に実行させることにより、少なくとも位置偏差を含むサーボ状態と、前記非線形摩擦補償手段の補正係数の組み合わせと、を含む状態情報を、前記サーボモータ制御装置から取得し、
前記状態情報に含まれる前記補正係数の組み合わせの調整情報を含む行動情報を前記サーボモータ制御装置に出力し、
前記状態情報に含まれる前記位置偏差に基づく、強化学習における報酬の値と、前記状態情報と、前記行動情報とに基づいて行動価値関数を更新する、機械学習方法である。
(第1の実施形態)
図1は発明の第1の実施形態のサーボモータ制御システムを示すブロック図である。サーボモータ制御システム10は、図1に示すように、n台のサーボモータ制御装置100−1〜100−n、n台の機械学習装置200−1〜200−n、及びネットワーク400を備えている。なお、nは任意の自然数である。
制御対象300は例えばサーボモータを含む、工作機械,ロボット,又は産業機械等である。サーボモータ制御装置100は工作機械,ロボット,又は産業機械等の一部として設けられてもよい。
図2に示されるように、サーボモータ制御装置100は、位置指令作成部101、減算器102、位置制御部103、加算器104、減算器105、速度制御部106、加算器107、積分器108、位置フィードフォワード計算部109、速度フィードフォワード計算部110、及び非線形摩擦補償器111を備えている。
位置指令作成部101は、制御対象300に含まれるサーボモータを動作させるプログラムに基づいて位置指令値を作成する。制御対象300は、例えばサーボモータを含む工作機械で、被加工物(ワーク)を搭載するテーブルをX軸方向及びY軸方向に移動させて加工する場合には、X軸方向及びY軸方向に対してそれぞれ図2に示すサーボモータ制御装置が設けられる。テーブルを3軸以上の方向に移動させる場合には、それぞれの軸方向に対してサーボモータ制御装置が設けられる。
位置指令作成部101は、プログラムにより指定される加工形状となるように、サーボモータの速度を変化させるためにパルス周波数を変えて位置指令値を作成する。
以上のように、サーボモータ制御装置100は構成される。
図4は制御対象300の一例となる、サーボモータを含む工作機械を示すブロック図である。
サーボモータ制御装置100は、サーボモータ302で連結機構303を介してテーブル304を移動させ、テーブル304の上に搭載された被加工物(ワーク)を加工する。連結機構303は、サーボモータ302に連結されたカップリング3031と、カップリング3031に固定されるボールねじ3033とを有し、ボールねじ3033にナット3032が螺合されている。サーボモータ302の回転駆動によって、ボールねじ3033に螺着されたナット3032がボールねじ3033の軸方向に移動する。非線形摩擦は、カップリング3031とボールねじ3033とを含む連結機構303、ナット3032等で生ずるが、サーボモータ302においても非線形摩擦が生ずる。
機械学習装置200は、予め設定された評価用のプログラム(以下、「評価用プログラム」を実行することで、非線形摩擦補償器111の補正係数を学習する。ここで、サーボモータでテーブルをX軸方向及びY軸方向に移動させて加工する場合には、評価用プログラムにより指定される加工形状は、サーボモータの反転動作を評価するとき、例えば、円形、四角形、又は星形等を用いることができる。
図5は、加工形状が円形の場合のサーボモータの動作を説明するための図である。図6は、加工形状が四角形の場合のサーボモータの動作を説明するための図である。図5及び図6において、被加工物(ワーク)が時計まわりに加工されるようにテーブルが移動する。
評価用プログラムは、サーボモータ制御装置100の位置指令作成部101から出力されるパルスの周波数を制御する。この周波数の制御により、テーブルのX軸方向又はY軸方向の送り速度が制御される。位置指令作成部101から出力されるパルスの周波数が高くなるとモータの回転速度が上がり、送り速度が高くなり、パルスの周波数が低くなるとモータの回転速度が低下し、送り速度が低くなる。サーボモータ302の回転方向が反転するときにテーブルの移動方向がX軸方向又はY軸方向について反転する。
図5に示す位置A1では、テーブルをY軸方向に移動するサーボモータは回転方向が反転し、テーブルはY軸方向に直線反転するように移動する。一方、位置A1で、テーブルをX軸方向に移動するサーボモータは位置A1の前後の速度と同じ速度で回転し、テーブルはX軸方向に位置A1の前後の速度と同じ速度で移動する。テーブルがY軸方向で反転する位置A1は図7で示した正方向の反転位置に対応する。一方、テーブルがX軸方向に等速度で移動するテーブルは、図7で示した波形(正弦波)の位相が90度遅れた又は進んだ波形(余弦波)となり、位置A1は図7で示す、正方向の反転位置と負方向の反転位置との中間の位置に対応する。
図5に示す位置A2では、テーブルをX軸方向に移動するサーボモータの動作と、テーブルをY軸方向に移動するサーボモータの動作とが逆になるように、各サーボモータが制御される。つまり、位置A2で、テーブルをX軸方向に移動するサーボモータは回転方向が反転し、テーブルはX軸方向に直線反転するように移動する。一方、位置A2で、テーブルをY軸方向に移動するサーボモータは位置A2の前後の速度と同じ速度で回転し、テーブルはY軸方向に位置A2の前後の速度と同じ速度で移動する。
図6に示す位置B1では、テーブルをX軸方向に移動するサーボモータは回転方向が反転し、テーブルはX軸方向に直線反転するように移動する。一方、位置B1で、テーブルをY軸方向に移動するサーボモータは等速度で回転し、テーブルはY軸方向に等速度で移動する。テーブルがX軸方向で反転する位置B1は図8で示した負方向の反転位置に対応する。一方、テーブルがY軸方向に等速度で移動するテーブルは、図8で示した三角波の位相が90度遅れた又は進んだ三角波となり、位置B1は図8で示す、正方向の反転位置と負方向の反転位置との中間の位置に対応する。
図6に示す位置B2では、テーブルをX軸方向に移動するサーボモータの動作と、テーブルをY軸方向に移動するサーボモータの動作とが逆になるように、各サーボモータが制御される。つまり、位置B2で、テーブルをY軸方向に移動するサーボモータは回転方向が反転し、テーブルはY軸方向に直線反転するように移動する。一方、位置B2で、テーブルをX軸方向に移動するサーボモータは等速度で回転し、テーブルはX軸方向に等速度で移動する。
星形の4つの「<」形状の突出し部の頂点、例えば、図9に示す位置C1で、テーブルをX軸方向に移動するサーボモータは回転方向が反転し、テーブルはX軸方向に直線反転するように移動する。同様に、位置C1で、テーブルをY軸方向に移動するサーボモータは回転方向が反転し、テーブルはY軸方向に直線反転するように移動する。よって、テーブルをX軸方向及びY軸方向に移動する2つのサーボモータの回転方向がともに反転する場合のサーボモータの反転動作を評価することができる。
機械学習装置200は、評価用プログラムに基づいて制御対象300を駆動させたときの、位置偏差を低減するための、非線形摩擦補償器111の補正係数c、dの組み合わせを学習する。
教師あり学習が、完全な正解を示すのに対して、強化学習における報酬は、環境の一部の変化に基づく断片的な値であることが多い。このため、エージェントは、将来にわたっての報酬の合計を最大にするように行動を選択するように学習する。
Q学習では、或る状態sのとき、取り得る行動aのなかから、価値関数Q(s,a)の最も高い行動aを最適な行動として選択することを目的とする。
この更新式は、状態stにおける行動atの価値関数Q(st,at)よりも、行動atによる次の状態st+1における最良の行動の価値maxa Q(st+1,a)の方が大きければ、Q(st,at)を大きくし、逆に小さければ、Q(st,at)を小さくすることを示している。つまり、或る状態における或る行動の価値を、それによる次の状態における最良の行動の価値に近づける。ただし、その差は、割引率γと報酬rt+1のあり方により変わってくるが、基本的には、ある状態における最良の行動の価値が、それに至る一つ前の状態における行動の価値に伝播していく仕組みになっている。
「Human-level control through deep reinforcement learning」、Volodymyr Mnih1著[online]、[平成29年1月17日検索]、インターネット〈URL:http://files.davidqiu.com/research/nature14236.pdf〉
上述した強化学習を行うために、図10に示すように、機械学習装置200は、状態情報取得部201、学習部202、行動情報出力部203、価値関数記憶部204、及び最適化行動情報出力部205を備える。学習部202は報酬出力部2021、価値関数更新部2022、及び行動情報生成部2023を備える。
状態情報取得部201は、取得した状態情報sを学習部202に対して出力する。
なお、最初にQ学習を開始する時点での非線形摩擦補償器111の補正係数c、dは、予めユーザが生成するようにする。本実施形態では、例えばユーザが作成した非線形摩擦補償器111の補正係数c、dの初期設定値を、強化学習により最適なものに調整する。
評価関数fとしては、例えば、
位置偏差の絶対値の積算値を算出する関数
∫|e|dt
位置偏差の絶対値に時間の重み付けをして積算値を算出する関数
∫t|e|dt
位置偏差の絶対値の2n(nは自然数)乗の積算値を算出する関数、
∫e2ndt(nは自然数)
位置偏差の絶対値の最大値を算出する関数
Max{|e|}
等を適用することができる。なお、評価関数はこれに限定されない。位置偏差集合PD(s)の基づいて、状態sにおける位置偏差値を適切に評価する関数であればよい。
価値関数Qの更新は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。
より具体的には、最適化行動情報出力部205は、価値関数記憶部204が記憶している価値関数Qを取得する。この価値関数Qは、上述したように価値関数更新部2022がQ学習を行うことにより更新したものである。そして、最適化行動情報出力部205は、価値関数Qに基づいて、行動情報を生成し、生成した行動情報をサーボモータ制御装置100(非線形摩擦補償器111)に対して出力する。この最適化行動情報には、行動情報出力部203がQ学習の過程において出力する行動情報と同様に、非線形摩擦補償器111の各補正係数c、dを修正する情報が含まれる。
以上のように、本発明に係る機械学習装置200を利用することで、サーボモータ制御装置100の非線形摩擦補償器111のパラメータ調整を簡易化することができる。
これらの機能ブロックを実現するために、サーボモータ制御装置100、及び機械学習装置200のそれぞれは、CPU(Central Processing Unit)等の演算処理装置を備える。また、サーボモータ制御装置100、及び機械学習装置200のそれぞれは、アプリケーションソフトウェアやOS(Operating System)等の各種の制御用プログラムを格納したHDD(Hard Disk Drive)等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのRAM(Random Access Memory)といった主記憶装置も備える。
なお、ステップS18はオンライン更新を例示しているが、オンライン更新に替えてバッチ更新又はミニバッチ更新に置き換えてもよい。
次に、図12のフローチャートを参照して、最適化行動情報出力部205による最適化行動情報の生成時の動作について説明をする。
まず、ステップS21において、最適化行動情報出力部205は、価値関数記憶部204に記憶している価値関数Qを取得する。価値関数Qは、上述したように価値関数更新部2022がQ学習を行うことにより更新したものである。
図5に示したように、制御対象に含まれるテーブルがX軸方向又はY軸方向に正弦波状に移動する場合、機械学習による非線形摩擦補償器111のパラメータ調整前は、図13に示すように、サーボモータの回転方向が反転しようとした時に、位置指令作成部101で設定される、破線で示す正弦波状のテーブルの移動軌跡に対して、非線形摩擦のために実線で示す移動軌跡のように反転遅れが生じ、テーブルはすぐには反転移動しない。機械学習による非線形摩擦補償器111のパラメータ調整後は、図14に示すように、非線形摩擦による反転遅れは解消されて、実線で示すように、テーブルは正弦波状の移動軌跡で移動する。図13及び図14における矢印は反転位置を示している。
上述した実施形態において、サーボモータ制御装置100は、速度フィードフォワード計算部110を備え、非線形摩擦補償器111を速度フィードフォワード計算部110に並列に接続される構成としたが、これに限定されない。速度フィードフォワード計算部110はオプションとして、サーボモータ制御装置100は、速度フィードフォワード計算部110を備えていないようにしてもよい。
上述した実施形態では、機械学習装置200を、サーボモータ制御装置100とは別体の装置により構成したが、機械学習装置200の機能の一部又は全部をサーボモータ制御装置100により実現するようにしてもよい。
上述した実施形態では、機械学習装置200とサーボモータ制御装置100とが1対1の組として通信可能に接続されているが、例えば1台の機械学習装置200が複数のサーボモータ制御装置100とネットワーク400を介して通信可能に接続され、各サーボモータ制御装置100の機械学習を実施するようにしてもよい。
その際、機械学習装置200の各機能を、適宜複数のサーバに分散する、分散処理システムとしてもよい。また、クラウド上で仮想サーバ機能等を利用して、機械学習装置200の各機能を実現してもよい。
また、複数の同じ型名、同一仕様、又は同一シリーズのサーボモータ制御装置100−1〜100−nとそれぞれ対応する複数の機械学習装置200−1〜200−nがあった場合に、各機械学習装置200−1〜200−nにおける学習結果を共有するように構成するようにしてもよい。そうすることで、より最適なモデルを構築することが可能となる。
100 サーボモータ制御装置
101 位置指令作成部
102 減算器
103 位置制御部
104 加算器
105 減算器
106 速度制御部
107 加算器
108 積分器
109 位置フィードフォワード計算部
110 速度フィードフォワード計算部
111 非線形摩擦補償器
200 機械学習装置
201 状態情報取得部
202 学習部
203 行動情報出力部
204 価値関数記憶部
205 最適化行動情報出力部
300 制御対象
400 ネットワーク
Claims (9)
- 位置指令に基づいて非線形摩擦に対する補正値を作成する非線形摩擦補償手段を備える、サーボモータ制御装置に対して、機械学習を行う機械学習装置であって、
所定のプログラムを前記サーボモータ制御装置に実行させることにより、少なくとも位置偏差を含むサーボ状態と、前記非線形摩擦補償手段の補正係数の組み合わせと、を含む状態情報を、前記サーボモータ制御装置から取得する状態情報取得手段と、
前記状態情報に含まれる前記補正係数の組み合わせの調整情報を含む行動情報を前記サーボモータ制御装置に出力する行動情報出力手段と、
前記状態情報に含まれる前記位置偏差に基づく、強化学習における報酬の値を出力する報酬出力手段と、
前記報酬出力手段により出力される報酬の値と、前記状態情報と、前記行動情報とに基づいて行動価値関数を更新する価値関数更新手段と、
を備える機械学習装置。 - 前記報酬出力手段は、前記位置偏差の絶対値に基づいて前記報酬の値を出力する請求項1に記載の機械学習装置。
- 前記サーボモータ制御装置は、前記位置指令に基づいて速度フィードフォワード値を作成する速度フィードフォワード計算手段をさらに有し、前記非線形摩擦補償手段は前記速度フィードフォワード計算手段に並列に接続されている、請求項1又は2に記載の機械学習装置。
- 前記価値関数更新手段により更新された価値関数に基づいて、前記非線形摩擦補償手段の補正係数の組み合わせを生成して出力する最適化行動情報出力手段をさらに備えた請求項1から3のいずれか1項に記載の機械学習装置。
- 請求項1から請求項4のいずれか1項に記載の機械学習装置と、非線形摩擦に対する補正値を作成する非線形摩擦補償手段を有するサーボモータ制御装置と、を備えたサーボモータ制御システム。
- 前記サーボモータ制御装置は、位置指令に基づいて速度フィードフォワード値を作成する速度フィードフォワード計算手段をさらに有し、前記非線形摩擦補償手段は前記速度フィードフォワード計算手段に並列に接続されている、請求項5に記載のサーボモータ制御システム。
- 請求項1から請求項4のいずれか1項に記載の機械学習装置と、非線形摩擦に対する補正値を作成する非線形摩擦補償手段と、を備えたサーボモータ制御装置。
- 位置指令に基づいて速度フィードフォワード値を作成する速度フィードフォワード計算手段をさらに備え、前記非線形摩擦補償手段は前記速度フィードフォワード計算手段に並列に接続されている、請求項7に記載のサーボモータ制御装置。
- 位置指令に基づいて非線形摩擦に対する補正値を作成する非線形摩擦補償手段を備える、サーボモータ制御装置に対して、機械学習を行う機械学習装置の機械学習方法であって、
所定のプログラムを前記サーボモータ制御装置に実行させることにより、少なくとも位置偏差を含むサーボ状態と、前記非線形摩擦補償手段の補正係数の組み合わせと、を含む状態情報を、前記サーボモータ制御装置から取得し、
前記状態情報に含まれる前記補正係数の組み合わせの調整情報を含む行動情報を前記サーボモータ制御装置に出力し、
前記状態情報に含まれる前記位置偏差に基づく、強化学習における報酬の値と、前記状態情報と、前記行動情報とに基づいて行動価値関数を更新する、機械学習方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017138949A JP6538766B2 (ja) | 2017-07-18 | 2017-07-18 | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 |
US16/021,447 US10418921B2 (en) | 2017-07-18 | 2018-06-28 | Machine learning device, servo motor control device, servo motor control system, and machine learning method |
DE102018211148.0A DE102018211148A1 (de) | 2017-07-18 | 2018-07-06 | Maschinenlernvorrichtung, servomotor- regeleinrichtung, servomotor-regelsystem und maschinenlernverfahren |
CN201810771452.8A CN109274314B (zh) | 2017-07-18 | 2018-07-13 | 机器学习装置、伺服电动机控制装置、伺服电动机控制***以及机器学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017138949A JP6538766B2 (ja) | 2017-07-18 | 2017-07-18 | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019021024A true JP2019021024A (ja) | 2019-02-07 |
JP6538766B2 JP6538766B2 (ja) | 2019-07-03 |
Family
ID=64951961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017138949A Active JP6538766B2 (ja) | 2017-07-18 | 2017-07-18 | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10418921B2 (ja) |
JP (1) | JP6538766B2 (ja) |
CN (1) | CN109274314B (ja) |
DE (1) | DE102018211148A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020187489A (ja) * | 2019-05-13 | 2020-11-19 | 株式会社東芝 | 制御装置、制御方法、及びモータ制御システム |
JP2020198657A (ja) * | 2019-05-30 | 2020-12-10 | 国立大学法人長岡技術科学大学 | モータ制御装置、モータ装置および機械学習装置 |
DE102020210730A1 (de) | 2019-09-03 | 2021-07-15 | Fanuc Corporation | Maschinenlernvorrichtung, empfangsvorrichtung und maschinenlernverfahren |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6544219B2 (ja) * | 2015-11-30 | 2019-07-17 | オムロン株式会社 | 制御装置 |
JP6474449B2 (ja) * | 2017-04-07 | 2019-02-27 | ファナック株式会社 | 調整装置及び調整方法 |
JP6646025B2 (ja) * | 2017-09-15 | 2020-02-14 | ファナック株式会社 | 制御装置及び機械学習装置 |
JP6748135B2 (ja) * | 2018-03-19 | 2020-08-26 | ファナック株式会社 | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 |
JP6982557B2 (ja) * | 2018-08-31 | 2021-12-17 | 株式会社日立製作所 | 報酬関数の生成方法及び計算機システム |
WO2020075316A1 (ja) * | 2018-10-12 | 2020-04-16 | 三菱電機株式会社 | 位置決め制御装置及び位置決め方法 |
JP7000359B2 (ja) | 2019-01-16 | 2022-01-19 | ファナック株式会社 | 判定装置 |
JP6978452B2 (ja) * | 2019-02-12 | 2021-12-08 | ファナック株式会社 | 機械学習装置、制御装置、及び機械学習の探索範囲の設定方法 |
JP7000371B2 (ja) * | 2019-03-22 | 2022-01-19 | ファナック株式会社 | 機械学習装置、制御システム及び機械学習方法 |
JP2021002194A (ja) * | 2019-06-21 | 2021-01-07 | ファナック株式会社 | 数値制御装置、cnc工作機械、数値制御方法及び数値制御用プログラム |
CN112083687B (zh) * | 2020-09-11 | 2021-06-11 | 苏州浩智工业控制技术有限公司 | 基于现场总线的速度前馈的过象限补偿方法及装置 |
CN112828678B (zh) * | 2021-02-09 | 2022-03-18 | 蓝思智能机器人(长沙)有限公司 | 速度补偿方法、装置和电子设备 |
CN113325804B (zh) * | 2021-06-08 | 2022-03-29 | 中国科学院数学与***科学研究院 | 一种运动控制***的q学习扩张状态观测器设计方法 |
CN113472242B (zh) * | 2021-07-05 | 2022-07-15 | 江南大学 | 基于多智能体的抗干扰自适应模糊滑模协同控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005071034A (ja) * | 2003-08-22 | 2005-03-17 | Mitsubishi Electric Corp | サーボ制御装置 |
JP2010009529A (ja) * | 2008-06-30 | 2010-01-14 | Fanuc Ltd | サーボモータの駆動制御装置及び駆動制御方法 |
JP2013003845A (ja) * | 2011-06-16 | 2013-01-07 | Institute Of National Colleges Of Technology Japan | 組み込み知能コントローラ、制御システム、制御プログラム、記録媒体、及び制御方法 |
JP2017033138A (ja) * | 2015-07-30 | 2017-02-09 | ファナック株式会社 | 工作機械、シミュレーション装置、及び機械学習器 |
JP2017102613A (ja) * | 2015-11-30 | 2017-06-08 | ファナック株式会社 | 機械の送り軸の送りの滑らかさを最適化する機械学習装置および方法ならびに該機械学習装置を備えたモータ制御装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3465236B2 (ja) * | 2000-12-20 | 2003-11-10 | 科学技術振興事業団 | ロバスト強化学習方式 |
US7437201B2 (en) * | 2003-01-14 | 2008-10-14 | Cullen Christopher P | Electric motor controller |
JP3917094B2 (ja) | 2003-03-17 | 2007-05-23 | 山洋電気株式会社 | モータの制御方法及び装置 |
JP5340423B2 (ja) * | 2010-01-27 | 2013-11-13 | 三菱電機株式会社 | モータ制御装置 |
JP6214948B2 (ja) | 2013-07-12 | 2017-10-18 | 三菱重工業株式会社 | 摩擦補償装置及び摩擦補償方法並びにサーボ制御装置 |
JP6020537B2 (ja) | 2014-11-21 | 2016-11-02 | 株式会社安川電機 | モータ制御装置及びモータ制御方法 |
CN105045103B (zh) * | 2015-07-27 | 2018-06-29 | 台州学院 | 一种基于LuGre摩擦模型伺服机械手摩擦补偿控制***及方法 |
JP6106226B2 (ja) * | 2015-07-31 | 2017-03-29 | ファナック株式会社 | ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法 |
-
2017
- 2017-07-18 JP JP2017138949A patent/JP6538766B2/ja active Active
-
2018
- 2018-06-28 US US16/021,447 patent/US10418921B2/en active Active
- 2018-07-06 DE DE102018211148.0A patent/DE102018211148A1/de active Pending
- 2018-07-13 CN CN201810771452.8A patent/CN109274314B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005071034A (ja) * | 2003-08-22 | 2005-03-17 | Mitsubishi Electric Corp | サーボ制御装置 |
JP2010009529A (ja) * | 2008-06-30 | 2010-01-14 | Fanuc Ltd | サーボモータの駆動制御装置及び駆動制御方法 |
JP2013003845A (ja) * | 2011-06-16 | 2013-01-07 | Institute Of National Colleges Of Technology Japan | 組み込み知能コントローラ、制御システム、制御プログラム、記録媒体、及び制御方法 |
JP2017033138A (ja) * | 2015-07-30 | 2017-02-09 | ファナック株式会社 | 工作機械、シミュレーション装置、及び機械学習器 |
JP2017102613A (ja) * | 2015-11-30 | 2017-06-08 | ファナック株式会社 | 機械の送り軸の送りの滑らかさを最適化する機械学習装置および方法ならびに該機械学習装置を備えたモータ制御装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020187489A (ja) * | 2019-05-13 | 2020-11-19 | 株式会社東芝 | 制御装置、制御方法、及びモータ制御システム |
JP7384572B2 (ja) | 2019-05-13 | 2023-11-21 | 株式会社東芝 | 制御装置、制御方法、及びモータ制御システム |
JP2020198657A (ja) * | 2019-05-30 | 2020-12-10 | 国立大学法人長岡技術科学大学 | モータ制御装置、モータ装置および機械学習装置 |
DE102020210730A1 (de) | 2019-09-03 | 2021-07-15 | Fanuc Corporation | Maschinenlernvorrichtung, empfangsvorrichtung und maschinenlernverfahren |
Also Published As
Publication number | Publication date |
---|---|
JP6538766B2 (ja) | 2019-07-03 |
US20190028043A1 (en) | 2019-01-24 |
US10418921B2 (en) | 2019-09-17 |
CN109274314A (zh) | 2019-01-25 |
CN109274314B (zh) | 2020-04-21 |
DE102018211148A1 (de) | 2019-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6538766B2 (ja) | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 | |
JP6490127B2 (ja) | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 | |
JP6499720B2 (ja) | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 | |
JP6748135B2 (ja) | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 | |
US10824121B2 (en) | Machine learning device, servo motor controller, servo motor control system, and machine learning method | |
JP6474456B2 (ja) | 機械学習装置、サーボ制御システム及び機械学習方法 | |
JP6740277B2 (ja) | 機械学習装置、制御装置、及び機械学習方法 | |
JP6474449B2 (ja) | 調整装置及び調整方法 | |
US11087509B2 (en) | Output device, control device, and evaluation function value output method | |
JP6740278B2 (ja) | 機械学習装置、制御装置、及び機械学習方法 | |
JP6740279B2 (ja) | 調整装置及び調整方法 | |
JP2020177257A (ja) | 機械学習装置、制御装置及び機械学習方法 | |
CN112445181A (zh) | 机器学习装置、伺服控制装置、伺服控制***以及机器学习方法 | |
JP6978452B2 (ja) | 機械学習装置、制御装置、及び機械学習の探索範囲の設定方法 | |
CN111722530B (zh) | 机器学习装置、控制***以及机器学习方法 | |
JP6740263B2 (ja) | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 | |
JP6740290B2 (ja) | 機械学習装置、制御装置、及び機械学習方法 | |
WO2021210483A1 (ja) | 機械学習装置、制御装置及び機械学習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20181211 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6538766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |