JP6748135B2 - 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 - Google Patents

機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 Download PDF

Info

Publication number
JP6748135B2
JP6748135B2 JP2018051219A JP2018051219A JP6748135B2 JP 6748135 B2 JP6748135 B2 JP 6748135B2 JP 2018051219 A JP2018051219 A JP 2018051219A JP 2018051219 A JP2018051219 A JP 2018051219A JP 6748135 B2 JP6748135 B2 JP 6748135B2
Authority
JP
Japan
Prior art keywords
feedforward
calculation unit
machine learning
feedforward calculation
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018051219A
Other languages
English (en)
Other versions
JP2019164484A (ja
Inventor
亮太郎 恒木
亮太郎 恒木
聡史 猪飼
聡史 猪飼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2018051219A priority Critical patent/JP6748135B2/ja
Priority to US16/272,099 priority patent/US11023827B2/en
Priority to DE102019201758.4A priority patent/DE102019201758A1/de
Priority to CN201910197184.8A priority patent/CN110286645B/zh
Publication of JP2019164484A publication Critical patent/JP2019164484A/ja
Application granted granted Critical
Publication of JP6748135B2 publication Critical patent/JP6748135B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/404—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for compensation, e.g. for backlash, overshoot, tool offset, tool wear, temperature, machine construction errors, load, inertia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33116—Configuration of motion control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33327—Self diagnostic of control system, servo system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/34—Director, elements to supervisory
    • G05B2219/34013—Servocontroller

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Feedback Control In General (AREA)
  • Numerical Control (AREA)

Description

本発明は、少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いたサーボ制御装置に対して、機械学習を行う機械学習装置、この機械学習装置を含むサーボ制御装置とサーボ制御システム、及び機械学習方法に関する。
フィードフォワード制御を用いたサーボ制御装置は、例えば特許文献１から特許文献４に記載されている。
特許文献１は、位置指令値から速度指令のフィードフォワード項を計算して、位置制御部から出力される速度指令に加算する神経回路網と、速度指令値からトルク指令のフィードフォワード項を計算して、速度制御部から出力されるトルク指令に加算する神経回路網とを記載している。そして、各神経回路網は駆動系の慣性モーメントの変動及び駆動系の持つ共振特性などを学習して、最適なフォードフォワード項を演算する。
特許文献２は、位置指令値から速度指令のフィードフォワード項を計算して、位置制御器から出力される速度指令に加算する位置フィードフォワード計算部と、位置指令値からトルク指令のフィードフォワード項を計算して、速度制御器から出力されるトルク指令に加算する速度フィードフォワード計算部とを記載している。また特許文献２は、位置指令値とフィードバックされた位置検出値との差である位置偏差に基づいて位置フィードフォワード計算部のゲインを学習する学習制御器と、位置偏差又は、速度指令値とフィードバックされた速度検出値との差である速度偏差に基づいて速度フィードフォワード計算部のゲインを学習する学習制御器とを記載している。
特許文献３は、指令値を入力し、制御対象が所望の動作を実現しうる理想的な動作指令を作成し、制御対象を制御するサーボ制御部へ動作指令を出力する最適指令作成装置において、制御対象モデルと、制御対象モデルが所望の動作を実現するように学習制御を行う学習制御部あるいは予測制御を行う予測制御部を記載している。
特許文献４は、フィードフォワード制御系が、位置指令に基づいて速度フィードフォワード信号を生成する速度フィードフォワード作成部と、位置指令に基づいてトルクフィードフォワード信号を生成するトルクフィードフォワード作成部と、速度フィードフォワード信号およびトルクフィードフォワード信号に基づいて速度フィードフォワード変更信号を生成する速度フィードフォワード変更部と、を備えたサーボ制御装置を記載している。
特開平４−０８４３０３号公報 特開平２−０８５９０２号公報 特開２００３−０８４８０４号公報 特開２０００−０３３１７２号公報
特許文献２において、サーボ制御装置は、位置フィードフォワード制御に対する学習を行う学習制御器と、速度フィードフォワード制御に対する学習を行う学習制御器とを用いて、位置フィードフォワード制御に対する学習と速度フィードフォワード制御に対する学習とを同時に行っている。
しかしながら、位置フィードフォワード制御に対する学習と速度フィードフォワード制御に対する学習とを同時に行うと、学習のための情報処理量が増大する。一方の学習制御器が位置偏差を低減すべく、位置偏差に基づいて速度指令に対するフィードフォワード項を変更しても、他方の学習制御器が位置偏差に基づいてトルク速度指令に対するフィードフォワード項を変更すると、その変更の影響を受けて位置偏差が変わる。このため、二つの学習制御器の学習が相互に干渉して、二つの学習制御器の学習のための情報処理量が増大する。
本発明は、少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いたサーボ制御装置において、機械学習のための情報処理量を低減して機械学習の収束時間を短縮化でき、且つ位置偏差の変動を抑制して高精度化を図ることができる機械学習装置、この機械学習装置を含むサーボ制御装置、サーボ制御システム、及び機械学習方法を提供することを目的とする。
（１） 本発明に係る機械学習装置は、少なくとも二つ以上のフィードフォワード計算部（例えば、後述の位置フィードフォワード計算部１０９と速度フィードフォワード計算部１１０）が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータ（例えば、後述のサーボモータ３００）を制御するサーボ制御装置（例えば、後述のサーボ制御装置１００）に対して、前記少なくとも二つ以上のフィードフォワード計算部の係数の最適化に係る機械学習を行う機械学習装置（例えば、後述の機械学習装置２００）であって、
前記少なくとも二つのフィードフォワード計算部のうちの一のフィードフォワード計算部により計算されるフィードフォワード項により補正される一つの指令が、前記少なくとも二つのフィードフォワード計算部のうちの他のフィードフォワード計算部により計算されるフィードフォワード項により補正される他の指令よりも、前記サーボモータから見て内側の指令である場合、
先ず、前記一のフィードフォワード計算部の係数の最適化に係る機械学習を行い、その次に、前記一のフィードフォワード計算部の係数の最適化に係る機械学習により得られる前記一のフィードフォワード計算部の最適化された係数に基づいて、前記他のフィードフォワード計算部の係数の最適化に係る機械学習を行う機械学習装置である。
（２） 上記（１）の機械学習装置において、前記少なくとも二つ以上のフィードフォワード計算部は、位置指令に基づいて速度指令の第１のフィードフォワード項を計算する位置フィードフォワード計算部（例えば、後述の位置フィードフォワード計算部１０９）、位置指令に基づいてトルク指令の第２の第２のフィードフォワード項を計算する速度フィードフォワード計算部（例えば、後述の速度フィードフォワード計算部１１０）、及び位置指令に基づいて電流指令の第３のフィードフォワード項を計算する電流フィードフォワード計算部（例えば、後述の電流フィードフォワード計算部１１４）のうちの少なくとも二つのフィードフォワード計算部であり、
前記一の指令及び前記他の指令は、前記速度指令、前記トルク指令及び前記電流指令のうちの二つの指令であり、
前記サーボモータは前記トルク指令又は前記電流指令により駆動されてもよい。
（３） 上記（２）の機械学習装置において、前記一のフィードフォワード計算部は前記速度フィードフォワード計算部であり、前記他のフィードフォワード計算部は前記位置フィードフォワード計算部であってもよい。
（４） 上記（２）の機械学習装置において、前記サーボ制御装置は、前記位置フィードフォワード計算部、前記速度フィードフォワード計算部、及び前記電流フィードフォワード計算部を備え、
前記一のフィードフォワード計算部は前記速度フィードフォワード計算部又は前記電流フィードフォワード計算部であり、前記他のフィードフォワード計算部は前記位置フィードフォワード計算部であってもよい。
（５） 上記（１）から（４）のいずれかの機械学習装置において、前記他のフィードフォワード計算手段の伝達関数の係数の初期設定値は、前記一のフィードフォワード計算手段の伝達関数の係数の初期設定値と同じ値としてもよい。
（６） 上記（１）から（５）のいずれかの機械学習装置において、所定の加工プログラムを前記サーボ制御装置に実行させることにより、少なくとも位置偏差を含むサーボ状態と、前記一又は他のフィードフォワード計算手段の伝達関数の係数の組み合わせと、を含む状態情報を、前記サーボ制御装置から取得する状態情報取得手段（例えば、後述の状態情報取得部２０１）と、
前記状態情報に含まれる前記係数の組み合わせの調整情報を含む行動情報を前記サーボ制御装置に出力する行動情報出力手段（例えば、後述の行動情報出力部２０３）と、
前記状態情報に含まれる前記位置偏差に基づく、強化学習における報酬の値を出力する報酬出力手段（例えば、後述の報酬出力部２０２１）と、
前記報酬出力手段により出力される報酬の値と、前記状態情報と、前記行動情報とに基づいて行動価値関数を更新する価値関数更新手段（例えば、後述の価値関数更新部２０２２）と、
を備えてもよい。
（７） 上記（６）の機械学習装置において、前記報酬出力手段は、前記位置偏差の絶対値に基づいて前記報酬の値を出力してもよい。
（８） 上記（６）又は（７）の機械学習装置において、前記価値関数更新手段により更新された価値関数に基づいて、前記少なくとも二つのフィードフォワード計算手段の伝達関数の係数の組み合わせを生成して出力する最適化行動情報出力手段（例えば、後述の最適化行動情報出力部２０５）を備えてもよい。
（９） 本発明に係るサーボ制御システムは、上記（１）から（８）のいずれかの機械学習装置と、少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータを制御するサーボ制御装置と、を備えたサーボ制御システムである。
（１０） 本発明に係るサーボ制御装置は、上記（１）から（８）のいずれかの機械学習装置と、少なくとも二つ以上のフィードフォワード計算部と、を備え、
前記少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータを制御するサーボ制御装置である。
（１１） 本発明に係る機械学習方法は、少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータを制御するサーボ制御装置に対して、前記少なくとも二つ以上のフィードフォワード計算部の係数の最適化に係る機械学習を行う機械学習装置の機械学習方法であって、
前記少なくとも二つのフィードフォワード計算部のうちの一のフィードフォワード計算部により計算されるフィードフォワード項により補正される一つの指令が、前記少なくとも二つのフィードフォワード計算部のうちの他のフィードフォワード計算部により計算されるフィードフォワード項により補正される他の指令よりも、前記サーボモータから見て内側の指令である場合、
先ず、前記一のフィードフォワード計算部の係数の最適化に係る機械学習を行い、その次に、前記一のフィードフォワード計算部の係数の最適化に係る機械学習により得られる前記一のフィードフォワード計算部の最適化された係数に基づいて、前記他のフィードフォワード計算部の係数の最適化に係る機械学習を行う機械学習方法である。
本発明によれば、少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いたサーボ制御装置において、機械学習の収束時間を短縮化でき、且つ位置偏差の変動を抑制して高精度化を図ることができる。
本発明の第１の実施形態のサーボ制御システムを示すブロック図である。 本発明の第１の実施形態のサーボ制御システムのサーボ制御装置と機械学習装置との組、及びモータを示すブロック図である。 サーボ制御装置の制御対象の一例となる、モータを含む工作機械の一部を示すブロック図である。 加工形状が八角形の場合のモータの動作を説明するための図である。 加工形状が、八角形の角が一つ置きに円弧に置き換えられた形の場合のモータの動作を説明するための図である。 第１の実施形態の機械学習装置を示すブロック図である。 第１の実施形態の機械学習装置の動作を説明するフローチャートである。 第１の実施形態の機械学習装置の最適化行動情報出力部の動作を説明するフローチャートである。 本発明の第２の実施形態のサーボ制御装置の一部を示すブロック図である。
以下、本発明の実施形態について図面を用いて詳細に説明する。
（第１の実施形態）
図１は発明の第１の実施形態のサーボ制御システムを示すブロック図である。サーボ制御システム１０は、図１に示すように、ｎ台のサーボ制御装置１００−１〜１００−ｎ、ｎ台の機械学習装置２００−１〜２００−ｎ、及びネットワーク４００を備えている。なお、ｎは任意の自然数である。第１の実施形態の機械学習装置２００−１〜２００−ｎは、機械学習の一例として、後述するように、サーボ制御装置１００−１〜１００−ｎにおいて多重ループを構成する、位置フィードフォワード計算部１０９と速度フィードフォワード計算部１１０の係数に係る強化学習を行うものとして説明する。
なお、本発明は、これに限定されない。すなわち、本発明は位置フィードフォワード計算部１０９と速度フィードフォワード計算部１１０以外の多重ループを構成するフィードフォワード計算部に係る機械学習に対しても適用できる。また、本発明における機械学習は強化学習に限定されず、他の機械学習（例えば教師あり学習）を行う場合にも適用できる。
ここで、サーボ制御装置１００−１と機械学習装置２００−１とは１対１の組とされて、通信可能に接続されている。サーボ制御装置１００−２〜１００−ｎと機械学習装置２００−２〜１００−ｎについてもサーボ制御装置１００−１と機械学習装置２００−１と同様に接続される。図１では、サーボ制御装置１００−１〜１００−ｎと機械学習装置２００−１〜２００−ｎとのｎ個の組は、ネットワーク４００を介して接続されているが、サーボ制御装置１００−１〜１００−ｎと機械学習装置２００−１〜２００−ｎとのｎ個の組は、それぞれの組のサーボ制御装置と機械学習装置とが接続インタフェースを介して直接接続されてもよい。これらサーボ制御装置１００−１〜１００−ｎと機械学習装置２００−１〜２００−ｎとのｎ個の組は、例えば同じ工場に複数組設置されていてもよく、それぞれ異なる工場に設置されていてもよい。
なお、ネットワーク４００は、例えば、工場内に構築されたＬＡＮ（Local Area Network）や、インターネット、公衆電話網、或いは、これらの組み合わせである。ネットワーク４００における具体的な通信方式や、有線接続および無線接続のいずれであるか等については、特に限定されない。
図２は本発明の第１の実施形態のサーボ制御システムのサーボ制御装置と機械学習装置との組、及びモータを示すブロック図である。図２のサーボ制御装置１００と、機械学習装置２００は例えば、図１に示すサーボ制御装置１００−１と機械学習装置２００−１とに対応している。
サーボモータ３００は、サーボ制御装置の制御対象となる、例えば工作機械，ロボット，産業機械等に含まれる。サーボ制御装置１００はサーボモータ３００とともに、工作機械，ロボット，産業機械等の一部として設けられてもよい。
最初に、サーボ制御装置１００について説明する。
サーボ制御装置１００は、位置指令作成部１０１、減算器１０２、位置制御部１０３、加算器１０４、減算器１０５、速度制御部１０６、加算器１０７、積分器１０８、位置フィードフォワード計算部１０９、及び速度フィードフォワード計算部１１０を備えている。位置フィードフォワード計算部１０９は微分器１０９１と位置フィードフォワード処理部１０９２とを備えている。また、速度フィードフォワード計算部１１０は２回微分器１１０１と速度フィードフォワード処理部１１０２とを備えている。
位置指令作成部１０１は位置指令値を作成し、作成した位置指令値を、減算器１０２、位置フィードフォワード計算部１０９、速度フィードフォワード計算部１１０、及び機械学習装置２００に出力する。減算器１０２は位置指令値と位置フィードバックされた検出位置との差を求め、その差を位置偏差として位置制御部１０３及び機械学習装置２００に出力する。
位置指令作成部１０１は、サーボモータ３００を動作させるプログラムに基づいて位置指令値を作成する。サーボモータ３００は、例えば工作機械に含まれる。工作機械において、被加工物（ワーク）を搭載するテーブルがＸ軸方向及びＹ軸方向に移動される場合には、Ｘ軸方向及びＹ軸方向に対してそれぞれ図２に示すサーボ制御装置１００及びサーボモータ３００が設けられる。テーブルを３軸以上の方向に移動させる場合には、それぞれの軸方向に対してサーボ制御装置１００及びサーボモータ３００が設けられる。
位置指令作成部１０１は、加工プログラムにより指定される加工形状となるように、送り速度を設定して位置指令値を作成する。
位置制御部１０３は、位置偏差にポジションゲインＫｐを乗じた値を、速度指令値として加算器１０４に出力する。
位置フィードフォワード計算部１０９の微分器１０９１は、位置指令値を微分して定数βを掛け、位置フィードフォワード処理部１０９２は微分器１０９１の出力に、数式１（以下に数１として示す）で示す伝達関数Ｇ（ｓ）で示された位置フィードフォワード処理を行い、その処理結果を位置フィードフォワード項として、加算器１０４に出力する。数式１の係数ａｉ、ｂｊ(ｉ，ｊ≧０)は位置フィードフォワード処理部１０９２の伝達関数の各係数である。
Figure 0006748135
加算器１０４は、速度指令値と位置フィードフォワード計算部１０９の出力値（位置フィードフォワード項）とを加算して、フィードフォワード制御された速度指令値として減算器１０５に出力する。減算器１０５は加算器１０４の出力と速度フィードバックされた速度検出値との差を求め、その差を速度偏差として速度制御部１０６に出力する。
速度制御部１０６は、速度偏差に積分ゲインＫ１ｖを乗じて積分した値と、速度偏差に比例ゲインＫ２ｖを乗じた値とを加算して、トルク指令値として加算器１０７に出力する。
速度フィードフォワード計算部１１０の２回微分器１１０１は、位置指令値を２回微分して定数αを掛け、速度フィードフォワード処理部１１０２は２回微分器１１０１の出力に、数式２（以下に数２として示す）で示された伝達関数Ｆ（ｓ）で示される速度フィードフォワード処理を行い、その処理結果を速度フィードフォワード項として、加算器１０７に出力する。数式２の係数ｃｉ、ｄｊ(ｉ，ｊ≧０)は速度フィードフォワード処理部１１０２の伝達関数の各係数である。
Figure 0006748135
加算器１０７は、トルク指令値と速度フィードフォワード計算部１１０の出力値（速度フィードフォワード項）とを加算して、フィードフォワード制御されたトルク指令値としてサーボモータ３００に出力してサーボモータ３００を駆動する。
サーボモータ３００の回転角度位置は、サーボモータ３００に関連付けられた、位置検出部となるロータリーエンコーダによって検出され、速度検出値は速度フィードバックとして減算器１０５に入力される。速度検出値は積分器１０８で積分されて位置検出値となり、位置検出値は位置フィードバックとして減算器１０２に入力される。
以上のように、サーボ制御装置１００は構成される。
次に、サーボ制御装置１００により制御されるサーボモータ３００を含む制御対象５００について説明する。
図３はサーボ制御装置１００の制御対象５００の一例となる、モータを含む工作機械の一部を示すブロック図である。
サーボ制御装置１００は、サーボモータ３００で連結機構３０２を介してテーブル３０３を移動させることで、テーブル３０３の上に搭載された被加工物（ワーク）を加工する。連結機構３０２は、サーボモータ３００に連結されたカップリング３０２１と、カップリング３０２１に固定されるボールねじ３０２３とを有し、ボールねじ３０２３にナット３０２２が螺合されている。サーボモータ３００の回転駆動によって、ボールねじ３０２３に螺着されたナット３０２２がボールねじ３０２３の軸方向に移動する。ナット３０２２の移動によってテーブル３０３が移動する。
サーボモータ３００の回転角度位置は、サーボモータ３００に関連付けられた、位置検出部となるロータリーエンコーダ３０１によって検出される。上述したように、検出された信号は速度フィードバックとして利用される。検出された信号は積分器１０８で積分することで位置フィードバックとして利用される。なお、ボールねじ３０２３の端部に取り付けられ、ボールねじ３０２３の移動距離を検出するリニアスケール３０４出力を位置フィードバックとして用いてもよい。また、加速度センサを用いて位置フィードバックを生成してもよい。
＜機械学習装置２００＞
機械学習装置２００は、例えば、位置フィードフォワード処理部１０９２の伝達関数の係数と、速度フィードフォワード処理部１１０２の伝達関数の係数とを機械学習（以下、学習という）する。既に特許文献２に関する説明で述べたように、位置フィードフォワード項に対する学習と速度フィードフォワード項に対する学習とを同時に行うと、二つの学習が相互に干渉して、位置フィードフォワード制御の係数の学習と速度フィードフォワード制御の係数の学習のための情報処理量が増大する。
そこで、本実施形態では、機械学習装置２００は、速度フィードフォワード計算部１１０の伝達関数の係数の学習と、位置フィードフォワード計算部１０９の伝達関数の係数の学習とは別に行い、位置フィードフォワード計算部１０９より内側（インナーループ）にある速度フィードフォワード計算部１１０の伝達関数の係数の学習を位置フィードフォワード計算部１０９の伝達関数の係数の学習よりも先に行う。具体的には、位置フィードフォワード計算部１０９の位置フィードフォワード処理部１０９２の伝達関数の係数を固定し、速度フィードフォワード計算部１１０の速度フィードフォワード処理部１１０２の伝達関数の係数の最適な値を学習する。その後に、機械学習装置２００は、速度フィードフォワード処理部１１０２の伝達関数の係数を学習で得られた最適な値に固定して、位置フィードフォワード処理部１０９２の伝達関数の係数を学習する。
機械学習装置２００が、位置フィードフォワード計算部１０９より内側（インナーループ）にある速度フィードフォワード処理部１１０２の伝達関数の係数を、位置フィードフォワード処理部１０９２の伝達関数の係数よりも先に学習する理由を、図２を用いて説明する。
サーボモータ３００から見た場合、トルク指令は速度指令を用いて作成されるために、トルク指令は速度指令よりも内側（インナー）の指令である。そのためトルク指令に含まれる速度フィードフォワード項の計算は、速度指令に含まれる位置フィードフォワード項の計算より内側（インナー）に位置する処理である。具体的には、位置フィードフォワード計算部１０９の出力（位置フィードフォワード項）は加算器１０４に入力され、速度フィードフォワード計算部１１０の出力（速度フィードフォワード項）は加算器１０７に入力される。加算器１０４は、減算器１０５、速度制御部１０６、及び加算器１０７を介してサーボモータ３００に接続される。
位置フィードフォワード処理部１０９２の伝達関数の係数の最適化に係る学習が速度フィードフォワード処理部１１０２の伝達関数の係数の最適化に係る学習より先であると、後に行われる速度フィードフォワード処理部１１０２の伝達関数の係数の最適化に係る学習によって、速度フィードフォワード項が変わってしまう。位置偏差を充分に抑制するためには、変わった速度フィードフォワード項の条件下で位置フィードフォワード処理部１０９２の伝達関数の係数の最適化に係る学習を再度行う必要がでてくる。
これに対して、速度フィードフォワード処理部１１０２の伝達関数の係数の最適化に係る学習が位置フィードフォワード処理部１０９２の伝達関数の係数の最適化に係る学習より先であると、学習により最適化された速度フィードフォワード項の条件下で、位置フィードフォワード処理部１０９２の伝達関数の係数の最適化に係る学習を行うことができ、位置偏差の変動を抑制することができる。
このため、位置フィードフォワード計算部１０９より内側（インナーループ）にある速度フィードフォワード処理部１１０２の伝達関数の係数の学習が位置フィードフォワード処理部１０９２の伝達関数の係数の学習より先にした方が、位置偏差の変動を抑制し、高精度化を実現できる。
機械学習装置２００は、予め設定された加工プログラム（以下、「学習時の加工プログラム」ともいう）を実行することで、位置フィードフォワード計算部１０９の位置フィードフォワード処理部１０９２の伝達関数の係数、及び速度フィードフォワード計算部１１０の速度フィードフォワード処理部１１０２の伝達関数の係数を学習する。
ここで、学習時の加工プログラムにより指定される加工形状は、例えば、八角形、又は八角形の角が一つ置きに円弧に置き換えられた形等である。
図４は、加工形状が八角形の場合のモータの動作を説明するための図である。図５は、加工形状が八角形の角が一つ置きに円弧に置き換えられた形の場合のモータの動作を説明するための図である。図４及び図５において、被加工物（ワーク）が時計まわりに加工されるようにテーブルがＸ軸及びＹ軸方向に移動するものとする。
加工形状が八角形の場合は、図４に示すように、角の位置Ａ１で、テーブルをＹ軸方向に移動するモータは回転速度が遅くなり、テーブルをＸ軸方向に移動するモータは回転速度が速くなる。
角の位置Ａ２で、テーブルをＹ軸方向に移動するモータは、回転方向が反転し、テーブルはＹ軸方向に直線反転するように移動する。また、テーブルをＸ軸方向に移動するモータは、位置Ａ１から位置Ａ２及び位置Ａ２から位置Ａ３にかけて、同じ回転方向で、等速度で回転する。
角の位置Ａ３で、テーブルをＹ軸方向に移動するモータは回転速度が速くなり、テーブルをＸ軸方向に移動するモータは回転速度が遅くなる。
角の位置Ａ４で、テーブルをＸ軸方向に移動するモータは、回転方向が反転し、テーブルはＸ軸方向に直線反転するように移動する。また、テーブルをＹ軸方向に移動するモータは、位置Ａ３から位置Ａ４及び位置Ａ４から次の角の位置にかけて、同じ回転方向で、等速度で回転する。
加工形状が八角形の角が一つ置きに円弧に置き換えられた形の場合は、図５に示すように、角の位置Ｂ１で、テーブルをＹ軸方向に移動するモータは回転速度が遅くなり、テーブルをＸ軸方向に移動するモータは回転速度が速くなる。
円弧の位置Ｂ２で、テーブルをＹ軸方向に移動するモータは、回転方向が反転し、テーブルはＹ軸方向に直線反転するように移動する。また、テーブルをＸ軸方向に移動するモータは位置Ｂ１から位置Ｂ３にかけて同じ回転方向で、等速度で回転する。図４に示した加工形状が八角形の場合と異なり、テーブルをＹ軸方向に移動するモータは位置Ｂ２の前後で円弧の加工形状が形成されるように、位置Ｂ２に向かって徐々に減速され、位置Ｂ２で回転が停止され、位置Ｂ２を過ぎると回転方向が徐々に増加していく。
角の位置Ｂ３で、テーブルをＹ軸方向に移動するモータは回転速度が速くなり、テーブルをＸ軸方向に移動するモータは回転速度が遅くなる。
円弧の位置Ｂ４で、テーブルをＸ軸方向に移動するモータは、回転方向が反転し、テーブルはＸ軸方向に直線反転するように移動する。また、テーブルをＹ軸方向に移動するモータは位置Ｂ３から位置Ｂ４、及び位置Ｂ４から次の角の位置にかけて同じ回転方向で、等速度で回転する。テーブルをＸ軸方向に移動するモータは位置Ｂ４の前後で円弧の加工形状が形成されるように、位置Ｂ４に向かって徐々に減速され、位置Ｂ４で回転が停止され、位置Ｂ４を過ぎると回転方向が徐々に増加していく。
本実施形態では、以上説明した、学習時の加工プログラムにより指定される加工形状の位置Ａ１と位置Ａ３、及び位置Ｂ１と位置Ｂ３により、線形制御において回転速度が変更されたときの振動を評価し、位置偏差に対する影響を調べることで、係数の機械学習を行うものとする。なお、本実施形態では用いていないが、加工形状の位置Ａ２と位置Ａ４、及び位置Ｂ２と位置Ｂ４により、回転方向が反転する場合に生ずる惰走（惰性で動作する）を評価し、位置偏差に対する影響を調べることもできる。
以下、機械学習装置２００について更に詳細に説明する。
以下の説明では機械学習装置２００が強化学習を行う場合について説明するが、機械学習装置２００が行う学習は特に強化学習に限定されず、例えば、教師あり学習を行う場合にも本発明は適用可能である。
機械学習装置２００に含まれる各機能ブロックの説明に先立って、まず強化学習の基本的な仕組みについて説明する。エージェント（本実施形態における機械学習装置２００に相当）は、環境の状態を観測し、ある行動を選択し、当該行動に基づいて環境が変化する。環境の変化に伴って、何らかの報酬が与えられ、エージェントはより良い行動の選択（意思決定）を学習する。
教師あり学習が、完全な正解を示すのに対して、強化学習における報酬は、環境の一部の変化に基づく断片的な値であることが多い。このため、エージェントは、将来にわたっての報酬の合計を最大にするように行動を選択するように学習する。
このように、強化学習では、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、すなわち将来的に得られる報酬を最大にするための学習する方法を学ぶ。これは、本実施形態において、例えば、位置偏差を低減するための行動情報を選択するという、未来に影響をおよぼすような行動を獲得できることを表している。
ここで、強化学習としては、任意の学習方法を用いることができるが、以下の説明では、或る環境の状態Ｓの下で、行動Ａを選択する価値Ｑ（Ｓ，Ａ）を学習する方法であるＱ学習（Q-learning）を用いる場合を例にとって説明をする。
Ｑ学習では、或る状態Ｓのとき、取り得る行動Ａのなかから、価値Ｑ（Ｓ，Ａ）の最も高い行動Ａを最適な行動として選択することを目的とする。
しかしながら、Ｑ学習を最初に開始する時点では、状態Ｓと行動Ａとの組合せについて、価値Ｑ（Ｓ，Ａ）の正しい値は全く分かっていない。そこで、エージェントは、或る状態Ｓの下で様々な行動Ａを選択し、その時の行動Ａに対して、与えられる報酬に基づいて、より良い行動の選択をすることにより、正しい価値Ｑ（Ｓ，Ａ）を学習していく。
また、将来にわたって得られる報酬の合計を最大化したいので、最終的にＱ（Ｓ，Ａ）＝Ｅ［Σ（γｔ）ｒｔ］となるようにすることを目指す。ここでＥ［］は期待値を表し、ｔは時刻、γは後述する割引率と呼ばれるパラメータ、ｒｔは時刻ｔにおける報酬、Σは時刻ｔによる合計である。この式における期待値は、最適な行動に従って状態変化した場合の期待値である。しかしＱ学習の過程において最適な行動が何であるのかは不明であるので、様々な行動を行うことにより、探索しながら強化学習をする。このような価値Ｑ（Ｓ，Ａ）の更新式は、例えば、次の数式３（以下に数３として示す）により表すことができる。
Figure 0006748135
上記の数式３において、Ｓｔは、時刻ｔにおける環境の状態を表し、Ａｔは、時刻ｔにおける行動を表す。行動Ａｔにより、状態はＳｔ＋１に変化する。ｒｔ＋１は、その状態の変化により得られる報酬を表している。また、ｍａｘの付いた項は、状態Ｓｔ＋１の下で、その時に分かっている最もＱ値の高い行動Ａを選択した場合のＱ値にγを乗じたものになる。ここで、γは、０＜γ≦１のパラメータで、割引率と呼ばれる。また、αは、学習係数で、０＜α≦１の範囲とする。
上述した数式３は、試行Ａｔの結果、返ってきた報酬ｒｔ＋１を元に、状態Ｓｔにおける行動Ａｔの価値Ｑ（Ｓｔ，Ａｔ）を更新する方法を表している。
この更新式は、状態Ｓｔにおける行動Ａｔの価値Ｑ（Ｓｔ，Ａｔ）よりも、行動Ａｔによる次の状態Ｓｔ＋１における最良の行動の価値ｍａｘａ Ｑ（Ｓｔ＋１，Ａ）の方が大きければ、Ｑ（Ｓｔ，Ａｔ）を大きくし、逆に小さければ、Ｑ（Ｓｔ，Ａｔ）を小さくすることを示している。つまり、或る状態における或る行動の価値を、それによる次の状態における最良の行動の価値に近づける。ただし、その差は、割引率γと報酬ｒｔ＋１のあり方により変わってくるが、基本的には、ある状態における最良の行動の価値が、それに至る一つ前の状態における行動の価値に伝播していく仕組みになっている。
ここで、Ｑ学習では、すべての状態行動ペア（Ｓ，Ａ）についてのＱ（Ｓ，Ａ）のテーブルを作成して、学習を行う方法がある。しかし、すべての状態行動ペアのＱ（Ｓ，Ａ）の値を求めるには状態数が多すぎて、Ｑ学習が収束するのに多くの時間を要してしまう場合がある。
そこで、公知のＤＱＮ（Deep Q-Network）と呼ばれる技術を利用するようにしてもよい。具体的には、価値関数Ｑを適当なニューラルネットワークを用いて構成し、ニューラルネットワークのパラメータを調整することにより、価値関数Ｑを適当なニューラルネットワークで近似することにより価値Ｑ（Ｓ，Ａ）の値を算出するようにしてもよい。ＤＱＮを利用することにより、Ｑ学習が収束するのに要する時間を短くすることが可能となる。なお、ＤＱＮについては、例えば、以下の非特許文献に詳細な記載がある。
＜非特許文献＞
「Human-level control through deep reinforcement learning」、Volodymyr Mnih1著［ｏｎｌｉｎｅ］、［平成２９年１月１７日検索］、インターネット〈ＵＲＬ：http://files.davidqiu.com/research/nature14236.pdf〉
以上説明をしたＱ学習を機械学習装置２００が行う。具体的には、機械学習装置２００は、サーボ制御装置１００における、位置フィードフォワード処理部１０９２の伝達関数の各係数ａｉ、ｂｊ(ｉ，ｊ≧０)の値又は速度フィードフォワード処理部１１０２の伝達関数の各係数ｃｉ、ｄｊ(ｉ，ｊ≧０)の値、並びに学習時の加工プログラムを実行することで取得されるサーボ制御装置１００の位置偏差情報、及び位置指令を含む、指令及びフィードバック等のサーボ状態を状態Ｓとして、当該状態Ｓに係る、位置フィードフォワード処理部１０９２の伝達関数の各係数ａｉ、ｂｊの値又は速度フィードフォワード処理部１１０２の伝達関数の各係数ｃｉ、ｄｊの調整を行動Ａとして選択する価値Ｑを学習する。
機械学習装置２００は、まず速度フィードフォワード処理部１１０２の伝達関数の各係数ｃｉ、ｄｊ(ｉ，ｊ≧０)の値の学習を行い、その後に、位置フィードフォワード処理部１０９２の伝達関数の各係数ａｉ、ｂｊ(ｉ，ｊ≧０)の値の学習を行う。以下の説明では、速度フィードフォワード処理部１１０２の伝達関数の各係数ｃｉ、ｄｊ(ｉ，ｊ≧０)の値の学習の説明が行われるが、位置フィードフォワード処理部１０９２の伝達関数の各係数ａｉ、ｂｊ(ｉ，ｊ≧０)の値の学習も同様にして行われる。
機械学習装置２００は、速度フィードフォワード処理部１１０２の伝達関数の各係数ｃｉ、ｄｊに基づいて、学習時の加工プログラムを実行することで前述した加工形状の位置Ａ１と位置Ａ３、及び位置Ｂ１と位置Ｂ３における、サーボ制御装置１００の位置指令及び位置偏差情報を含む、指令及びフィードバック等のサーボ状態を含む状態情報Ｓを観測して、行動Ａを決定する。機械学習装置２００は、行動Ａをするたびに報酬が返ってくる。機械学習装置２００は、例えば、将来にわたっての報酬の合計が最大になるように最適な行動Ａを試行錯誤的に探索する。そうすることで、機械学習装置２００は、速度フィードフォワード処理部１１０２の伝達関数の各係数ｃｉ、ｄｊに基づいて、学習時の加工プログラムを実行することで取得されるサーボ制御装置１００の位置指令及び位置偏差情報を含む指令、フィードバック等のサーボ状態を含む状態Ｓに対して、最適な行動Ａ（すなわち、速度フィードフォワード処理部１１０２の最適な係数ｃｉ、ｄｊ）を選択することが可能となる。位置Ａ１と位置Ａ３、及び位置Ｂ１と位置Ｂ３とでは、Ｘ軸方向及びＹ軸方向のサーボモータの回転方向は変わらず、機械学習装置２００は線形動作時の速度フィードフォワード処理部１１０２の伝達関数の各係数ｃｉ、ｄｊの学習を行うことができる。
すなわち、機械学習装置２００により学習された価値関数Ｑに基づいて、或る状態Ｓに係る速度フィードフォワード計算部１１０の伝達関数の各係数ｃｉ、ｄｊに対して適用される行動Ａのうち、Ｑの値が最大となるような行動Ａを選択することで、学習時の加工プログラムを実行することで取得される位置偏差が最小になるような行動Ａ（すなわち、速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊ）を選択することが可能となる。
図６は本発明の第１の実施形態の機械学習装置２００を示すブロック図である。
上述した強化学習を行うために、図６に示すように、機械学習装置２００は、状態情報取得部２０１、学習部２０２、行動情報出力部２０３、価値関数記憶部２０４、及び最適化行動情報出力部２０５を備える。学習部２０２は報酬出力部２０２１、価値関数更新部２０２２、及び行動情報生成部２０２３を備える。
状態情報取得部２０１は、サーボ制御装置１００における速度フィードフォワード処理部１１０２の伝達関数の各係数ｃｉ、ｄｊに基づいて、学習時の加工プログラムを実行することで取得されるサーボ制御装置１００の位置指令及び位置偏差情報を含む指令、フィードバック等のサーボ状態を含む状態Ｓを、サーボ制御装置１００から取得する。この状態情報Ｓは、Ｑ学習における、環境状態Ｓに相当する。
状態情報取得部２０１は、取得した状態情報Ｓを学習部２０２に対して出力する。
なお、最初にＱ学習を開始する時点での速度フィードフォワード計算部１１０の係数ｃｉ、ｄｊは、予めユーザが生成するようにする。本実施形態では、ユーザが作成した速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊの初期設定値を、強化学習により最適なものに調整する。速度フィードフォワード計算部１１０の２回微分器１１０１の係数αは固定値とし、例えばα＝１とする。また、速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊは例えば、初期設定値として、数式２のｃ０＝１、ｃ１＝０、ｃ２＝０、ｃx＝０、ｄ０＝１、ｄ１＝０、ｄ２＝０、ｄｘ＝０とする。また、係数ｃｉ、ｄｊの次元ｍ、ｎを予め設定する。すなわち、ｃｉについては０≦ｉ≦ｍ ｄｊについては０≦ｊ≦ｎとする。
なお、位置フィードフォワード計算部１０９の微分器１０９１の係数βも固定値とし、例えばβ＝１とする。また、位置フィードフォワード処理部１０９２の係数ａｉ、ｂｊは例えば、初期設定値として、数式１のａ０＝１、ａ１＝０、ａ２＝０、ａx＝０、ｂ０＝１、ｂ１＝０、ｂ２＝０、ｂｘ＝０とする。また、係数ａｉ、ｂｊの次元ｍ、ｎを予め設定する。すなわち、ａｉについては０≦ｉ≦ｍ ｂｊについては０≦ｊ≦ｎとする。係数ａｉ、ｂｊの初期設定値は、上記速度フィードフォワード処理部１１０２の伝達関数の係数ｃｉ、ｄｊの初期設定値と同じ値を適用してもよい。
なお、係数ａｉ、ｂｊは及び係数ｃｉ、ｄｊは予め操作者が工作機械を調整している場合には、調整済の値を初期値として機械学習してもよい。
学習部２０２は、或る環境状態Ｓの下で、ある行動Ａを選択する場合の価値Ｑ（Ｓ，Ａ）を学習する部分である。
報酬出力部２０２１は、或る状態Ｓの下で、行動Ａを選択した場合の報酬を算出する部分である。ここで、状態Ｓにおける状態変数である位置偏差の集合（位置偏差集合）をＰＤ（Ｓ）、行動情報Ａ（速度フィードフォワード処理部１１０２の各係数ｃｉ、ｄｊ（ｉ，ｊは０及び正の整数を示す）の修正）により状態Ｓから変化した状態情報Ｓ´に係る状態変数である位置偏差集合をＰＤ（Ｓ´）で示す。また、状態Ｓにおける位置偏差の値を、予め設定された評価関数ｆ（ＰＤ（Ｓ））に基づいて算出される値とする。
評価関数ｆとしては、例えば、
位置偏差の絶対値の積算値を算出する関数
∫|e|dt
位置偏差の絶対値に時間の重み付けをして積算値を算出する関数
∫t|e|dt
位置偏差の絶対値の２ｎ（ｎは自然数）乗の積算値を算出する関数
∫e2ndt（ｎは自然数）
位置偏差の絶対値の最大値を算出する関数
Ｍａｘ｛|e|｝
等を適用することができる。
このとき、行動情報Ａにより修正された状態情報Ｓ´に係る修正後の速度フィードフォワード計算部１１０に基づいて動作したサーボ制御装置１００の位置偏差の値ｆ（ＰＤ（Ｓ´））が、行動情報Ａにより修正される前の状態情報Ｓに係る修正前の速度フィードフォワード計算部１１０に基づいて動作したサーボ制御装置１００の位置偏差の値ｆ（ＰＤ（Ｓ））よりも大きくなった場合に、報酬出力部２０２１は、報酬の値を負の値とする。
一方で、行動情報Ａにより修正された状態情報Ｓ´に係る修正後の速度フィードフォワード計算部１１０に基づいて動作したサーボ制御装置１００の位置偏差の値ｆ（ＰＤ（Ｓ´））が、行動情報Ａにより修正される前の状態情報Ｓに係る修正前の速度フィードフォワード計算部１１０に基づいて動作したサーボ制御装置１００の位置偏差の値ｆ（ＰＤ（Ｓ））よりも小さくなった場合に、報酬出力部２０２１は、報酬の値を正の値とする。
なお、行動情報Ａにより修正された状態情報Ｓ´に係る修正後の速度フィードフォワード計算部１１０に基づいて動作したサーボ制御装置１００の位置偏差の値ｆ（ＰＤ（Ｓ´））が、行動情報Ａにより修正される前の状態情報Ｓに係る修正前の速度フィードフォワード計算部１１０に基づいて動作したサーボ制御装置１００の位置偏差の値ｆ（ＰＤ（Ｓ））と等しい場合は、報酬出力部２０２１は、報酬の値をゼロとする。
また、行動Ａを実行後の状態Ｓ´の位置偏差の値ｆ（ＰＤ（Ｓ´））が、前の状態Ｓにおける位置偏差の値ｆ（ＰＤ（Ｓ））より大きくなった場合の負の値としては、比率に応じて負の値を大きくするようにしてもよい。つまり位置偏差の値が大きくなった度合いに応じて負の値が大きくなるようにするとよい。逆に、行動Ａを実行後の状態Ｓ´の位置偏差の値ｆ（ＰＤ（Ｓ´））が、前の状態Ｓにおける位置偏差の値ｆ（ＰＤ（Ｓ））より小さくなった場合の正の値としては、比率に応じて正の値を大きくするようにしてもよい。つまり位置偏差の値が小さくなった度合いに応じて正の値が大きくなるようにするとよい。
価値関数更新部２０２２は、状態Ｓと、行動Ａと、行動Ａを状態Ｓに適用した場合の状態Ｓ´と、上記のようにして算出された報酬の値と、に基づいてＱ学習を行うことにより、価値関数記憶部２０４が記憶する価値関数Ｑを更新する。
価値関数Ｑの更新は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。
オンライン学習とは、或る行動Ａを現在の状態Ｓに適用することにより、状態Ｓが新たな状態Ｓ´に遷移する都度、即座に価値関数Ｑの更新を行うという学習方法である。また、バッチ学習とは、或る行動Ａを現在の状態Ｓに適用することにより、状態Ｓが新たな状態Ｓ´に遷移することを繰り返すことにより、学習用のデータを収集し、収集した全ての学習用データを用いて、価値関数Ｑの更新を行うという学習方法である。更に、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度学習用データが溜まるたびに価値関数Ｑの更新を行うという学習方法である。
行動情報生成部２０２３は、現在の状態Ｓに対して、Ｑ学習の過程における行動Ａを選択する。行動情報生成部２０２３は、Ｑ学習の過程において、サーボ制御装置１００の速度フィードフォワード処理部１１０２の各係数ｃｉ、ｄｊを修正する動作（Ｑ学習における行動Ａに相当）を行わせるために、行動情報Ａを生成して、生成した行動情報Ａを行動情報出力部２０３に対して出力する。より具体的には、行動情報生成部２０２３は、例えば、状態Ｓに含まれる速度フィードフォワード計算部の各係数に対して行動Ａに含まれる、速度フィードフォワード処理部１１０２の各係数ｃｉ、ｄｊをインクレメンタル（例えば０．０１程度）に加算又は減算させる。
そして、行動情報生成部２０２３は、速度フィードフォワード処理部１１０２の各係数ｃｉ、ｄｊの増加又は減少を適用して、状態Ｓ´に遷移して、プラスの報酬（正の値の報酬）が返った場合、次の行動Ａ´としては、速度フィードフォワード処理部１１０２の各係数ｃｉ、ｄｊに対して、前回のアクションと同様にインクレメンタルに加算又は減算させる等、位置偏差の値がより小さくなるような行動Ａ´を選択する方策を取るようにしてもよい。
また、逆に、マイナスの報酬（負の値の報酬）が返った場合、行動情報生成部２０２３は、次の行動Ａ´としては、例えば、速度フィードフォワード計算部の各係数ｃｉ、ｄｊに対して、前回のアクションとは逆にインクレメンタルに減算又は加算させる等、位置偏差が前回の値よりも小さくなるような行動Ａ´を選択する方策を取るようにしてもよい。
また、行動情報生成部２０２３は、現在の推定される行動Ａの価値の中で、最も価値Ｑ（Ｓ，Ａ）の高い行動Ａ´を選択するグリーディ法や、ある小さな確率εでランダムに行動Ａ´選択し、それ以外では最も価値Ｑ（Ｓ，Ａ）の高い行動Ａ´を選択するεグリーディ法といった公知の方法により、行動Ａ´を選択する方策を取るようにしてもよい。
行動情報出力部２０３は、学習部２０２から出力される行動情報Ａをサーボ制御装置１００に対して送信する部分である。サーボ制御装置１００は上述したように、この行動情報に基づいて、現在の状態Ｓ、すなわち現在設定されている速度フィードフォワード処理部１１０２の各係数ｃｉ、ｄｊを微修正することで、次の状態Ｓ´（すなわち修正された、速度フィードフォワード処理部１１０２の各係数）に遷移する。
価値関数記憶部２０４は、価値関数Ｑを記憶する記憶装置である。価値関数Ｑは、例えば状態Ｓ、行動Ａ毎にテーブル（以下、行動価値テーブルと呼ぶ）として格納してもよい。価値関数記憶部２０４に記憶された価値関数Ｑは、価値関数更新部２０２２により更新される。また、価値関数記憶部２０４に記憶された価値関数Ｑは、他の機械学習装置２００との間で共有されるようにしてもよい。価値関数Ｑを複数の機械学習装置２００で共有するようにすれば、各機械学習装置２００にて分散して強化学習を行うことが可能となるので、強化学習の効率を向上させることが可能となる。
最適化行動情報出力部２０５は、価値関数更新部２０２２がＱ学習を行うことにより更新した価値関数Ｑに基づいて、価値Ｑ（Ｓ，Ａ）が最大となる動作を速度フィードフォワード計算部１１０に行わせるための行動情報Ａ（以下、「最適化行動情報」と呼ぶ）を生成する。
より具体的には、最適化行動情報出力部２０５は、価値関数記憶部２０４が記憶している価値関数Ｑを取得する。この価値関数Ｑは、上述したように価値関数更新部２０２２がＱ学習を行うことにより更新したものである。そして、最適化行動情報出力部２０５は、価値関数Ｑに基づいて、行動情報を生成し、生成した行動情報をサーボ制御装置１００（速度フィードフォワード計算部１１０の速度フィードフォワード処理部１１０２）に対して出力する。この最適化行動情報には、行動情報出力部２０３がＱ学習の過程において出力する行動情報と同様に、速度フィードフォワード処理部１１０２の各係数ｃｉ、ｄｊを修正する情報が含まれる。
サーボ制御装置１００では、この行動情報に基づいて速度フィードフォワード処理部１１０２の各係数ｃｉ、ｄｊが修正される。
機械学習装置２００は、以上の動作で、速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊの最適化を行った後に、速度フィードフォワード処理部１１０２の係数の学習と最適化と同様に、位置フィードフォワード処理部１０９２の係数ａｉ、ｂｊの学習及び最適化を行い、位置偏差の値を低減するように動作することができる。
以上のように、本発明に係る機械学習装置２００を利用することで、サーボ制御装置１００の速度フィードフォワード計算部１１０及び位置フィードフォワード計算部１０９のパラメータ調整を簡易化することができる。
本発明者らは、学習時の加工プログラムにより指定される加工形状を八角形として、強化学習を用いた機械学習装置２００により、速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊの最適化を行った後に、位置フィードフォワード処理部１０９２の係数ａｉ、ｂｊの最適化を行い、位置偏差の変動範囲を調べた。また、比較のために、学習時の加工プログラムにより指定される加工形状を八角形として、強化学習を用いた機械学習装置２００により、位置フィードフォワード処理部１０９２の係数ａｉ、ｂｊの最適化を行った後に、速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊの最適化を行い、位置偏差の変動範囲を調べた。その結果、速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊの最適化を行った後に、位置フィードフォワード処理部１０９２の係数ａｉ、ｂｊの最適化を行う方が、機械学習の収束時間を短縮化でき、また、より位置偏差の変動を抑制して高精度化を図ることができることが分かった。
以上、サーボ制御装置１００、機械学習装置２００に含まれる機能ブロックについて説明した。
これらの機能ブロックを実現するために、サーボ制御装置１００、及び機械学習装置２００のそれぞれは、ＣＰＵ（Central Processing Unit）等の演算処理装置を備える。また、サーボ制御装置１００、及び機械学習装置２００のそれぞれは、アプリケーションソフトウェアやＯＳ（Operating System）等の各種の制御用プログラムを格納したＨＤＤ（Hard Disk Drive）等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置も備える。
そして、サーボ制御装置１００、及び機械学習装置２００のそれぞれにおいて、演算処理装置が補助記憶装置からアプリケーションソフトウェアやＯＳを読み込み、読み込んだアプリケーションソフトウェアやＯＳを主記憶装置に展開させながら、これらのアプリケーションソフトウェアやＯＳに基づいた演算処理を行なう。また、この演算結果に基づいて、各装置が備える各種のハードウェアを制御する。これにより、本実施形態の機能ブロックは実現される。つまり、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。
機械学習装置２００については機械学習に伴う演算量が多いため、例えば、パーソナルコンピュータにＧＰＵ（Graphics Processing Units）を搭載し、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）と呼ばれる技術により、ＧＰＵを機械学習に伴う演算処理に利用するようにすると高速処理できるようになるのでよい。更には、より高速な処理を行うために、このようなＧＰＵを搭載したコンピュータを複数台用いてコンピュータ・クラスターを構築し、このコンピュータ・クラスターに含まれる複数のコンピュータにて並列処理を行うようにしてもよい。
次に、図７のフローチャートを参照して本実施形態におけるＱ学習時の機械学習装置２００の動作について説明をする。
ステップＳ１１において、状態情報取得部２０１がサーボ制御装置１００から状態情報Ｓを取得する。取得した状態情報は、価値関数更新部２０２２や行動情報生成部２０２３に対して出力される。上述したように、この状態情報Ｓは、Ｑ学習における状態に相当する情報であり、ステップＳ１１時点での、速度フィードフォワード処理部１１０２の各係数ｃｉ、ｄｊが含まれる。こうして、速度フィードフォワード計算部１１０から係数が初期値であるときの、所定の送り速度且つ円の加工形状に対応する位置偏差の集合ＰＤ(Ｓ)が取得される。
なお、前述したように、初期状態Ｓ０における速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊは例えば、ｃ０＝１、ｃ１＝０、ｃ２＝０、ｃｘ＝０、ｄ０＝０、ｄ１＝０、ｄ２＝０、ｄｘ＝０とする。
最初にＱ学習を開始する時点での減算器１０２から状態Ｓ０における位置偏差の値ＰＤ（Ｓ０）は、学習時の加工プログラムでサーボ制御装置１００を動作させることで得られる。位置指令作成部１０１は、加工プログラムにより指定された所定の加工形状で、例えば、八角形の加工形状で、位置指令を順次出力する。例えば、八角形の加工形状に対応する位置指令値が位置指令作成部１０１から出力され、その位置指令値が減算器１０２、位置フィードフォワード計算部１０９、及び速度フィードフォワード計算部１１０及び機械学習装置２００に出力される。減算器１０２は、前述した加工形状の位置Ａ１と位置Ａ３、及び位置Ｂ１と位置Ｂ３における、位置指令値と積分器１０８から出力される検出位置との差を位置偏差ＰＤ（Ｓ０）として機械学習装置２００に出力する。なお、機械学習装置２００において、前述した加工形状の位置Ａ１と位置Ａ３、及び位置Ｂ１と位置Ｂ３における、位置指令値と積分器１０８から出力される検出位置との差を位置偏差ＰＤ（Ｓ０）として抽出するようにしてもよい。
ステップＳ１２において、行動情報生成部２０２３は新たな行動情報Ａを生成し、生成した新たな行動情報Ａを、行動情報出力部２０３を介してサーボ制御装置１００に対して出力する。行動情報生成部２０２３は前述した方策に基づいて、新たな行動情報Ａを出力する。なお、行動情報Ａを受信したサーボ制御装置１００は、受信した行動情報に基づいて現在の状態Ｓに係る速度フィードフォワード処理部１１０２の各係数ｃｉ、ｄｊを修正した状態Ｓ´により、サーボモータ３００を含む工作機械を駆動させる。上述したように、この行動情報は、Ｑ学習における行動Ａに相当するものである。
ステップＳ１３において、状態情報取得部２０１は、減算器１０２から新たな状態Ｓ´における位置偏差ＰＤ（Ｓ´）、及び速度フィードフォワード処理部１１０２から係数ｃｉ、ｄｊを取得する。こうして、状態情報取得部２０１は、速度フィードフォワード処理部１１０２から状態Ｓ´における係数ｃｉ、ｄｊであるときの、八角形の加工形状（具体的には、前述した加工形状の位置Ａ１と位置Ａ３、及び位置Ｂ１と位置Ｂ３）に対応する位置偏差の集合ＰＤ（Ｓ´）を取得する。取得した状態情報は、報酬出力部２０２１に対して出力される。
ステップＳ１４において、報酬出力部２０２１は、状態Ｓ´における位置偏差の値ｆ（ＰＤ（Ｓ´））と状態Ｓにおける位置偏差の値ｆ（ＰＤ（Ｓ））との大小関係を判断し、ｆ（ＰＤ（Ｓ´））＞ｆ（ＰＤ（Ｓ））の場合には、ステップＳ１５において、報酬を負の値とする。ｆ（ＰＤ（Ｓ´））＜ｆ（ＰＤ（Ｓ））の場合には、ステップＳ１６において、報酬を正の値とする。ｆ（ＰＤ（Ｓ´））＝ｆ（ＰＤ（Ｓ））の場合には、ステップＳ１７において、報酬をゼロとする。なお、報酬の負の値、正の値について重みづけを行うようにしてもよい。
ステップＳ１５、ステップＳ１６及びステップＳ１７の何れかが終了すると、ステップＳ１８において、この何れかのステップにて算出された報酬の値に基づいて、価値関数更新部２０２２が、価値関数記憶部２０４に記憶している価値関数Ｑを更新する。そして、再度ステップＳ１１に戻り、上述した処理を繰り返すことにより、価値関数Ｑは適切な値に収束していく。なお、上述した処理を、所定回数繰り返したことや、所定時間繰り返したことを条件として処理を終了するようにしてもよい。
なお、ステップＳ１８はオンライン更新を例示しているが、オンライン更新に替えてバッチ更新又はミニバッチ更新に置き換えてもよい。
以上、図７を参照して説明した動作により、本実施形態では、機械学習装置２００を利用することで、速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊの調整のための、適切な価値関数を得ることができ、速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊの最適化を簡易化することができる、という効果を奏する。
次に、図８のフローチャートを参照して、最適化行動情報出力部２０５による最適化行動情報の生成時の動作について説明をする。
まず、ステップＳ２１において、最適化行動情報出力部２０５は、価値関数記憶部２０４に記憶している価値関数Ｑを取得する。価値関数Ｑは、上述したように価値関数更新部２０２２がＱ学習を行うことにより更新したものである。
ステップＳ２２において、最適化行動情報出力部２０５は、この価値関数Ｑに基づいて、最適化行動情報を生成し、生成した最適化行動情報をサーボ制御装置１００の速度フィードフォワード処理部１１０２に対して出力する。
機械学習装置２００は、以上の動作で、速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊの最適化を行った後に、同様な動作で、位置フィードフォワード処理部１０９２の係数ａｉ、ｂｊの学習及び最適化を行う。
また、図８を参照して説明した動作により、本実施形態では、機械学習装置２００により学習することにより求められる価値関数Ｑに基づいて、最適化行動情報を生成し、サーボ制御装置１００が、この最適化行動情報に基づいて、現在設定されている速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊの調整を簡易化するとともに、位置偏差の値を低減することができる。また、速度フィードフォワードをより高次元のものに初期設定して、機械学習装置２００により学習することで、位置偏差の値をさらに低減することができる。位置フィードフォワード処理部１０９２の係数aｉ、bｊの調整についても速度フィードフォワード処理部１１０２の係数ｃｉ、ｄｊの調整と同様に、位置偏差の値を低減することができる。
第１の実施形態においては、報酬出力部２０２１は、報酬の値を、状態Ｓにおける位置偏差ＰＤ（Ｓ）を入力として予め設定された評価関数ｆ（ＰＤ（Ｓ））に基づいて算出される状態Ｓの位置偏差の値ｆ（ＰＤ（Ｓ））と、状態Ｓ´における位置偏差ＰＤ（Ｓ´）を入力として評価関数ｆに基づいて算出される状態Ｓ´の位置偏差の値ｆ（ＰＤ（Ｓ´））とを比較することで算出した。
しかし、報酬の値の算出にあたっては位置偏差以外の他の要素を加えてもよい。
例えば、機械学習装置２００に、減算器１０２の出力となる位置偏差の他に、加算器１０４の出力となる位置フォワード制御された速度指令、位置フォワード制御された速度指令と速度フィードバックとの差、及び加算器１０７の出力となる位置フォワード制御されたトルク指令等の少なくとも１つが加えられてもよい。
（第２の実施形態）
第１の実施形態では、位置フィードフォワード計算部１０９と、速度フィードフォワード計算部１１０とを有するサーボ制御装置に対する機械学習装置について説明した。本実施形態は、位置フィードフォワード計算部及び速度フィードフォワード計算部に加えて、電流フォードフォワード計算部を有するサーボ制御装置に対する機械学習装置について説明する。
図９は、本実施形態に係るサーボ制御装置の一部を示すブロック図である。図９に示すように、本実施形態のサーボ制御装置は図１に示したサーボ制御装置１００に、図９の破線領域で示す、減算器１１１、電流制御部１１２、加算器１１３、及び電流フィードフォワード計算部１１４を追加している。
減算器１１１は、加算器１０７から出力された、速度フィードフォワード制御されたトルク指令値と、電流フィードバックされた電流検出値との差をとり、その差を電流偏差として電流制御部１１２に出力する。電流制御部１１２は電流偏差に基づいて電流指令値を求め、その電流指令値を加算器１１３に出力する。
電流フィードフォワード計算部１１４は、位置指令値に基づいて電流指令値を求め、加算器１１３に出力する。加算器１１３は、電流指令値と電流フィードフォワード計算部１１４の出力値とを加算して、フィードフォワード制御された電流指令値としてサーボモータ３００に出力してサーボモータ３００を駆動する。
機械学習装置２００は、速度フィードフォワード処理部１１０２の各係数ｃｉ、ｄｊと同様に、電流フィードフォワード計算部１１４の伝達関数の係数を学習する。
本実施形態では、サーボモータ３００から見た場合、電流指令はトルク指令よりも内側の指令となり、トルク指令は速度指令よりも内側の指令となる。そして、サーボモータ３００から見た場合、内側から外側に向かって、電流フィードフォワード制御、速度フィードフォワード制御、位置フィードフォワード制御はその並び順で配置される。このため、第１の実施形態と同様に、速度フィードフォワード計算部の係数の最適化に係る学習は位置フィードフォワード計算部の係数の最適化に係る学習より先に行われることが好ましい。さらに、電流フィードフォワード制御は速度フィードフォワード制御より内側（インナー）に配置されるため、電流フィードフォワード計算部の係数の最適化に係る学習は速度フィードフォワード計算部の係数の最適化に係る学習より先に行われることが好ましい。ただし、電流フィードフォワード制御が位置偏差に与える影響が小さければ、速度フィードフォワード計算部の係数の最適化に係る学習の後に電流フィードフォワード計算部の係数の最適化に係る機械学習を行い、その後に、位置フィードフォワード計算部の係数の最適化に係る学習を行ってもよい。この場合も、速度フィードフォワード制御に関する学習は位置フィードフォワード制御に関する学習より先に行われる形態の一例となる。
以上説明した実施形態においては、機械学習装置２００は、Ｘ軸方向及びＹ軸方向のサーボモータの回転方向が変わらない線形動作時の、位置フィードフォワード計算部と速度フィードフォワード計算部の係数の最適化に係る学習、及び位置フィードフォワード計算部と速度フィードフォワード計算部と電流フィードフォワード計算部の係数の最適化に係る学習について説明した。
しかし、本発明は、線形動作時の学習に限定されず、非線形動作の学習に適用することもできる。例えば、バックラッシュ補正のために、位置フィードフォワード計算部と速度フィードフォワード計算部の係数の最適化に係る学習、又は位置フィードフォワード計算部と速度フィードフォワード計算部と電流フィードフォワード計算部の最適化に係る学習フィードフォワード計算部の係数の最適化に係る学習を行う場合、前述した加工形状の位置Ａ２と位置Ａ４、及び位置Ｂ２と位置Ｂ４における、位置指令値と積分器１０８から出力される検出位置との差を位置偏差として抽出して、これを判定情報として報酬を与えて強化学習することができる。
位置Ａ２と位置Ａ４、及び位置Ｂ２と位置Ｂ４とでは、Ｙ軸方向又はＸ軸方向のサーボモータの回転方向は反転して非線形動作となってバックラッシが生じ、機械学習装置は非線形動作時のフィードフォワード処理部の伝達関数の係数の学習を行うことができる。
上記のサーボ制御装置のサーボ制御部及び機械学習装置に含まれる各構成部は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記のサーボ制御装置に含まれる各構成部のそれぞれの協働により行なわれるサーボ制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。
上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
＜サーボ制御装置が機械学習装置を備える変形例＞
上述した実施形態では、機械学習装置２００を、サーボ制御装置１００とは別体の装置により構成したが、機械学習装置２００の機能の一部又は全部をサーボ制御装置１００により実現するようにしてもよい。
＜システム構成の自由度＞
上述した実施形態では、機械学習装置２００とサーボ制御装置１００とが１対１の組として通信可能に接続されているが、例えば１台の機械学習装置２００が複数のサーボ制御装置１００とネットワーク４００を介して通信可能に接続され、各サーボ制御装置１００の機械学習を実施するようにしてもよい。
その際、機械学習装置２００の各機能を、適宜複数のサーバに分散する、分散処理システムとしてもよい。また、クラウド上で仮想サーバ機能等を利用して、機械学習装置２００の各機能を実現してもよい。
また、複数の同じ型名、同一仕様、又は同一シリーズのサーボ制御装置１００−１〜１００−ｎとそれぞれ対応する複数の機械学習装置２００−１〜２００−ｎがあった場合に、各機械学習装置２００−１〜２００−ｎにおける学習結果を共有するように構成するようにしてもよい。そうすることで、より最適なモデルを構築することが可能となる。
１０ サーボ制御システム
１００ サーボ制御装置
１０１ 位置指令作成部
１０２ 減算器
１０３ 位置制御部
１０４ 加算器
１０５ 減算器
１０６ 速度制御部
１０７ 加算器
１０８ 積分器
１０９ 位置フィードフォワード計算部
１１０ 速度フィードフォワード計算部
２００ 機械学習装置
２０１ 状態情報取得部
２０２ 学習部
２０３ 行動情報出力部
２０４ 価値関数記憶部
２０５ 最適化行動情報出力部
３００ モータ
４００ ネットワーク

Claims (11)

  1. 少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータを制御するサーボ制御装置に対して、前記少なくとも二つ以上のフィードフォワード計算部の係数の最適化に係る機械学習を行う機械学習装置であって、
    前記少なくとも二つのフィードフォワード計算部のうちの一のフィードフォワード計算部により計算されるフィードフォワード項により補正される一つの指令が、前記少なくとも二つのフィードフォワード計算部のうちの他のフィードフォワード計算部により計算されるフィードフォワード項により補正される他の指令よりも、前記サーボモータから見て内側の指令である場合、
    先ず、前記一のフィードフォワード計算部の係数の最適化に係る機械学習を行い、その次に、前記一のフィードフォワード計算部の係数の最適化に係る機械学習により得られる前記一のフィードフォワード計算部の最適化された係数に基づいて、前記他のフィードフォワード計算部の係数の最適化に係る機械学習を行い、
    前記多重ループの外に設けられた機械学習装置。
  2. 前記少なくとも二つ以上のフィードフォワード計算部は、位置指令に基づいて速度指令の第１のフィードフォワード項を計算する位置フィードフォワード計算部、位置指令に基づいてトルク指令の第２のフィードフォワード項を計算する速度フィードフォワード計算部、及び位置指令に基づいて電流指令の第３のフィードフォワード項を計算する電流フィードフォワード計算部のうちの少なくとも二つのフィードフォワード計算部であり、
    前記一の指令及び前記他の指令は、前記速度指令、前記トルク指令及び前記電流指令のうちの二つの指令であり、
    前記サーボモータは前記トルク指令又は前記電流指令により駆動される、請求項１に記載の機械学習装置。
  3. 前記一のフィードフォワード計算部は前記速度フィードフォワード計算部であり、前記他のフィードフォワード計算部は前記位置フィードフォワード計算部である、請求項２に記載の機械学習装置。
  4. 前記サーボ制御装置は、前記位置フィードフォワード計算部、前記速度フィードフォワード計算部、及び前記電流フィードフォワード計算部を備え、
    前記一のフィードフォワード計算部は前記速度フィードフォワード計算部又は前記電流フィードフォワード計算部であり、前記他のフィードフォワード計算部は前記位置フィードフォワード計算部である、請求項２に記載の機械学習装置。
  5. 前記他のフィードフォワード計算部の伝達関数の係数の初期設定値は、前記一のフィードフォワード計算部の伝達関数の係数の初期設定値と同じ値とする、請求項１から４のいずれか１項に記載の機械学習装置。
  6. 所定の加工プログラムを前記サーボ制御装置に実行させることにより、少なくとも位置偏差を含むサーボ状態と、前記一又は他のフィードフォワード計算部の伝達関数の係数の組み合わせと、を含む状態情報を、前記サーボ制御装置から取得する状態情報取得部と、
    前記状態情報に含まれる前記係数の組み合わせの調整情報を含む行動情報を前記サーボ制御装置に出力する行動情報出力部と、
    前記状態情報に含まれる前記位置偏差に基づく、強化学習における報酬の値を出力する報酬出力部と、
    前記報酬出力部により出力される報酬の値と、前記状態情報と、前記行動情報とに基づいて価値関数を更新する価値関数更新部と、
    を備える請求項１から５のいずれか１項に記載の機械学習装置。
  7. 前記報酬出力部は、前記位置偏差の絶対値に基づいて前記報酬の値を出力する請求項６に記載の機械学習装置。
  8. 前記価値関数更新部により更新された価値関数に基づいて、前記一又は他のフィードフォワード計算部の伝達関数の係数の組み合わせを生成して出力する最適化行動情報出力部を備えた請求項６又は７に記載の機械学習装置。
  9. 請求項１から請求項８のいずれか１項に記載の機械学習装置と、少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータを制御するサーボ制御装置と、を備えたサーボ制御システム。
  10. 請求項１から請求項８のいずれか１項に記載の機械学習装置と、少なくとも二つ以上のフィードフォワード計算部と、を備え、
    前記少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータを制御するサーボ制御装置。
  11. 少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータを制御するサーボ制御装置に対して、前記少なくとも二つ以上のフィードフォワード計算部の係数の最適化に係る機械学習を行い、前記多重ループの外に設けられた機械学習装置の機械学習方法であって、
    前記少なくとも二つのフィードフォワード計算部のうちの一のフィードフォワード計算部により計算されるフィードフォワード項により補正される一つの指令が、前記少なくとも二つのフィードフォワード計算部のうちの他のフィードフォワード計算部により計算されるフィードフォワード項により補正される他の指令よりも、前記サーボモータから見て内側の指令である場合、
    先ず、前記一のフィードフォワード計算部の係数の最適化に係る機械学習を行い、その次に、前記一のフィードフォワード計算部の係数の最適化に係る機械学習により得られる前記一のフィードフォワード計算部の最適化された係数に基づいて、前記他のフィードフォワード計算部の係数の最適化に係る機械学習を行う機械学習方法。
JP2018051219A 2018-03-19 2018-03-19 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 Active JP6748135B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018051219A JP6748135B2 (ja) 2018-03-19 2018-03-19 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
US16/272,099 US11023827B2 (en) 2018-03-19 2019-02-11 Machine learning device, servo control device, servo control system, and machine learning method for suppressing variation in position error using feedforward control
DE102019201758.4A DE102019201758A1 (de) 2018-03-19 2019-02-12 Vorrichtung für maschinelles lernen; vorrichtung zurservosteuerung; system zur servosteuerung; undverfahren für maschinelles lernen
CN201910197184.8A CN110286645B (zh) 2018-03-19 2019-03-15 机器学习装置、伺服控制装置、伺服控制***以及机器学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018051219A JP6748135B2 (ja) 2018-03-19 2018-03-19 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法

Publications (2)

Publication Number Publication Date
JP2019164484A JP2019164484A (ja) 2019-09-26
JP6748135B2 true JP6748135B2 (ja) 2020-08-26

Family

ID=67774682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018051219A Active JP6748135B2 (ja) 2018-03-19 2018-03-19 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法

Country Status (4)

Country Link
US (1) US11023827B2 (ja)
JP (1) JP6748135B2 (ja)
CN (1) CN110286645B (ja)
DE (1) DE102019201758A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7229686B2 (ja) * 2017-10-06 2023-02-28 キヤノン株式会社 制御装置、リソグラフィ装置、測定装置、加工装置、平坦化装置及び物品製造方法
JP6536978B1 (ja) * 2018-03-15 2019-07-03 オムロン株式会社 学習装置、学習方法、及びそのプログラム
JP6748135B2 (ja) * 2018-03-19 2020-08-26 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
JP7176645B2 (ja) * 2019-10-11 2022-11-22 株式会社タダノ 制御システムおよびクレーン
JP2021070101A (ja) * 2019-10-31 2021-05-06 セイコーエプソン株式会社 制御方法および算出装置
JP7357537B2 (ja) * 2019-12-24 2023-10-06 本田技研工業株式会社 制御装置、制御装置の制御方法、プログラム、情報処理サーバ、情報処理方法、並びに制御システム
US20240058950A1 (en) 2021-03-02 2024-02-22 Fanuc Corporation Adjustment assistance device, control system, and adjustment assistance method

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0285902A (ja) 1988-09-22 1990-03-27 Mitsubishi Electric Corp フィードフォワード制御装置
JP2762364B2 (ja) * 1989-03-20 1998-06-04 ファナック株式会社 サーボモータのフィードフォワード制御方法
JPH03289385A (ja) * 1990-04-03 1991-12-19 Fanuc Ltd モータ制御のゲイン調整方法
JP2923000B2 (ja) 1990-07-27 1999-07-26 株式会社日立製作所 サーボ制御装置
JPH07129535A (ja) * 1993-11-08 1995-05-19 Mitsubishi Electric Corp 学習制御方法
JP2607838B2 (ja) * 1994-03-30 1997-05-07 東芝機械株式会社 射出成形機におけるバレル温度制御装置
US5771476A (en) * 1995-12-29 1998-06-23 Dbb Fuel Cell Engines Gmbh Power control system for a fuel cell powered vehicle
JP3633095B2 (ja) * 1996-04-22 2005-03-30 富士通株式会社 光学的記憶装置
US6556980B1 (en) * 1998-08-28 2003-04-29 General Cyberation Group, Inc. Model-free adaptive control for industrial processes
US6965578B1 (en) * 1998-09-30 2005-11-15 Conexant Systems, Inc. Echo canceling method and apparatus for digital data communication system
KR100855798B1 (ko) * 2000-05-15 2008-09-01 가부시키가이샤 야스카와덴키 위치결정 서보콘트롤러
KR100408288B1 (ko) * 2001-06-20 2003-12-03 삼성전자주식회사 편심 보상을 위한 디스크 드라이브 서보 시스템 및 외란보상 방법
JP2003084804A (ja) 2001-09-10 2003-03-19 Yaskawa Electric Corp 最適指令作成装置
JP4391218B2 (ja) * 2003-02-20 2009-12-24 三菱電機株式会社 サーボ制御装置
JP4697139B2 (ja) * 2004-07-27 2011-06-08 株式会社安川電機 サーボ制御装置
US7451004B2 (en) * 2005-09-30 2008-11-11 Fisher-Rosemount Systems, Inc. On-line adaptive model predictive control in a process control system
CN100430844C (zh) 2005-10-21 2008-11-05 浙江工业大学 多道次拉拔设备的收卷机控制装置
US8014881B2 (en) * 2007-02-15 2011-09-06 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method
JP2010033172A (ja) 2008-07-25 2010-02-12 Yaskawa Electric Corp フィードフォワード信号を用いたディジタルサーボ制御装置
JP5566469B2 (ja) * 2010-10-27 2014-08-06 株式会社牧野フライス製作所 数値制御方法
JP5750657B2 (ja) * 2011-03-30 2015-07-22 株式会社国際電気通信基礎技術研究所 強化学習装置、制御装置、および強化学習方法
JP5772345B2 (ja) * 2011-07-25 2015-09-02 富士通株式会社 パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法
US8902535B1 (en) * 2012-12-12 2014-12-02 Western Digital Technologies, Inc. Disk drive adapting feed-forward compensation using iterative learning control over segments of seek length
JP5899547B2 (ja) 2013-07-09 2016-04-06 パナソニックＩｐマネジメント株式会社 電動機の制御装置
JP5897645B2 (ja) 2014-06-05 2016-03-30 ファナック株式会社 機械先端点のたわみを低減するサーボ制御装置
DE102014212747A1 (de) * 2014-07-01 2016-01-07 Siemens Aktiengesellschaft Interaktives Assistenzsystem und Verfahren zur rechnergestützten Steuerungsoptimierung für ein technisches System
US10133246B2 (en) * 2014-09-12 2018-11-20 Canon Kabushiki Kaisha Position control device and position control method, optical device, and image pickup apparatus
JP6106226B2 (ja) 2015-07-31 2017-03-29 ファナック株式会社 ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法
JP6193961B2 (ja) * 2015-11-30 2017-09-06 ファナック株式会社 機械の送り軸の送りの滑らかさを最適化する機械学習装置および方法ならびに該機械学習装置を備えたモータ制御装置
JP6604198B2 (ja) * 2015-12-25 2019-11-13 株式会社ジェイテクト モータ制御装置
EP3437420B1 (en) * 2016-03-30 2020-05-20 Telefonaktiebolaget LM Ericsson (PUBL) Control link definition in networked control system
JP6490127B2 (ja) * 2017-03-15 2019-03-27 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
JP6474449B2 (ja) * 2017-04-07 2019-02-27 ファナック株式会社 調整装置及び調整方法
CN107276465B (zh) 2017-06-26 2019-06-28 桂林电子科技大学 一种转矩-电流神经网络开关磁阻电机控制方法与***
JP6538766B2 (ja) * 2017-07-18 2019-07-03 ファナック株式会社 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法
CN111095132B (zh) * 2017-09-08 2023-04-18 三菱电机株式会社 伺服控制装置
JP6680756B2 (ja) * 2017-12-26 2020-04-15 ファナック株式会社 制御装置及び機械学習装置
US10439511B2 (en) * 2018-02-03 2019-10-08 S&C Electric Company Three phase inverter grid voltage feed forward method under unbalanced operating conditions
JP6748135B2 (ja) * 2018-03-19 2020-08-26 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
US10787984B2 (en) * 2018-08-08 2020-09-29 Caterpillar Inc. Power system optimization calibration
JP6860541B2 (ja) * 2018-10-29 2021-04-14 ファナック株式会社 出力装置、制御装置、及び評価関数値の出力方法

Also Published As

Publication number Publication date
US20190287007A1 (en) 2019-09-19
DE102019201758A1 (de) 2019-09-19
US11023827B2 (en) 2021-06-01
CN110286645B (zh) 2021-07-23
JP2019164484A (ja) 2019-09-26
CN110286645A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
JP6490127B2 (ja) 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
JP6748135B2 (ja) 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
CN109274314B (zh) 机器学习装置、伺服电动机控制装置、伺服电动机控制***以及机器学习方法
JP6499720B2 (ja) 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
US10824121B2 (en) Machine learning device, servo motor controller, servo motor control system, and machine learning method
JP6740277B2 (ja) 機械学習装置、制御装置、及び機械学習方法
JP6474456B2 (ja) 機械学習装置、サーボ制御システム及び機械学習方法
JP6474449B2 (ja) 調整装置及び調整方法
JP6740278B2 (ja) 機械学習装置、制御装置、及び機械学習方法
JP6784722B2 (ja) 出力装置、制御装置、及び評価関数値の出力方法
JP6740279B2 (ja) 調整装置及び調整方法
JP6841801B2 (ja) 機械学習装置、制御システム及び機械学習方法
US11914333B2 (en) Machine learning device, servo control device, servo control system, and machine learning method
JP6978452B2 (ja) 機械学習装置、制御装置、及び機械学習の探索範囲の設定方法
CN111722530B (zh) 机器学习装置、控制***以及机器学习方法
JP6740263B2 (ja) 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法
WO2022030346A1 (ja) 制御支援装置、制御システム及び制御支援方法
JP6740290B2 (ja) 機械学習装置、制御装置、及び機械学習方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190710

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191021

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200806

R150 Certificate of patent or registration of utility model

Ref document number: 6748135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150