CN110941242B - 电动机控制装置 - Google Patents

电动机控制装置 Download PDF

Info

Publication number
CN110941242B
CN110941242B CN201910870551.6A CN201910870551A CN110941242B CN 110941242 B CN110941242 B CN 110941242B CN 201910870551 A CN201910870551 A CN 201910870551A CN 110941242 B CN110941242 B CN 110941242B
Authority
CN
China
Prior art keywords
speed
controller
unit
motor control
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910870551.6A
Other languages
English (en)
Other versions
CN110941242A (zh
Inventor
恒木亮太郎
猪饲聪史
下田隆贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN110941242A publication Critical patent/CN110941242A/zh
Application granted granted Critical
Publication of CN110941242B publication Critical patent/CN110941242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/0285—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks and fuzzy logic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/416—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control of velocity, acceleration or deceleration
    • G05B19/4163—Adaptive control of feed or cutting velocity
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F15—FLUID-PRESSURE ACTUATORS; HYDRAULICS OR PNEUMATICS IN GENERAL
    • F15B—SYSTEMS ACTING BY MEANS OF FLUIDS IN GENERAL; FLUID-PRESSURE ACTUATORS, e.g. SERVOMOTORS; DETAILS OF FLUID-PRESSURE SYSTEMS, NOT OTHERWISE PROVIDED FOR
    • F15B21/00—Common features of fluid actuator systems; Fluid-pressure actuator systems or details thereof, not covered by any other group of this subclass
    • F15B21/02—Servomotor systems with programme control derived from a store or timing device; Control devices therefor
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F15—FLUID-PRESSURE ACTUATORS; HYDRAULICS OR PNEUMATICS IN GENERAL
    • F15B—SYSTEMS ACTING BY MEANS OF FLUIDS IN GENERAL; FLUID-PRESSURE ACTUATORS, e.g. SERVOMOTORS; DETAILS OF FLUID-PRESSURE SYSTEMS, NOT OTHERWISE PROVIDED FOR
    • F15B21/00—Common features of fluid actuator systems; Fluid-pressure actuator systems or details thereof, not covered by any other group of this subclass
    • F15B21/08—Servomotor systems incorporating electrically operated control means
    • F15B21/087—Control strategy, e.g. with block diagram
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • G05B19/4141—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller characterised by a controller or microprocessor per axis
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36521—Select by combination of detected force, acceleration, speed, work rate
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/41—Servomotor, servo controller till figures
    • G05B2219/41021—Variable gain
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/42—Servomotor, servo controller kind till VSS
    • G05B2219/42152—Learn, self, auto tuning, calibrating, environment adaptation, repetition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Fluid Mechanics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Feedback Control In General (AREA)
  • Numerical Control (AREA)
  • Control Of Electric Motors In General (AREA)

Abstract

本发明的电动机控制装置根据与轴位置信息相关的参数的切换条件、或使用该参数的控制器的切换条件，能够变更所应用的参数、控制器，并且能够自动地调整该参数、该控制器。具备控制伺服电动机或主轴电动机的控制器的电动机控制装置(200)具备：切换判断部(300)，其根据与电动机控制装置(200)的控制相关的电动机(800)的轴位置信息，判定控制器的切换条件；机器学习部(500)，其针对每个切换条件，通过机器学习来调整控制器的参数；参数保存部(400)，其保存由机器学习部(500)调整后的每个切换条件的参数，其中，切换判断部(300)在调整参数后判定切换条件时，将与切换条件对应的调整后的参数应用于控制器。

Description

电动机控制装置
技术领域
本发明涉及电动机控制装置。
背景技术
以前，已知在普通的电动机控制装置中，根据加工条件、控制条件等，调整位置循环增益、速度循环增益等伺服增益、加减速时间常数等参数。或者，已知以下的技术，即在电动机控制装置中，根据加工条件、控制条件等将反馈控制器、前馈控制器的参数设定变更为最优的参数，以便能够与加工条件、控制条件等对应地使用最优的参数，或预先具备多个反馈控制器、前馈控制器，根据加工条件、控制条件等来切换控制器。
例如，专利文献1公开了能够与反弹的有无对应地切换控制电动机的控制增益的控制增益切换方式。
另外，专利文献2公开了一种数值控制装置，其为了与控制条件对应地设定最优的伺服***的参数，而设置对每个控制条件存储了最优的参数的值的参数表，在NC程序的执行过程中，能够根据参数的切换指令，选择参数表并进行设定。
现有技术文献
专利文献
专利文献1：日本特开平08-263143号公报
专利文献2：日本特开平11-231914号公报
发明要解决的问题
但是，在专利文献1的技术中，参数自身基本是固定值，如果参数一旦固定，则此后不会与运转环境等对应地极细致地调整参数。
具体地说，在专利文献1的技术中，只是与反弹的有无对应地在2个值之间切换控制增益的值，例如并不与反弹量对应地调整该2个值。
即，在专利文献1的技术中，并不调整当初设定的参数的值自身，因此例如在机床的运转环境变化了的情况下，无法排除该变化所伴随的加工、控制质量的劣化。
另外，专利文献2的技术虽然与控制条件对应地设定最优的参数，但具体地说，只不过公开了变更快进处理时的参数和切削处理时的参数。
对此，已知机床、机器人、或工业机械的特性根据轴的位置而变化。例如，在利用了滚珠丝杆的机床中，在轴位置位于滚珠丝杆的端部的情况、位于中央的情况下，机床的共振频率、刚性不同。
具体地说，例如如图10所示，在设滚珠丝杆8033的长度为l、耦合器8031侧的滚珠丝杆8033的端点为原点0、工作台804的位置即轴位置为x的情况下，在设滚珠丝杆轴即滚珠丝杆8033的刚性为Ks、螺母8032的刚性为Kn、轴承(未图示)的刚性为Kb时，根据以下的非专利文献，可知用以下的公式(1)(以下表示为公式1)来计算轴向刚性Kt。
[公式1]
<非专利文献>
松原厚“用于精密定位/进给***设计的控制工学”，森北出版，2008
另外，已知在单锚即电动机侧，滚珠丝杆轴的轴向(轴方向)和径向(旋转方向)被固定，在电动机侧的相反侧，在只限制了滚珠丝杆轴的径向的情况下，如果设滚珠丝杆轴(钢)的纵弹性系数为E、滚珠丝杆轴截面积为As，则用以下的公式(2)(以下表示为公式2)计算公式(1)的Ks。
[公式2]
另一方面，已知在双锚即电动机侧和电动机侧的相反侧的双方，滚珠丝杆轴的轴向和径向被固定的情况下，用以下的公式(3)(以下表示为公式3)计算公式(1)的Ks。
[公式3]
这样，在任意的情况下，轴向刚性都依存于轴的位置。
另一方面，已知在设伺服电动机800和滚珠丝杆8033的惯性为J、工作台804的质量为R、从旋转向直进的变换系数为R(m/rad)时，在滚珠丝杆8033的双惯性模型中，用以下的公式(4)(以下表示为公式4)计算***振频率ωa。
[公式4]
进而，已知如果使用惯性比α＝R2M/J，则用以下的公式(5)(以下表示为公式5)计算共振频率ωn。
[公式5]
这样，共振频率、***振频率都依存于轴向刚性，因此根据轴的位置变化。
因此，机床、机器人、或工业机械的刚性、共振频率、***振频率根据轴的位置而不同，因此为了在电动机控制装置中发挥高控制性能，理想的是对轴的每个位置，例如调整反馈控制器、前馈控制器的参数，与轴的位置对应地，进行该参数的设定变更或切换为使用该参数的控制器。
对于该点，在专利文献1、专利文献2等中，完全没有公开：对轴的每个位置，例如调整反馈控制器、前馈控制器(以下也称为“控制器”)的参数，与轴的位置对应地，变更在控制器中设定的参数，或切换为使用该参数的控制器。
发明内容
本发明的目的在于：提供一种电动机控制装置，其例如能够根据位置指令值或通过位置检测器检测出的各个轴位置信息，通过机器学习来调整应用于控制器的参数、控制器，并且能够保存通过机器学习调整后的参数，对各个轴的每个位置切换该参数、该控制器。
解决问题的方案
(1)本发明的电动机控制装置(例如后述的“电动机控制装置200”)具备控制机床、机器人、或工业机械的伺服电动机或主轴电动机的控制器，该电动机控制装置具备：根据与该电动机控制装置相关的轴的位置信息来判定上述控制器的切换条件的切换判断部(例如后述的“切换判断装置300”)、或与上述切换判断部进行通信的第一通信单元；针对每个上述切换条件通过机器学习来调整上述控制器的参数的机器学习部(例如后述的“机器学习装置500”)、或与上述机器学习部进行通信的第二通信单元；保存由上述机器学习部调整后的每个上述切换条件的参数的参数保存部(例如后述的“参数保存装置400”)、或与上述参数保存部进行通信的第三通信单元，上述切换判断部在调整上述参数后判定上述切换条件时，将与上述切换条件对应的调整后的参数应用于上述控制器。
(2)也可以是(1)的电动机控制装置具备：位置指令制作部(例如后述的“位置指令制作部1011”)，其制作与上述轴相关的位置指令；位置检测部，其检测与上述轴相关的位置；位置控制器(例如后述的“位置控制部2014”)，其根据上述位置指令和由上述位置检测部检测出的上述位置的反馈信息来制作速度指令；速度检测部，其检测速度；速度控制器(例如后述的“速度控制部2017”)，其根据由上述位置控制器制作出的上述速度指令和由上述速度检测部检测出的上述速度的反馈信息来制作转矩指令，上述机器学习部针对每个上述切换条件，调整上述位置控制器或上述速度控制器的参数。
(3)也可以是(1)的电动机控制装置具备：速度指令制作部，其制作上述速度指令；速度检测部，其检测上述速度；速度控制器，其根据上述速度指令和由上述速度检测部检测出的上述速度的反馈信息来制作转矩指令，上述机器学习部针对每个上述切换条件，调整上述速度控制器的参数。
(4)也可以是(1)的电动机控制装置具备：根据上述位置指令来制作前馈信息的位置前馈控制器(例如后述的“位置前馈控制部2020”)和/或根据上述位置指令来制作速度前馈信息的速度前馈控制器(例如后述的“速度前馈控制部2021”)，上述机器学习部针对每个上述切换条件，调整上述位置前馈控制器和/或上述速度前馈控制器的参数。
(5)也可以在(1)～(4)的电动机控制装置中，上述机器学习部针对一个上述切换条件来调整种类不同的多个参数，上述切换判断部将从上述多个参数中选择的一个参数应用于上述控制器。
发明效果
根据本发明，能够提供一种电动机控制装置，其例如能够根据位置指令值、或由位置检测器检测出的各个轴位置信息，通过机器学习来调整应用于控制器的参数、控制器，并且能够保存由机器学习调整后的参数，对各个轴的每个位置切换该参数、该控制器。
附图说明
图1是表示包括本发明的实施方式的电动机控制装置的电动机控制***的整体结构的框图。
图2是表示本发明的机器学习装置具备的机器学习部的结构的框图。
图3是表示本发明的第一实施方式的电动机控制装置的整体结构的框图。
图4A是表示本发明的第一实施方式的电动机控制装置所包含的位置控制部的结构的框图。
图4B是表示本发明的第一实施方式的电动机控制装置所包含的速度控制部的结构的框图。
图5是表示本发明的第一实施方式所具备的切换判断装置的动作的流程图。
图6是表示本发明的第二实施方式的电动机控制装置的整体结构的框图。
图7是表示本发明的第三实施方式的电动机控制装置的整体结构的框图。
图8A是表示本发明的第三实施方式的电动机控制装置所包含的位置前馈控制部的结构的框图。
图8B是表示本发明的第三实施方式的电动机控制装置所包含的速度前馈控制部的结构的框图。
图9是表示本发明的第四实施方式的电动机控制装置的整体结构的框图。
图10是表示成为电动机控制装置的控制对象的一个例子的包含伺服电动机的机床的一部分的框图。
附图标记说明
10、10A、10B、10C：电动机控制***；
100：CNC装置；
200、200A、200B、200C：电动机控制装置；
300、300A、300B、300C：切换判断装置；
400：参数保存装置；
500：机器学习装置；
2014：位置控制部；
2017：速度控制部；
2020：位置前馈控制部；
2021：速度前馈控制部。
具体实施方式
以下，使用附图详细说明本发明的实施方式。
[1第一实施方式]
[1.1整体结构]
图1是表示本发明的第一实施方式的电动机控制***的框图。电动机控制***10如图1所示，具备CNC(计算机数值控制)装置100、电动机控制装置200、切换判断装置300、参数保存装置400、机器学习装置500。CNC装置100与电动机控制装置200、电动机控制装置200与切换判断装置300、切换判断装置300与参数保存装置400、参数保存装置400与机器学习装置500分别经由连接接口直接连接、或分别经由网络连接，能够相互进行通信。此外，网络例如是在工厂内构筑的LAN(局域网)、因特网、公用电话网、或它们的组合。对于网络的具体通信方式、有线连接还是无线连接等，并没有具体限定。
CNC装置100是以下的装置，即根据加工程序，制作进给轴的位置指令值、主轴的速度指令值，向电动机控制装置200输出包含所制作的位置指令值、速度指令值的指令，由此控制机床、机器人、或工业机械的伺服电动机或主轴电动机等电动机，从而控制机床、机器人、或工业机械的加工。
电动机控制装置200根据从CNC装置100获取的位置指令值或速度指令值，通过自身具备的各控制器，生成位置指令、速度指令、以及转矩指令，将这些指令输出到伺服电动机或主轴电动机等电动机，由此控制电动机。
电动机控制装置200根据来自CNC装置100的位置指令值，例如进行利用了PI控制等的位置控制、速度控制、以及电流控制，由此生成进给轴的电动机的驱动电流。例如，电动机控制装置200根据位置指令和通过例如设置在进给轴的电动机的编码器检测出的位置反馈之间的位置偏差，生成速度指令(位置控制)，根据该速度指令和通过编码器检测出的速度反馈，生成进给轴的电动机的转矩指令(速度控制)，根据该转矩指令，生成进给轴的电动机的驱动电流(电流控制)。
另外，电动机控制装置200例如根据位置指令或位置反馈，向切换判断装置300输出轴位置信息。进而，电动机控制装置200经由切换判断装置300从参数保存装置400获取上述控制器所使用的参数，并且从切换判断装置300获取用于切换与轴位置对应地使用的控制器、参数的切换信息。
通过参照图3，将在后面说明电动机控制装置200的结构的详情。
切换判断装置300根据从电动机控制装置200获取的轴位置信息，判定用于通过电动机控制装置200切换所使用的控制器、参数的切换条件，根据该判定，向电动机控制装置200输出表示电动机控制装置200实际使用哪个控制器、参数的切换信息。
进而，切换判断装置300从参数保存装置400获取上述参数，并且将该参数输出到电动机控制装置200。
参数保存装置400从机器学习装置500获取电动机控制装置200的控制器所使用的参数并进行保存。进而，参数保存装置400将自身保存的参数输出到切换判断装置300。
机器学习装置500针对每个上述切换条件，通过机器学习来调整电动机控制装置200的控制器所使用的参数，将调整后的参数输出到参数保存装置400。
机器学习装置500具备与各切换条件对应的多个机器学习部510。
此外，在以下的说明中，使用根据预先设定的多个位置信息(例如位置x＝0、0.1、0.2、……(m))来切换参数的切换条件的一个例子。因此，在图1中，设想了以阈值为边界对轴位置的范围进行n分割而各范围与各切换条件对应的情况，基于该设想，表示机器学习装置500具备n个机器学习部即机器学习部510_1、机器学习部510_2、……机器学习部510_n的例子。
另外，以下为了说明的方便，以对轴位置的范围进行n分割并将与分割的个数对应的种类的参数设定到电动机控制装置200的情况为前提，记载本发明的电动机控制***、以及电动机控制装置的结构、动作等。
以下，示例强化学习作为本实施方式的机器学习而进行说明。此外，本发明的机器学习并不限于强化学习，也能够应用于进行其他任意的机器学习(例如监督学习等)的情况。
在说明机器学习装置500所包含的各功能模块之前，先说明强化学习的基本方法。引擎(相当于本实施方式的机器学习装置500)观测环境的状态，选择某行动，环境基于该行动而变化。伴随着环境的变化，提供任意的报酬，引擎学习更好的行动的选择(意向确定)。
与监督学习表示完全的正解相对地，强化学习的报酬大多是基于环境的一部分变化的零碎的值。因此，引擎进行学习，使得选择行动而使将来的报酬的合计成为最大。
这样，在强化学习中，通过对行动进行学习，来依照行动对环境产生的相互作用而学习适当的行动、即用于使将来得到的报酬最大的学习方法。这在本实施方式中，例如表示选择用于减小位置偏差的行动信息这样的能够获得未来产生影响那样的行动的情况。
在此，作为强化学习，可以使用任意的学习方法，但在以下的说明中，列举使用对在某环境的状态s下选择行动a的价值Q(s，a)进行学习的方法即Q学习(Q-learning)的情况为例子进行说明。
在Q学习中，其目的在于：在某状态s时，从能够获取的行动a中，选择价值Q(s，a)最高的行动a作为最优行动。
但是，在最初开始Q学习的时刻，对于状态s和行动a的组合，并不完全知道价值Q(s，a)的正确值。因此，引擎在某状态s下选择各种行动a，针对这时的行动a，根据所提供的报酬，进行更好的行动的选择，由此学习正确的价值Q(s，a)。
另外，希望使将来得到的报酬的合计最大化，因此目标是最终成为Q(s，a)＝E[Σ(γt)rt]。在此，E[]表示期望值，t是时刻，γ是后述的被称为折扣率的参数，rt是时刻t的报酬，Σ是时刻t的合计。该公式中的期望值是状态依照最优的行动而变化的情况下的期望值。但是，在Q学习的过程中，最优的行动是什么并不清楚，因此通过进行各种行动，一边搜索一边进行强化学习。例如可以通过以下的公式(6)(以下表示为公式6)来表示这样的价值Q(s，a)的更新公式。
[公式6]
在上述公式(6)中，st表示时刻t的环境的状态，at表示时刻t的行动。由于行动at，状态变化为st+1。rt+1表示由于该状态的变化得到的报酬。另外，带有max的项为在状态st+1下选择这时已知的Q值最高的行动a的情况下的Q值乘以γ所得的结果。在此，γ是0<γ≤1的参数，被称为折扣率。另外，α是学习系数，为0<α≤1的范围。
上述公式(6)表示根据试行at的结果所返回的报酬rt+1而更新状态st下的行动at的价值Q(st，at)的方法。
该更新公式表示如果行动at造成的下一个状态st+1下的最优行动的价值maxa Q(st+1，a)比状态st下的行动at的价值Q(st，at)大，则增大Q(st，at)，相反如果小，则减小Q(st，at)。即，使某状态下的某行动的价值接近其造成的下一个状态下的最优行动的价值。其中，其差根据折扣率γ和报酬rt+1的状态而变化，但基本上是某状态下的最优行动的价值向其上一个状态下的行动的价值传播的方法。
在此，在Q学习中，有制作与全部的状态行动对(s，a)有关的Q(s，a)的表而进行学习的方法。但是，在求出全部的状态行动对的Q(s，a)的值时，有时状态数过多，Q学习收敛需要很多时间。
因此，也可以利用公知的被称为DQN(深度Q网络：Deep Q-Network)的技术。具体地说，也可以使用适当的神经网络构成行动价值函数Q，调整神经网络的参数，由此用适当的神经网络近似价值函数Q，从而计算价值Q(s，a)的值。通过利用DQN，能够缩短Q学习收敛所需要的时间。此外，对于DQN，例如在以下的非专利文献中有详细记载。
<非专利文献>
“Human-level control through deep reinforcement learning”，VolodymyrMnih1著作(online)，平成29年1月17日检索，因特网<URL：http://files.davidqiu.com/research/nature14236.pdf>
机器学习装置500进行以上说明的Q学习。
图2是表示对全部机器学习部510共通的功能模块的框图。机器学习部510分别具备状态信息获取部511、学习部512、行动信息输出部513、价值函数存储部514、以及最优化行动信息输出部515。另外，学习部512分别具备报酬输出部5121、价值函数更新部5122、以及行动信息生成部5123。
状态信息获取部511根据在电动机控制装置200的控制器中使用的参数，从电动机控制装置200获取通过执行预先设定的评价用程序而获取的包含电动机控制装置200的位置偏差信息的指令、成为反馈等的反馈信息的状态信息S。该状态信息S相当于Q学习中的环境状态S。状态信息获取部511向学习部512输出所获取的状态信息S。
此外，在本说明书的末尾作为参考说明Q学习等强化学习。
学习部512是在某状态S的环境下学习选择某行动A的情况下的价值Q(S，A)的部分。在此，“行动A”具体是指针对反馈等的状态S调整最优参数的行动。
学习部512具备报酬输出部5121、价值函数更新部5122、以及行动信息生成部5123。
报酬输出部5121在选择了行动A的情况下，根据状态S使用预定的评价函数，由此计算出报酬r。
在此，用PD(S)表示状态S下的状态变量即位置偏差的集合(位置偏差集合)，用PD(S`)表示因行动A而从状态S变化的状态S`下的状态变量即位置偏差集合。另外，状态S下的位置偏差的值为根据预先设定的评价函数f(PD(s))计算出的值。此外，“位置偏差的集合”表示在上述n分割的轴位置的范围内测量的位置偏差的集合。
作为“评价函数”，例如示例以下的函数等，
计算位置偏差的绝对值的累计值的函数
∫|e|dt、
对位置偏差的绝对值附加时间的加权而计算累计值的函数
∫t|e|dt、
计算位置偏差的绝对值的2n(n为自然数)次方的累计值的函数
∫e2ndt、
计算位置偏差的绝对值的最大值的函数
Max{|e|}，
但并不限于它们。
另外，以如下方式设定“报酬r”。
在通过行动A而状态S被修正为状态S`的情况下，在状态S`下的位置偏差的值比被行动A修正前的状态S下的位置偏差的值大的情况下，将报酬的值设为负的值。
另一方面，在被行动A修正后的状态信息S`下的位置偏差的值比被行动A修正前的状态S下的位置差的值小的情况下，将报酬的值设为正的值。
价值函数更新部5122通过根据状态S、行动A、将行动A应用于状态S的情况下的状态S`、报酬的值r而进行Q学习，由此来更新价值函数存储部514存储的价值函数Q。此外，在进行参数的再学习的情况下，在开始Q学习时，可以将保存在参数保存装置400中的参数设定为初始值。
行动信息生成部5123针对当前的状态S，选择Q学习的过程中的行动A。行动信息生成部5123在Q学习的过程中，为了进行修正电动机控制装置200的控制器所使用的参数的动作(相当于Q学习中的行动A)而生成行动信息A，并将生成的行动信息A输出到行动信息输出部513。更具体地说，行动信息生成部5123例如向行动信息输出部513输出对状态S所包含的控制器所使用的参数递增地(例如0.01左右)进行加法或减法的行动A。该行动信息A为参数修正信息。
行动信息生成部5123也可以采取以下的方案，即应用控制器所使用的参数的增加或减少，转移到步骤S`，在返回了正的报酬(正的值的报酬)的情况下，作为下一个行动信息A`，选择与上次的行动同样地对控制器所使用的参数递增地进行加法或减法等而位置偏差的值变得更小那样的行动A`。
另外，相反地，在返回了负的报酬(负的值的报酬)的情况下，行动信息生成部5123也可以采取以下的方案，即作为下一个行动A`，例如选择与上次的行动相反地对控制器所使用的参数递增地进行减法或加法等而位置偏差比上次的值小那样的行动A`。
行动信息输出部513是向电动机控制装置200的控制器发送从学习部512输出的成为行动信息A的参数修正信息的部分。电动机控制装置200如上述那样，根据该行动信息A，对当前的状态S、即当前设定的控制器的参数进行微修正，由此转移到下一个状态S`(即修正后的参数)。
价值函数存储部514是存储价值函数Q的存储装置。价值函数Q例如对每个状态S、行动A存储为表(以下称为行动价值表)。通过价值函数更新部5122更新存储在价值函数存储部514中的价值函数Q。
最优化行动信息输出部515根据价值函数更新部5122通过进行Q学习而更新后的价值函数Q，生成用于使电动机控制装置200进行价值函数(s，a)为最大的动作的行动信息a(以下称为“最优化行动信息”)。
更具体地说，最优化行动信息输出部515获取价值函数存储部514存储的价值函数Q。如上述那样，价值函数更新部5122通过进行Q学习而更新了该价值函数Q。然后，最优化行动信息输出部515根据价值函数Q，生成行动信息，并将生成的行动信息输出到参数保存装置400。
这样，参数保存装置400保存电动机控制装置200的控制部所使用的参数即机器学习装置500的机器学习的调整完成后的参数。在电动机控制装置200中，可以进行动作使得使用保存在参数保存装置400中的参数，减小位置偏差的值。
如以上那样，本发明的机器学习装置500具备与各切换条件对应的多个机器学习部510，由此能够对每个切换条件，通过机器学习调整电动机控制装置200的控制器所使用的参数。
此外，与n分割的轴位置的各个范围对应地，各机器学习部510_1、510_2、……510_n进行机器学习，但根据以下的方法，将作为机器学习装置500整体的机器学习分配给各机器学习部510_1、510_2、……510_n。
在对轴位置的范围进行n分割而成为x0(＝0)≤x<x1、x1≤x<x2、……xn-1≤x<xn的情况下，在机器学习装置500从电动机控制装置200获取的反馈信息中包含表示轴位置位于x0(＝0)≤x<x1的轴位置信息时，机器学习装置500判定为该反馈信息是机器学习部510_1的学习对象。
具体地说，机器学习装置500根据评价用加工程序的动作过程中的当前时刻的轴位置信息，在轴位置位于上述的x0(＝0)≤x<x1的范围内的情况下，判定为是机器学习部510_1的学习对象。
在机器学习装置500从电动机控制装置200获取的反馈信息中包含表示轴位置处于x1≤x<x2的轴位置信息时，机器学习装置500判定为该反馈信息是机器学习部510_2的学习对象。
具体地说，机器学习装置500根据评价用加工程序的动作过程中的当前时刻的轴位置信息，在轴位置位于上述的x1≤x<x2的范围内的情况下，判定为是机器学习部510_2的学习对象。
以下同样地，在机器学习装置500从电动机控制装置200获取的反馈信息中包含表示轴位置处于xi-1≤x<xi(1≤i≤n)的轴位置信息时，机器学习装置500判定为该反馈信息是机器学习部510_i的学习对象。
具体地说，机器学习装置500在轴位置位于上述的xi-1≤x<xi的范围内的情况下，判定为是机器学习部510_i的学习对象。
此外，评价用加工程序被设定为在x0≤x<xn移动。由此，生成与x0(＝0)≤x<x1、x1≤x<x2、……、xn-1≤x<xn的全部区域对应的参数。
另外，在机器学习后，机器学习部510_1的最优化行动信息输出部515在轴位置处于x0(＝0)≤x<x1时，将该参数与表示在控制器中使用通过机器学习部510_1生成的参数的切换条件一起输出到参数保存装置400。另外，机器学习部510_2的最优化行动信息输出部515在轴位置处于x1≤x<x2时，将该参数与表示在控制器中使用通过机器学习部510_2生成的参数的切换条件一起输出到参数保存装置400。以下同样地，机器学习部510_i(1≤i≤n)的最优化行动信息输出部515在轴位置处于xi-1≤x<xi时，将该参数与表示在控制器中使用通过机器学习部510_i生成的参数的切换条件一起输出到参数保存装置400。
[1.2电动机控制装置]
图3是表示电动机控制装置200的一个结构例的框图。为了说明的方便，在图3中，还表示出CNC装置100具备的位置指令制作部1011、切换判断装置300、参数保存装置400。此外，位置指令制作部1011是在CNC装置100中根据加工程序制作位置指令值的功能模块。
如图3所示，电动机控制装置200具备减法器2013、位置控制部2014、减法器2016、速度控制部2017、积分器2019。对每个主轴电动机或伺服电动机设置有电动机控制装置200的各结构部。
减法器2013从CNC装置100(位置指令制作部1011)获取位置指令值，求出位置指令值与位置反馈的检出位置的差，作为位置偏差输出到位置控制部2014。
位置控制部2014将位置偏差乘以位置增益KP所得的值作为速度指令值输出到减法器2016。
图4A表示位置控制部2014的结构。位置控制部2014具备位置控制部2014_1、2014_2、……2014_n。位置控制部2014_1将位置偏差乘以位置增益KP1所得的值作为速度指令值输出到减法器2016。位置控制部2014_2将位置偏差乘以位置增益KP2所得的值作为速度指令值输出到减法器2016。位置控制部2014_n将位置偏差乘以位置增益KPn所得的值作为速度指令值输出到减法器2016。
这些位置增益KP1、KP2、……KPn分别是由机器学习装置500的机器学习部510_1、510_2、……510_n调整后的参数。这些参数从机器学习装置500输出到参数保存装置400，从参数保存装置400输出到切换判断装置300，从切换判断装置300输出到位置控制部2014_1、2014_2、……2014_n。
此外，如果一旦将通过机器学习装置500调整后的参数设定到位置控制部2014_1、2014_2、……2014_n，则在机床、机器人、或工业机械的实际加工的中途，不会变更所设定的参数。
如后述那样，切换判断装置300根据轴位置信息判定切换条件，作为与判定结果对应的切换信息，将表示使用位置控制部2014_1、2014_2、……2014_n的哪个作为电动机控制装置200的位置控制部2014的信息输出到电动机控制装置200。由此，在电动机控制装置200中，作为位置控制部2014而切换到位置控制部2014_1、2014_2、……2014_n的任意一个。
减法器2016求出位置控制部2014的输出与速度反馈的速度检测值的差，将该差作为速度偏差输出到速度控制部2017。
速度控制部2017将速度偏差乘以比例增益KV所得的值与速度偏差乘以积分增益Kiv并积分所得的值相加，作为转矩指令值输出到伺服电动机800。
图4B表示速度控制部2017的结构。速度控制部2017具备速度控制部2017_1、2017_2、……2017_n。速度控制部2017_1将速度偏差乘以比例增益KV1所得的值与速度偏差乘以积分增益Kiv1并积分所得的值相加，作为转矩指令值输出到伺服电动机800。速度控制部2017_2将速度偏差乘以比例增益KV2所得的值与速度偏差乘以积分增益Kiv2并积分所得的值相加，作为转矩指令值输出到伺服电动机800。速度控制部2017_n将速度偏差乘以比例增益KVn所得的值与速度偏差乘以积分增益Kivn并积分所得的值相加，作为转矩指令值输出到伺服电动机800。
这些比例增益KV1、KV2、……KVn分别是通过机器学习装置500的机器学习部510_1、510_2、……510_n调整后的参数。同样，积分增益Kiv1、Kiv2、……Kivn分别是通过机器学习装置500的机器学习部510_1、510_2、……510_n调整后的参数。这些参数分别从机器学习装置500输出到参数保存装置400，从参数保存装置400输出到切换判断装置300，从切换判断装置300输出到速度控制部2017_1、2017_2、……2017_n。
此外，如果将通过机器学习装置500调整后的参数设定到速度控制部2017_1、2017_2、……2017_n，则在机床、机器人、或工业机械的实际加工的中途，不会变更所设定的参数。
如后述那样，切换判断装置300根据轴位置信息判定切换条件，作为与判定结果对应的切换信息，将表示使用速度控制部2017_1、2017_2、……2017_n的哪个作为电动机控制装置200的速度控制部2017的信息输出到电动机控制装置200。由此，在电动机控制装置200中，作为速度控制部2017，切换到速度控制部2017_1、2017_2、……2017_n的任意一个。
此外，如上述那样，通过机器学习装置500调整位置控制部2014所使用的参数和速度控制部2017所使用的参数的双方，但机器学习装置500也可以只调整任意一方的参数。
图10是表示成为电动机控制装置200的控制对象700的一个例子的包含伺服电动机800的机床的一部分的框图。
电动机控制装置200通过伺服电动机800经由连结机构803使工作台804移动，由此对装载在工作台804上的被加工物(工件)进行加工。连结机构803具备与伺服电动机800连结的耦合器8031、固定在耦合器8031的滚珠丝杆8033，螺母8032螺合在滚珠丝杆8033上。通过伺服电动机800的旋转驱动，拧在滚珠丝杆8033上的螺母8032向滚珠丝杆8033的轴向移动。通过螺母8032的移动，工作台804移动。
控制对象700的伺服电动机800的旋转角度位置通过与伺服电动机800关联的成为位置检测部的旋转编码器801而被检测，将所检测出的信号用作速度反馈的速度检测值。速度检测值通过积分器2019而被积分，并用作位置反馈的位置检测值。
或者，在伺服电动机800具备线性标尺的情况下，代替将积分器2019对速度检测值的积分值作为位置检测值，而应用线性标尺的位置反馈值。
如以上那样，构成电动机控制装置200。
[1.3轴位置与共振频率和刚性的关系]
如上述那样，对于轴的每个位置，从转矩到位置的传递特性变化，因此针对轴的每个位置，例如通过机器学习调整反馈控制器、前馈控制器的参数，对轴的每个位置切换该参数，由此能够发挥高控制性能。
即，根据轴的位置，机床、机器人、或工业机械的刚性、共振频率、***振频率不同，因此为了发挥高控制性能，必须对轴的每个位置调整参数，与轴的位置相关的切换条件对应地，切换该参数或使用该参数的控制器。
以下，说明图3中的切换判断装置300与从电动机控制装置200获取的轴位置信息对应地切换位置控制部2014和速度控制部2017的动作。
此外，在以下的说明中，使用根据预先设定的多个位置信息(例如位置xi＝0、0.1、0.2、……(m))而切换参数的一个例子。
[1.4切换判断装置的动作]
图5是表示切换判断装置300的控制器切换处理的动作的一个例子的流程图。
在步骤S1中，切换判断装置300从电动机控制装置200获取轴的位置x。
在步骤S2中，设定i＝0(x0＝0)作为初始设定值。
在步骤S3中，在轴的位置x为阈值xi以上、不满阈值xi+1的情况下(S3：是)，处理转移到步骤S4。另一方面，在轴的位置x超过阈值xi+1的情况下(S3：否)，处理转移到步骤S5。
在步骤S4中，切换判断装置300向电动机控制装置200输出使用位置控制部2014_i+1作为位置控制部2014的切换信息、和/或使用速度控制部2017_i+1作为速度控制部2017的切换信息。
更详细地说，通过机器学习装置500调整位置控制部2014的参数，在位置控制部2014具备位置控制部2014_1、2014_2、……2014_n的n个控制器的情况下，切换判断装置300向电动机控制装置200输出使用位置控制部2014_i+1作为位置控制部2014的切换信息。
另一方面，通过机器学习装置500调整速度控制部2017的参数，在速度控制部2017具备速度控制部2017_1、2017_2、……2017_n的n个控制器的情况下，切换判断装置300向电动机控制装置200输出使用速度控制部2017_i+1作为速度控制部2017的切换信息。
然后，处理返回到步骤S1(返回)。
在步骤S5中，将i加1。然后，处理返回到步骤S3。
此外，在通过上述流程确定了在电动机控制装置200动作时使用的位置控制部2014和速度控制部2017后，在机床、机器人、或工业机械的实际加工的中途，基本上不会变更位置控制部2014和速度控制部2017。这是为了避免机床、机器人、或工业机械的加工质量产生偏差。
[2第二实施方式]
图6是表示第二实施方式的电动机控制***10A的电动机控制装置200A的一个结构例的框图。以下，为了说明的方便，说明电动机控制***10A和电动机控制装置200A与电动机控制***10和电动机控制装置200不同的点，省略对相同的结构的记载。
在第一实施方式的电动机控制装置200中，位置控制部2014具备位置控制部2014_1、2014_2、……2014_n的多个位置控制部，速度控制部2017具备速度控制部2017_1、2017_2、……2017_n的多个速度控制部。伴随于此，在电动机控制***10中，切换判断装置300与基于轴位置信息的切换条件对应地，在位置控制部2014_1、2014_2、……2014_n之间切换控制器，并且在速度控制部2017_1、2017_2、……2017_n之间切换控制器。
另一方面，在本实施方式的电动机控制装置200A中，速度控制部2017具备速度控制部2017_1、2017_2、……2017_n的多个速度控制部，但位置控制部2014A不具备多个位置控制部。
伴随于此，在电动机控制***10A中，机器学习装置500对每个切换条件调整速度控制部2017的参数，另一方面，不调整位置控制部2014A的参数。另外，切换判断装置300A与基于轴位置信息的切换条件对应地，在速度控制部2017_1、2017_2、……2017_n之间切换控制器，但不执行位置控制部2014A内的切换。
[3第三实施方式]
图7是表示第三实施方式的电动机控制***10B的电动机控制装置200B的一个结构例的框图。以下，为了说明的方便，说明电动机控制***10B和电动机控制装置200B与电动机控制***10和电动机控制装置200不同的点，省略对相同的结构的记载。
电动机控制装置200B除了具备电动机控制装置200具备的构成要素以外，还具备位置前馈控制部2020和速度前馈控制部2021。
位置前馈控制部2020进行公式(7)(以下表示为公式7)所示的传递函数Ff(s)所示的位置前馈计算处理，并输出到加法器2015。
[公式7]
图8A表示位置前馈控制部2020的结构。位置前馈控制部2020具备位置前馈控制部2020_1、2020_2、……2020_n的n个控制器。作为传递函数Ff(s)，位置前馈控制部2020_1进行Ff1(s)所示的位置前馈计算处理，并输出到加法器2015。作为传递函数Ff(s)，位置前馈控制部2020_2进行Ff2(s)所示的位置前馈计算处理，并输出到加法器2015。作为传递函数Ff(s)，位置前馈控制部2020_n进行Ffn(s)所示的位置前馈计算处理，并输出到加法器2015。
这些传递函数Ff1(s)、Ff2(s)、……Ffn(s)的系数分别是通过机器学习装置500的机器学习部510_1、510_2、……510_n调整后的参数。这些参数从机器学习装置500输出到参数保存装置400，从参数保存装置400输出到切换判断装置300，从切换判断装置300输出到位置前馈控制部2020_1、2020_2、……2020_n。
切换判断装置300B根据轴位置信息判定切换条件，作为与成为判定结果的切换条件对应的切换信息，将表示使用位置前馈控制部2020_1、2020_2、……2020_n的哪个作为电动机控制装置200B的位置前馈控制部2020的信息，输出到电动机控制装置200B。由此，在电动机控制装置200B中，作为位置前馈控制部2020，切换到位置前馈控制部2020_1、2020_2、……2020_n的任意一个。
此外，如果一旦将通过机器学习装置500调整后的参数设定到位置前馈控制部2020_1、2020_2、……2020_n，则在机床、机器人、或工业机械的实际加工的中途，不会变更所设定的参数。
速度前馈控制部2021进行公式(8)(以下表示为公式8)所示的传递函数Gf(s)所示的速度前馈计算处理，并输出到加法器2018。
[公式8]
图8B表示速度前馈控制部2021的结构。速度前馈控制部2021具备速度前馈控制部2021_1、2021_2、……2021_n。作为传递函数Gf(s)，速度前馈控制部2021_1进行Gf1(s)所示的速度前馈计算处理，并输出到加法器2018。作为传递函数Gf(s)，速度前馈控制部2021_2进行Gf2(s)所示的速度前馈计算处理，并输出到加法器2018。作为传递函数Gf(s)，速度前馈控制部2021_n进行Gfn(s)所示的速度前馈计算处理，并输出到加法器2018。
这些传递函数Gf1(s)、Gf2(s)、……Gfn(s)的系数分别是通过机器学习装置500的机器学习部510_1、510_2、……510_n调整后的参数。这些参数从机器学习装置500输出到参数保存装置400，从参数保存装置400输出到切换判断装置300，从切换判断装置300输出到速度前馈控制部2021_1、2021_2、……2021_n。
此外，如果一旦将通过机器学习装置500调整后的参数设定到速度前馈控制部2021_1、2021_2、……2021_n，则在机床、机器人、或工业机械的实际加工的中途，不会变更所设定的参数。
切换判断装置300B根据轴位置信息判定切换条件，作为与判定结果对应的切换信息，将表示使用速度前馈控制部2021_1、2021_2、……2021_n的哪个作为电动机控制装置200的速度前馈控制部2021的信息，输出到电动机控制装置200B。由此，在电动机控制装置200B中，作为速度前馈控制部2021，切换到速度前馈控制部2021_1、2021_2、……2021_n的任意一个。
此外，机器学习装置500既可以调整位置前馈控制部2020所使用的参数和速度前馈控制部2021所使用的参数的双方，也可以只调整一方。
另外，切换判断装置300B既可以执行位置前馈控制部2020_1、2020_2、……2020_n之间的控制器的切换和速度前馈控制部2021_1、2021_2、……2021_n之间的控制器的切换的双方的切换，也可以只执行一方的切换。
[4第四实施方式]
图9是表示第四实施方式的电动机控制***10C的电动机控制装置200C的一个结构例的框图。以下，为了说明的方便，说明电动机控制***10C和电动机控制装置200C与电动机控制***10和电动机控制装置200不同的点，省略对相同的结构的记载。
在电动机控制***10～10B中，机器学习装置500与各切换条件对应地调整各控制器的参数，调整后的各个参数被分别设定到构成位置控制部2014、速度控制部2017、位置前馈控制部2020、速度前馈控制部2021的多个控制部。然后，切换判断装置300～300B根据轴位置信息判定切换条件，向电动机控制装置200～200B输出表示从多个控制部中选择与判定结果对应的控制部的切换信息。
另一方面，在第四实施方式的电动机控制装置200C中，位置控制部2014C、速度控制部2017C、位置前馈控制部2020C、速度前馈控制部2021C分别具备一个控制部。另外，切换判断装置300C根据轴位置信息判定切换条件，从多个参数中选择与判定结果对应的各控制器的参数，分别设定到位置控制部2014C、速度控制部2017C、位置前馈控制部2020C、速度前馈控制部2021C。
此外，在图9中，图示了切换判断装置300C选择位置前馈控制部2020C和速度前馈控制部2021C所使用的参数，将各个参数设定到位置前馈控制部2020C和速度前馈控制部2021C的实施例，但并不限于此。切换判断装置300C也可以选择位置控制部2014C、速度控制部2017C、位置前馈控制部2020C、速度前馈控制部2021C中的任意的控制部所使用的参数，将该参数设定到控制部。
[5变形例]
[5.1变形例1]
在上述实施方式中，构成为机器学习装置500针对一个切换条件调整一个或一组的参数，将该一个或一组的参数设定到各控制部，但并不限于此。
例如，也可以针对一个切换条件，与机床、机器人、或工业机械的加工质量等的程度对应地调整多种参数，参数保存装置400保存这些多种参数。在该情况下，例如也可以构成为切换判断装置300～300C具备显示多种参数的显示装置(未图示)，由用户从显示装置所具备的触摸屏等输入部选择任意的参数，由此将选择出的参数设定到各控制部。
另外，参数保存装置400在通过再次进行机器学习而更新参数的情况下，也可以代替覆盖到已经保存的参数，而附加新的版本编号地追加保存，使得进行参数的版本管理。由此，通常利用最新的版本的参数，例如在发生了任意的异常的情况下，能够再利用过去被设定为最优值的参数。
[5.2变形例2]
另外，在上述实施方式中，机器学习装置500通过执行预先设定的评价用程序来进行机器学习，由此调整参数，但并不限于此。也可以通过在机床、机器人、或工业机械的实际加工中进行机器学习，来调整参数。
[5.3变形例3]
另外，在上述实施方式中，电动机控制装置200～200C、切换判断装置300～300C、参数保存装置400、机器学习装置500为分体的，但并不限于此。也可以将切换判断装置300～300C、参数保存装置400、机器学习装置500中的一个以上组合到与电动机控制装置200～200C相同的框体中。
能够通过硬件、软件、或它们的组合，来实现上述电动机控制装置和电动机控制***所包含的各结构部。另外，也能够通过硬件、软件、或它们的组合，来实现通过上述电动机控制装置和电动机控制***所包含的各结构部的各个的协作而进行的电动机控制方法。在此，通过软件实现表示通过由计算机读入并执行程序来实现。
可以使用各种类型的非临时的计算机可读介质(non-transitory computerreadable medium)来存储程序并提供到计算机。非临时的计算机可读介质包括各种类型的有实体的记录介质(tangible storage medium)。非临时的计算机可读介质的例子包括磁记录介质(例如软盘、磁带、硬盘驱动器)、光磁记录介质(例如光磁盘)、CD-ROM(只读存储器)、CD-R、CD-R/W、半导体存储器(例如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、快闪ROM、RAM(随机存取存储器))。另外，也可以通过各种类型的临时的计算机可读介质(transitory computer readable medium)向计算机提供程序。临时的计算机可读介质的例子包括电信号、光信号、以及电磁波。临时的计算机可读介质能够经由电线和光纤等有线通信路径、或无线通信路径向计算机提供程序。

Claims (4)

1.一种电动机控制装置，该电动机控制装置具备控制机床、机器人、或工业机械的伺服电动机或主轴电动机的控制器，
其特征在于，
上述电动机控制装置具备：
根据与该电动机控制装置的控制相关的轴的位置信息来判定上述控制器的切换条件的切换判断部、或与上述切换判断部进行通信的第一通信单元；
针对每个上述切换条件通过机器学习来调整上述控制器的参数的与各切换条件对应的多个机器学习部、或与上述机器学习部进行通信的第二通信单元；以及
上述机器学习部针对一个上述切换条件调整种类不同的多个参数，
保存由上述机器学习部调整后的每个上述切换条件的参数的参数保存部、或与上述参数保存部进行通信的第三通信单元，
上述切换判断部在调整上述参数后判定上述切换条件时，将与上述切换条件对应的调整后的参数应用于上述控制器，并且用户通过输入部将从上述多个参数中选择的一个参数应用于上述控制器。
2.根据权利要求1所述的电动机控制装置，其特征在于，
上述电动机控制装置具备：
位置指令制作部，其制作与上述轴相关的位置指令；
位置检测部，其检测与上述轴相关的位置；
位置控制器，其根据上述位置指令和由上述位置检测部检测出的上述位置的反馈信息来制作速度指令；
速度检测部，其检测速度；以及
速度控制器，其根据由上述位置控制器制作出的上述速度指令和由上述速度检测部检测出的上述速度的反馈信息来制作转矩指令，
上述机器学习部针对每个上述切换条件，调整上述位置控制器或上述速度控制器的参数。
3.根据权利要求1所述的电动机控制装置，其特征在于，
上述电动机控制装置具备：
速度指令制作部，其制作上述速度指令；
速度检测部，其检测上述速度；以及
速度控制器，其根据上述速度指令和由上述速度检测部检测出的上述速度的反馈信息来制作转矩指令，
上述机器学习部针对每个上述切换条件，调整上述速度控制器的参数。
4.根据权利要求1所述的电动机控制装置，其特征在于，
上述电动机控制装置具备根据上述位置指令来制作前馈信息的位置前馈控制器和/或根据上述位置指令来制作速度前馈信息的速度前馈控制器，
上述机器学习部针对每个上述切换条件，调整上述位置前馈控制器和/或上述速度前馈控制器的参数。
CN201910870551.6A 2018-09-21 2019-09-16 电动机控制装置 Active CN110941242B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018177726A JP6806746B2 (ja) 2018-09-21 2018-09-21 モータ制御装置
JP2018-177726 2018-09-21

Publications (2)

Publication Number Publication Date
CN110941242A CN110941242A (zh) 2020-03-31
CN110941242B true CN110941242B (zh) 2024-04-02

Family

ID=69781642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910870551.6A Active CN110941242B (zh) 2018-09-21 2019-09-16 电动机控制装置

Country Status (4)

Country Link
US (1) US10739734B2 (zh)
JP (1) JP6806746B2 (zh)
CN (1) CN110941242B (zh)
DE (1) DE102019213924B4 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7021160B2 (ja) * 2019-09-18 2022-02-16 株式会社東芝 ハンドリング装置、ハンドリング方法及びプログラム
JP7484382B2 (ja) 2020-04-24 2024-05-16 横河電機株式会社 制御装置、制御方法および制御プログラム
JPWO2022044971A1 (zh) * 2020-08-24 2022-03-03

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0720905A (ja) * 1993-07-02 1995-01-24 Toei Denki Kk サーボ制御装置
CN1149918A (zh) * 1994-04-08 1997-05-14 西门子公司 一种补偿机器轴非线性的装置
JPH09238490A (ja) * 1996-03-01 1997-09-09 Matsushita Electric Ind Co Ltd 電動機制御装置
JP2012253987A (ja) * 2011-06-07 2012-12-20 Panasonic Corp モータ駆動装置
CN105278465A (zh) * 2014-06-12 2016-01-27 发那科株式会社 进行控制轴切换的数值控制装置
CN106054816A (zh) * 2015-04-02 2016-10-26 发那科株式会社 切换基准轴来进行学习控制的伺服控制装置
CN106357192A (zh) * 2016-09-05 2017-01-25 桂林电子科技大学 电流自适应控制降低开关磁阻电机转矩脉动的方法与***
DE102016011526A1 (de) * 2015-09-30 2017-03-30 Fanuc Corporation Maschinenlernsystem und Motorsteuersystem mit Funktion des automatischen Justierens eines Parameters
JP6140331B1 (ja) * 2016-04-08 2017-05-31 ファナック株式会社 主軸または主軸を駆動するモータの故障予知を学習する機械学習装置および機械学習方法、並びに、機械学習装置を備えた故障予知装置および故障予知システム
CN108227482A (zh) * 2016-12-14 2018-06-29 发那科株式会社 控制***以及机器学习装置
WO2018151215A1 (ja) * 2017-02-20 2018-08-23 株式会社安川電機 制御装置及び制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62203203A (ja) * 1986-03-03 1987-09-07 Sumitomo Electric Ind Ltd サ−ボ回路
US5751585A (en) * 1995-03-20 1998-05-12 Electro Scientific Industries, Inc. High speed, high accuracy multi-stage tool positioning system
JPH08263143A (ja) 1995-03-23 1996-10-11 Fanuc Ltd 外乱オブザーバを用いた制御ゲイン切り替え方式
JPH11102211A (ja) 1997-09-25 1999-04-13 Toshiba Mach Co Ltd サーボ調整方法およびその装置
JPH11231914A (ja) 1998-02-12 1999-08-27 Toyoda Mach Works Ltd 数値制御装置
JP2000293234A (ja) * 1999-04-08 2000-10-20 Matsushita Electric Ind Co Ltd モータ制御ゲイン切替方法
DE10394201T5 (de) * 2003-04-11 2007-03-01 Mitsubishi Denki K.K. Servosteuerung
JP4575508B1 (ja) * 2009-05-20 2010-11-04 ファナック株式会社 デュアル位置フィードバック制御を行うサーボ制御装置
JP5850960B2 (ja) * 2014-02-06 2016-02-03 ファナック株式会社 位置検出器の内挿誤差を補正するモータ制御装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0720905A (ja) * 1993-07-02 1995-01-24 Toei Denki Kk サーボ制御装置
CN1149918A (zh) * 1994-04-08 1997-05-14 西门子公司 一种补偿机器轴非线性的装置
JPH09238490A (ja) * 1996-03-01 1997-09-09 Matsushita Electric Ind Co Ltd 電動機制御装置
JP2012253987A (ja) * 2011-06-07 2012-12-20 Panasonic Corp モータ駆動装置
CN105278465A (zh) * 2014-06-12 2016-01-27 发那科株式会社 进行控制轴切换的数值控制装置
CN106054816A (zh) * 2015-04-02 2016-10-26 发那科株式会社 切换基准轴来进行学习控制的伺服控制装置
DE102016011526A1 (de) * 2015-09-30 2017-03-30 Fanuc Corporation Maschinenlernsystem und Motorsteuersystem mit Funktion des automatischen Justierens eines Parameters
JP6140331B1 (ja) * 2016-04-08 2017-05-31 ファナック株式会社 主軸または主軸を駆動するモータの故障予知を学習する機械学習装置および機械学習方法、並びに、機械学習装置を備えた故障予知装置および故障予知システム
CN106357192A (zh) * 2016-09-05 2017-01-25 桂林电子科技大学 电流自适应控制降低开关磁阻电机转矩脉动的方法与***
CN108227482A (zh) * 2016-12-14 2018-06-29 发那科株式会社 控制***以及机器学习装置
WO2018151215A1 (ja) * 2017-02-20 2018-08-23 株式会社安川電機 制御装置及び制御方法

Also Published As

Publication number Publication date
JP6806746B2 (ja) 2021-01-06
JP2020047228A (ja) 2020-03-26
DE102019213924B4 (de) 2023-02-09
DE102019213924A1 (de) 2020-04-02
US20200096955A1 (en) 2020-03-26
CN110941242A (zh) 2020-03-31
US10739734B2 (en) 2020-08-11

Similar Documents

Publication Publication Date Title
JP6490127B2 (ja) 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
CN109274314B (zh) 机器学习装置、伺服电动机控制装置、伺服电动机控制***以及机器学习方法
JP6474449B2 (ja) 調整装置及び調整方法
US10824121B2 (en) Machine learning device, servo motor controller, servo motor control system, and machine learning method
CN110941242B (zh) 电动机控制装置
CN109116811B (zh) 机器学习装置和方法、伺服控制装置、伺服控制***
US10877442B2 (en) Machine learning device, control device, and machine learning method
CN108880399B (zh) 机器学习装置、伺服控制***以及机器学习方法
CN110376969B (zh) 调整装置以及调整方法
JP6748135B2 (ja) 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
JP6740278B2 (ja) 機械学習装置、制御装置、及び機械学習方法
CN110658785B (zh) 输出装置、控制装置、以及评价函数值的输出方法
US11029650B2 (en) Machine learning device, control system, and machine learning method
CN110888398B (zh) 控制装置、cnc装置以及控制方法
JP6740263B2 (ja) 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法
CN116057479A (zh) 控制辅助装置、控制***以及控制辅助方法
JP2020013268A (ja) 機械学習装置、制御装置、及び機械学習方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant