JP2021002238A - 制御装置、制御システム、及び機械学習装置 - Google Patents

制御装置、制御システム、及び機械学習装置 Download PDF

Info

Publication number
JP2021002238A
JP2021002238A JP2019115896A JP2019115896A JP2021002238A JP 2021002238 A JP2021002238 A JP 2021002238A JP 2019115896 A JP2019115896 A JP 2019115896A JP 2019115896 A JP2019115896 A JP 2019115896A JP 2021002238 A JP2021002238 A JP 2021002238A
Authority
JP
Japan
Prior art keywords
peak cut
learning
industrial machine
base speed
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019115896A
Other languages
English (en)
Other versions
JP7256703B2 (ja
Inventor
佑輔 福島
Yusuke Fukushima
佑輔 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2019115896A priority Critical patent/JP7256703B2/ja
Priority to DE102020003526.4A priority patent/DE102020003526A1/de
Priority to US16/902,810 priority patent/US11606047B2/en
Priority to CN202010568307.7A priority patent/CN112117944A/zh
Publication of JP2021002238A publication Critical patent/JP2021002238A/ja
Application granted granted Critical
Publication of JP7256703B2 publication Critical patent/JP7256703B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02PCONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
    • H02P6/00Arrangements for controlling synchronous motors or other dynamo-electric motors using electronic commutation dependent on the rotor position; Electronic commutators therefor
    • H02P6/005Arrangements for controlling doubly fed motors
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02PCONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
    • H02P3/00Arrangements for stopping or slowing electric motors, generators, or dynamo-electric converters
    • H02P3/06Arrangements for stopping or slowing electric motors, generators, or dynamo-electric converters for stopping or slowing an individual dynamo-electric motor or dynamo-electric converter
    • H02P3/08Arrangements for stopping or slowing electric motors, generators, or dynamo-electric converters for stopping or slowing an individual dynamo-electric motor or dynamo-electric converter for stopping or slowing a dc motor
    • H02P3/14Arrangements for stopping or slowing electric motors, generators, or dynamo-electric converters for stopping or slowing an individual dynamo-electric motor or dynamo-electric converter for stopping or slowing a dc motor by regenerative braking
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02PCONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
    • H02P23/00Arrangements or methods for the control of AC motors characterised by a control method other than vector control
    • H02P23/0004Control strategies in general, e.g. linear type, e.g. P, PI, PID, using robust control
    • H02P23/0031Control strategies in general, e.g. linear type, e.g. P, PI, PID, using robust control implementing a off line learning phase to determine and store useful data for on-line control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02PCONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
    • H02P5/00Arrangements specially adapted for regulating or controlling the speed or torque of two or more electric motors
    • H02P5/74Arrangements specially adapted for regulating or controlling the speed or torque of two or more electric motors controlling two or more ac dynamo-electric motors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Electric Motors In General (AREA)
  • General Factory Administration (AREA)
  • Feedback Control In General (AREA)
  • Numerical Control (AREA)

Abstract

【課題】産業機械の動作状態に応じて、適切なピークカット用モータのベース速度を学習し、設定する制御装置、制御システム、及び機械学習装置を提供すること。【解決手段】本発明の制御装置1は、少なくとも産業機械2の動作状態に係るデータを取得するデータ取得部34と、産業機械2の動作状態に対するピークカット用サーボモータ50のベース速度の設定行動の価値を関連付けた学習モデルを記憶する学習モデル記憶部130と、学習モデル記憶部130に記憶された学習モデルを用いて、データ取得部34が取得した産業機械2の動作状態に係るデータに基づくピークカット用サーボモータ50のベース速度の設定行動を決定する意思決定部120と、を備える。【選択図】図2

Description

本発明は、制御装置、制御システム、及び機械学習装置に関する。
工場等の製造現場に設置された工作機械、射出成形機、ロボット等の複数の産業機械は、該産業機械を制御する個別の制御装置からの指令に基づいて稼働している。これら複数の産業機械は、所定の電源設備に接続されており、そこから供給される電力を消費して稼働する(例えば、特許文献1)。この時、電力を多く消費するような指令が産業機械で実行されると、産業機械で大きな電力が消費される。このような場合における消費電力量を低減させるために、例えば図7に示されるように、産業機械の駆動用モータとは他のモータを予め駆動しておき、産業機械で電力が消費されるタイミングに合わせて他のモータを減速させ、回生エネルギーを発生させることで電力の消費を抑える事が行われている。このような目的で設置される他のモータを、本明細書ではピークカット用モータと呼ぶ。
前記したように、ピークカット用モータは産業機械で電力が消費されるタイミングで減速して回生エネルギーを発生させる必要があるため、普段は予め定めた所定の速度(ベース速度)で回転している必要がある。このベース速度は、産業機械の動作、例えば産業機械の駆動用モータの動作パターン等を参考として、現場の作業者が経験に基づいて決定する。ベース速度は、ピークカット用モータが減速して回生エネルギーを発生させた時に、ピークカット用モータのモータ速度が下がりすぎないように、速度をやや高めに設定される傾向にある。
特開2017−162300号公報
産業機械の消費電力が最も大きい時、例えば産業機械の駆動用モータの出力が最も大きい時に合わせてピークカット用モータのベース速度を決めた場合、産業機械の駆動用モータの出力が大きくない時にもピークカット用モータを高速で回転させておく必要がある。しかしながら、一律にピークカット用モータのベース速度を高めに設定すると、鉄損の増加等が原因でピークカット用モータでの電力損失が増加したり、ピークカット用モータの軸受寿命が短くなったりする、といった問題が生じる。
そのため、産業機械の動作状態に応じて、適切なピークカット用モータのベース速度を学習し、設定する手法が望まれている。
本発明の一態様による制御装置は、産業機械の出力に係るデータに基づいて、該産業機械の各状態における適切なピークカット用モータのベース速度を試行錯誤的に学習し、その学習結果に基づいてベース速度の調整を行うことで、上記課題を解決する。
そして、本発明の一態様は、少なくとも1つの産業機械と同じ電力供給路に接続されたピークカット用モータのピークカット動作を制御する制御装置であって、少なくとも前記産業機械の動作状態に係るデータを取得するデータ取得部と、前記産業機械の動作状態に対する前記ピークカット用モータのベース速度の設定行動の価値を関連付けた学習モデルを記憶する学習モデル記憶部と、前記学習モデル記憶部に記憶された学習モデルを用いて、前記データ取得部が取得した前記産業機械の動作状態に係るデータに基づく前記ピークカット用モータのベース速度の設定行動を決定する意思決定部と、を備えた制御装置である。
本発明の他の態様は、複数の制御装置が、ネットワークを介して相互に接続された制御システムであって、複数の制御装置の間で、前記学習部による学習結果を共有可能である、制御システムである。
本発明の他の態様は、少なくとも1つの産業機械と同じ電力供給路に接続されたピークカット用モータのピークカット動作の制御における前記ピークカット用モータのベース速度の設定行動を学習した機械学習装置であって、前記産業機械の動作状態に対する前記ピークカット用モータのベース速度の設定行動の価値を関連付けた学習モデルを記憶する学習モデル記憶部と、前記学習モデル記憶部に記憶された学習モデルを用いて、前記データ取得部が取得した前記産業機械の動作状態に係るデータに基づく前記ピークカット用モータのベース速度の設定行動を決定する意思決定部と、を備えた機械学習装置である。
本発明の一態様により、ピークカット用モータのベース速度を必要以上に高くすることがなくなるため、ピークカット用モータの損失を低減できる他、ピークカット用モータの軸受を長寿命化できることが見込まれる。
一実施形態による制御装置の概略的なハードウェア構成図である。 第1実施形態による制御装置の概略的な機能ブロック図である。 産業機械による電力消費と電力回生について説明する図である。 一実施形態による制御システムの動作環境を概略的に示す図である。 第2実施形態による制御システムの概略的な機能ブロック図である。 複数の制御システムが動作するシステムを概略的に示す図である。 従来技術によるピークカット用モータを用いて消費電力を低減させる仕組みについて説明する図である。
以下、本発明の実施形態を図面と共に説明する。
図1は本発明の一実施形態による制御装置の要部を示す概略的なハードウェア構成図である。本実施形態の制御装置1は、ピークカット用モータを制御する制御装置として実装することができる。また、制御装置1は、工場に設置されたパソコンや、工場のネットワークに接続されたセルコンピュータ、フォグコンピュータ、クラウドサーバ等のコンピュータとして実装することが出来る。本実施形態では、制御装置1を、ピークカット用モータを制御する制御装置として実装した場合の例を示す。
本実施形態による制御装置1が備えるCPU11は、制御装置1を全体的に制御するプロセッサである。CPU11は、バス20を介して接続されているROM12に格納されたシステム・プログラムを読み出し、該システム・プログラムに従って制御装置1全体を制御する。RAM13には一時的な計算データ、表示装置70に表示するための表示データ、入力装置71を介して作業者が入力した各種データ等が格納される。
不揮発性メモリ14は、例えば図示しないバッテリでバックアップされたメモリやSSD(Solid State Drive)等で構成され、制御装置1の電源がオフされても記憶状態が保持されるメモリとして構成される。不揮発性メモリ14には、制御装置1の動作に係る設定情報が格納される設定領域、インタフェース18を介して入力装置71から入力されたデータや制御用プログラム、産業機械2からネットワーク5を介して取得される各種データ(各産業機械2において実行されている制御プログラム、産業機械2の駆動用モータの出力計算値、出力測定値、モータ速度等)、図示しない外部記憶装置を介して読み込まれたデータや制御用プログラム等が記憶される。不揮発性メモリ14に記憶されたプログラムや各種データは、実行時/利用時にはRAM13に展開されても良い。また、ROM12には、各種データを解析するための公知の解析プログラム等を含むシステム・プログラムが予め書き込まれている。
制御装置1は、インタフェース16を介して有線/無線のネットワーク5と接続されている。ネットワーク5には、制御装置1に対して電力を供給する電力供給路に接続される少なくとも1つの産業機械2等が接続され、制御装置1との間で相互にデータのやり取りが行えるようになっている。
表示装置70には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ、後述する機械学習装置100から出力されたデータ等がインタフェース17を介して出力されて表示される。また、キーボードやポインティングデバイス等から構成される入力装置71は、作業者による操作に基づく指令,データ等をインタフェース18を介してCPU11に渡す。
軸制御回路30はCPU11からの軸の移動指令量を受けて、軸の指令をサーボアンプ40に出力する。サーボアンプ40はこの指令を受けて、ピークカット用サーボモータ50を駆動する。ピークカット用サーボモータ50は位置・速度検出器を内蔵し、この位置・速度検出器からの位置・速度フィードバック信号を軸制御回路30にフィードバックし、位置・速度のフィードバック制御を行う。
インタフェース21は、CPU11と機械学習装置100とを接続するためのインタフェースである。機械学習装置100は、機械学習装置100全体を統御するプロセッサ101と、システム・プログラム等を記憶したROM102、機械学習に係る各処理における一時的な記憶を行うためのRAM103、及び学習モデル等の記憶に用いられる不揮発性メモリ104を備える。機械学習装置100は、インタフェース21を介して制御装置1で取得可能な各情報(各産業機械2において実行されている制御プログラム、産業機械2の駆動用モータの出力計算値、出力測定値、モータ速度等)を観測することができる。また、制御装置1は、機械学習装置100から出力される結果を受けて、表示装置70への表示や制御対象となるピークカット用サーボモータ50への指令の出力等を行う。
図2は、第1実施形態による制御装置1と機械学習装置100の概略的な機能ブロック図である。本実施形態の制御装置1は、機械学習装置100が学習を行う場合に必要とされる構成と、機械学習装置100による意思決定に基づく処理に必要とされる構成とを備えている。図2に示した各機能ブロックは、図1に示した制御装置1が備えるCPU11、及び機械学習装置100のプロセッサ101が、それぞれのシステム・プログラムを実行し、制御装置1及び機械学習装置100の各部の動作を制御することにより実現される。
本実施形態の制御装置1は、制御部32、データ取得部34、前処理部36を備え、制御装置1が備える機械学習装置100は、学習部110、意思決定部120を備えている。また、図1で示した不揮発性メモリ14上には、産業機械2等から取得されたデータが記憶される取得データ記憶部54が設けられており、図1で示した機械学習装置100の不揮発性メモリ104上には、学習部110による機械学習により構築された学習モデルを記憶する学習モデル記憶部130が設けられている。
制御部32は、図1に示した制御装置1が備えるCPU11がROM12から読み出したシステム・プログラムを実行し、主としてCPU11によるRAM13、不揮発性メモリ14を用いた演算処理と、軸制御回路30をピークカット用サーボモータ50の制御処理が行われることで実現される。制御部32は、図1で示した不揮発性メモリ14に記憶された制御用プログラム52に基づいて、ピークカット用サーボモータ50の動作を制御する機能手段である。制御部32は、制御用プログラム52によりピークカット用サーボモータ50に対して制御周期毎に移動指令を出力する等といったように、産業機械2の各部の動作を制御するために必要とされる一般的な制御のための機能を備える。
制御部32は、制御用プログラム52や制御装置1の不揮発性メモリ14上に設けられた設定領域に設定されるベース速度でピークカット用サーボモータ50を駆動するように制御する。また、制御部32は、ネットワーク5を介して産業機械2の動作状態を取得し、産業機械2における消費電力量が上昇した際に、その上昇量に応じてピークカット用サーボモータ50を減速させて回生エネルギーを発生させるように制御する。
図3は、産業機械2で消費される電力の推移とピークカット用サーボモータ50の速度制御との関係を概略的に示す図である。図3に示すように、制御部32は、通常は設定されたベース速度でピークカット用サーボモータ50を駆動させている。産業機械2で消費される電力が上昇した場合、制御部32は、ピークカット用サーボモータ50を減速させることで回生電力を発生させる。そして、産業機械2において回生電力が発生したタイミング等においてピークカット用サーボモータ50の速度をベース速度まで加速する。
産業機械2における消費電力量は、主として産業機械2において実行される指令により該産業機械2の駆動用モータの速度が上昇した場合等に上昇するが、その場合の消費電力上昇量については、駆動用モータの加速度等に基づいて演算により求めることができる。そのため、産業機械2の動作状態を逐次取得することで、産業機械2における消費電力量を推定し、それに合わせてピークカット用サーボモータ50を適宜減速させて、適切な回生エネルギーを発生させることができる。なお、産業機械2における消費電力量の上昇は、電力計等のセンサを産業機械2に取り付けて直接的に計測して取得するようにしても良い。制御部32により、電力ピークを低減させるために回生エネルギーを発生させる技術については、例えば特開2018−153041号公報等により既に公知となっているので、本明細書での詳細な説明は省略する。
制御部32は、機械学習装置100からピークカット用サーボモータ50のベース速度の設定が出力された場合、ピークカット用サーボモータ50のベース速度を機械学習装置100から出力されたベース速度に設定する。
データ取得部34は、図1に示した制御装置1が備えるCPU11がROM12から読み出したシステム・プログラムを実行し、主としてCPU11がRAM13、不揮発性メモリ14を用いた演算処理、及びインタフェース16,18等を用いた入出力処理を行うことで実現される。データ取得部34は、産業機械2,入力装置71等から各種データを取得する機能手段である。データ取得部34は、例えば、各産業機械2において実行されている制御プログラム、該制御プログラム中の現在の実行ブロック、産業機械2の駆動用モータの出力計算値、出力測定値、モータ速度等を取得し、取得データ記憶部54に記憶する。データ取得部34は、外部記憶装置(図示せず)やネットワーク5を介して他のコンピュータ(図示せず)からデータを取得するようにしても良い。
前処理部36は、図1に示した制御装置1が備えるCPU11がROM12から読み出したシステム・プログラムを実行し、主としてCPU11がRAM13、不揮発性メモリ14を用いた演算処理を行うことで実現される。前処理部36は、データ取得部34が取得したデータに基づいて、機械学習装置100による学習に用いられる状態データを作成する。前処理部36は、データ取得部34が取得したデータを機械学習装置100において扱われる統一的な形式へと変換(数値化、サンプリング等)した状態データを作成する。例えば、前処理部36は、機械学習装置100が強化学習をする場合において、該学習における所定の形式の状態データS及び判定データDの組を作成する。
前処理部36が作成する状態データSは、産業機械2における駆動用モータに係るデータである駆動用モータデータS1、前記駆動用モータデータS1で示される産業機械2の動作状態の下でのベース速度の設定値を示すベース速度データS2を含む。
駆動用モータデータS1は、産業機械2における駆動用モータの動作状態を示すデータとして定義される。駆動用モータデータS1は、現在の産業機械2の駆動用モータの動作状態を示すデータを含んでいても良い。また、駆動用モータデータS1は、産業機械2の制御用プログラムを解析して得られたデータの取得時以降の所定期間内における産業機械2の駆動用モータの動作状態を示すデータを含んでいても良い。産業機械2の駆動用モータの動作状態を示すデータとしては、例えば産業機械2の駆動用モータの速度及びその変位、速度及びその変位から算出される駆動用モータの出力値及びその変位、電力計測器等で計測された駆動用モータで消費される電力の計測値等であって良い。駆動用モータデータS1は、速度や出力値、消費電力値の時系列データを含んでいても良い。
ベース速度データS2は、前記駆動用モータデータS1示される産業機械2の動作状態の下でのピークカット用サーボモータ50のベース速度の設定値を示すデータである。ベース速度データS2は、制御装置1の動作開始時においては、制御用プログラム52により設定されるベース速度や、不揮発性メモリ14の設定領域に設定されるベース速度を用いるようにすれば良い。また、機械学習装置100から出力されたベース速度の設定値に基づいてベース速度の設定がされた後には、設定されたベース速度の値をベース速度データS2としてそのまま用いるようにすれば良い。
前処理部36が作成する判定データDは、駆動用モータデータS1で示される消費電力の下での、ベース速度データS2で示されるベース速度の設定の妥当性の判定(評価)に用いられるデータである。判定データDは、産業機械による電力消費に対するピークカット動作の充足性を示すピークカット動作判定データD1、及びピークカット用サーボモータ50の動作コストに係る動作コスト判定データD2を少なくとも含む。
ピークカット動作判定データD1は、例えば産業機械2において電力消費が増加した際に、ピークカット用サーボモータ50を減速させることで、どの程度ピークカットができたのかを示す値であって良い。例えば、ピークカット動作判定データD1は、産業機械2で発生した消費電力量に対する、ピークカット用サーボモータ50で発生させた回生電力量の比率であって良い。また、ピークカット動作判定データD1は、産業機械2で発生した消費電力量が増加した際に、共通電源から電力供給路に供給された電力の量であって良い。即ち、ピークカット動作判定データD1は、ピークカット動作が以下に適切に行われたのかを判定できるデータを用いれば良い。
動作コスト判定データD2は、例えばピークカット用サーボモータ50のベース速度そのものを示す値であって良い。即ち、動作コスト判定データD2は、ピークカット用サーボモータ50をどれだけ低いベース速度で運用できたかを判定できるデータを用いれば良い。
学習部110は、図1に示した制御装置1が備えるプロセッサ101がROM102から読み出したシステム・プログラムを実行し、主としてプロセッサ101がRAM103、不揮発性メモリ104を用いた演算処理を行うことで実現される。学習部110は、前処理部36が作成したデータを用いた機械学習を行う。学習部110は、公知の強化学習の手法により、産業機械2における駆動用モータの動作状態に対する、ピークカット用サーボモータ50のベース速度の設定行動を学習した学習モデルを生成し、生成した学習モデルを学習モデル記憶部130に記憶する。強化学習は、学習対象が存在する環境の現在状態(つまり入力)を観測すると共に現在状態で所定の行動(つまり出力)を実行し、その行動に対し何らかの報酬を与えるというサイクルを試行錯誤的に反復して、報酬の総計が最大化されるような方策(本願のピークカット用サーボモータ50のベース速度の設定行動)をより適切な解として学習する手法である。学習部110が行う強化学習の手法としては、Q学習等が挙げられる。
学習部110によるQ学習において、報酬Rは、例えば、産業機械2における電力消費に対してピークカット用サーボモータ50で発生した回生電力が十分に供給できた(比率が1.0以上だった)場合に「良」と判定して正(プラス)の報酬Rとし、産業機械2における電力消費に対してピークカット用サーボモータ50で発生した回生電力が十分に供給できなかった(比率が1.0未満だった)場合に「否」と判定して負(マイナス)の報酬Rとすることができる。また、報酬Rは、例えば、ピークカット用サーボモータ50のベース速度を所定の閾値よりも低く設定できた場合に「良」と判定して正(プラス)の報酬Rとし、ピークカット用サーボモータ50のベース速度を所定の閾値よりも高く設定した場合に「否」と判定して負(マイナス)の報酬Rとするようにしても良い。報酬Rの値は、比率や閾値との差の大小の程度に応じて変化するものであっても良い。
学習部110によるQ学習において、状態変数Sと判定データDと報酬Rとを、関数Qで表される行動価値(例えば数値)と関連付けて整理した行動価値テーブルを、学習モデルとして用いることができる。この場合、学習部110が学習することは、学習部110が行動価値テーブルを更新するという行為と同義である。Q学習の開始時には環境の現在状態とピークカット用サーボモータ50のベース速度の設定との相関性は未知であるから、行動価値テーブルにおいては、種々の状態変数Sと判定データDと報酬Rとが、無作為に定めた行動価値の値(関数Q)と関連付けた形態で用意され、学習を進める際には、状態変数Sと判定データD及び算出される報酬Rに基づいて行動価値の値(関数Q)が書き換えられて行動価値テーブルが更新される。この更新を繰り返すことにより、行動価値テーブルに表示される行動価値の値(関数Q)は、適正な行動ほど大きな値となるように書き換えられていく。そして、十分に学習が進んだ時点で、行動価値テーブルを参照するだけで、現在の状態に対してより適切なピークカット用サーボモータ50のベース速度の設定行動を選択できるようになる。
学習部110は、ニューラルネットワークを価値関数Q(学習モデル)をとして用い、状態データSと行動aとをニューラルネットワークの入力とし、当該状態における当該行動aの価値(結果y)を出力するように構成しても良い。この様に構成する場合、学習モデルとしては入力層、中間層、出力層の三層を備えたニューラルネットワークを用いても良いが、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることで、より効果的な学習及び推論を行うように構成することも可能である。学習部110が生成した学習モデルは、不揮発性メモリ104上に設けられた学習モデル記憶部130に記憶され、意思決定部120によるピークカット用サーボモータ50のベース速度の設定行動の決定処理に用いられる。
なお、学習部110は、学習の段階では必須の構成となるが、学習部110によるピークカット用サーボモータ50のベース速度の設定行動の学習が完了した後には必ずしも必須の構成ではない。例えば、学習が完了した機械学習装置100を顧客に出荷する場合等には、学習部110を取り外して出荷するようにしても良い。
意思決定部120は、図1に示した制御装置1が備えるプロセッサ101がROM102から読み出したシステム・プログラムを実行し、主としてプロセッサ101がRAM103、不揮発性メモリ104を用いた演算処理を行うことで実現される。意思決定部120は、前処理部36から入力された状態データSに基づいて、学習モデル記憶部130に記憶された学習モデルを用いてピークカット用サーボモータ50のベース速度の設定行動のより適切な解を求め、求めたピークカット用サーボモータ50のベース速度の設定行動を出力する。本実施形態の意思決定部120では、学習部110による強化学習により生成された(パラメータが決定された)学習モデルに対して、前処理部36から入力された状態データS(駆動用モータデータS1等)と、ピークカット用サーボモータ50のベース速度の設定行動を入力データとして入力することで現在の状態において当該行動をとった場合の報酬を算出できるが、この報酬の算出を現在取り得るピークカット用サーボモータ50のベース速度の設定行動について行い、算出された複数の報酬を比較して、最も大きな報酬が算出されるピークカット用サーボモータ50のベース速度の設定行動をより適切な解として決定する。意思決定部120が決定したピークカット用サーボモータ50のベース速度の設定行動のより適切な解は、制御部32へ出力されてベース速度の設定に用いられる他、例えば表示装置70に表示出力したり、図示しない有線/無線ネットワークを介してホストコンピュータやクラウドコンピュータ等に送信出力したりすることで利用しても良い。
上記した構成を備えた制御装置1では、産業機械2の動作状態を観測しながら、ピークカット用サーボモータ50のベース速度の設定を変更していく。これにより、それぞれの産業機械での電力消費が増加した際に、ピークカット用サーボモータ50を減速させることで適切に回生電力を発生させることができるようになる。また、産業機械2の今後の動作状態において回生電力がそれほど必要でない場合には、ピークカット用サーボモータ50のベース速度を動的に低く設定されるようになるため、従来のように固定的にベース速度を設定していた場合と比較して、ピークカット用サーボモータ50での電力損失を抑えたり、ピークカット用サーボモータ50の寿命を延ばしたりすることも可能となる。
以下では、制御装置1をフォグコンピュータ、クラウドサーバ等のコンピュータとして実装した第2実施形態による制御システムについて説明する。
図4は、第2実施形態による制御システムが動作する環境を示す図である。本実施形態による制御システムは、図4に例示されるように、クラウドサーバ6やフォグコンピュータ7、エッジコンピュータ8を含む複数の装置のそれぞれが有線/無線のネットワークに接続されたシステム環境で動作する。図4に例示されるシステムは、クラウドサーバ6等を含む層、フォグコンピュータ7等を含む層、エッジコンピュータ8(セル9に含まれるロボットを制御するロボットコントローラ、工作機械を制御する制御装置、搬送機械等の周辺機械、電源設備等)等を含む層の、3つの階層に論理的に分けて構成されている。この様なシステム上で、本実施形態による制御システムは、クラウドサーバ6、フォグコンピュータ7等のコンピュータの上に、第1実施形態で説明した制御装置1の機能を実装することで構成される。第2実施形態による制御システムでは、それぞれの複数の装置との間でネットワークを介して相互にデータを共有したり、エッジコンピュータ8で取得された様々なデータをフォグコンピュータ7やクラウドサーバ6に収集して大規模な解析を行ったり、更に、その解析結果に基づいて各々のエッジコンピュータ8の動作を制御することを可能とする。図4に例示されるシステムにおいて、セル9は各地の工場にそれぞれ複数設けられ(例えば、工場の1フロア毎に1つのセル9を設ける等)、それぞれのセル9を所定の単位(工場単位、同じ製造業者の複数の工場単位等)で上位層のフォグコンピュータ7が管理する。そして、これらフォグコンピュータ7が収集、解析したデータを、更に上位層のクラウドサーバ6で収集、解析等を行い、その結果として得られた情報を各々のエッジコンピュータ8における制御等に活用することができる。
図5は、本実施形態による制御システムの概略的な構成図である。本実施形態による制御システム300は、クラウドサーバ6やフォグコンピュータ7等のコンピュータ上に実装された制御装置1’と、該制御装置1’にネットワーク5を介して接続されたエッジコンピュータとしての複数の産業機械2、ピークカット用サーボモータ50の動作を制御するモータ駆動装置3等を含む。本実施形態による制御システム300が備える制御装置1’は、制御部32を備えていない点を除いて、図2で説明した制御装置1と同様の構成を備える。
ピークカット用サーボモータ50の動作を制御するモータ駆動装置3は、サーボモータの動作を制御可能であって、ネットワークを介して他の装置との間でデータのやり取りが可能な一般的なモータ駆動装置を用いれば良い。モータ駆動装置3は、ネットワークを介して取得される産業機械2における電力消費状態に応じてピークカット用サーボモータ50に対して公知のピークカット動作制御を行う。また、モータ駆動装置3は、ネットワーク5を介して制御装置1’からベース速度の設定を指令されると、該ピークカット動作におけるベース速度を変更する。
本実施形態による制御システム300では、制御装置1’がモータ駆動装置3に対してベース速度の設定を行う。制御装置1’が備える機械学習装置100は、管理下にある産業機械2がどのような動作状態にある場合に、ピークカット用サーボモータ50のベース速度をどのように設定をすれば妥当なピークカット動作を行えるのかを学習し、いずれは産業機械2の動作状態に対してより適切なベース速度の設定解を出力して設定できるようになる。
図6は、図4に示したシステム環境に対して、複数の制御システム300を導入した例を示している。図6に例示されるシステムは、フォグコンピュータ7の上に制御装置1’実装した複数の制御システム300(図示せず)を備えており、各制御装置1’は、それぞれ複数のエッジコンピュータ8を管理しており、管理下にある産業機械(エッジコンピュータ8)から収集したデータに基づく学習を行い、それぞれの学習結果としての学習モデルを、他の制御装置1’との間で直接又はクラウドサーバ6を介して相互にやり取りできるように構成されている。
このような構成を備えた制御システム300では、例えば管理下にある産業機械と類似した産業機械を配置した他の制御システム300から学習モデルを取得して利用することが可能となる。そのため、新たな工場を設置した場合などに、類似した産業機械の組み合わせで運用される制御システム300から学習モデルを流用することで、工場立ち上げ時の学習モデル構築のための試験的な運用作業の手間を大幅に省くことが可能となる。
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
例えば、上記した実施形態では制御装置1と機械学習装置100が異なるCPU(プロセッサ)を有する装置として説明しているが、機械学習装置100は制御装置1が備えるCPU11と、ROM12に記憶されるシステム・プログラムにより実現するようにしても良い。
1,1’ 制御装置
2 産業機械
3 モータ駆動装置
6 クラウドサーバ
7 フォグコンピュータ
8 エッジコンピュータ
9 セル
11 CPU
12 ROM
13 RAM
14 不揮発性メモリ
16,17,18 インタフェース
20 バス
21 インタフェース
30 軸制御回路
32 制御部
34 データ取得部
36 前処理部
40 サーボアンプ
50 サーボモータ
52 制御用プログラム
54 取得データ記憶部
70 表示装置
71 入力装置
100 機械学習装置
101 プロセッサ
102 ROM
103 RAM
104 不揮発性メモリ
110 学習部
120 意思決定部
130 学習モデル記憶部
300 制御システム

Claims (8)

  1. 少なくとも1つの産業機械と同じ電力供給路に接続されたピークカット用モータのピークカット動作を制御する制御装置であって、
    少なくとも前記産業機械の動作状態に係るデータを取得するデータ取得部と、
    前記産業機械の動作状態に対する前記ピークカット用モータのベース速度の設定行動の価値を関連付けた学習モデルを記憶する学習モデル記憶部と、
    前記学習モデル記憶部に記憶された学習モデルを用いて、前記データ取得部が取得した前記産業機械の動作状態に係るデータに基づく前記ピークカット用モータのベース速度の設定行動を決定する意思決定部と、
    を備えた制御装置。
  2. 前記データ取得部は、更に前記ピークカット用モータのベース速度に係るデータを取得し、
    前記制御装置は、
    前記産業機械の動作状態に対して前記ピークカット用モータのベース速度の設定行動を関連付けた学習モデルを生成する学習部を備える、
    請求項1に記載の制御装置。
  3. 前記学習部は、前記産業機械で消費される消費電力に対して十分な回生電力を前記ピークカット用モータから供給できた場合、又は、前記ピークカット用モータのベース速度を低く設定できた場合にプラスの報酬とし、前記産業機械で消費される消費電力に対して十分な回生電力を前記ピークカット用モータから供給できなかった場合、又は、前記ピークカット用モータのベース速度を高く設定できた場合にマイナスの報酬とし、
    前記学習部は、該報酬の値に基づいて前記学習モデルを生成する、
    請求項2に記載の制御装置。
  4. 前記学習モデルは、前記産業機械の動作状態に対して、前記ピークカット用モータのベース速度の設定行動の価値を関連付けて記憶する行動価値テーブルである、
    請求項1〜3のいずれか1つに記載の制御装置。
  5. 前記学習モデルは、多層構造で構成されたニューラルネットワークである、
    請求項1〜3のいずれか1つに記載の制御装置。
  6. 複数の請求項2に記載の制御装置が、ネットワークを介して相互に接続された制御システムであって、
    複数の前記制御装置の間で、前記学習部による学習結果を共有可能である、
    制御システム。
  7. 少なくとも1つの産業機械と同じ電力供給路に接続されたピークカット用モータのピークカット動作の制御における前記ピークカット用モータのベース速度の設定行動を学習した機械学習装置であって、
    前記産業機械の動作状態に対する前記ピークカット用モータのベース速度の設定行動の価値を関連付けた学習モデルを記憶する学習モデル記憶部と、
    前記学習モデル記憶部に記憶された学習モデルを用いて、前記産業機械の動作状態に係るデータに基づく前記ピークカット用モータのベース速度の設定行動を決定する意思決定部と、
    を備えた機械学習装置。
  8. 前記産業機械の動作状態に対して前記ピークカット用モータのベース速度の設定行動を関連付けた学習モデルを生成する学習部を更に備える、
    請求項7記載の機械学習装置。
JP2019115896A 2019-06-21 2019-06-21 制御装置、制御システム、及び機械学習装置 Active JP7256703B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019115896A JP7256703B2 (ja) 2019-06-21 2019-06-21 制御装置、制御システム、及び機械学習装置
DE102020003526.4A DE102020003526A1 (de) 2019-06-21 2020-06-12 Steuervorrichtung, Steuersystem und Vorrichtung für maschinelles Lernen
US16/902,810 US11606047B2 (en) 2019-06-21 2020-06-16 Control device, control system, and machine learning device
CN202010568307.7A CN112117944A (zh) 2019-06-21 2020-06-19 控制装置、控制***以及机器学习装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019115896A JP7256703B2 (ja) 2019-06-21 2019-06-21 制御装置、制御システム、及び機械学習装置

Publications (2)

Publication Number Publication Date
JP2021002238A true JP2021002238A (ja) 2021-01-07
JP7256703B2 JP7256703B2 (ja) 2023-04-12

Family

ID=73654141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019115896A Active JP7256703B2 (ja) 2019-06-21 2019-06-21 制御装置、制御システム、及び機械学習装置

Country Status (4)

Country Link
US (1) US11606047B2 (ja)
JP (1) JP7256703B2 (ja)
CN (1) CN112117944A (ja)
DE (1) DE102020003526A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017034823A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 電源回生を調整するモータ制御装置、順変換器の制御装置、ならびに機械学習装置およびその方法
JP2017127099A (ja) * 2016-01-13 2017-07-20 ファナック株式会社 抵抗回生開始電圧および抵抗回生停止電圧の値を学習する機械学習器,モータ制御装置,モータ制御システムおよび機械学習方法
JP2017162300A (ja) * 2016-03-10 2017-09-14 ファナック株式会社 複数の製造機械の稼働状態を調整する機械制御装置および生産システム
JP2017191567A (ja) * 2016-04-15 2017-10-19 ファナック株式会社 生産計画を実施する生産システム
JP2018206162A (ja) * 2017-06-07 2018-12-27 ファナック株式会社 制御装置及び機械学習装置
JP2019075864A (ja) * 2017-10-13 2019-05-16 ファナック株式会社 蓄電装置を有するモータ駆動システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3902710B2 (ja) * 1999-03-24 2007-04-11 株式会社牧野フライス製作所 数値制御による工作機械の制御方法及び装置
WO2003060616A1 (fr) * 2002-01-17 2003-07-24 Mitsubishi Denki Kabushiki Kaisha Procede et dispositif de commande numerique
JP2008232531A (ja) * 2007-03-20 2008-10-02 Toshiba Corp リモート性能監視装置及びリモート性能監視方法
JP6236296B2 (ja) * 2013-11-14 2017-11-22 株式会社デンソーアイティーラボラトリ 学習装置、学習プログラム、及び学習方法
JP2017030088A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 機械学習装置、ネジ締付システムおよびその制御装置
JP6457369B2 (ja) * 2015-09-30 2019-01-23 ファナック株式会社 パラメータを自動調整する機能を有する機械学習装置及び電動機制御装置
JP6330789B2 (ja) * 2015-11-18 2018-05-30 トヨタ自動車株式会社 位置測定装置
JP6426782B2 (ja) * 2017-03-14 2018-11-21 ファナック株式会社 サーボモータを制御するサーボモータ制御装置及びこれを備えるサーボモータ制御システム
JP6490127B2 (ja) * 2017-03-15 2019-03-27 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
JP6572265B2 (ja) * 2017-06-30 2019-09-04 ファナック株式会社 制御装置及び機械学習装置
JP6781242B2 (ja) * 2018-02-19 2020-11-04 ファナック株式会社 制御装置、機械学習装置及びシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017034823A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 電源回生を調整するモータ制御装置、順変換器の制御装置、ならびに機械学習装置およびその方法
JP2017127099A (ja) * 2016-01-13 2017-07-20 ファナック株式会社 抵抗回生開始電圧および抵抗回生停止電圧の値を学習する機械学習器,モータ制御装置,モータ制御システムおよび機械学習方法
JP2017162300A (ja) * 2016-03-10 2017-09-14 ファナック株式会社 複数の製造機械の稼働状態を調整する機械制御装置および生産システム
JP2017191567A (ja) * 2016-04-15 2017-10-19 ファナック株式会社 生産計画を実施する生産システム
JP2018206162A (ja) * 2017-06-07 2018-12-27 ファナック株式会社 制御装置及び機械学習装置
JP2019075864A (ja) * 2017-10-13 2019-05-16 ファナック株式会社 蓄電装置を有するモータ駆動システム

Also Published As

Publication number Publication date
US11606047B2 (en) 2023-03-14
US20200403539A1 (en) 2020-12-24
JP7256703B2 (ja) 2023-04-12
CN112117944A (zh) 2020-12-22
DE102020003526A1 (de) 2020-12-24

Similar Documents

Publication Publication Date Title
JP6898371B2 (ja) 加工条件調整装置及び加工条件調整システム
JP6711854B2 (ja) 故障予測装置及び機械学習装置
JP2019139755A (ja) 研磨工具摩耗量予測装置、機械学習装置及びシステム
JP6781242B2 (ja) 制御装置、機械学習装置及びシステム
JP6802213B2 (ja) 工具選定装置及び機械学習装置
US11340563B2 (en) Management system and management device for a plurality of industrial machines supplied with power from a power supply facility
JP6904990B2 (ja) 管理装置及び管理システム
CN111506019B (zh) 数值控制***
KR102626985B1 (ko) 관리 장치 및 관리 시스템
US11334045B2 (en) Diagnosis apparatus and diagnosis method
JP2019063960A (ja) 熱変位補正システム
JP2020149505A (ja) 把持力調整装置及び把持力調整システム
JP2021015573A (ja) 異常判定装置及び異常判定システム
JP2020131342A (ja) 切削液量調整装置及び切削液量調整システム
US20180059657A1 (en) Production controller equipped with function of identifying cause upon operation stop of production facility including manufacturing facilities
JP7256703B2 (ja) 制御装置、制御システム、及び機械学習装置
JP7425191B2 (ja) 工具診断装置
EP3907053B1 (en) Method for optimizing the movement of a machine for working panels and system thereof
JP6928031B2 (ja) 制御装置及び制御システム
US11327462B2 (en) Maintenance support system, numerical controller, and control method of maintenance support system
US11407104B2 (en) Tooth contact position adjustment amount estimation device, machine learning device, and robot system
WO2022131260A1 (ja) データ収集計画生成装置及びデータ収集計画生成方法
WO2024154205A1 (ja) 特異データ判定装置、及び特異データ判定方法
TW202316220A (zh) 控制系統、資訊處理方法以及資訊處理裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230331

R150 Certificate of patent or registration of utility model

Ref document number: 7256703

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150