JP7331660B2 - 装置、方法およびプログラム - Google Patents
装置、方法およびプログラム Download PDFInfo
- Publication number
- JP7331660B2 JP7331660B2 JP2019213293A JP2019213293A JP7331660B2 JP 7331660 B2 JP7331660 B2 JP 7331660B2 JP 2019213293 A JP2019213293 A JP 2019213293A JP 2019213293 A JP2019213293 A JP 2019213293A JP 7331660 B2 JP7331660 B2 JP 7331660B2
- Authority
- JP
- Japan
- Prior art keywords
- control
- measurement data
- type
- recommended
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 61
- 238000005259 measurement Methods 0.000 claims description 188
- 238000012545 processing Methods 0.000 claims description 92
- 230000008569 process Effects 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 10
- 230000003247 decreasing effect Effects 0.000 claims description 9
- 239000002994 raw material Substances 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007791 dehumidification Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B6/00—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential
- G05B6/02—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0428—Safety, monitoring
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2612—Data acquisition interface
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Feedback Control In General (AREA)
Description
特許文献1 特開2018-202564号公報
図1は、本実施形態に係るシステム1を示す。システム1は、設備2と、装置4とを備える。
設備2は、複数の機器20を備え付けたものである。例えば設備2は、プラントでもよいし、複数の機器20を複合させた複合装置でもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。本実施形態においては一例として、設備2は、1または複数の機器20と、1または複数のセンサ21とを有する。
各機器20は、器具、機械または装置であり、例えば、設備2のプロセスにおける圧力、温度、pH、速度または流量などの少なくとも1つの物理量を制御するバルブ、ポンプ、ヒータ、ファン、モータ、スイッチ等のアクチュエータであってよい。
各センサ21は、設備2の内外の物理量を測定する。各センサ21は、測定によって得られた測定データを装置4に供給してよい。
装置4は、各制御対象機器20(T)についての学習を行う。装置4は、1または複数のコンピュータであってよく、PCなどで構成されてよい。装置4は、測定データ取得部40と、制御パラメータ取得部41と、報酬値取得部42と、学習処理部44と、モデル45と、供給部46と、推奨制御パラメータ取得部47と、制御部49とを有する。
測定データ取得部40は、第1取得部の一例であり、センサ21によって測定された測定データを取得する。測定データ取得部40は、設備2に具備された複数のセンサ21のそれぞれによって測定された測定データを取得してよい。測定データ取得部40は、装置4による各制御対象機器20(T)の制御周期内での測定値の平均値を示す測定データを取得してもよいし、制御インターバル毎の測定値(つまり制御周期の終了タイミングでの測定値)を示す測定データを取得してもよい。本実施形態では一例として、各制御対象機器20(T)の制御周期は同期していてよい。測定データ取得部40は、測定データをセンサ21から取得してもよいし、センサ21を確認したオペレータから取得してもよい。測定データ取得部40は、取得した測定データを学習処理部44および供給部46に供給してよい。
制御パラメータ取得部41は、各制御対象機器20(T)の制御内容を示す制御パラメータを取得する。システム1に複数の制御対象機器20(T)が具備される場合には、制御パラメータはこれら複数の制御対象機器20(T)のそれぞれの制御内容を示してよい。本実施形態では一例として、制御パラメータ取得部41は制御部49から制御パラメータを取得するが、オペレータから取得してもよいし、各制御対象機器20(T)から取得してもよい。制御パラメータ取得部41は、取得した制御パラメータを学習処理部44に供給してよい。
報酬値取得部42は、学習処理部44での強化学習に用いられる報酬値を取得する。報酬値は、設備2の操業状態を評価するための値であってよく、予め設定された報酬関数により定まる値であってよい。ここで、関数とは、ある集合の各要素に他の集合の各要素を一対一で対応させる規則を持つ写像であり、例えば数式でもよいし、テーブルでもよい。
学習処理部44は、第1学習処理部の一例であり、測定データ取得部40により取得された測定データと、制御パラメータ取得部41により取得された制御パラメータとを含む学習データを用いてモデル45の学習処理を実行する。学習処理部44は、報酬値取得部42からの報酬値を用いてモデル45の学習処理を実行してよい。
モデル45は、第1モデルの一例であり、測定データの入力に応じ、報酬値を高めるために推奨される制御内容を示す推奨制御パラメータを出力する。モデル45から出力される推奨制御パラメータは、上述の第1種類の制御内容を示してよい。報酬値を高める制御内容とは、所定の時点(一例として現在)の設備2の操業状態に対応する報酬値(一例としてその時点の測定データを報酬関数に入力して得られる報酬値)を基準報酬値とした場合に、当該基準報酬値よりも報酬値が高くなる制御内容であってよい。このように報酬値が高くなる制御内容は、現時点よりも操業状態が改善されるので、制御対象機器20(T)に対する制御として推奨される。但し、基準報酬値は、固定値(一例として報酬値の最大値から許容値を減じた値)であってもよい。
供給部46は、第1供給部の一例であり、測定データ取得部40により取得された測定データをモデル45に供給する。
推奨制御パラメータ取得部47は、第1推奨制御パラメータ取得部の一例であり、測定データをモデル45に供給したことに応じてモデル45が出力する推奨制御パラメータを取得する。推奨制御パラメータ取得部47は、取得した推奨制御パラメータを制御部49に供給してよい。
制御部49は、第1制御部の一例であり、推奨制御パラメータ取得部47により取得された推奨制御パラメータを用いて各制御対象機器20(T)を制御する。
[2-1.学習段階]
図2は、本実施形態に係る装置4の学習段階での動作を示す。装置4は、ステップS11~S25の処理を行うことにより設備2を稼働させつつモデル45の学習を行う。
図3は、本実施形態に係る装置4の運用段階での動作を示す。装置4は、ステップS31~S37の処理を行うことによりモデル45を用いて設備2を稼働させる。
[3-1.適用例(1)]
図4は、システム1の適用例(1)を示す。なお、本図や後述の図5、図6では、装置4の構成を簡略化して図示している。
図5は、システム1の適用例(2)を示す。
図6は、システム1の適用例(3)を示す。
図7は、変形例に係るシステム1Aを示す。
なお、上記の実施形態および変形例では、システム1(またはシステム1A)は単一の装置4(または装置4A)を備えることとして説明したが、複数の装置4(または装置4A)を備えてもよい。この場合には、各装置4(または装置4A)の間で制御対象機器20(T)が同じであってもよいし、異なってもよい。一例としてシステム1,1Aには、機器20毎に、当該機器20を制御対象機器20(T)とする装置4,4Aが具備されてよい。
Claims (11)
- センサによって測定された測定データを取得する第1取得部および第2取得部と、
前記第1取得部により取得された測定データと、少なくとも1つの制御対象機器の第1種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記第1種類の制御内容を示す推奨制御パラメータを出力する第1モデルの学習処理を実行する第1学習処理部と、
前記第2取得部により取得された測定データと、前記少なくとも1つの制御対象機器の第2種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、前記報酬値を高めるために推奨される前記第2種類の制御内容を示す推奨制御パラメータを出力する第2モデルの学習処理を実行する第2学習処理部と、
を備え、
各制御対象機器は、PI制御、PD制御およびPID制御のうち何れかのフィードバック制御によって制御されており、
前記第1種類の制御内容は、前記少なくとも1つの制御対象機器のフィードバック制御の比例ゲインの値と、積分ゲインの値、または、微分ゲインの値の少なくとも一方とを含む各ゲインセットに予め対応付けられた識別情報のうち、フィードバック制御に使用するゲインセットの識別情報であり、
前記第2種類の制御内容は、前記少なくとも1つの制御対象機器のフィードバック制御の目標値であり、
前記第1取得部は、少なくとも1種類の測定データを含む第1群の測定データと、少なくとも1種類の測定データを含む第2群の測定データとをそれぞれ取得し、
前記第1学習処理部で用いられる前記報酬関数は、
前記第1群の測定データの少なくとも1つが基準条件を満たさない場合には、前記第2群の測定データのそれぞれの値に関わらず前記報酬値を0とし、
前記第1群の測定データのそれぞれが基準条件を満たす場合には、前記第2群の測定データのそれぞれの値に応じて前記報酬値を増減させる装置。 - センサによって測定された測定データを取得する第1取得部および第2取得部と、
前記第1取得部により取得された測定データと、少なくとも1つの制御対象機器の第1種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記第1種類の制御内容を示す推奨制御パラメータを出力する第1モデルの学習処理を実行する第1学習処理部と、
前記第2取得部により取得された測定データと、前記少なくとも1つの制御対象機器の第2種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、前記報酬値を高めるために推奨される前記第2種類の制御内容を示す推奨制御パラメータを出力する第2モデルの学習処理を実行する第2学習処理部と、
を備え、
各制御対象機器は、P制御、PI制御、PD制御およびPID制御のうち何れかのフィードバック制御によって制御されており、
前記第1種類の制御内容は、前記少なくとも1つの制御対象機器のフィードバック制御の比例ゲインの値、積分ゲインの値、または、微分ゲインの値の少なくとも1つであり、
前記第2種類の制御内容は、前記少なくとも1つの制御対象機器のフィードバック制御の目標値であり、
前記第1取得部は、少なくとも1種類の測定データを含む第1群の測定データと、少なくとも1種類の測定データを含む第2群の測定データとをそれぞれ取得し、
前記第1学習処理部で用いられる前記報酬関数は、
前記第1群の測定データの少なくとも1つが基準条件を満たさない場合には、前記第2群の測定データのそれぞれの値に関わらず前記報酬値を0とし、
前記第1群の測定データのそれぞれが基準条件を満たす場合には、前記第2群の測定データのそれぞれの値に応じて前記報酬値を増減させる装置。 - 前記第1群の測定データは、前記少なくとも1つの制御対象機器を含む設備の運転状態を示し、
前記第2群の測定データは、前記設備によるエネルギーまたは原材料の少なくとも一方の消費量を示す、請求項1または2に記載の装置。
- 前記第1モデルに対し、前記第1取得部により取得された前記測定データを供給する第1供給部と、
前記測定データを前記第1モデルに供給したことに応じて前記第1モデルが出力する前記推奨制御パラメータを取得する第1推奨制御パラメータ取得部と、
前記第1推奨制御パラメータ取得部により取得された前記推奨制御パラメータを用いて前記少なくとも1つの制御対象機器を制御する第1制御部と、
をさらに備える請求項1から3の何れか一項に記載の装置。 - 前記第2モデルに対し、前記第2取得部により取得された前記測定データを供給する第2供給部と、
前記測定データを前記第2モデルに供給したことに応じて前記第2モデルが出力する前記推奨制御パラメータを取得する第2推奨制御パラメータ取得部と、
前記第2推奨制御パラメータ取得部により取得された前記推奨制御パラメータを用いて前記少なくとも1つの制御対象機器を制御する第2制御部と、
をさらに備える、請求項4に記載の装置。 - 前記第1取得部は、前記少なくとも1つの制御対象機器に対する外乱として作用し得る物理量を示す前記測定データを取得する、請求項1から5のいずれか一項に記載の装置。
- 前記第1取得部は、前記少なくとも1つの制御対象機器を含む設備によるエネルギーまたは原材料の少なくとも一方の消費量を示す前記測定データを取得する、請求項1から6のいずれか一項に記載の装置。
- センサによって測定された測定データを取得する第1取得段階および第2取得段階と、
前記第1取得段階により取得された測定データと、少なくとも1つの制御対象機器の第1種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記第1種類の制御内容を示す推奨制御パラメータを出力する第1モデルの学習処理を実行する第1学習処理段階と、
前記第2取得段階により取得された測定データと、前記少なくとも1つの制御対象機器の第2種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、前記報酬値を高めるために推奨される前記第2種類の制御内容を示す推奨制御パラメータを出力する第2モデルの学習処理を実行する第2学習処理段階と、
を備え、
各制御対象機器は、PI制御、PD制御およびPID制御のうち何れかのフィードバック制御によって制御されており、
前記第1種類の制御内容は、前記少なくとも1つの制御対象機器のフィードバック制御の比例ゲインの値と、積分ゲインの値、または、微分ゲインの値の少なくとも一方とを含む各ゲインセットに予め対応付けられた識別情報のうち、フィードバック制御に使用するゲインセットの識別情報であり、
前記第2種類の制御内容は、前記少なくとも1つの制御対象機器のフィードバック制御の目標値であり、
前記第1取得段階では、少なくとも1種類の測定データを含む第1群の測定データと、少なくとも1種類の測定データを含む第2群の測定データとをそれぞれ取得し、
前記第1学習処理段階で用いられる前記報酬関数は、
前記第1群の測定データの少なくとも1つが基準条件を満たさない場合には、前記第2群の測定データのそれぞれの値に関わらず前記報酬値を0とし、
前記第1群の測定データのそれぞれが基準条件を満たす場合には、前記第2群の測定データのそれぞれの値に応じて前記報酬値を増減させる方法。 - センサによって測定された測定データを取得する第1取得段階および第2取得段階と、
前記第1取得段階により取得された測定データと、少なくとも1つの制御対象機器の第1種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記第1種類の制御内容を示す推奨制御パラメータを出力する第1モデルの学習処理を実行する第1学習処理段階と、
前記第2取得段階により取得された測定データと、前記少なくとも1つの制御対象機器の第2種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、前記報酬値を高めるために推奨される前記第2種類の制御内容を示す推奨制御パラメータを出力する第2モデルの学習処理を実行する第2学習処理段階と、
を備え、
各制御対象機器は、P制御、PI制御、PD制御およびPID制御のうち何れかのフィードバック制御によって制御されており、
前記第1種類の制御内容は、前記少なくとも1つの制御対象機器のフィードバック制御の比例ゲインの値、積分ゲインの値、または、微分ゲインの値の少なくとも1つであり、
前記第2種類の制御内容は、前記少なくとも1つの制御対象機器のフィードバック制御の目標値であり、
前記第1取得段階では、少なくとも1種類の測定データを含む第1群の測定データと、少なくとも1種類の測定データを含む第2群の測定データとをそれぞれ取得し、
前記第1学習処理段階で用いられる前記報酬関数は、
前記第1群の測定データの少なくとも1つが基準条件を満たさない場合には、前記第2群の測定データのそれぞれの値に関わらず前記報酬値を0とし、
前記第1群の測定データのそれぞれが基準条件を満たす場合には、前記第2群の測定データのそれぞれの値に応じて前記報酬値を増減させる方法。 - コンピュータに、
センサによって測定された測定データを取得する第1取得部および第2取得部と、
前記第1取得部により取得された測定データと、少なくとも1つの制御対象機器の第1種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記第1種類の制御内容を示す推奨制御パラメータを出力する第1モデルの学習処理を実行する第1学習処理部と、
前記第2取得部により取得された測定データと、前記少なくとも1つの制御対象機器の第2種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、前記報酬値を高めるために推奨される前記第2種類の制御内容を示す推奨制御パラメータを出力する第2モデルの学習処理を実行する第2学習処理部
として機能させ、
各制御対象機器は、PI制御、PD制御およびPID制御のうち何れかのフィードバック制御によって制御されており、
前記第1種類の制御内容は、前記少なくとも1つの制御対象機器のフィードバック制御の比例ゲインの値と、積分ゲインの値、または、微分ゲインの値の少なくとも一方とを含む各ゲインセットに予め対応付けられた識別情報のうち、フィードバック制御に使用するゲインセットの識別情報であり、
前記第2種類の制御内容は、前記少なくとも1つの制御対象機器のフィードバック制御の目標値であり、
前記第1取得部は、少なくとも1種類の測定データを含む第1群の測定データと、少なくとも1種類の測定データを含む第2群の測定データとをそれぞれ取得し、
前記第1学習処理部で用いられる前記報酬関数は、
前記第1群の測定データの少なくとも1つが基準条件を満たさない場合には、前記第2群の測定データのそれぞれの値に関わらず前記報酬値を0とし、
前記第1群の測定データのそれぞれが基準条件を満たす場合には、前記第2群の測定データのそれぞれの値に応じて前記報酬値を増減させるプログラム。 - コンピュータに、
センサによって測定された測定データを取得する第1取得部および第2取得部と、
前記第1取得部により取得された測定データと、少なくとも1つの制御対象機器の第1種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記第1種類の制御内容を示す推奨制御パラメータを出力する第1モデルの学習処理を実行する第1学習処理部と、
前記第2取得部により取得された測定データと、前記少なくとも1つの制御対象機器の第2種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、前記報酬値を高めるために推奨される前記第2種類の制御内容を示す推奨制御パラメータを出力する第2モデルの学習処理を実行する第2学習処理部
として機能させ、
各制御対象機器は、P制御、PI制御、PD制御およびPID制御のうち何れかのフィードバック制御によって制御されており、
前記第1種類の制御内容は、前記少なくとも1つの制御対象機器のフィードバック制御の比例ゲインの値、積分ゲインの値、または、微分ゲインの値の少なくとも1つであり、
前記第2種類の制御内容は、前記少なくとも1つの制御対象機器のフィードバック制御の目標値であり、
前記第1取得部は、少なくとも1種類の測定データを含む第1群の測定データと、少なくとも1種類の測定データを含む第2群の測定データとをそれぞれ取得し、
前記第1学習処理部で用いられる前記報酬関数は、
前記第1群の測定データの少なくとも1つが基準条件を満たさない場合には、前記第2群の測定データのそれぞれの値に関わらず前記報酬値を0とし、
前記第1群の測定データのそれぞれが基準条件を満たす場合には、前記第2群の測定データのそれぞれの値に応じて前記報酬値を増減させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019213293A JP7331660B2 (ja) | 2019-11-26 | 2019-11-26 | 装置、方法およびプログラム |
CN202011214802.4A CN112947134A (zh) | 2019-11-26 | 2020-11-04 | 装置、方法和记录介质 |
US17/088,607 US20210157280A1 (en) | 2019-11-26 | 2020-11-04 | Apparatus, method and storage medium |
EP20209846.3A EP3828651B1 (en) | 2019-11-26 | 2020-11-25 | Apparatus, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019213293A JP7331660B2 (ja) | 2019-11-26 | 2019-11-26 | 装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021086283A JP2021086283A (ja) | 2021-06-03 |
JP7331660B2 true JP7331660B2 (ja) | 2023-08-23 |
Family
ID=73597968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019213293A Active JP7331660B2 (ja) | 2019-11-26 | 2019-11-26 | 装置、方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210157280A1 (ja) |
EP (1) | EP3828651B1 (ja) |
JP (1) | JP7331660B2 (ja) |
CN (1) | CN112947134A (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7090243B2 (ja) * | 2018-05-08 | 2022-06-24 | 千代田化工建設株式会社 | プラント運転条件設定支援システム、学習装置、及び運転条件設定支援装置 |
US20230129189A1 (en) | 2021-10-27 | 2023-04-27 | Yokogawa Electric Corporation | Apparatus, method, and computer readable medium |
JP2023161707A (ja) | 2022-04-26 | 2023-11-08 | 横河電機株式会社 | 制御装置、制御方法、および、制御プログラム |
JP2023173459A (ja) | 2022-05-26 | 2023-12-07 | 横河電機株式会社 | モデル選択装置、モデル選択方法、および、モデル選択プログラム |
JP2024000612A (ja) | 2022-06-21 | 2024-01-09 | 横河電機株式会社 | 推定装置、推定方法、および、推定プログラム |
JP2024008445A (ja) | 2022-07-08 | 2024-01-19 | 横河電機株式会社 | モデル選択装置、モデル選択方法、および、モデル選択プログラム |
JP2024008433A (ja) | 2022-07-08 | 2024-01-19 | 横河電機株式会社 | 評価モデル生成装置、評価モデル生成方法、および、評価モデル生成プログラム |
JP2024070308A (ja) * | 2022-11-11 | 2024-05-23 | 横河電機株式会社 | 装置、方法およびプログラム |
JP7384311B1 (ja) * | 2023-07-03 | 2023-11-21 | 富士電機株式会社 | 運転支援装置、運転支援方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000222002A (ja) | 1999-02-03 | 2000-08-11 | Omron Corp | 制御パラメータ決定方法及び装置 |
JP2009142111A (ja) | 2007-12-07 | 2009-06-25 | Yaskawa Electric Corp | モータ制御装置とその制御方法 |
JP2018097680A (ja) | 2016-12-14 | 2018-06-21 | ファナック株式会社 | 制御システム及び機械学習装置 |
JP2019145042A (ja) | 2018-02-23 | 2019-08-29 | 株式会社安川電機 | 製品品質管理システム及び製品品質管理方法 |
JP2019168973A (ja) | 2018-03-23 | 2019-10-03 | ファナック株式会社 | 駆動装置及び機械学習装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06105414A (ja) * | 1992-09-18 | 1994-04-15 | Toshiba Corp | 運転制御装置 |
JPH08221379A (ja) * | 1995-02-10 | 1996-08-30 | Nippon Steel Corp | プロセス制御パラメ−タの学習方法 |
JP4811997B2 (ja) * | 2005-11-04 | 2011-11-09 | 独立行政法人科学技術振興機構 | 状態推定装置、状態推定システム及びコンピュータプログラム |
DE102007001024B4 (de) * | 2007-01-02 | 2008-10-02 | Siemens Ag | Verfahren zur rechnergestützten Regelung und/oder Steuerung eines technischen Systems insbesondere einer Gasturbine |
US9971317B2 (en) * | 2014-03-26 | 2018-05-15 | Rockwell Automation Technologies, Inc. | Cloud-level industrial controller loop gain tuning based on industrial application type |
JP6110452B1 (ja) * | 2015-09-30 | 2017-04-05 | ファナック株式会社 | 機械学習装置およびコイル通電加熱装置 |
JP6457563B2 (ja) * | 2017-01-24 | 2019-01-23 | ファナック株式会社 | 数値制御装置及び機械学習装置 |
JP6490124B2 (ja) * | 2017-03-07 | 2019-03-27 | ファナック株式会社 | レーザ加工装置および機械学習装置 |
JP6474456B2 (ja) * | 2017-05-16 | 2019-02-27 | ファナック株式会社 | 機械学習装置、サーボ制御システム及び機械学習方法 |
JP6542839B2 (ja) | 2017-06-07 | 2019-07-10 | ファナック株式会社 | 制御装置及び機械学習装置 |
US11170288B2 (en) * | 2017-08-03 | 2021-11-09 | Facebook, Inc. | Systems and methods for predicting qualitative ratings for advertisements based on machine learning |
US10915073B2 (en) * | 2017-12-15 | 2021-02-09 | Exxonmobil Research And Engineering Company | Adaptive PID controller tuning via deep reinforcement learning |
US20190042979A1 (en) * | 2018-06-28 | 2019-02-07 | Intel Corporation | Thermal self-learning with reinforcement learning agent |
CN109193075B (zh) * | 2018-09-28 | 2020-06-05 | 合肥工业大学 | 基于强化学习的纯电动汽车动力电池冷却***控制方法 |
CN111765604B (zh) * | 2019-04-01 | 2021-10-08 | 珠海格力电器股份有限公司 | 空调的控制方法和装置 |
WO2020241920A1 (ko) * | 2019-05-29 | 2020-12-03 | 엘지전자 주식회사 | 장치 정보에 기반하여, 다른 장치를 제어할 수 있는 인공 지능 장치 |
KR102267180B1 (ko) * | 2019-08-22 | 2021-06-22 | 엘지전자 주식회사 | 공조시스템 및 그 제어 방법 |
-
2019
- 2019-11-26 JP JP2019213293A patent/JP7331660B2/ja active Active
-
2020
- 2020-11-04 CN CN202011214802.4A patent/CN112947134A/zh active Pending
- 2020-11-04 US US17/088,607 patent/US20210157280A1/en not_active Abandoned
- 2020-11-25 EP EP20209846.3A patent/EP3828651B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000222002A (ja) | 1999-02-03 | 2000-08-11 | Omron Corp | 制御パラメータ決定方法及び装置 |
JP2009142111A (ja) | 2007-12-07 | 2009-06-25 | Yaskawa Electric Corp | モータ制御装置とその制御方法 |
JP2018097680A (ja) | 2016-12-14 | 2018-06-21 | ファナック株式会社 | 制御システム及び機械学習装置 |
JP2019145042A (ja) | 2018-02-23 | 2019-08-29 | 株式会社安川電機 | 製品品質管理システム及び製品品質管理方法 |
JP2019168973A (ja) | 2018-03-23 | 2019-10-03 | ファナック株式会社 | 駆動装置及び機械学習装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3828651B1 (en) | 2023-04-26 |
EP3828651A1 (en) | 2021-06-02 |
US20210157280A1 (en) | 2021-05-27 |
JP2021086283A (ja) | 2021-06-03 |
CN112947134A (zh) | 2021-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7331660B2 (ja) | 装置、方法およびプログラム | |
JP7011239B2 (ja) | 装置、方法、プログラム、および、記録媒体 | |
JP7392566B2 (ja) | 制御支援装置、制御支援方法、制御支援プログラム、および制御システム | |
CN109798646A (zh) | 一种基于大数据平台的变风量空调控制***和方法 | |
CN110554617B (zh) | 一种自动控制实验教学装置及方法 | |
JP7363839B2 (ja) | 制御装置、制御方法、および、制御プログラム | |
JP7359178B2 (ja) | 制御装置、制御方法、および、制御プログラム | |
JP7484382B2 (ja) | 制御装置、制御方法および制御プログラム | |
JP2023023455A (ja) | 学習装置、学習方法、および、学習プログラム、並びに、制御装置 | |
Desai et al. | Process parameter monitoring and control using digital twin | |
JP7181849B2 (ja) | 装置、方法およびプログラム | |
JP2022169825A (ja) | 評価装置、評価方法、評価プログラム、制御装置、および、制御プログラム | |
JP7359176B2 (ja) | 判定装置、判定方法、および、判定プログラム | |
JP7409345B2 (ja) | 学習処理装置、制御装置、学習処理方法、制御方法、学習プログラムおよび制御プログラム | |
JP2023078694A (ja) | 装置、方法およびプログラム | |
JP2023078710A (ja) | 装置、方法およびプログラム | |
WO2024101351A1 (ja) | 装置、方法およびプログラム | |
US20230126776A1 (en) | Apparatus, method, and computer readable medium | |
Randino | Implementation and benchmarking of model based and model free controllers for wind turbine | |
JP2023174330A (ja) | リモート制御装置、ローカル制御装置、学習処理装置、方法、およびプログラム | |
Normey-Rico et al. | Robust dead-time compensation of a evaporation process in sugar production | |
Laaouad et al. | Nonlinear sensitive control of centrifugal compressor | |
Guiamba | Adaptive dynamic matrix control for a multivariable training plant. | |
Mei | Simulation and stability analysis of VAV systems with standard and ANN-based component models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221212 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230613 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230724 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7331660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |