JP7363839B2 - 制御装置、制御方法、および、制御プログラム - Google Patents

Description

本発明は、制御装置、制御方法、および、制御プログラムに関する。

特許文献１には、「ロボットの各関節を駆動するモータに掛かる外乱に対する該ロボットの教示位置の補正量を機械学習し、機械学習した結果に基づいて、ロボットが教示位置へと移動する際に外乱を抑えるように教示位置を補正しながら制御する」と記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０１８－２０２５６４号公報

（項目１）
本発明の第１の態様においては、制御装置を提供する。制御装置は、制御対象が設けられた設備の状態に応じて制御対象の操作量を出力するように機械学習された制御モデルにより制御対象を制御する制御部を備えてよい。制御装置は、シミュレーションモデルを用いて、制御モデルが出力する操作量を制御対象に与えた場合における設備の状態をシミュレーションするシミュレーション部を備えてよい。制御装置は、シミュレーション結果に基づいて、制御モデルによる制御対象の制御を停止させる停止部を備えてよい。

（項目２）
停止部は、シミュレーション結果が設備における異常の発生を示す場合に、制御モデルによる制御対象の制御を停止させてよい。

（項目３）
制御装置は、シミュレーション結果を出力する出力部を更に備えてよい。停止部は、シミュレーション結果が出力されたことに応じて制御を停止する旨の指示を取得した場合に、制御モデルによる制御対象の制御を停止させてよい。

（項目４）
制御装置は、設備の状態をシミュレーションする頻度を調整する頻度調整部を更に備えてよい。

（項目５）
頻度調整部は、制御モデルによる制御対象の制御が開始されてからの経過時間が長くなるにつれて、シミュレーションする頻度を下げてよい。

（項目６）
制御装置は、制御モデルの出力を制御対象に対して入力するか遮断するかを切り替える切替部を更に備えてよい。停止部は、制御モデルによる制御対象の制御を停止させる場合に、切替部を遮断させてよい。

（項目７）
切替部は、物理スイッチにより構成されてよい。

（項目８）
制御装置は、制御モデルによる制御対象の制御を停止する場合に、他の制御手段による制御に切り替えるよう制御対象に指示する指示部を更に備えてよい。

（項目９）
シミュレーションモデルは、設備の実動作よりも短い時間で設備の状態をシミュレーション可能な簡易モデルであってよい。

（項目１０）
制御装置は、設備の状態を示す状態データを取得する状態データ取得部を更に備えてよい。制御装置は、操作量を示す操作量データを取得する操作量データ取得部を更に備えてよい。制御装置は、状態データおよび操作量データを用いて、制御モデルを機械学習により生成する制御モデル生成部を更に備えてよい。

（項目１１）
制御モデル生成部は、状態データの入力に応じて、予め定められた報酬関数により定まる報酬値が高くなる操作量ほど推奨する操作量として出力されるように強化学習することにより、制御モデルを生成してよい。

（項目１２）
本発明の第２の態様においては、制御方法を提供する。制御方法は、制御対象が設けられた設備の状態に応じて制御対象の操作量を出力するように機械学習された制御モデルにより制御対象を制御することを備えてよい。制御方法は、シミュレーションモデルを用いて、制御モデルが出力する操作量を制御対象に与えた場合における設備の状態をシミュレーションすることを備えてよい。制御方法は、シミュレーション結果に基づいて、制御モデルによる制御対象の制御を停止させることを備えてよい。

（項目１３）
本発明の第３の態様においては、制御プログラムを提供する。制御プログラムは、コンピュータにより実行されてよい。制御プログラムは、コンピュータを、制御対象が設けられた設備の状態に応じて制御対象の操作量を出力するように機械学習された制御モデルにより制御対象を制御する制御部として機能させてよい。制御プログラムは、コンピュータを、シミュレーションモデルを用いて、制御モデルが出力する操作量を制御対象に与えた場合における設備の状態をシミュレーションするシミュレーション部として機能させてよい。制御プログラムは、コンピュータを、シミュレーション結果に基づいて、制御モデルによる制御対象の制御を停止させる停止部として機能させてよい。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る制御装置１００のブロック図の一例を、制御対象２０が設けられた設備１０と共に示す。 本実施形態に係る制御装置１００が、ＡＩ制御を停止するフローの一例を示す。 本実施形態の第一の変形例に係る制御装置１００のブロック図の一例を、制御対象２０が設けられた設備１０と共に示す。 本実施形態の第一の変形例に係る制御装置１００が、ＡＩ制御を停止するフローの一例を示す。 本実施形態の第二の変形例に係る制御装置１００のブロック図の一例を、制御対象２０が設けられた設備１０と共に示す。 本実施形態の第二の変形例に係る制御装置１００が、ＡＩ制御を停止するフローの一例を示す。 本実施形態の第三の変形例に係る制御装置１００のブロック図の一例を、制御対象２０が設けられた設備１０と共に示す。 本実施形態の第四の変形例に係る制御装置１００のブロック図の一例を、制御対象２０が設けられた設備１０と共に示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ９９００の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る制御装置１００のブロック図の一例を、制御対象２０が設けられた設備１０と共に示す。本実施形態に係る制御装置１００は、機械学習により生成された学習モデルによる制御対象２０の制御（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ制御ともいう。）中に、学習モデルの出力を制御対象２０に与えた場合における設備１０の状態をシミュレーションする。そして、本実施形態に係る制御装置１００は、シミュレーション結果に基づいてＡＩ制御を停止する。

設備１０は、制御対象２０が備え付けられた施設や装置等である。例えば、設備１０は、プラントであってもよいし、複数の機器を複合させた複合装置であってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。

設備１０には、制御対象２０が設けられている。本図においては、設備１０に１つの制御対象２０のみが設けられている場合を一例として示しているが、これに限定されるものではない。設備１０には、複数の制御対象２０が設けられていてよい。

また、設備１０には、設備１０の内外における様々な状態（物理量）を測定する１または複数のセンサ（図示せず）が設けられていてよい。このようなセンサは、例えば、運転データ、消費量データ、および、外部環境データ等を測定する。

ここで、運転データは、制御対象２０を制御した結果の運転状態を示す。例えば、運転データは、制御対象２０について測定された測定値ＰＶ（Ｐｒｏｃｅｓｓ Ｖａｒｉａｂｌｅ）を示してよく、一例として、制御対象２０の出力（制御量）を示してもよいし、制御対象２０の出力によって変化する様々な値を示してもよい。

消費量データは、設備１０におけるエネルギーまたは原材料の少なくともいずれかの消費量を示す。例えば、消費量データは、エネルギー消費量として、電力や燃料（一例として、ＬＰＧ：Ｌｉｑｕｅｆｉｅｄ Ｐｅｔｒｏｌｅｕｍ Ｇａｓ）の消費量を示してよい。

外部環境データは、制御対象２０の制御に対して外乱として作用し得る物理量を示す。例えば、外部環境データは、設備１０の外気の温度や湿度、日照、風向き、風量、降水量、および、設備１０に設けられた他の機器の制御に伴い変化する様々な物理量等を示してよい。

制御対象２０は、制御の対象となる機器および装置等である。例えば、制御対象２０は、設備１０のプロセスにおける圧力、温度、ｐＨ、速度、または、流量等の少なくとも１つの物理量を制御するバルブ、ポンプ、ヒータ、ファン、モータ、および、スイッチ等のアクチュエータであってよく、与えられた操作量ＭＶ（Ｍａｎｉｐｕｌａｔｅｄ Ｖａｒｉａｂｌｅ）を入力して制御量を出力する。

本実施形態に係る制御装置１００は、機械学習により生成された学習モデルによる制御対象２０の制御（ＡＩ制御）中に、学習モデルの出力を制御対象２０に与えた場合における設備１０の状態をシミュレーションする。そして、本実施形態に係る制御装置１００は、シミュレーション結果に基づいてＡＩ制御を停止する。

制御装置１００は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。このようなコンピュータシステムもまた広義のコンピュータである。また、制御装置１００は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、制御装置１００は、ＡＩ制御用に設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。また、制御装置１００がインターネットに接続可能な場合、制御装置１００は、クラウドコンピューティングにより実現されてもよい。

制御装置１００は、状態データ取得部１１０と、操作量データ取得部１２０と、制御モデル生成部１３０と、制御モデル１３５と、制御部１４０と、シミュレーション部１５０と、シミュレーションモデル１５５と、停止部１６０とを備える。なお、これらブロックは、それぞれ機能的に分離された機能ブロックであって、実際のデバイス構成とは必ずしも一致していなくてもよい。すなわち、本図において、１つのブロックとして示されているからといって、それが必ずしも１つのデバイスにより構成されていなくてもよい。また、本図において、別々のブロックとして示されているからといって、それらが必ずしも別々のデバイスにより構成されていなくてもよい。

状態データ取得部１１０は、制御対象２０が設けられた設備１０の状態を示す状態データを取得する。例えば、状態データ取得部１１０は、設備１０に設けられたセンサが測定した運転データ、消費量データ、および、外部環境データ等を状態データとして、ネットワークを介してセンサから取得する。しかしながら、これに限定されるものではない。状態データ取得部１１０は、このような状態データをオペレータから取得してもよいし、各種メモリデバイス等から取得してもよい。状態データ取得部１１０は、取得した状態データを制御モデル生成部１３０、および、制御モデル１３５へ供給する。

操作量データ取得部１２０は、制御対象２０の操作量を示す操作量データを取得する。例えば、操作量データ取得部１２０は、制御対象２０をＡＩ制御するにあたって制御モデル１３５が出力する操作量ＭＶ（ＡＩ）を示すデータを、操作量データとして制御部１４０から取得する。しかしながら、これに限定されるものではない。操作量データ取得部１２０は、このような操作量データをオペレータから取得してもよいし、各種メモリデバイスから取得してもよい。操作量データ取得部１２０は、取得した操作量データを制御モデル生成部１３０へ供給する。

なお、本図においては、操作量データ取得部１２０が、制御モデル１３５が出力する操作量ＭＶ（ＡＩ）を示すデータを操作量データとして取得する場合を一例として示した。しかしながら、これに限定されるものではない。制御装置１００が他の制御器（図示せず）による制御対象２０の制御下におけるデータを学習データとしてモデルを機械学習する場合には、操作量データ取得部１２０は、当該他の制御器から制御対象２０に与えられた操作量を示すデータを操作量データとして取得してもよい。一例として、制御対象２０が、他の制御器から与えられた操作量ＭＶ（ＦＢ：ＦｅｅｄＢａｃｋ）によるフィードバック制御と、制御モデル１３５から与えられた操作量ＭＶ（ＡＩ）によるＡＩ制御との間で切り換え可能な場合、操作量データ取得部１２０は、当該他の制御器から制御対象２０に与えられた操作量ＭＶ（ＦＢ）を示すデータを操作量データとして取得してもよい。なお、このようなＦＢ制御は、例えば、比例制御（Ｐ制御）、積分制御（Ｉ制御）、または、微分制御（Ｄ制御）の少なくとも１つを用いた制御であってよく、一例として、ＰＩＤ制御であってよい。また、このような他の制御器は、本実施形態に係る制御装置１００の一部として一体に構成されていてもよいし、制御装置１００とは独立した別体として構成されていてもよい。

制御モデル生成部１３０は、状態データおよび操作量データを用いて、設備１０の状態に応じた操作量を出力する制御モデル１３５を機械学習により生成する。例えば、制御モデル生成部１３０は、状態データ取得部１１０から供給された状態データ、および、操作量データ取得部１２０から供給された操作量ＭＶ（ＡＩ）を示すデータを学習データとして強化学習することにより、設備１０の状態に応じた操作量ＭＶ（ＡＩ）を出力する制御モデル１３５を生成する。すなわち、制御モデル生成部１３０は、状態データの入力に応じて、予め定められた報酬関数により定まる報酬値が高くなる操作量ほど推奨する操作量として出力されるように強化学習することにより、制御モデル１３５を生成する。これについて詳細は後述する。

制御モデル１３５は、制御モデル生成部１３０が強化学習により生成した学習モデルであり、設備１０の状態に応じた操作量ＭＶ（ＡＩ）を出力する。例えば、制御モデル１３５は、状態データ取得部１１０から供給された状態データを入力して、設備１０の状態に応じて制御対象２０に与えるべき推奨する操作量ＭＶ（ＡＩ）を出力する。なお、本図においては、制御モデル１３５が制御装置１００に内蔵されている場合を一例として示したが、これに限定されるものではない。制御モデル１３５は、制御装置１００とは異なる装置（例えば、クラウドサーバ上）に格納されていてもよい。同様に、制御モデル生成部１３０についても、制御装置１００とは異なる装置に備えられていてもよい。

制御部１４０は、制御モデル１３５が出力した操作量ＭＶ（ＡＩ）を制御対象２０へ供給する。これにより、制御部１４０は、制御対象２０が設けられた設備１０の状態に応じて制御対象２０の操作量を出力するように機械学習された制御モデル１３５により制御対象２０を制御する。また、制御部１４０は、制御モデル１３５が出力した操作量ＭＶ（ＡＩ）をシミュレーション部１５０、および、操作量データ取得部１２０へ供給する。

シミュレーション部１５０は、シミュレーションモデル１５５を用いて、制御モデル１３５が出力する操作量ＭＶ（ＡＩ）を制御対象２０に与えた場合における設備１０の状態をシミュレーションする。なお、ここでいう「シミュレーションする」とは、シミュレーション部１５０が主体となって設備１０の状態を自らシミュレーションすることの他に、シミュレーション部１５０が他の装置（例えば、シミュレータ（図示せず））に対して設備１０の状態をシミュレーションさせ、他の装置がシミュレーションした設備１０の状態を他の装置から取得することをも含むものとする。例えば、シミュレーション部１５０は、制御モデル１３５が出力した操作量ＭＶ（ＡＩ）をシミュレーションモデル１５５に入力し、シミュレーションモデル１５５が出力する複数の出力値をシミュレーション結果として取得する。シミュレーション部１５０は、取得したシミュレーション結果を、停止部１６０へ供給する。

シミュレーションモデル１５５は、設備１０の挙動をシミュレーションするように構築されたモデル（例えば、プラントモデル）である。例えば、シミュレーションモデル１５５は、操作量ＭＶ（ＡＩ）を入力し、操作量ＭＶ（ＡＩ）を制御対象２０に与えた場合における設備１０の挙動をシミュレーションする。そして、シミュレーションモデル１５５は、シミュレーションした設備１０の状態を示す複数の出力値を出力する。一例として、シミュレーションモデル１５５は、設備１０の実動作よりも短い時間で設備１０の状態をシミュレーション可能な簡易モデル、例えば、処理負荷が比較的軽い簡易物理モデルや、比較的低次な線形モデルであってよい。なお、本図においては、シミュレーションモデル１５５が制御装置１００に内蔵されている場合を一例として示したが、これに限定されるものではない。シミュレーションモデル１５５は、制御モデル１３５と同様、制御装置１００とは異なる装置（例えば、クラウドサーバ上）に格納されていてもよい。また、上述のシミュレータについても、制御装置１００とは異なる装置に備えられていてもよい。

停止部１６０は、シミュレーション結果に基づいて、制御モデル１３５による制御対象２０の制御を停止させる。例えば、停止部１６０は、シミュレーション部１５０から供給されたシミュレーション結果が予め定められた条件（例えば、異常診断条件）を満たしているか否か判定する。そして、停止部１６０は、シミュレーション結果が設備１０における異常の発生を示す場合に、制御部１４０へその旨を通知する。これに応じて、制御部１４０は、制御モデル１３５が出力した操作量ＭＶ（ＡＩ）を制御対象２０へ供給することを止める。このようにして、停止部１６０は、シミュレーション結果が設備１０における異常の発生を示す場合（例えば、数日以内に設備１０に異常が発生することが見込まれる場合）に、制御モデル１３５による制御対象２０の制御を停止させる。

図２は、本実施形態に係る制御装置１００が、ＡＩ制御を停止するフローの一例を示す。

ステップ２１０において、制御装置１００は、状態データを取得する。例えば、状態データ取得部１１０は、制御対象２０が設けられた設備１０の状態を示す状態データを取得する。一例として、状態データ取得部１１０は、設備１０に設けられたセンサが測定した運転データ、消費量データ、および、外部環境データ等を状態データとして、ネットワークを介してセンサから取得する。状態データ取得部１１０は、取得した状態データを制御モデル生成部１３０、および、制御モデル１３５へ供給する。

ステップ２２０において、制御装置１００は、操作量データを取得する。例えば、操作量データ取得部１２０は、制御対象２０の操作量を示す操作量データを取得する。一例として、操作量データ取得部１２０は、制御対象２０をＡＩ制御するにあたって制御モデル１３５が出力する操作量ＭＶ（ＡＩ）を示すデータを、操作量データとして制御部１４０から取得する。操作量データ取得部１２０は、取得した操作量データを制御モデル生成部１３０へ供給する。なお、本図においては、制御装置１００が状態データを取得した後に操作量データを取得する場合を一例として示したが、これに限定されるものではない。制御装置１００は、操作量データを取得した後に状態データを取得してもよいし、状態データと操作量データとを同時に取得してもよい。

ステップ２３０において、制御装置１００は、制御モデル１３５を生成する。例えば、制御モデル生成部１３０は、状態データおよび操作量データを用いて、設備１０の状態に応じた操作量を出力する制御モデル１３５を機械学習により生成する。一例として、制御モデル生成部１３０は、ステップ２１０において取得された状態データ、および、ステップ２２０において取得された操作量ＭＶ（ＡＩ）を示すデータを学習データとして強化学習することにより、設備１０の状態に応じた操作量ＭＶ（ＡＩ）を出力する制御モデル１３５を生成する。

一般に、エージェントが、環境の状態を観測してある行動を選択すると、当該行動に基づいて環境が変化する。強化学習においては、このような環境の変化に伴って何らかの報酬が与えられることで、エージェントがより良い行動の選択（意思決定）を学習する。教師あり学習においては、完全な正解が与えられるのに対して、強化学習においては、環境の一部の変化に基づく断片的な値として報酬が与えられる。このため、エージェントは、将来にわたって報酬の合計が最大となるような行動を選択するように学習する。このように、強化学習において、エージェントは、行動を学習することにより行動が環境に与える相互作用を踏まえて適切な行動を学習、すなわち、将来的に得られる報酬を最大にするための行動を学習する。

本実施形態において、このような強化学習における報酬は、設備１０の運転を評価するための指標であってよく、予め定められた報酬関数により定まる値であってよい。ここで、関数とは、ある集合の各要素に他の集合の各要素を一対一で対応させる規則を持つ写像であり、例えば数式であってもよいし、テーブルであってもよい。

報酬関数は、状態データの入力に応じて、当該状態データによって示される設備１０の状態を評価した値（報酬値）を出力する。上述のとおり、例えば、状態データには、制御対象２０について測定された測定値ＰＶが含まれている。したがって、報酬関数は、このような測定値ＰＶが目標値ＳＶ（Ｓｅｔｔｉｎｇ Ｖａｒｉａｂｌｅ）に近いほど報酬値が高くなるような関数として定義されてよい。ここで、測定値ＰＶと目標値ＳＶとの差の絶対値を変数とする関数を、評価関数として定義することとする。すなわち、一例として、制御対象２０がバルブである場合、評価関数は、センサが実際に測定したバルブの開度である測定値ＰＶと、目標とするバルブの開度である目標値ＳＶとの差の絶対値を変数とする関数であってよい。そして、報酬関数は、このような評価関数によって得られる評価関数の値を変数とする関数であってよい。

また、上述のとおり、状態データには、測定値ＰＶに加えて、例えば、制御対象２０の出力によって変化する様々な値や、消費量データ、外部環境データ等が含まれている。したがって、報酬関数は、このような様々な値、消費量データ、および、外部環境データ等に基づいて報酬値を増減させるような関数であってよい。一例として、このような様々な値や消費量データに対して守らなければならない制約が設けられている場合、報酬関数は、外部環境データに照らして、このような様々な値や消費量データが制約条件を満たしていない場合に、報酬値を最小とするような関数であってよい。また、このような様々な値や消費量データに対して目指すべき目標が設けられている場合、報酬関数は、外部環境データに照らして、このような様々な値や消費量データが目標に近いほど報酬値を増加させ、目標に遠いほど報酬値を減少させるような関数であってよい。

制御モデル生成部１３０は、このような報酬関数に基づいてそれぞれの学習データにおける報酬値を取得する。そして、制御モデル生成部１３０は、学習データおよび報酬値の組をそれぞれ用いて強化学習する。この際、制御モデル生成部１３０は、最急降下法やニューラルネットワーク、ＤＱＮ（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ）、ガウシアンプロセス、ディープラーニング等、公知の手法による学習処理を行ってよい。そして、制御モデル生成部１３０は、報酬値が高くなる操作量ほど、推奨する操作量として優先的に出力されるように学習する。すなわち、制御モデル生成部１３０は、状態データの入力に応じて、予め定められた報酬関数により定まる報酬値が高くなる操作量ほど推奨する操作量として出力されるように強化学習することにより、制御モデル１３５を生成する。これにより、モデルが更新され制御モデル１３５が生成される。

ステップ２４０において、制御装置１００は、制御対象２０をＡＩ制御する。例えば、制御部１４０は、制御モデル１３５が出力した操作量ＭＶ（ＡＩ）を制御対象２０へ供給することにより、制御対象２０が設けられた設備１０の状態に応じて制御対象２０の操作量を出力するように機械学習された制御モデル１３５により制御対象２０を制御する。また、これと並行して、制御部１４０は、制御モデル１３５が出力した操作量ＭＶ（ＡＩ）をシミュレーション部１５０へ供給する。

ステップ２５０において、制御装置１００は、シミュレーションを実行する。例えば、シミュレーション部１５０は、シミュレーションモデル１５５を用いて、制御モデル１３５が出力する操作量ＭＶ（ＡＩ）を制御対象２０に与えた場合における設備１０の状態をシミュレーションする。一例として、シミュレーション部１５０は、ステップ２３０において生成された制御モデル１３５が出力した操作量ＭＶ（ＡＩ）をシミュレーションモデル１５５に入力し、シミュレーションモデル１５５が出力する複数の出力値をシミュレーション結果として取得する。このように、制御装置１００は、ＡＩ制御と並行して、制御モデル１３５が出力する操作量ＭＶ（ＡＩ）を制御対象２０に与えた場合における設備１０の状態をシミュレーションする。シミュレーション部１５０は、取得したシミュレーション結果を、停止部１６０へ供給する。

ステップ２５５において、制御装置１００は、設備１０における異常発生の有無を判定する。例えば、停止部１６０は、設備１０において異常を診断するための異常診断条件を予め記憶していてよい。そして、停止部１６０は、シミュレーションモデル１５５が出力した複数の出力値の全てが異常診断条件を満たしていない場合に、設備１０に異常が発生しないと推測してよい。また、停止部１６０は、シミュレーションモデル１５５が出力した複数の出力値の少なくとも１つが異常診断条件を満たしている場合に、設備１０に異常が発生すると推測してよい。

ステップ２５５において、シミュレーション結果が設備１０における異常の発生を示していない場合（Ｎｏの場合）に、制御装置１００は、処理をステップ２５０に戻してフローを継続する。なお、この場合、ステップ２４０におけるＡＩ制御は継続される。

ステップ２５５において、シミュレーション結果が設備１０における異常の発生を示している場合（Ｙｅｓの場合）に、制御装置１００は処理をステップ２６０に進める。

ステップ２６０において、制御装置１００は、ＡＩ制御を停止する。例えば、停止部１６０は、シミュレーション結果に基づいて、制御モデル１３５による制御対象２０の制御を停止させる。一例として、停止部１６０は、シミュレーション結果が設備１０における異常の発生を示す場合に、制御部１４０へその旨を通知する。これに応じて、制御部１４０は、制御モデル１３５が出力した操作量ＭＶ（ＡＩ）を制御対象２０へ供給することを止める。このようにして、停止部１６０は、シミュレーション結果が設備１０における異常の発生を示す場合に、制御モデル１３５による制御対象２０の制御を停止させる。

一般に、機械学習では、入力データを使用して学習モデルのパラメータを決定するが、これは確率的に求められたものであり、理論的に保障されているものではない。そのため、学習モデルから異常な推論データが出力される可能性がある。そこで、本実施形態に係る制御装置１００は、制御対象２０をＡＩ制御するのに並行して、シミュレーションモデル１５５を用いて、制御モデル１３５が出力する操作量ＭＶ（ＡＩ）を制御対象２０に与えた場合における設備１０の状態をシミュレーションする。そして、制御装置１００は、シミュレーション結果に基づいて、ＡＩ制御を停止する。これにより、本実施形態に係る制御装置１００によれば、ＡＩ制御に伴い設備１０が異常な振る舞いをすることが推測される場合に、ＡＩ制御を停止することができる。ここで、ＡＩ制御を停止するか否かを、制御モデル１３５が出力する操作量ＭＶ（ＡＩ）が予め定められた基準を満たすか否かで判断することも考えられる。しかしながら、このような基準は人為的・経験的に与えられたものであって、操作量ＭＶ（ＡＩ）がこのような基準を満たすからといって、必ずしも設備１０に異常が発生しないとも限らない。同様に、操作量ＭＶ（ＡＩ）がこのような基準を満たさないからといって、必ずしも設備１０に異常が発生するとも限らない。これに対して、本実施形態に係る制御装置１００によれば、操作量ＭＶ（ＡＩ）自体ではなく、操作量ＭＶ（ＡＩ）を制御対象２０に与えた場合における設備１０の状態をシミュレーションした結果に基づいてＡＩ制御の停止を判断するので、実際の運用により近い根拠に基づいてＡＩ制御の停止を判断することができる。

また、本実施形態に係る制御装置１００において、シミュレーションに用いるシミュレーションモデル１５５は、実際の設備１０と比較して簡易なモデルであってよい。これにより、本実施形態に係る制御装置１００によれば、設備１０の実動作よりも短い時間で設備１０の状態をシミュレーション可能となるため、実際の設備１０で異常が発生するのに先立ってＡＩ制御を停止することができる。

図３は、本実施形態の第一の変形例に係る制御装置１００のブロック図の一例を、制御対象２０が設けられた設備１０と共に示す。図３においては、図１と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。上述の実施形態に係る制御装置１００においては、シミュレーション結果に基づいてＡＩ制御の停止を自動的に判断する場合を一例として示した。しかしながら、第一の変形例に係る制御装置１００においては、シミュレーション結果を出力し、シミュレーション結果を検討したオペレータ等からの指示に基づいてＡＩ制御を停止する。第一の変形例に係る制御装置１００は、出力部３１０と、入力部３２０とを更に備える。

本変形例に係る制御装置１００においては、シミュレーション部１５０は、シミュレーション結果を停止部１６０に加えて出力部３１０へ供給する。そして、出力部３１０は、シミュレーション結果を出力する。例えば、出力部３１０は、シミュレーション結果をモニタに表示することにより出力してもよいし、プリントアウトすることにより出力してもよいし、他の装置にデータ送信することにより出力してもよい。

入力部３２０は、シミュレーション結果を出力したことに応じて、シミュレーション結果を検討したオペレータ等からユーザ入力を受け付ける。入力部３２０は、ユーザ入力されたオペレータからの指示を停止部１６０へ供給する。

停止部１６０は、入力部３２０から供給された指示がＡＩ制御を停止する旨を示している場合に、ＡＩ制御を停止させると判断する。すなわち、停止部１６０は、シミュレーション結果が出力されたことに応じて制御を停止する旨の指示を取得した場合に、制御モデル１３５による制御対象２０の制御を停止させる。

図４は、本実施形態の第一の変形例に係る制御装置１００が、ＡＩ制御を停止するフローの一例を示す。図４においては、図２と同じ処理に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。本フローにおいては、ステップ２５５に代えて、ステップ４１０および４２０を備える。

ステップ４１０において、制御装置１００は、シミュレーション結果を出力する。例えば、出力部３１０は、ステップ２５０においてシミュレーション部１５０がシミュレーションした結果を取得し、モニタに表示することによりシミュレーション結果を出力する。

ステップ４２０において、制御装置１００は、ＡＩ制御の停止が指示されたか否か判断する。例えば、停止部１６０は、シミュレーション結果を検討したオペレータ等から入力部３２０を介してＡＩ制御を停止する旨の指示を取得したか否か判断する。ステップ４２０においてＡＩ制御を停止する旨の指示が取得されていない場合（Ｎｏの場合）、制御装置１００は、処理をステップ２５０に戻してフローを継続する。ステップ４２０においてＡＩ制御を停止する旨の指示が取得された場合（Ｙｅｓの場合）、制御装置１００は、処理をステップ２６０へ進める。そして、停止部１６０は制御部１４０へＡＩ制御を停止する旨を通知する。これに応じて、制御部１４０は、制御モデル１３５が出力した操作量ＭＶ（ＡＩ）を制御対象２０へ供給することを止める。このようにして、停止部１６０は、シミュレーション結果が出力されたことに応じて制御を停止する旨の指示を取得した場合に、制御モデル１３５による制御対象２０の制御を停止させる。

このように、第一の変形例に係る制御装置１００は、シミュレーション結果を出力し、当該シミュレーション結果を検討したオペレータ等からの指示に基づいてＡＩ制御を停止する。これにより、第一の変形例に係る制御装置１００によれば、ＡＩ制御を停止するにあたってオペレータ等の意向を反映させることができる。

なお、上述の説明では、制御装置１００がステップ２５５に代えてステップ４１０および４２０を実行する場合を一例として示したが、これに限定されるものではない。第一の変形例に係る制御装置１００は、ステップ２５５に加えて、ステップ４１０および４２０を実行してもよい。この際、制御装置１００は、オペレータ等による停止指示と、コンピュータによる自動判定との何れかを満足した場合に、ＡＩ制御を停止させてよい。これに代えて、制御装置１００は、オペレータによる停止指示と、コンピュータによる自動判定との両者を満足した場合にはじめて、ＡＩ制御を停止させてもよい。この場合、制御装置１００は、例えば、設備１０に異常が発生する旨のシミュレーション結果を出力してオペレータ等に異常の発生を報知し、これに応じてオペレータ等から停止指示を取得した場合に、ＡＩ制御を停止させてもよい。これにより、第一の変形例に係る制御装置１００によれば、コンピュータによる自動判断とオペレータによる手動判断とを併用して、ＡＩ制御を停止することができる。

図５は、本実施形態の第二の変形例に係る制御装置１００のブロック図の一例を、制御対象２０が設けられた設備１０と共に示す。図５においては、図１と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。上述の実施形態に係る制御装置１００においては、制御モデル１３５が操作量ＭＶ（ＡＩ）を出力すると、当該操作量ＭＶ（ＡＩ）を制御対象２０に与えた場合における設備１０の状態を常にシミュレーションする場合を一例として示した。しかしながら、第二の変形例に係る制御装置１００においては、設備１０の状態をシミュレーションする頻度を調整する。第２の変形例に係る制御装置１００は、頻度調整部５１０を更に備える。

頻度調整部５１０は、シミュレーション部１５０によるシミュレーションをトリガする。例えば、頻度調整部５１０は、シミュレーションタイミングになった場合に、設備１０の状態をシミュレーションするようシミュレーション部１５０へ指示する。これに応じて、シミュレーション部１５０は、設備１０の状態をシミュレーションする。この際、頻度調整部５１０は、設備１０の状態をシミュレーションする頻度を調整可能であってよい。例えば、頻度調整部５１０は、制御モデル１３５による制御対象２０の制御が開始されてからの経過時間が長くなるにつれて、シミュレーションする頻度を下げてよい。

図６は、本実施形態の第二の変形例に係る制御装置１００が、ＡＩ制御を停止するフローの一例を示す。図６においては、図２と同じ処理に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。本フローにおいては、ステップ６１０および６２０を更に備える。

ステップ６１０において、制御装置１００（例えば、頻度調整部５１０）は、シミュレーションタイミングであるか否か判定する。なお、このようなシミュレーションタイミングの初期値、および、シミュレーション間隔の初期値は予め記憶されていてよい。ステップ６１０においてシミュレーションタイミングでないと判定された場合（Ｎｏの場合）、制御装置１００は、処理をステップ６１０に戻してフローを継続する。

ステップ６１０においてシミュレーションタイミングであると判定された場合（Ｙｅｓの場合）、制御装置１００は、シミュレーション部１５０によるシミュレーションをトリガする。例えば、頻度調整部５１０は、シミュレーションタイミングになった場合に、設備１０の状態をシミュレーションするようシミュレーション部１５０へ指示する。これに応じて、ステップ２５０においてシミュレーション部１５０は、設備１０の状態をシミュレーションする。

そして、ステップ２５５において、シミュレーション結果が設備１０における異常の発生を示していない場合（Ｎｏの場合）に、制御装置１００は、処理をステップ６２０へ進める。

ステップ６２０において、制御装置１００は、シミュレーション頻度を下げる。例えば、頻度調整部５１０は、予め記憶されているシミュレーション間隔に固定長を加算してシミュレーション間隔を更新する。すなわち、頻度調整部５１０は、次のシミュレーションタイミングまでの間隔を延ばすことで、シミュレーションする頻度を下げる。このように、ＡＩ制御が停止されずにＡＩ制御を開始してからの経過時間が長くなってきた場合に、頻度調整部５１０は、ＡＩ制御が安定してきたと判断して、シミュレーション頻度を下げることができる。そして、制御装置１００は、処理をステップ６１０に戻してフローを継続する。このように、第二の変形例に係る制御装置１００において、頻度調整部５１０は、設備１０の状態をシミュレーションする頻度を調整可能であってよい。より詳細には、頻度調整部５１０は、制御モデル１３５による制御対象２０の制御が開始されてからの経過時間が長くなるにつれて、シミュレーションする頻度を下げてよい。

第二の変形例に係る制御装置１００は、設備１０の状態をシミュレーションする頻度を調整可能である。特に、第二の変形例に係る制御装置１００は、ＡＩ制御が開始されてからの経過時間が長くなるにつれて、シミュレーションする頻度を下げる。すなわち、第二の変形例に係る制御装置１００は、ＡＩ制御の開始直後は頻繁にシミュレーションを実行し、ＡＩ制御が開始されてから長い時間が経過するにつれてシミュレーションを実行する頻度を下げる。これにより、第二の変形例に係る制御装置１００によれば、ＡＩ制御の実績に応じてシミュレーションの頻度を調整することができるので、制御装置１００におけるシミュレーションの処理負荷を低減させることができる。

図７は、本実施形態の第三の変形例に係る制御装置１００のブロック図の一例を、制御対象２０が設けられた設備１０と共に示す。図７においては、図１と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。上述の実施形態に係る制御装置１００においては、制御部１４０の出力（すなわち、制御モデル１３５の出力）と制御対象２０とが直接接続されている場合を一例として示した。しかしながら、第三の変形例に係る制御装置１００においては、制御モデル１３５の出力を制御対象２０に対して入力するか遮断するかを切り替え可能である。第三の変形例に係る制御装置１００は、切替部７１０を更に備える。

切替部７１０は、一端が制御部１４０の出力（すなわち、制御モデル１３５の出力）に接続され、他端が制御対象２０の入力に接続されている。そして、切替部７１０は、制御モデル１３５の出力を制御対象２０に対して入力するか遮断するかを切り替える。このような切替部７１０は、例えば、電気回路を開閉するスイッチにより構成されてよく、特に、電気回路の開状態を物理的な機構により実現する物理スイッチにより構成されていてよい。第三の変形例に係る制御装置１００においては、停止部１６０は、制御モデル１３５による制御対象２０の制御を停止させる場合に、切替部７１０を遮断させる。

このように、第三の変形例に係る制御装置１００は、制御モデル１３５の出力を制御対象２０に対して入力するか遮断するかを切り替え可能である。これにより、第三の変形例に係る制御装置１００によれば、ＡＩ制御を停止するにあたって、制御モデル１３５の出力が制御対象２０に供給されてしまうことを物理的に遮断させることができ、制御モデル１３５の出力が誤って制御対象２０に入力されてしまうことを防止することができる。

図８は、本実施形態の第四の変形例に係る制御装置１００のブロック図の一例を、制御対象２０が設けられた設備１０と共に示す。図８においては、図１と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。上述の実施形態に係る制御装置１００においては、シミュレーション結果に基づいてＡＩ制御をただ単に停止する場合を一例として示した。しかしながら、第四の変形例に係る制御装置１００においては、制御装置１００は、ＡＩ制御を停止するにあたって、他の制御手段による制御に切り替えるように制御対象２０に指示する。第四の変形例に係る制御装置１００は、指示部８１０を更に備える。

第四の変形例においては、制御対象２０が、他の制御器（図示せず）から与えられた操作量ＭＶ（ＦＢ）によるフィードバック制御と、制御モデルから与えられた操作量ＭＶ（ＡＩ）によるＡＩ制御との間で切り替え可能であるとする。

そして、第四の変形例に係る制御装置１００においては、停止部１６０はＡＩ制御を停止させる場合に、その旨を指示部８１０へ通知する。

これに応じて、指示部８１０は、制御モデル１３５による制御対象２０の制御を停止する場合に、他の制御手段による制御に切り替えるよう制御対象２０に指示する。例えば、制御対象２０が、ＡＩ制御に加えてフィードバック制御が可能な場合に、指示部８１０は、フィードバック制御に切り替えるよう制御対象２０に指示する。

第四の変形例に係る制御装置１００は、ＡＩ制御を停止するにあたって、他の制御手段による制御に切り替えるように制御対象２０に指示する。これにより、第四の変形例に係る制御装置１００によれば、ＡＩ制御を停止する場合であっても、他の制御手段により制御対象２０の制御を継続させることができる。

本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図９は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ９９００の例を示す。コンピュータ９９００にインストールされたプログラムは、コンピュータ９９００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ９９００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ９９００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ９９１２によって実行されてよい。

本実施形態によるコンピュータ９９００は、ＣＰＵ９９１２、ＲＡＭ９９１４、グラフィックコントローラ９９１６、およびディスプレイデバイス９９１８を含み、それらはホストコントローラ９９１０によって相互に接続されている。コンピュータ９９００はまた、通信インターフェイス９９２２、ハードディスクドライブ９９２４、ＤＶＤドライブ９９２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ９９２０を介してホストコントローラ９９１０に接続されている。コンピュータはまた、ＲＯＭ９９３０およびキーボード９９４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ９９４０を介して入／出力コントローラ９９２０に接続されている。

ＣＰＵ９９１２は、ＲＯＭ９９３０およびＲＡＭ９９１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ９９１６は、ＲＡＭ９９１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ９９１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス９９１８上に表示されるようにする。

通信インターフェイス９９２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ９９２４は、コンピュータ９９００内のＣＰＵ９９１２によって使用されるプログラムおよびデータを格納する。ＤＶＤドライブ９９２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ９９０１から読み取り、ハードディスクドライブ９９２４にＲＡＭ９９１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

ＲＯＭ９９３０はその中に、アクティブ化時にコンピュータ９９００によって実行されるブートプログラム等、および／またはコンピュータ９９００のハードウェアに依存するプログラムを格納する。入／出力チップ９９４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ９９２０に接続してよい。

プログラムが、ＤＶＤ－ＲＯＭ９９０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ９９２４、ＲＡＭ９９１４、またはＲＯＭ９９３０にインストールされ、ＣＰＵ９９１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ９９００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ９９００の使用に従い情報の操作または処理を実現することによって構成されてよい。

例えば、通信がコンピュータ９９００および外部デバイス間で実行される場合、ＣＰＵ９９１２は、ＲＡＭ９９１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス９９２２に対し、通信処理を命令してよい。通信インターフェイス９９２２は、ＣＰＵ９９１２の制御下、ＲＡＭ９９１４、ハードディスクドライブ９９２４、ＤＶＤ－ＲＯＭ９９０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

また、ＣＰＵ９９１２は、ハードディスクドライブ９９２４、ＤＶＤドライブ９９２６（ＤＶＤ－ＲＯＭ９９０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ９９１４に読み取られるようにし、ＲＡＭ９９１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ９９１２は次に、処理されたデータを外部記録媒体にライトバックする。

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ９９１２は、ＲＡＭ９９１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ９９１４に対しライトバックする。また、ＣＰＵ９９１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ９９１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ９９００上またはコンピュータ９９００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ９９００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 設備
２０ 制御対象
１００ 制御装置
１１０ 状態データ取得部
１２０ 操作量データ取得部
１３０ 制御モデル生成部
１３５ 制御モデル
１４０ 制御部
１５０ シミュレーション部
１５５ シミュレーションモデル
１６０ 停止部
３１０ 出力部
３２０ 入力部
５１０ 頻度調整部
７１０ 切替部
８１０ 指示部
９９００ コンピュータ
９９０１ ＤＶＤ－ＲＯＭ
９９１０ ホストコントローラ
９９１２ ＣＰＵ
９９１４ ＲＡＭ
９９１６ グラフィックコントローラ
９９１８ ディスプレイデバイス
９９２０ 入／出力コントローラ
９９２２ 通信インターフェイス
９９２４ ハードディスクドライブ
９９２６ ＤＶＤドライブ
９９３０ ＲＯＭ
９９４０ 入／出力チップ
９９４２ キーボード

Claims (10)

1. 制御対象が設けられた設備の状態に応じて前記制御対象の操作量を出力するように機械学習された制御モデルにより前記制御対象を制御する制御部と、
   シミュレーションモデルを用いて、前記制御モデルが出力する前記操作量を前記制御対象に与えた場合における前記設備の状態をシミュレーションするシミュレーション部と、
   前記設備の状態をシミュレーションする頻度を調整する頻度調整部と、
   シミュレーション結果に基づいて、前記制御モデルによる前記制御対象の制御を停止させる停止部と、
   前記制御モデルによる前記制御対象の制御を停止する場合に、フィードバック制御手段による制御に切り替えるよう前記制御対象に指示する指示部と、
   を備え、
   前記頻度調整部は、前記制御モデルによる前記制御対象の制御が開始されてからの経過時間が長くなるにつれて、前記シミュレーションする頻度を下げる、制御装置。
2. 前記停止部は、前記シミュレーション結果が前記設備における異常の発生を示す場合に、前記制御モデルによる前記制御対象の制御を停止させる、請求項１に記載の制御装置。
3. 前記シミュレーション結果を出力する出力部を更に備え、
   前記停止部は、前記シミュレーション結果が出力されたことに応じて制御を停止する旨の指示を取得した場合に、前記制御モデルによる前記制御対象の制御を停止させる、請求項１または２に記載の制御装置。
4. 前記制御モデルの出力を前記制御対象に対して入力するか遮断するかを切り替える切替部を更に備え、
   前記停止部は、前記制御モデルによる前記制御対象の制御を停止させる場合に、前記切替部を遮断させる、請求項１から３のいずれか一項に記載の制御装置。
5. 前記切替部は、物理スイッチにより構成される、請求項４に記載の制御装置。
6. 前記シミュレーションモデルは、前記設備の実動作よりも短い時間で前記設備の状態をシミュレーション可能な簡易モデルである、請求項１から５のいずれか一項に記載の制御装置。
7. 前記設備の状態を示す状態データを取得する状態データ取得部と、
   前記操作量を示す操作量データを取得する操作量データ取得部と、
   前記状態データおよび前記操作量データを用いて、前記制御モデルを機械学習により生成する制御モデル生成部と
   を更に備える、請求項１から６のいずれか一項に記載の制御装置。
8. 前記制御モデル生成部は、前記状態データの入力に応じて、予め定められた報酬関数により定まる報酬値が高くなる操作量ほど推奨する操作量として出力されるように強化学習することにより、前記制御モデルを生成する、請求項７に記載の制御装置。
9. 制御対象が設けられた設備の状態に応じて前記制御対象の操作量を出力するように機械学習された制御モデルにより前記制御対象を制御することと、
   シミュレーションモデルを用いて、前記制御モデルが出力する前記操作量を前記制御対象に与えた場合における前記設備の状態をシミュレーションすることと、
   シミュレーション結果に基づいて、前記制御モデルによる前記制御対象の制御を停止させることと、
   前記制御モデルによる前記制御対象の制御を停止する場合に、フィードバック制御手段による制御に切り替えるよう前記制御対象に指示することと
   を備え、
   前記シミュレーションすることにおいて、前記制御モデルによる前記制御対象の制御が開始されてからの経過時間が長くなるにつれて、前記シミュレーションする頻度を下げる、制御方法。
10. コンピュータにより実行されて、前記コンピュータを、
    制御対象が設けられた設備の状態に応じて前記制御対象の操作量を出力するように機械学習された制御モデルにより前記制御対象を制御する制御部と、
    シミュレーションモデルを用いて、前記制御モデルが出力する前記操作量を前記制御対象に与えた場合における前記設備の状態をシミュレーションするシミュレーション部と、
    シミュレーション結果に基づいて、前記制御モデルによる前記制御対象の制御を停止させる停止部と、
    前記制御モデルによる前記制御対象の制御を停止する場合に、フィードバック制御手段による制御に切り替えるよう前記制御対象に指示する指示部と
    して機能させ、
    前記制御モデルによる前記制御対象の制御が開始されてからの経過時間が長くなるにつれて、前記シミュレーションする頻度が下げられる、制御プログラム。